My colleagues and I are fascinated by the science of moving dots. So what are these dots? Well, it's all of us. And we're moving in our homes, in our offices, as we shop and travel throughout our cities and around the world. And wouldn't it be great if we could understand all this movement? If we could find patterns and meaning and insight in it. And luckily for us, we live in a time where we're incredibly good at capturing information about ourselves. So whether it's through sensors or videos, or apps, we can track our movement with incredibly fine detail.
מדע הנקודות הנעות מרתק אותי ואת עמיתיי. אז מהן הנקודות האלו? הנקודות הן אנחנו, כולנו. אנחנו נעים בבית, במשרד, בקניות ובחופשה, ברחבי הערים ומסביב לעולם. האם לא היה נפלא אילו יכולנו להבין את התנועה הזאת, אילו יכולנו למצוא בה תבניות, משמעויות ותובנות? התמזל מזלנו ואנחנו חיים בעידן עתיר אפשרויות תיעוד עצמי. חיישנים, סרטונים ואפליקציות מאפשרים לנו לעקוב אחרי התנועה שלנו ולקבל עליה נתונים מפורטים ביותר.
So it turns out one of the places where we have the best data about movement is sports. So whether it's basketball or baseball, or football or the other football, we're instrumenting our stadiums and our players to track their movements every fraction of a second. So what we're doing is turning our athletes into -- you probably guessed it -- moving dots.
ומתברר שאחד התחומים שבהם הנתונים שיש לנו על התנועה טובים במיוחד הוא הספורט. בכדורסל, בבייסבול, בכדורגל או בפוטבול, אנחנו מתקינים ציוד באצטדיונים שלנו ועל השחקנים כדי לתעד את התנועות שלהם בכל שבריר שנייה. למעשה אנחנו הופכים את האתלטים שלנו ל... אתם בוודאי כבר מנחשים... נקודות נעות.
So we've got mountains of moving dots and like most raw data, it's hard to deal with and not that interesting. But there are things that, for example, basketball coaches want to know. And the problem is they can't know them because they'd have to watch every second of every game, remember it and process it. And a person can't do that, but a machine can. The problem is a machine can't see the game with the eye of a coach. At least they couldn't until now. So what have we taught the machine to see?
אז יש לנו הררי נתונים על נקודות נעות. וכמו רוב המידע הגולמי, קשה לקרוא אותם והם לא מאוד מעניינים. אבל יש דברים שמאמני כדורסל, לדוגמה, היו רוצים לדעת. אבל הם לא יכולים לדעת אותם, כי הם יצטרכו לצפות בכל שנייה של כל משחק, לזכור ולנתח אותן. בני אדם לא מסוגלים לעשות את זה, אבל מכונות יכולות. הבעיה היא שמכונות לא יכולות לראות את המשחק כמו שמאמן רואה אותו. לפחות הן לא יכלו לבצע את זה עד כה. אז מה לימדנו את המכונה לראות?
So, we started simply. We taught it things like passes, shots and rebounds. Things that most casual fans would know. And then we moved on to things slightly more complicated. Events like post-ups, and pick-and-rolls, and isolations. And if you don't know them, that's okay. Most casual players probably do. Now, we've gotten to a point where today, the machine understands complex events like down screens and wide pins. Basically things only professionals know. So we have taught a machine to see with the eyes of a coach.
התחלנו במהלכים פשוטים. לימדנו את המכונה מהם מסירות, זריקות וכדורים חוזרים. מהלכים פשוטים שכל חובב כדורסל מכיר. משם עברנו למהלכים קצת יותר מורכבים. מהלכים כמו פוסט-אפ, פיק-אנד-רול ובידוד. המהלכים האלה מוכרים לרוב השחקנים החובבנים וגם אם אינכם מכירים אותם - לא נורא. היום המכונה מבינה כבר מהלכים מורכבים כמו Down screens ו-Wide pins. דברים שרק מקצוענים מכירים. לימדנו את המכונה לראות מנקודת המבט של המאמן.
So how have we been able to do this? If I asked a coach to describe something like a pick-and-roll, they would give me a description, and if I encoded that as an algorithm, it would be terrible. The pick-and-roll happens to be this dance in basketball between four players, two on offense and two on defense. And here's kind of how it goes. So there's the guy on offense without the ball the ball and he goes next to the guy guarding the guy with the ball, and he kind of stays there and they both move and stuff happens, and ta-da, it's a pick-and-roll.
איך עשינו את זה? אם הייתי מבקש ממאמן לתאר מהלך כמו פיק-אנד-רול, והייתי מקודד את התיאור שלו כאלגוריתם, זה היה איום ונורא. פיק-אנד-רול הוא ריקוד של ארבעה שחקנים בכדורסל, שני תוקפים ושני מגינים. הוא מתנהל בערך ככה: שחקן תוקף שהכדור לא בידיו מתקרב לשחקן ההגנה ששומר על השחקן עם הכדור, ואז הוא נשאר בסביבה, ושניהם נעים וקורים כל מיני דברים וטה-דה! קיבלנו פיק-אנד-רול.
(Laughter)
(צחוק)
So that is also an example of a terrible algorithm. So, if the player who's the interferer -- he's called the screener -- goes close by, but he doesn't stop, it's probably not a pick-and-roll. Or if he does stop, but he doesn't stop close enough, it's probably not a pick-and-roll. Or, if he does go close by and he does stop but they do it under the basket, it's probably not a pick-and-roll. Or I could be wrong, they could all be pick-and-rolls. It really depends on the exact timing, the distances, the locations, and that's what makes it hard. So, luckily, with machine learning, we can go beyond our own ability to describe the things we know.
זאת גם דוגמה לאלגוריתם גרוע. אם השחקן שמפריע, שנקרא השחקן החוסם, מתקרב לשחקן עם הכדור אבל לא עוצר, זה כנראה לא פיק-אנד-רול. אם הוא עוצר, אבל לא עוצר מספיק קרוב, גם זה כנראה לא פיק-אנד-רול. אם הוא עוצר מספיק קרוב, אבל שני השחקנים מתחת לסל, גם זה כנראה לא פיק-אנד-רול. ואולי אני בכלל טועה, וכל המהלכים האלה יכולים להיות פיק-אנד-רול. זה תלוי בתזמון המדויק, במרחקים, במיקומים, וזה מה שמסבך את העניין. למרבה המזל, למידה חישובית מאפשרת לנו לפרוץ את גבולות היכולת שלנו לתאר את הדברים שאנחנו יודעים.
So how does this work? Well, it's by example. So we go to the machine and say, "Good morning, machine. Here are some pick-and-rolls, and here are some things that are not. Please find a way to tell the difference." And the key to all of this is to find features that enable it to separate. So if I was going to teach it the difference between an apple and orange, I might say, "Why don't you use color or shape?" And the problem that we're solving is, what are those things? What are the key features that let a computer navigate the world of moving dots? So figuring out all these relationships with relative and absolute location, distance, timing, velocities -- that's really the key to the science of moving dots, or as we like to call it, spatiotemporal pattern recognition, in academic vernacular. Because the first thing is, you have to make it sound hard -- because it is.
אז איך זה עובד? בעזרת דוגמאות. אנחנו ניגשים למכונה ואומרים לה, "בוקר טוב, מכונה. הנה כמה מהלכים של פיק-אנד-רול, והנה כמה מהלכים שהם לא פיק-אנד-רול. תמצאי בבקשה דרך לזהות את ההבדלים ביניהם". המפתח לכך הוא למצוא מאפיינים שמאפשרים לבצע את ההבחנה הזאת. לדוגמה, אילו רציתי ללמד את המכונה להבדיל בין תפוזים לתפוחים, הייתי מציע לה "אולי תבדקי צבע או צורה?" הבעיה שאנחנו מנסים לפתור היא, מהם המאפיינים האלה? מהם מאפייני המפתח שמאפשרים למחשב לנווט בעולם הנקודות הנעות? הבנת היחסים בין מיקום, מרחק, תזמון ומהירויות יחסיים ומוחלטים, היא המפתח למדע הנקודות הנעות, או כפי שאנחנו מכנים זאת בשפה האקדמית, זיהוי תבניות מרחב-זמן. זה נשמע מסובך, כי זה באמת מסובך.
The key thing is, for NBA coaches, it's not that they want to know whether a pick-and-roll happened or not. It's that they want to know how it happened. And why is it so important to them? So here's a little insight. It turns out in modern basketball, this pick-and-roll is perhaps the most important play. And knowing how to run it, and knowing how to defend it, is basically a key to winning and losing most games. So it turns out that this dance has a great many variations and identifying the variations is really the thing that matters, and that's why we need this to be really, really good.
חשוב להבין שלמאמני אן-בי-איי לא באמת אכפת אם היה או לא היה פיק-אנד-רול. אלא הם רוצים להבין איך המהלך התרחש. ולמה זה כל כך חשוב להם? מתברר שבכדורסל מודרני, הפיק-אנד-רול נחשב למהלך החשוב ביותר במשחק. והידע איך לנהל אותו, והידע איך להתגונן מפניו, הם למעשה המפתח לניצחון או להפסד ברוב המשחקים. מתברר שלריקוד הזה יש הרבה מאוד וריאציות, והזיהוי שלהן הוא שורש העניין, ולכן אנחנו צריכים למצוא דרך לבצע את הזיהוי בצורה מיטבית.
So, here's an example. There are two offensive and two defensive players, getting ready to do the pick-and-roll dance. So the guy with ball can either take, or he can reject. His teammate can either roll or pop. The guy guarding the ball can either go over or under. His teammate can either show or play up to touch, or play soft and together they can either switch or blitz and I didn't know most of these things when I started and it would be lovely if everybody moved according to those arrows. It would make our lives a lot easier, but it turns out movement is very messy. People wiggle a lot and getting these variations identified with very high accuracy, both in precision and recall, is tough because that's what it takes to get a professional coach to believe in you. And despite all the difficulties with the right spatiotemporal features we have been able to do that.
הנה דוגמה. יש שני תוקפים ושני מגינים שמתכוננים לבצע את ריקוד הפיק-אנד-רול. השחקן עם הכדור יכול לבחור בין Take לבין Reject. השותף שלו יכול לבחור בין Roll לבין Pop. השחקן ששומר על השחקן עם הכדור יכול לבחור בין Over ל-Under. השותף שלו יכול לבחור בין Show ל-Up to Touch או ל-Soft. וביחד הם יכולים לבחור בין Switch ל-Blitz. בתחילת הדרך לא הכרתי את רוב המונחים האלה. אם השחקנים היו תמיד נעים לפי החצים, החיים שלנו היו הרבה יותר קלים. אבל מתברר שתנועה היא עסק מאוד מבולגן. התנועה של השחקנים מפותלת מאוד, וקשה מאוד לזהות את הווריאציות השונות ברמת נכונות גבוהה, ולשמור על רמות גבוהות של דיוק ואחזור. כדי שמאמנים מקצועיים יאמינו במערכת שלנו היא חייבת לעמוד בדרישות האלה. ולמרות הקשיים המרובים במציאת מאפייני המרחב-זמן המתאימים הצלחנו לעשות את זה.
Coaches trust our ability of our machine to identify these variations. We're at the point where almost every single contender for an NBA championship this year is using our software, which is built on a machine that understands the moving dots of basketball. So not only that, we have given advice that has changed strategies that have helped teams win very important games, and it's very exciting because you have coaches who've been in the league for 30 years that are willing to take advice from a machine. And it's very exciting, it's much more than the pick-and-roll. Our computer started out with simple things and learned more and more complex things and now it knows so many things. Frankly, I don't understand much of what it does, and while it's not that special to be smarter than me, we were wondering, can a machine know more than a coach? Can it know more than person could know? And it turns out the answer is yes.
מאמנים בוטחים ביכולת של המכונה שלנו לזהות את הווריאציות האלה. כמעט כל הקבוצות שמתמודדות השנה על אליפות האן-בי-איי משתמשות בתוכנה שלנו, שמבוססת על מכונה שמבינה את הנקודות הנעות במשחק הכדורסל. מעבר לזה, הייעוץ שלנו שינה אסטרטגיות של קבוצות ועזר להן לנצח במשחקי מפתח. זה מאוד מרגש אותנו. מאמנים עם ותק של 30 שנות אימון מוכנים לקבל עצות ממכונה. וזה מאוד מרגש. לא מדובר רק בפיק-אנד-רול. המחשב שלנו התחיל בדברים פשוטים, ולמד דברים יותר ויותר מורכבים. והיום הוא יודע הרבה מאוד דברים. למען האמת, אני כבר לא מבין הרבה מהדברים שהוא עושה. אמנם לא קשה להיות יותר חכם ממני, אבל תהינו אם מכונה יכולה לדעת יותר ממאמנים? האם המכונה יכולה לדעת יותר מאדם? והתשובה היא כן.
The coaches want players to take good shots. So if I'm standing near the basket and there's nobody near me, it's a good shot. If I'm standing far away surrounded by defenders, that's generally a bad shot. But we never knew how good "good" was, or how bad "bad" was quantitatively. Until now.
המאמנים רוצים שהשחקנים יזרקו זריקות טובות. אם אני עומד ליד הסל ואין אף אחד אחר לידי, זאת זריקה טובה. אם אני רחוק מהסל ומוקף בשחקני הגנה, זאת בדרך כלל זריקה גרועה. אבל לא ידענו מבחינת כמותית כמה "טוב" הוא טוב או כמה "רע" הוא רע. עד עכשיו.
So what we can do, again, using spatiotemporal features, we looked at every shot. We can see: Where is the shot? What's the angle to the basket? Where are the defenders standing? What are their distances? What are their angles? For multiple defenders, we can look at how the player's moving and predict the shot type. We can look at all their velocities and we can build a model that predicts what is the likelihood that this shot would go in under these circumstances? So why is this important? We can take something that was shooting, which was one thing before, and turn it into two things: the quality of the shot and the quality of the shooter. So here's a bubble chart, because what's TED without a bubble chart?
כעת, בעזרת מאפיינים של מרחב-זמן אנחנו יכולים לבחון כל זריקה. אנחנו יכולים לראות: מאיפה מתבצעת הזריקה? מה הזווית לסל? איפה עומדים המגינים? מה המרחקים מהם? מה הזוויות שלהם? אם יש כמה מגינים, אנחנו יכולים לבדוק איך השחקן נע ולחזות את סוג הזריקה שלו. אנחנו יכולים לבחון את המהירויות שלהם, ואנחנו יכולים לבנות מודל שחוזה מראש מה הסיכוי שהזריקה הזאת תיכנס לסל בנסיבות האלה. מה החשיבות של זה? אנחנו יכולים לקחת זריקה, ולחלק אותה לשני חלקים: איכות הזריקה ואיכות הזורק. זה תרשים בועות, כי ב-TED אי אפשר בלי תרשים בועות...
(Laughter)
(צחוק)
Those are NBA players. The size is the size of the player and the color is the position. On the x-axis, we have the shot probability. People on the left take difficult shots, on the right, they take easy shots. On the [y-axis] is their shooting ability. People who are good are at the top, bad at the bottom. So for example, if there was a player who generally made 47 percent of their shots, that's all you knew before. But today, I can tell you that player takes shots that an average NBA player would make 49 percent of the time, and they are two percent worse. And the reason that's important is that there are lots of 47s out there. And so it's really important to know if the 47 that you're considering giving 100 million dollars to is a good shooter who takes bad shots or a bad shooter who takes good shots. Machine understanding doesn't just change how we look at players, it changes how we look at the game.
אלה שחקני אן-בי-איי. גודל הבועה הוא גובה השחקן והצבע שלה הוא המיקום שלו. ציר ה-x מציג את סיכויי הזריקה. השחקנים שמשמאל זורקים זריקות קשות, ושחקנים בצד ימין זורקים זריקות קלות. ציר ה-y מציג את כישורי הזריקה שלהם. השחקנים הטובים נמצאים למעלה, והגרועים למטה. נניח לדוגמה ששחקן מגיע ל-47 אחוזי הצלחה בזריקות. בעבר זה כל מה שידענו עליו. אבל היום אני יכול לספר לכם שהשחקן זורק זריקות ששחקן ממוצע באן-בי-איי מצליח ב-49 אחוזים מהן. כלומר, הוא גרוע מהשחקן הממוצע בשני אחוזים. והנתון הזה חשוב, כי יש הרבה שחקני 47. וחשוב מאוד לדעת אם שחקן ה-47 ששוקלים לשלם לו מאה מיליון דולר הוא קלע טוב שזורק זריקות גרועות או קלע גרוע שזורק זריקות טובות. ההבנה של המכונה לא משנה רק את ההסתכלות שלנו על שחקנים, היא משנה גם את ההסתכלות שלנו על המשחק.
So there was this very exciting game a couple of years ago, in the NBA finals. Miami was down by three, there was 20 seconds left. They were about to lose the championship. A gentleman named LeBron James came up and he took a three to tie. He missed. His teammate Chris Bosh got a rebound, passed it to another teammate named Ray Allen. He sank a three. It went into overtime. They won the game. They won the championship. It was one of the most exciting games in basketball. And our ability to know the shot probability for every player at every second, and the likelihood of them getting a rebound at every second can illuminate this moment in a way that we never could before. Now unfortunately, I can't show you that video. But for you, we recreated that moment at our weekly basketball game about 3 weeks ago.
לפני כמה שנים התנהל המשחק המרגש הבא בסדרת הגמר של האן-בי-איי. מיאמי פיגרה בשלוש נקודות, ונותרו 20 שניות לסיום. הם עמדו לאבד את האליפות. בחור בשם לברון ג'יימס זרק שלשה כדי להשוות את התוצאה. הוא החטיא. חברו לקבוצה כריס בוש תפס את הכדור החוזר, ומסר אותו לחברם לקבוצה ריי אלן. הוא קלע שלשה והמשחק הגיע להארכה. הם ניצחו במשחק. הם זכו באליפות. זה היה אחד המשחקים המרגשים ביותר בכדורסל. היכולת שלנו לדעת את אחוזי הקליעה של כל שחקן בכל שנייה ואת הסיכוי של כל שחקן לתפוס כדור חוזר בכל שנייה יכולה לשפוך אור על כל רגע בדרך שלא היתה קיימת בעבר. לרוע המזל אני לא יכול להציג לכם את הסרטון. אבל שחזרנו עבורכם את הרגע ההוא במשחק הכדורסל השבועי שלנו לפני שלושה שבועות.
(Laughter)
(צחוק)
And we recreated the tracking that led to the insights. So, here is us. This is Chinatown in Los Angeles, a park we play at every week, and that's us recreating the Ray Allen moment and all the tracking that's associated with it. So, here's the shot. I'm going to show you that moment and all the insights of that moment. The only difference is, instead of the professional players, it's us, and instead of a professional announcer, it's me. So, bear with me.
ושחזרנו גם את כל המהלכים שהובילו לתובנות שלנו. הנה אנחנו בצ'יינטאון שבלוס אנג'לס בפארק שבו אנחנו משחקים כל שבוע. וכאן אנחנו משחזרים את הרגע של ריי אלן ואת כל המהלכים שהובילו אליו. זאת הזריקה. עכשיו נראה את הרגע ההוא ואת כל התובנות שלנו על הרגע ההוא. ההבדל היחיד הוא שאנחנו ממלאים את מקום השחקנים המקצועיים, ואני ממלא את מקומו של הכרוז המקצועי. אז תהיו סבלניים כלפיי.
Miami. Down three. Twenty seconds left. Jeff brings up the ball. Josh catches, puts up a three!
מיאמי. פיגור של שלוש נקודות. עשרים שניות לסיום. ג'ף מקדם את הכדור. ג'וש תופס את הכדור וזורק שלשה!
[Calculating shot probability]
[הסיכוי לקליעה - 33%]
[Shot quality]
[איכות הזריקה - ג'וש - 33%]
[Rebound probability]
[הסיכוי לריבאונד - נואל - 12%]
Won't go!
לא נכנס!
[Rebound probability]
[הסיכוי לריבאונד - נואל - 32%]
Rebound, Noel. Back to Daria.
ריבאונד, נואל. בחזרה לדריה.
[Shot quality]
[איכות הזריקה - דריה - 37%]
Her three-pointer -- bang! Tie game with five seconds left. The crowd goes wild.
שלוש נקודות - בנג! נותרו חמש שניות לסיום. הקהל משתולל.
(Laughter)
(צחוק)
That's roughly how it happened.
ככה בערך זה קרה.
(Applause)
(מחיאות כפיים)
Roughly.
בערך.
(Applause) That moment had about a nine percent chance of happening in the NBA and we know that and a great many other things. I'm not going to tell you how many times it took us to make that happen.
(מחיאות כפיים) לרגע הזה היה סיכוי של כתשעה אחוזים להתרחש באן-בי-איי. ואנחנו יודעים את זה והרבה דברים נוספים. לא אגלה לכם כמה ניסיונות עשינו עד שהצלחנו.
(Laughter)
(צחוק)
Okay, I will! It was four.
טוב, בכל זאת אגלה לכם. ניסינו ארבע פעמים.
(Laughter)
(צחוק)
Way to go, Daria.
כל הכבוד, דריה.
But the important thing about that video and the insights we have for every second of every NBA game -- it's not that. It's the fact you don't have to be a professional team to track movement. You do not have to be a professional player to get insights about movement.
אבל הסרטון הזה והתובנות שלנו לגבי כל שנייה של כל משחק אן-בי-איי חשובים מסיבה אחרת. והסיבה היא שלא צריך להיות קבוצה מקצוענית כדי לעקוב אחרי תנועה. לא צריך להיות שחקן מקצועי כדי לקבל תובנות על תנועה.
In fact, it doesn't even have to be about sports because we're moving everywhere. We're moving in our homes, in our offices, as we shop and we travel throughout our cities and around our world. What will we know? What will we learn? Perhaps, instead of identifying pick-and-rolls, a machine can identify the moment and let me know when my daughter takes her first steps. Which could literally be happening any second now.
למעשה, הנושא אינו מוגבל רק לספורט, כי אנחנו נעים בכל מקום. אנחנו נעים בבתים שלנו, במשרדים שלנו, כשאנחנו יוצאים לקניות, כשאנחנו מטיילים בתוך הערים ומסביב לעולם. מה נדע? מה נלמד? אולי, במקום לזהות פיק-אנד-רול, המכונה תוכל לזהות את הרגע ולהודיע לי מתי הבת שלי צועדת את צעדיה הראשונים. דבר שצפוי להתרחש בכל רגע.
Perhaps we can learn to better use our buildings, better plan our cities. I believe that with the development of the science of moving dots, we will move better, we will move smarter, we will move forward.
אולי נוכל ללמוד לנצל בצורה טובה יותר את הבניינים שלנו ולתכנן טוב יותר את הערים שלנו. אני מאמין שכשמדע הנקודות הנעות יתפתח, ננוע טוב יותר, ננוע בצורה חכמה יותר, ננוע קדימה.
Thank you very much.
תודה רבה.
(Applause)
(מחיאות כפיים)