My colleagues and I are fascinated by the science of moving dots. So what are these dots? Well, it's all of us. And we're moving in our homes, in our offices, as we shop and travel throughout our cities and around the world. And wouldn't it be great if we could understand all this movement? If we could find patterns and meaning and insight in it. And luckily for us, we live in a time where we're incredibly good at capturing information about ourselves. So whether it's through sensors or videos, or apps, we can track our movement with incredibly fine detail.
Mijn collega's en ik zijn gefascineerd door de wetenschap van bewegende puntjes. Welke puntjes? Puntjes zoals jij en ik. We bewegen door ons huis, in ons kantoor, winkelend en reizend, door onze steden en over de wereld. Zou het niet mooi zijn als we al deze bewegingen konden begrijpen? Als we er patronen, betekenis en inzicht in konden vinden? Gelukkig zijn we tegenwoordig erg goed in het registreren van informatie over onszelf. Of we het nou doen met sensors, video's of applicaties, we kunnen onze bewegingen tot in extreem detail volgen.
So it turns out one of the places where we have the best data about movement is sports. So whether it's basketball or baseball, or football or the other football, we're instrumenting our stadiums and our players to track their movements every fraction of a second. So what we're doing is turning our athletes into -- you probably guessed it -- moving dots.
Het blijkt dat een van de beste plaatsen om deze data te verzamelen sport is. Dus of het nou basketbal, honkbal, voetbal of American football is, we rusten onze stadions en spelers uit met instrumenten om elke milliseconde van hun bewegingen te registreren. Wat we dus eigenlijk doen is onze atleten veranderen in -- je raadt het al -- bewegende puntjes.
So we've got mountains of moving dots and like most raw data, it's hard to deal with and not that interesting. But there are things that, for example, basketball coaches want to know. And the problem is they can't know them because they'd have to watch every second of every game, remember it and process it. And a person can't do that, but a machine can. The problem is a machine can't see the game with the eye of a coach. At least they couldn't until now. So what have we taught the machine to see?
Zo komen we tot massa's bewegende puntjes, maar net zoals met de meeste ruwe data kun je er dan nog weinig mee. Er zijn echter dingen die bijvoorbeeld basketbaltrainers willen weten. Dingen die ze niet kúnnen weten, omdat ze daarvoor elke seconde van elke wedstrijd zouden moeten zien, onthouden en verwerken. Dat kan een mens niet. Maar een machine wel. Het probleem is dat een machine niet kijkt met het oog van een coach. Althans, dat konden ze niet. Nu wel. Wat hebben we de machine leren zien?
So, we started simply. We taught it things like passes, shots and rebounds. Things that most casual fans would know. And then we moved on to things slightly more complicated. Events like post-ups, and pick-and-rolls, and isolations. And if you don't know them, that's okay. Most casual players probably do. Now, we've gotten to a point where today, the machine understands complex events like down screens and wide pins. Basically things only professionals know. So we have taught a machine to see with the eyes of a coach.
We zijn simpel begonnen. We leerden haar wat passes, schoten en rebounds zijn. Dingen die de gemiddelde fan ook weet. Daarna gingen we wat lastiger dingen doen. Dingen als post-ups, pick-and-rolls en isolaties. Het geeft niet als dat je niets zegt. De meeste spelers weten het wel. We zijn inmiddels op een punt dat de machine complexe zaken begrijpt, zoals down-screens en wide-pins. Dingen die eigenlijk alleen professionals weten. We hebben de machine dus geleerd met het oog van een coach te kijken.
So how have we been able to do this? If I asked a coach to describe something like a pick-and-roll, they would give me a description, and if I encoded that as an algorithm, it would be terrible. The pick-and-roll happens to be this dance in basketball between four players, two on offense and two on defense. And here's kind of how it goes. So there's the guy on offense without the ball the ball and he goes next to the guy guarding the guy with the ball, and he kind of stays there and they both move and stuff happens, and ta-da, it's a pick-and-roll.
Hoe hebben we dit voor elkaar gekregen? Als ik een coach zou vragen wat een pick-and-roll is, zou hij het beschrijven, maar daar kan ik niet zomaar een algoritme van maken. Een pick-and-roll is een basketbaldans voor twee aanvallers en twee verdedigers. Dat gaat ongeveer zo. De aanvaller zonder bal gaat naast de verdediger staan die de aanvaller met de bal verdedigt en hij blijft daar staan, ze bewegen allebei, er gebeurt iets, ta-da, dat is een pick-and-roll.
(Laughter)
(Gelach)
So that is also an example of a terrible algorithm. So, if the player who's the interferer -- he's called the screener -- goes close by, but he doesn't stop, it's probably not a pick-and-roll. Or if he does stop, but he doesn't stop close enough, it's probably not a pick-and-roll. Or, if he does go close by and he does stop but they do it under the basket, it's probably not a pick-and-roll. Or I could be wrong, they could all be pick-and-rolls. It really depends on the exact timing, the distances, the locations, and that's what makes it hard. So, luckily, with machine learning, we can go beyond our own ability to describe the things we know.
Dat is een voorbeeld van een slecht algoritme. Als die aanvaller zonder bal -- die noemen we de screener -- in de buurt komt maar niet stopt, is het niet echt een pick-and-roll. Of als hij wel stopt, maar hij staat er te ver vanaf, dan is het ook geen pick-and-roll. Stopt hij wel en staat hij er dicht genoeg bij, maar het gebeurt onder de basket, is het ook geen pick-and-roll. Of ik heb het mis en het zijn wel pick-and-rolls. Dat hangt af van de exacte timing, de afstanden en de locaties, en dat maakt het zo lastig. Gelukkig kunnen we de machine het beter leren beschrijven dan we dat zelf kunnen.
So how does this work? Well, it's by example. So we go to the machine and say, "Good morning, machine. Here are some pick-and-rolls, and here are some things that are not. Please find a way to tell the difference." And the key to all of this is to find features that enable it to separate. So if I was going to teach it the difference between an apple and orange, I might say, "Why don't you use color or shape?" And the problem that we're solving is, what are those things? What are the key features that let a computer navigate the world of moving dots? So figuring out all these relationships with relative and absolute location, distance, timing, velocities -- that's really the key to the science of moving dots, or as we like to call it, spatiotemporal pattern recognition, in academic vernacular. Because the first thing is, you have to make it sound hard -- because it is.
Hoe dat werkt? Aan de hand van voorbeelden. We zeggen tegen de machine: "Goedemorgen, machine. Dit zijn wel pick-and-rolls en dit zijn er geen. Zoek voor me uit waar het verschil in zit." De sleutel is om de kenmerken te vinden die het verschil maken. Moet ik het verschil uitleggen tussen een appel en een sinaasappel, dan zeg ik bijvoorbeeld: "Kijk eens naar kleur of vorm." Wij moeten uitvinden welke dingen dat zijn. Met welke kenmerken krijgt een computer vat op de wereld van bewegende puntjes? Het ontdekken van al deze relaties met relatieve en absolute locaties, afstand, timing, snelheden, dat is de essentie van de wetenschap der bewegende puntjes, oftewel: tijdruimtelijke patroonherkenning, in academische bewoordingen. Je moet het altijd moeilijk laten klinken, want dat is het ook.
The key thing is, for NBA coaches, it's not that they want to know whether a pick-and-roll happened or not. It's that they want to know how it happened. And why is it so important to them? So here's a little insight. It turns out in modern basketball, this pick-and-roll is perhaps the most important play. And knowing how to run it, and knowing how to defend it, is basically a key to winning and losing most games. So it turns out that this dance has a great many variations and identifying the variations is really the thing that matters, and that's why we need this to be really, really good.
Het gaat er de NBA-coaches niet om of er een pick-and-roll was of niet; ze willen weten hóe dat gebeurde. Waarom dat zo belangrijk is? Dat zal ik je vertellen. Het blijkt dat in modern basketbal de pick-and-roll wellicht het belangrijkste spelletje is. Weten hoe het uit te voeren en hoe het te verdedigen, is een sleutel tot het winnen of verliezen van wedstrijden. Het blijkt dat deze dans vele variaties kent en het identificeren van die variaties is cruciaal. Daarom moeten we dit dus echt goed in kaart hebben.
So, here's an example. There are two offensive and two defensive players, getting ready to do the pick-and-roll dance. So the guy with ball can either take, or he can reject. His teammate can either roll or pop. The guy guarding the ball can either go over or under. His teammate can either show or play up to touch, or play soft and together they can either switch or blitz and I didn't know most of these things when I started and it would be lovely if everybody moved according to those arrows. It would make our lives a lot easier, but it turns out movement is very messy. People wiggle a lot and getting these variations identified with very high accuracy, both in precision and recall, is tough because that's what it takes to get a professional coach to believe in you. And despite all the difficulties with the right spatiotemporal features we have been able to do that.
Hier is een voorbeeld. Er zijn twee aanvallers en twee verdedigers, klaar om de pick-and-roll-dans te doen. Degene met de bal kan aannemen of weigeren. Zijn teamgenoot kan afrollen of 'poppen'. Degene die op de bal verdedigt kan erover of eronder gaan. Zijn medespeler kan dreigen, uitstappen of terugvallen en samen kunnen ze switchen, of allebei de bal aanvallen. Ik wist deze dingen ook niet toen ik begon en het zou mooi zijn als iedereen beweegt zoals deze pijlen. Dat zou wel makkelijk zijn, maar de praktijk is veel rommeliger. Bewegingen zijn vaak onduidelijk en het accuraat identificeren van deze variaties in precisie en herinnering is lastig, maar alleen zo win je het vertrouwen van een professionele coach. Ondanks alle moeilijkheden met die tijdruimtelijke eigenschappen zijn we daarin geslaagd.
Coaches trust our ability of our machine to identify these variations. We're at the point where almost every single contender for an NBA championship this year is using our software, which is built on a machine that understands the moving dots of basketball. So not only that, we have given advice that has changed strategies that have helped teams win very important games, and it's very exciting because you have coaches who've been in the league for 30 years that are willing to take advice from a machine. And it's very exciting, it's much more than the pick-and-roll. Our computer started out with simple things and learned more and more complex things and now it knows so many things. Frankly, I don't understand much of what it does, and while it's not that special to be smarter than me, we were wondering, can a machine know more than a coach? Can it know more than person could know? And it turns out the answer is yes.
Coaches vertrouwen erop dat onze machine deze variaties kan identificeren. We zijn nu zover dat bijna elke topploeg die NBA-kampioen zou kunnen worden, gebruik maakt van onze software, die is gebouwd op een machine die de bewegende puntjes begrijpt. Buiten dat hebben we ook advies gegeven dat strategieën heeft veranderd, waardoor teams belangrijke wedstrijden hebben kunnen winnen. Het is heel opwindend om te zien dat coaches met 30 jaar ervaring advies aannemen van een machine. Het is erg boeiend en veel meer dan pick-and-roll. Onze computer begon met simpele dingen die gaandeweg complexer werden en inmiddels weet hij ontzettend veel. Eerlijk gezegd begrijp ik weinig van wat hij doet. Nu is er is niet zóveel voor nodig om slimmer te zijn dan ik, maar zou een computer meer kunnen weten dan een coach? Kan hij meer weten dan een persoon? Het antwoord daarop blijkt 'ja'.
The coaches want players to take good shots. So if I'm standing near the basket and there's nobody near me, it's a good shot. If I'm standing far away surrounded by defenders, that's generally a bad shot. But we never knew how good "good" was, or how bad "bad" was quantitatively. Until now.
Coaches willen dat spelers schieten in kansrijke posities. Sta ik in mijn eentje dicht bij de basket, dan is dat een goed schot. Sta ik veraf met verdedigers om me heen, dan is dat meestal een slecht schot. We wisten alleen nooit hoe goed 'goed' was en hoe slecht 'slecht' was, kwantitatief. Tot nu.
So what we can do, again, using spatiotemporal features, we looked at every shot. We can see: Where is the shot? What's the angle to the basket? Where are the defenders standing? What are their distances? What are their angles? For multiple defenders, we can look at how the player's moving and predict the shot type. We can look at all their velocities and we can build a model that predicts what is the likelihood that this shot would go in under these circumstances? So why is this important? We can take something that was shooting, which was one thing before, and turn it into two things: the quality of the shot and the quality of the shooter. So here's a bubble chart, because what's TED without a bubble chart?
We zijn gaan kijken naar de tijdruimtelijke eigenschappen van elk schot. Waar wordt geschoten? Wat is de hoek naar de basket? Waar zijn de verdedigers? Hoever staan ze ervan af? Onder welke hoek? Bij meerdere verdedigers kijken we naar hoe de speler beweegt en voorspellen het type schot. We kijken naar alle snelheden en bouwen dan een model dat voorspelt: wat is de kans dat dit schot erin gaat onder deze omstandigheden? Waarom is dit belangrijk? We breken zoiets als 'schieten', van één ding, in twee dingen: de kwaliteit van het schot en die van de schutter. Hier is een bellendiagram, want wat is TED zonder een bellendiagram?
(Laughter)
(Gelach)
Those are NBA players. The size is the size of the player and the color is the position. On the x-axis, we have the shot probability. People on the left take difficult shots, on the right, they take easy shots. On the [y-axis] is their shooting ability. People who are good are at the top, bad at the bottom. So for example, if there was a player who generally made 47 percent of their shots, that's all you knew before. But today, I can tell you that player takes shots that an average NBA player would make 49 percent of the time, and they are two percent worse. And the reason that's important is that there are lots of 47s out there. And so it's really important to know if the 47 that you're considering giving 100 million dollars to is a good shooter who takes bad shots or a bad shooter who takes good shots. Machine understanding doesn't just change how we look at players, it changes how we look at the game.
Dat zijn NBA-spelers. De maat is de lengte van de speler en de kleur is hun positie. Op de x-as hebben we de schotkans. De mensen links nemen moeilijke schoten en die rechts makkelijke schoten. Op de y-as staat hun schietvaardigheid. De beste staan bovenaan, de slechtste onderaan. Als er bijvoorbeeld een speler was die 47% van zijn schoten scoorde, was dat vroeger alles dat je wist. Nu kan ik aantonen dat die speler schoten neemt die door de gemiddelde NBA-speler 49% van de tijd raak geschoten worden, en dat hij dus twee procent slechter is. Dat is zo belangrijk omdat er massa's spelers 47 scoren. Het is dus van groot belang om te weten of die 47 die 100 miljoen dollar kost een goede schutter is die slechte schoten neemt, of een slechte schutter die goede schoten neemt. Dat digitale inzicht verandert niet alleen hoe we naar spelers kijken, maar ook hoe we naar het spel kijken.
So there was this very exciting game a couple of years ago, in the NBA finals. Miami was down by three, there was 20 seconds left. They were about to lose the championship. A gentleman named LeBron James came up and he took a three to tie. He missed. His teammate Chris Bosh got a rebound, passed it to another teammate named Ray Allen. He sank a three. It went into overtime. They won the game. They won the championship. It was one of the most exciting games in basketball. And our ability to know the shot probability for every player at every second, and the likelihood of them getting a rebound at every second can illuminate this moment in a way that we never could before. Now unfortunately, I can't show you that video. But for you, we recreated that moment at our weekly basketball game about 3 weeks ago.
Een paar jaar geleden was er een spannende wedstrijd in de NBA-finale. Miami stond drie punten achter met nog 20 seconden te gaan. Ze gingen het kampioenschap verliezen. LeBron James probeerde gelijk te maken met een driepunter. Hij miste. Zijn teamgenoot Bosh pakte de rebound en passte de bal naar Ray Allen. Die scoorde en het werd een verlenging. Ze wonnen de wedstrijd. Ze werden kampioen. Het was één van de spannendste basketbalwedstrijden. Dat we van elke speler op elk moment de scoringskans weten en de kans dat ze een rebound pakken, kan dit moment belichten zoals nooit tevoren. Helaas kan ik de video niet laten zien. Maar -- voor jullie hebben we dat moment nagebootst tijdens onze wekelijkse basketbalwedstrijd.
(Laughter)
(Gelach)
And we recreated the tracking that led to the insights. So, here is us. This is Chinatown in Los Angeles, a park we play at every week, and that's us recreating the Ray Allen moment and all the tracking that's associated with it. So, here's the shot. I'm going to show you that moment and all the insights of that moment. The only difference is, instead of the professional players, it's us, and instead of a professional announcer, it's me. So, bear with me.
We hebben de situatie nagespeeld die tot de inzichten leidde. Dit zijn we. In Chinatown, Los Angeles. Hier spelen we elke week en hier doen we het Ray Allen-moment na met alle benodigde informatie erbij. Dit is het schot. Ik zal het moment laten zien met alle inzichten erbij. Het enige verschil is dat we geen professionals zijn en ik ben geen professionele commentator. Hier moeten we het mee doen.
Miami. Down three. Twenty seconds left. Jeff brings up the ball. Josh catches, puts up a three!
Miami. Drie punten achter. Twintig seconden nog. Jeff dribbelt de bal op. Josh vangt en schiet!
[Calculating shot probability]
[Berekening schietkans]
[Shot quality]
[Schotkwaliteit]
[Rebound probability]
[Reboundkans]
Won't go!
Hij mist!
[Rebound probability]
[Reboundkans]
Rebound, Noel. Back to Daria.
Rebound, Noel. Terug naar Daria.
[Shot quality]
[Schotkwaliteit]
Her three-pointer -- bang! Tie game with five seconds left. The crowd goes wild.
Haar driepunter -- raak! Gelijke stand met vijf seconden te gaan. Het publiek wordt gek!
(Laughter)
(Gelach)
That's roughly how it happened.
Zo ging het ongeveer.
(Applause)
(Applaus)
Roughly.
Grofweg.
(Applause) That moment had about a nine percent chance of happening in the NBA and we know that and a great many other things. I'm not going to tell you how many times it took us to make that happen.
(Applaus) De kans dat dit moment in de NBA zou gebeuren was negen procent. Dat weten we en nog veel meer. Ik ga niet vertellen hoe vaak wij hierover gedaan hebben.
(Laughter)
(Gelach)
Okay, I will! It was four.
Nou goed dan: vier keer!
(Laughter)
(Gelach)
Way to go, Daria.
Goed gedaan, Daria.
But the important thing about that video and the insights we have for every second of every NBA game -- it's not that. It's the fact you don't have to be a professional team to track movement. You do not have to be a professional player to get insights about movement.
Maar het belangrijke bij deze video, of bij de inzichten die we hebben in elke NBA-wedstrijd -- is niet dat. Het is het feit dat je geen profteam hoeft te zijn om bewegingen te volgen. Je hoeft geen profspeler te zijn om inzicht te krijgen in bewegingen.
In fact, it doesn't even have to be about sports because we're moving everywhere. We're moving in our homes, in our offices, as we shop and we travel throughout our cities and around our world. What will we know? What will we learn? Perhaps, instead of identifying pick-and-rolls, a machine can identify the moment and let me know when my daughter takes her first steps. Which could literally be happening any second now.
Het hoeft niet eens over sport te gaan, want we bewegen tenslotte overal. In onze huizen, onze kantoren, tijdens het winkelen en reizen door onze steden en over de hele wereld. Wat gaan we ontdekken? Wat gaan we leren? In plaats van pick-and-rolls kan een machine misschien het moment herkennen en mij verwittigen als mijn dochter haar eerste stapjes zet -- wat nu trouwens op elk moment zou kunnen gebeuren --
Perhaps we can learn to better use our buildings, better plan our cities. I believe that with the development of the science of moving dots, we will move better, we will move smarter, we will move forward.
Misschien kunnen we onze gebouwen en steden beter indelen. Ik denk dat de ontwikkeling van deze wetenschap ons beter, slimmer en verder vooruit zal doen bewegen.
Thank you very much.
Dank je wel.
(Applause)
(Applaus)