My colleagues and I are fascinated by the science of moving dots. So what are these dots? Well, it's all of us. And we're moving in our homes, in our offices, as we shop and travel throughout our cities and around the world. And wouldn't it be great if we could understand all this movement? If we could find patterns and meaning and insight in it. And luckily for us, we live in a time where we're incredibly good at capturing information about ourselves. So whether it's through sensors or videos, or apps, we can track our movement with incredibly fine detail.
Io e i miei colleghi siamo affascinati dalla scienza dei punti in movimento. Cosa sono questi punti? Beh, siamo tutti noi. Ci spostiamo in casa e in ufficio, mentre facciamo acquisti o viaggiamo, tra le nostre città e in tutto il mondo. Sarebbe bello riuscire a capire tutto questo movimento. Trovarci schemi, significati, conoscenze nuove. E fortunatamente per noi, viviamo in un'era in cui siamo incredibilmente bravi a catturare informazioni su noi stessi. Attraverso sensori, video, applicazioni, infatti, noi possiamo tracciare il nostro movimento in modo davvero dettagliato.
So it turns out one of the places where we have the best data about movement is sports. So whether it's basketball or baseball, or football or the other football, we're instrumenting our stadiums and our players to track their movements every fraction of a second. So what we're doing is turning our athletes into -- you probably guessed it -- moving dots.
E a quanto pare, uno dei settori che fornisce i migliori dati sul movimento è lo sport. Che si tratti di basket o baseball, di calcio o rubgy, stiamo attrezzando gli stadi e i giocatori per tracciare i loro movimenti a ogni frazione di secondo. Quindi ciò che stiamo facendo è trasformare i nostri atleti in -- probabilmente l'avrete già capito - punti in movimento.
So we've got mountains of moving dots and like most raw data, it's hard to deal with and not that interesting. But there are things that, for example, basketball coaches want to know. And the problem is they can't know them because they'd have to watch every second of every game, remember it and process it. And a person can't do that, but a machine can. The problem is a machine can't see the game with the eye of a coach. At least they couldn't until now. So what have we taught the machine to see?
Quindi abbiamo montagne di punti in movimento e, come la maggior parte dei dati grezzi, sono difficili da gestire e spesso non interessanti. Ma esistono cose che, per esempio, gli allenatori di basket vogliono sapere. Il problema è che non possono saperle perché dovrebbero guardare ogni secondo di ogni partita, ricordarselo ed esaminarlo. E una persona non può farlo. Ma una macchina sì! Però una macchina non può vedere il gioco con gli occhi di un allenatore. Quantomeno non poteva finora. Cosa abbiamo insegnato a vedere alla macchina, quindi?
So, we started simply. We taught it things like passes, shots and rebounds. Things that most casual fans would know. And then we moved on to things slightly more complicated. Events like post-ups, and pick-and-rolls, and isolations. And if you don't know them, that's okay. Most casual players probably do. Now, we've gotten to a point where today, the machine understands complex events like down screens and wide pins. Basically things only professionals know. So we have taught a machine to see with the eyes of a coach.
Abbiamo iniziato in modo semplice. Le abbiamo insegnato cose come i passaggi, i tiri e i rimbalzi. Cose che molti dei normali fan conoscono. Poi siamo passati a cose leggermente più complicate. Azioni come i post alti, i pick and rolls e gli isolamenti. Se non li sapete, tranquilli. Molti normali giocatori li sanno. Oggi siamo arrivati a macchine che comprendono eventi complessi come i "down screen" e i "wide pins". Praticamente cose che solo i professionisti conoscono. Quindi abbiamo insegnato alla macchina a guardare con gli occhi di un allenatore.
So how have we been able to do this? If I asked a coach to describe something like a pick-and-roll, they would give me a description, and if I encoded that as an algorithm, it would be terrible. The pick-and-roll happens to be this dance in basketball between four players, two on offense and two on defense. And here's kind of how it goes. So there's the guy on offense without the ball the ball and he goes next to the guy guarding the guy with the ball, and he kind of stays there and they both move and stuff happens, and ta-da, it's a pick-and-roll.
Come ci siamo riusciti? Se chiedessi a un allenatore di descrivere un pick and roll, mi darebbe una descrizione che sarebbe terribile da codificare in un algoritmo. Il pick and roll nel basket è una specie di danza tra 4 giocatori, due in attacco e due in difesa. Ecco più o meno come funziona. Qui c'è il giocatore in attacco senza la palla e si avvicina al giocatore che difende contro chi ha la palla e rimane un po' lì poi si muovono, succedono cose,
(Laughter)
Ta-da! È un pick and roll.
(Risate)
So that is also an example of a terrible algorithm. So, if the player who's the interferer -- he's called the screener -- goes close by, but he doesn't stop, it's probably not a pick-and-roll. Or if he does stop, but he doesn't stop close enough, it's probably not a pick-and-roll. Or, if he does go close by and he does stop but they do it under the basket, it's probably not a pick-and-roll. Or I could be wrong, they could all be pick-and-rolls. It really depends on the exact timing, the distances, the locations, and that's what makes it hard. So, luckily, with machine learning, we can go beyond our own ability to describe the things we know.
Ed è anche un pessimo esempio di algoritmo. Quindi, se il giocatore che marca, chiamato bloccatore va vicino ma non si ferma, probabilmente non è un pick and roll. O se si ferma, ma non va vicino abbastanza probabilmente non è un pick and roll. O, se va vicino e si ferma ma succede sotto al canestro, probabilmente non è un pick and roll. O mi potrei sbagliare, e sono tutti pick and roll. Dipende fortemente dal momento esatto, dalle distanze e dalle posizioni. Per questo è difficile. Ma con l'apprendimento automatico noi andiamo oltre la nostra capacità nel descrivere ciò che sappiamo
So how does this work? Well, it's by example. So we go to the machine and say, "Good morning, machine. Here are some pick-and-rolls, and here are some things that are not. Please find a way to tell the difference." And the key to all of this is to find features that enable it to separate. So if I was going to teach it the difference between an apple and orange, I might say, "Why don't you use color or shape?" And the problem that we're solving is, what are those things? What are the key features that let a computer navigate the world of moving dots? So figuring out all these relationships with relative and absolute location, distance, timing, velocities -- that's really the key to the science of moving dots, or as we like to call it, spatiotemporal pattern recognition, in academic vernacular. Because the first thing is, you have to make it sound hard -- because it is.
E come funziona? Per esempio, andiamo dalla macchina e le diciamo: "Buongiorno, macchina. Questi sono alcuni pick and roll, e qui ci sono alcune cose che non lo sono. Trova un modo per spiegare le differenze". E la chiave è trovare caratteristiche che l'aiutino a distinguere. Così come se le insegnassi la differenza tra una mela e un'arancia, direi: "Perché non usi il colore o la forma?" E il problema davanti a noi è: cosa sono queste cose, quali sono queste caratteristiche che permettono alla macchina di indagare i punti in movimento? Tenere in mente tutte queste relazioni, con posizione relative e assoluta, distanza, tempi, velocità -- questa è la vera chiave per la scienza dei punti in movimento, o, in gergo accademico, riconoscimento del modello spaziotemporale. Perché prima di tutto devi darle un nome difficile... (risate) ...perché lo è.
The key thing is, for NBA coaches, it's not that they want to know whether a pick-and-roll happened or not. It's that they want to know how it happened. And why is it so important to them? So here's a little insight. It turns out in modern basketball, this pick-and-roll is perhaps the most important play. And knowing how to run it, and knowing how to defend it, is basically a key to winning and losing most games. So it turns out that this dance has a great many variations and identifying the variations is really the thing that matters, and that's why we need this to be really, really good.
Il punto è che gli allenatori NBA non vogliono sapere se è avvenuto o meno un pick and roll. Vogliono sapere come è accaduto. Perché è così importante per loro? Vediamo un po' meglio. Nel basket moderno, il pick and roll è forse la mossa più importante. Sapere come metterla in pratica e come difendersi da essa è la chiave per vincere la maggior parte delle partite Ne viene fuori che questa sorta di danza ha tante varianti e identificarle è ciò che più conta. È per questo che bisogna farlo molto, molto bene.
So, here's an example. There are two offensive and two defensive players, getting ready to do the pick-and-roll dance. So the guy with ball can either take, or he can reject. His teammate can either roll or pop. The guy guarding the ball can either go over or under. His teammate can either show or play up to touch, or play soft and together they can either switch or blitz and I didn't know most of these things when I started and it would be lovely if everybody moved according to those arrows. It would make our lives a lot easier, but it turns out movement is very messy. People wiggle a lot and getting these variations identified with very high accuracy, both in precision and recall, is tough because that's what it takes to get a professional coach to believe in you. And despite all the difficulties with the right spatiotemporal features we have been able to do that.
Ecco un esempio: ci sono due attaccanti e due difensori, pronti ad inziare la danza del pick and roll. Il tipo con la palla può sia accettare o rifiutare il blocco. il suo compagno di squadra può fare roll o pop. il giocatore che difende la palla può passare sopra o sotto Il suo compagno può mostrare, giocare up-to-touch o giocare soft ed insieme possono cambiare marcatura o fare un raddoppio e quando cominciai io non sapevo la maggior parte di queste cose e sarebbe bello se tutti si muovessero seguendo queste frecce: renderebbe la vita molto più semplice. Ma in realtà il movimento è molto confuso. Le persone ondeggiano molto e identificare queste variazioni con un alto livello di accuratezza sia in precisione che in memorizzazione, è difficile, ma è necessario se vuoi che un allenatore professionista ti creda. Malgrado tutti i problemi con le questioni spaziotemporali, ci siamo riusciti.
Coaches trust our ability of our machine to identify these variations. We're at the point where almost every single contender for an NBA championship this year is using our software, which is built on a machine that understands the moving dots of basketball. So not only that, we have given advice that has changed strategies that have helped teams win very important games, and it's very exciting because you have coaches who've been in the league for 30 years that are willing to take advice from a machine. And it's very exciting, it's much more than the pick-and-roll. Our computer started out with simple things and learned more and more complex things and now it knows so many things. Frankly, I don't understand much of what it does, and while it's not that special to be smarter than me, we were wondering, can a machine know more than a coach? Can it know more than person could know? And it turns out the answer is yes.
Gli allenatori credono nella capacità della macchina di trovare le varianti. Siamo arrivati al punto che quasi ogni partecipante al campionato NBA di quest'anno sta usando il nostro software, costruito su una macchina che capisce i punti in movimento del basket. Non solo abbiamo dato consigli che hanno cambiato le strategie di gioco che hanno aiutato le squadre a vincere competizioni molto importanti ed è esaltante vedere allenatori con 30 anni di esperienza in lega pronti a farsi consigliare da una macchina. È appassionante, è c'è molto più dei pick and roll. La macchina ha cominciato con cose semplici, poi ha imparato cose sempre più complesse e ora sa davvero molte cose. Francamente, io non capisco gran parte di quello che fa, e anche se non ci vuol molto ad essere più bravi di me, ci chiedevamo, può una macchina sapere più di un allenatore? Sapere più di quello che sa una persona? Viene fuori che la risposta è si.
The coaches want players to take good shots. So if I'm standing near the basket and there's nobody near me, it's a good shot. If I'm standing far away surrounded by defenders, that's generally a bad shot. But we never knew how good "good" was, or how bad "bad" was quantitatively. Until now.
Gli allenatori vogliono che i giocatori facciamo dei bei tiri. Quindi, se sono vicino al canestro con nessuno vicino a me, è un buon tiro. Se sono lontano circondato da difensori, in genere è un tiro scadente. Ma quanto "buoni" o "scadenti" sono i tiri buoni o scadenti? Finora non potevi saperlo.
So what we can do, again, using spatiotemporal features, we looked at every shot. We can see: Where is the shot? What's the angle to the basket? Where are the defenders standing? What are their distances? What are their angles? For multiple defenders, we can look at how the player's moving and predict the shot type. We can look at all their velocities and we can build a model that predicts what is the likelihood that this shot would go in under these circumstances? So why is this important? We can take something that was shooting, which was one thing before, and turn it into two things: the quality of the shot and the quality of the shooter. So here's a bubble chart, because what's TED without a bubble chart?
Quindi cosa possiamo fare usando coordinate spaziotemporali? Abbiamo guardato ogni tiro. Possiamo vedere: dove è il tiro? Qual è l'angolo col canestro? Dove sono i difensori? Quali sono le loro distanze? Quali sono i loro angoli? Con più difensori, possiamo guardare a come si muove il giocatore e prevedere il tipo di tiro. Possiamo guardare alle loro velocità e costruire un modello che prevede la probabilità che questo tiro vada dentro, date queste circostanze? E perché questo è importante? Possiamo prendere ciò che era il tirare, che prima era una cosa sola, e separarla in due: la qualità del tiro e la qualità del tiratore. Ecco un grafico a bolle: che TED sarebbe, senza un grafico a bolle?
(Laughter)
(Risate)
Those are NBA players. The size is the size of the player and the color is the position. On the x-axis, we have the shot probability. People on the left take difficult shots, on the right, they take easy shots. On the [y-axis] is their shooting ability. People who are good are at the top, bad at the bottom. So for example, if there was a player who generally made 47 percent of their shots, that's all you knew before. But today, I can tell you that player takes shots that an average NBA player would make 49 percent of the time, and they are two percent worse. And the reason that's important is that there are lots of 47s out there. And so it's really important to know if the 47 that you're considering giving 100 million dollars to is a good shooter who takes bad shots or a bad shooter who takes good shots. Machine understanding doesn't just change how we look at players, it changes how we look at the game.
Questi sono giocatori NBA. La dimensione è quella del giocatore e il colore è la posizione. Sull'asse delle x abbiamo la probabilità di tiro. Le persone sulla sinistra fanno tiri difficili, sulla destra, tiri facili. Sull'asse delle y c'è la loro abilità di tiro. Quelli bravi sono in alto, gli altri in basso. Per esempio, se c'era un giocatore che in genere realizzava il 47% dei tiri, prima questo era tutto ciò che sapevamo. Ma oggi ti posso dire che quel giocatore fa tiri che il giocatore NBA di media farebbe il 49% delle volte, e quindi è del 2% peggiore. E il motivo per cui è importante è che ci sono tanti 47 in giro, e quindi è molto importante sapere se il 47 a cui stai pensando di dare 100 milioni di dollari è un buon tiratore ma che sceglie tiri difficili o è un cattivo tiratore che sceglie tiri buoni. L'analisi della macchina non cambia solo come guardiamo ai giocatori, cambia il modo di guardare al gioco.
So there was this very exciting game a couple of years ago, in the NBA finals. Miami was down by three, there was 20 seconds left. They were about to lose the championship. A gentleman named LeBron James came up and he took a three to tie. He missed. His teammate Chris Bosh got a rebound, passed it to another teammate named Ray Allen. He sank a three. It went into overtime. They won the game. They won the championship. It was one of the most exciting games in basketball. And our ability to know the shot probability for every player at every second, and the likelihood of them getting a rebound at every second can illuminate this moment in a way that we never could before. Now unfortunately, I can't show you that video. But for you, we recreated that moment at our weekly basketball game about 3 weeks ago.
C'era questa partita emozionante, un paio di anni fa, nelle finali NBA. Miami perdeva per 3 punti, e mancavano 20 secondi. Stavano per perdere il campionato. Un certo LeBron James ebbe l'occasione di un tiro da 3 per pareggiare. Sbagliò, il suo compagno Chris Bosh prese un rimbalzo, lo passò ad un altro, Ray Allen. Che infilò un tre. Andarono ai supplementari. Vinsero la partita. Vinsero il campionato. Fu una delle partite più emozionanti della storia del basket. E la capacità di conoscere la probabilità di tiro di ognuno, a ogni secondo, la probabilità che prendessero un rimbalzo a ogni secondo può far luce su questo momento in modo completamente nuovo. Sfortunatamente non posso farvi vedere il video. Ma per voi, abbiamo ricreato quel momento durante la nostra partita settimanale circa 3 settimane fa.
(Laughter)
(Risate)
And we recreated the tracking that led to the insights. So, here is us. This is Chinatown in Los Angeles, a park we play at every week, and that's us recreating the Ray Allen moment and all the tracking that's associated with it. So, here's the shot. I'm going to show you that moment and all the insights of that moment. The only difference is, instead of the professional players, it's us, and instead of a professional announcer, it's me. So, bear with me.
E abbiamo ricreato l'analisi che ci ha portato a nuove informazioni. Eccoci qui. Questa è Chinatown a Los Angeles, un parco dove giochiamo tutte le settimane, e questi siamo noi che ricreiamo il momento Ray Allen e tutte le analisi associate. Ecco il tiro. Vi faccio vedere quel momento e tutte le informazioni di quel momento. L'unica differenza è che, invece di giocatori professionisti, ci siamo noi, e invece di un professionista, commento io. Quindi siate comprensivi.
Miami. Down three. Twenty seconds left. Jeff brings up the ball. Josh catches, puts up a three!
Miami. Sotto 3 punti. 20 secondi rimasti. Jeff porta avanti la palla. Josh l'afferra, fa un tiro da 3 punti!
[Calculating shot probability]
[Calcolo della probabilità del tiro]
[Shot quality]
[Qualità del tiro]
[Rebound probability]
[Probabilità di rimbalzo]
Won't go!
Non entra!
[Rebound probability]
[Probabilità di rimbalzo]
Rebound, Noel. Back to Daria.
Rimbalzo, Noel. Indietro a Daria.
[Shot quality]
[Qualità del tiro]
Her three-pointer -- bang! Tie game with five seconds left. The crowd goes wild.
E lei fa i 3 punti! Bang! Partita pareggiata con 5 secondi rimasti. Il pubblico impazzisce.
(Laughter)
(Risate)
That's roughly how it happened.
Più o meno è andata così.
(Applause)
(Applausi)
Roughly.
Più o meno.
(Applause) That moment had about a nine percent chance of happening in the NBA and we know that and a great many other things. I'm not going to tell you how many times it took us to make that happen.
(Applausi) Quel momento aveva una probabilità di accadere nell'NBA del 9% e noi lo sappiamo come moltissime altre cose. Non sto a darvi quante volte ci abbiamo messo per replicarlo.
(Laughter)
(Risate)
Okay, I will! It was four.
Via, ve lo dico. Quattro volte.
(Laughter)
(Risate)
Way to go, Daria.
Grande Daria!
But the important thing about that video and the insights we have for every second of every NBA game -- it's not that. It's the fact you don't have to be a professional team to track movement. You do not have to be a professional player to get insights about movement.
Ma la cosa importante di questo video, e quello che capiamo di ogni secondo, non è tanto quello. È che non devi essere un professionista per tener traccia dei movimenti. Non serve essere un professionista per comprendere meglio il movimento.
In fact, it doesn't even have to be about sports because we're moving everywhere. We're moving in our homes, in our offices, as we shop and we travel throughout our cities and around our world. What will we know? What will we learn? Perhaps, instead of identifying pick-and-rolls, a machine can identify the moment and let me know when my daughter takes her first steps. Which could literally be happening any second now.
E in fondo, non deve nemmeno essere sport, perché ci muoviamo ovunque. Ci muoviamo nelle nostre case, nei nostri uffici, mentre facciamo acquisti e viaggiamo attraverso le nostre città e intorno al mondo. Quanto conosceremo? Cosa impareremo? Forse, invece di identificare pick and roll una macchina può identificare il momento e informarmi quando mia figlia fa i suoi primi passi. Che potrebbe davvero succedere da un momento all'altro.
Perhaps we can learn to better use our buildings, better plan our cities. I believe that with the development of the science of moving dots, we will move better, we will move smarter, we will move forward.
Forse si può usare meglio i nostri edifici o pianificare meglio le nostre città. Io credo che con lo sviluppo della scienza dei punti in movimento, ci muoveremo meglio, più intelligentemente e faremo grandi progressi.
Thank you very much.
Grazie mille.
(Applause)
(Applausi)