My colleagues and I are fascinated by the science of moving dots. So what are these dots? Well, it's all of us. And we're moving in our homes, in our offices, as we shop and travel throughout our cities and around the world. And wouldn't it be great if we could understand all this movement? If we could find patterns and meaning and insight in it. And luckily for us, we live in a time where we're incredibly good at capturing information about ourselves. So whether it's through sensors or videos, or apps, we can track our movement with incredibly fine detail.
Kollégáimat és engem elbűvöl a mozgó pontok tudománya. Miféle pontoké? Hát, mi vagyunk azok! Mozgunk otthon, az irodában, mikor bevásárlunk s utazunk itthon és szerte a világban. Nem lenne-e nagyszerű, ha értenénk e mozgások természetét, ha mintákat és jelentést fedezhetnénk fel benne? Szerencsére olyan korban élünk, amikor saját adataink gyűjtésének mestereivé váltunk. Érzékelőkkel, videóval vagy appokkal a legapróbb részletekig nyomon követhetjük a mozgásunkat.
So it turns out one of the places where we have the best data about movement is sports. So whether it's basketball or baseball, or football or the other football, we're instrumenting our stadiums and our players to track their movements every fraction of a second. So what we're doing is turning our athletes into -- you probably guessed it -- moving dots.
Úgy látszik, az egyik hely, ahonnan a legjobb mozgásadatokat kaphatjuk az a sport. Legyen az kosárlabda, baseball, amerikai foci, vagy az a másik "foci", stadionjaink és játékosaink föl vannak szerelve, hogy követhessük a mozgásukat minden pillanatban. Annyit kell csak tennünk, hogy sportolóinkat — nyilván már kitalálták — mozgó pontokká változtatjuk.
So we've got mountains of moving dots and like most raw data, it's hard to deal with and not that interesting. But there are things that, for example, basketball coaches want to know. And the problem is they can't know them because they'd have to watch every second of every game, remember it and process it. And a person can't do that, but a machine can. The problem is a machine can't see the game with the eye of a coach. At least they couldn't until now. So what have we taught the machine to see?
Tehát van egy rakás mozgó pontunk, s mint a legtöbb nyers adattal, nehéz velük bánni, és nem is túl érdekes. De vannak olyan dolgok, melyekre pl. a kosáredzők kíváncsiak. De az a bibi, hogy ez nekik nem megy, mert akkor a játékok minden pillanatát meg kellene jegyezniük és föl kellene dolgozniuk. Az ember erre nem képes. A gép viszont igen. Az a bökkenő, hogy a gép nem az edző szemével látja a játékot. Legalábbis eddig nem tudta. Milyen látásmódra tanítottuk a gépet?
So, we started simply. We taught it things like passes, shots and rebounds. Things that most casual fans would know. And then we moved on to things slightly more complicated. Events like post-ups, and pick-and-rolls, and isolations. And if you don't know them, that's okay. Most casual players probably do. Now, we've gotten to a point where today, the machine understands complex events like down screens and wide pins. Basically things only professionals know. So we have taught a machine to see with the eyes of a coach.
Egyszerűen kezdtük. Megtanítottuk neki a passzokat, dobásokat és a lepattanásokat. Ezeket egy átlagos szurkoló ismeri. Azután sorra vettük a kissé bonyolultabb dolgokat. Pl. a pozíciófogást, az elzárás-leválást és a terület-felszabadítást. Nem baj, ha ezeket nem ismerik. A hobbikosarasok ismerik. Elértünk arra a pontra, ahol a gép ma már komplex akciókat is megért, pl az alsó elzárást és az oldalsó elzárást. Ezeket többnyire csak a profik ismerik. Megtanítottuk a gépnek, hogy miként lásson az edző szemével.
So how have we been able to do this? If I asked a coach to describe something like a pick-and-roll, they would give me a description, and if I encoded that as an algorithm, it would be terrible. The pick-and-roll happens to be this dance in basketball between four players, two on offense and two on defense. And here's kind of how it goes. So there's the guy on offense without the ball the ball and he goes next to the guy guarding the guy with the ball, and he kind of stays there and they both move and stuff happens, and ta-da, it's a pick-and-roll.
Hogyan voltunk erre képesek? Ha megkérnék egy edzőt, hogy adjon leírást egy akcióról, például az elzárás-leválásról, megtenné, s ha algoritmusként bekódolnám, szörnyű lenne. Az elzárás-leválást a kosárlabdában négy játékos táncolja, két támadó- és két védőjátékos. Valahogy így csinálják. Van egy labda nélküli támadójátékos, aki a labdát birtokló támadójátékost őrző védő mellé lép, egy kicsit ott marad, majd mindketten mozdulnak, és hoppá, ez az elzárás-leválás.
(Laughter)
(Nevetés)
So that is also an example of a terrible algorithm. So, if the player who's the interferer -- he's called the screener -- goes close by, but he doesn't stop, it's probably not a pick-and-roll. Or if he does stop, but he doesn't stop close enough, it's probably not a pick-and-roll. Or, if he does go close by and he does stop but they do it under the basket, it's probably not a pick-and-roll. Or I could be wrong, they could all be pick-and-rolls. It really depends on the exact timing, the distances, the locations, and that's what makes it hard. So, luckily, with machine learning, we can go beyond our own ability to describe the things we know.
Még egy példa egy borzalmas algoritmusra: ha az akadályozó játékos — őt hívják elzárónak — egészen közel megy, de nem áll meg, ez nyilván nem elzárás-leválás. Ha viszont megáll, de nem elég közel, nyilván ez sem elzárás-leválás. Vagy ha egészen közel megy és megáll, de ezt a kosár alatt teszik, nyilván ez sem elzárás-leválás. Vagy tévedek, s ezek mind elzárás-leválások. A dolog a pontos időzítéstől, távolságtól és a helytől függ, s ettől olyan bitangul nehéz. Szerencsére, gépi tanulással fölülmúlhatjuk az emberi képességeket, hogy leírhassuk az ismert dolgokat.
So how does this work? Well, it's by example. So we go to the machine and say, "Good morning, machine. Here are some pick-and-rolls, and here are some things that are not. Please find a way to tell the difference." And the key to all of this is to find features that enable it to separate. So if I was going to teach it the difference between an apple and orange, I might say, "Why don't you use color or shape?" And the problem that we're solving is, what are those things? What are the key features that let a computer navigate the world of moving dots? So figuring out all these relationships with relative and absolute location, distance, timing, velocities -- that's really the key to the science of moving dots, or as we like to call it, spatiotemporal pattern recognition, in academic vernacular. Because the first thing is, you have to make it sound hard -- because it is.
Hogy működik ez? Egy példán mutatom be. Odalépünk a géphez, és megszólítjuk: "Jó reggelt, gép. Van itt valami elzárás-leválás, és még valami, ami nem az. Kérlek, mondd meg, mi a különbség közöttük." Mindennek a nyitja, hogy szétválogatásra alkalmas jellemzőket találjunk Ha a gépnek meg akarnám tanítani a narancs és az alma közti különbséget, azt tanácsolnám: "Figyeld a színt és az alakot." A megoldandó feladat: mik ezek a tényezők? Mik a döntő jellemzők, melyekre támaszkodva a gép eligazodik a mozgó pontok világában? Ha kiderítjük a távolságok, időzítések, relatív és abszolút helyek és sebességek közötti összefüggést, ez a nyitja a mozgó pontok tudományának, vagy aminek hívni szeretjük tudományos zsargonban: térbeli-időbeli mintafölismerés. Mert ugye, az elnevezés is legyen ugyanolyan tojásfejű, mint maga a terület.
The key thing is, for NBA coaches, it's not that they want to know whether a pick-and-roll happened or not. It's that they want to know how it happened. And why is it so important to them? So here's a little insight. It turns out in modern basketball, this pick-and-roll is perhaps the most important play. And knowing how to run it, and knowing how to defend it, is basically a key to winning and losing most games. So it turns out that this dance has a great many variations and identifying the variations is really the thing that matters, and that's why we need this to be really, really good.
Mert az NBA-edzőket nem az érdekli leginkább, hogy az akció elzárás-leválás volt-e. Azt szeretnék tudni, hogyan történt. Miért olyan fontos nekik? Egy kicsit ássunk mélyebbre. Kiderül, hogy a modern kosárlabdában az elzárás-leválás a legfontosabb játék. Ha ismerjük a lefolyását, és a kivédésének módját, ezzel nyerjük, illetve veszítjük el a legtöbb meccset. Kiderül, hogy ennek a táncnak számtalan változata van, és a lényeg az, hogy föltérképezzük a változatokat, méghozzá nagyon-nagyon pontosan.
So, here's an example. There are two offensive and two defensive players, getting ready to do the pick-and-roll dance. So the guy with ball can either take, or he can reject. His teammate can either roll or pop. The guy guarding the ball can either go over or under. His teammate can either show or play up to touch, or play soft and together they can either switch or blitz and I didn't know most of these things when I started and it would be lovely if everybody moved according to those arrows. It would make our lives a lot easier, but it turns out movement is very messy. People wiggle a lot and getting these variations identified with very high accuracy, both in precision and recall, is tough because that's what it takes to get a professional coach to believe in you. And despite all the difficulties with the right spatiotemporal features we have been able to do that.
Mondok egy példát. Van két támadó- és két védőjátékosunk, s készek eljárni az elzárás-leválás táncot. A labdás muki vagy megcsinálja vagy nem. Csapattársa foroghat vagy nekiindulhat. A labdát birtokló vagy áttör vagy megkerülheti a lezárást. Csapattársa segítheti váltáscsellel vagy azzal, hogy nem mozdul, és együtt válthatnak vagy lerohanhatnak. Kezdetben nem ismertem ezeket a dolgokat, és milyen jó is lenne, ha mindenki a nyilak szerint mozogna. Nagyon megkönnyítené az életünket, de a mozgások nagyon bonyolultak. A játékosok rengeteget izegnek-mozognak, s a változatokat igen pontosan végzik. Nehéz a változatokat meghatározni, s meg is jegyezni. Hiszen pont az kell, hogy egy profi edző bízzon a játékosban. A tér-időjellemzők minden nehézsége ellenére el tudtuk végezni a feladatot.
Coaches trust our ability of our machine to identify these variations. We're at the point where almost every single contender for an NBA championship this year is using our software, which is built on a machine that understands the moving dots of basketball. So not only that, we have given advice that has changed strategies that have helped teams win very important games, and it's very exciting because you have coaches who've been in the league for 30 years that are willing to take advice from a machine. And it's very exciting, it's much more than the pick-and-roll. Our computer started out with simple things and learned more and more complex things and now it knows so many things. Frankly, I don't understand much of what it does, and while it's not that special to be smarter than me, we were wondering, can a machine know more than a coach? Can it know more than person could know? And it turns out the answer is yes.
Az edzők bíznak benne, hogy gépünk képes a változatokat meghatározni. Ma ott tartunk, hogy az idei NBA-bajnokság minden résztvevője a mi szoftverünket használja, amelynek alapja a kosárlabda mozgó pontjait értő gép. Nem csak tanácsokat adunk, amely megváltoztatja a stratégiát, hanem segítettük a csapatokat, hogy fontos meccseket nyerhessenek. Ez igen érdekes, mert vannak edzők, akik 30 éve vannak a Szövetségben, és mégis hajlandóak megfogadni egy gép tanácsát. Ez nagyon lelkesítő, jobban, mint az elzárás-leválás. Számítógépünk egyszerű dolgokkal kezdte, s mind több összetett dolgot tanult meg, s mára már rengeteg mindent tud. Őszintén szólva, nem sokat értek abból, amit művel, s nem az a különleges benne, hogy okosabb nálam. Azon töprengünk, hogy a gép többet tudhat-e egy edzőnél? Többet tudhat-e az embernél? Kiderül, hogy a válasz: igen.
The coaches want players to take good shots. So if I'm standing near the basket and there's nobody near me, it's a good shot. If I'm standing far away surrounded by defenders, that's generally a bad shot. But we never knew how good "good" was, or how bad "bad" was quantitatively. Until now.
Az edzők jól dobó játékosokat szeretnének. Ha a kosár közelében állok, és senki sincs a közelemben, az jó dobás. Ha messze, védőkkel körülvéve állok, akkor az általában rossz dobás. De sohasem tudtuk, hogy mennyiségileg mennyire jó a jó és rossz a rossz. Eddig.
So what we can do, again, using spatiotemporal features, we looked at every shot. We can see: Where is the shot? What's the angle to the basket? Where are the defenders standing? What are their distances? What are their angles? For multiple defenders, we can look at how the player's moving and predict the shot type. We can look at all their velocities and we can build a model that predicts what is the likelihood that this shot would go in under these circumstances? So why is this important? We can take something that was shooting, which was one thing before, and turn it into two things: the quality of the shot and the quality of the shooter. So here's a bubble chart, because what's TED without a bubble chart?
Azt tehetjük, ismétlem, hogy a tér-időjellemzők segítségével megfigyelünk minden dobást. S elénk tárul: Honnan dobnak? Milyen szögben van a kosár? Hol állnak a védők? Mennyire vannak egymástól? Milyen szögben? Több védőnél megfigyelhetjük, hogyan mozog a játékos, megtippelhetjük a dobásfajtát. Megfigyelhetjük a sebességeket, s olyan modellt készíthetünk, amely megjósolja, hogy a dobás beleillik-e ezekbe a feltételekbe. Miért fontos ez? A dobást, amely korábban egy dolog volt, két részre bonthatjuk: a dobás minősége és a dobó minősége. Ez egy buborékdiagram, mert a TED-en egy tapodtat se diagram nélkül.
(Laughter)
(Nevetés)
Those are NBA players. The size is the size of the player and the color is the position. On the x-axis, we have the shot probability. People on the left take difficult shots, on the right, they take easy shots. On the [y-axis] is their shooting ability. People who are good are at the top, bad at the bottom. So for example, if there was a player who generally made 47 percent of their shots, that's all you knew before. But today, I can tell you that player takes shots that an average NBA player would make 49 percent of the time, and they are two percent worse. And the reason that's important is that there are lots of 47s out there. And so it's really important to know if the 47 that you're considering giving 100 million dollars to is a good shooter who takes bad shots or a bad shooter who takes good shots. Machine understanding doesn't just change how we look at players, it changes how we look at the game.
Ezek az NBA játékosai. A méret a játékos magassága, a szín a helyzete. Az x-tengelyen van a dobás valószínűsége. a bal oldali játékosok nehéz, a jobb oldaliak könnyű dobásokat végeznek. Az y-tengelyen van a dobóképesség. Fenn vannak a jó játékosok, lenn a rosszak. Pl. Itt egy játékosunk. A dobásai 47%-ban általában sikeresek. Eddig csak ezt tudtuk róla. De most már azt is, hogy ő úgy dob, mint az esetek 49%-ában egy átlagos NBA-játékos, s ő 2%-kal gyengébb. S ez azért lényeges, mert sok 47%-os van, és tudnunk kell, hogy a 47%-os muki, akinek 100 millió dollárt kellene adni, jó dobó-e, aki rosszakat dob, vagy rossz dobó, aki jókat dob. A gépi értelem nemcsak a játékosok megítélését változtatja meg, hanem a játék megítélését is.
So there was this very exciting game a couple of years ago, in the NBA finals. Miami was down by three, there was 20 seconds left. They were about to lose the championship. A gentleman named LeBron James came up and he took a three to tie. He missed. His teammate Chris Bosh got a rebound, passed it to another teammate named Ray Allen. He sank a three. It went into overtime. They won the game. They won the championship. It was one of the most exciting games in basketball. And our ability to know the shot probability for every player at every second, and the likelihood of them getting a rebound at every second can illuminate this moment in a way that we never could before. Now unfortunately, I can't show you that video. But for you, we recreated that moment at our weekly basketball game about 3 weeks ago.
Volt egy nagyon izgalmas meccs pár éve az NBA döntőjében. A Miami hárompontos hátrányban volt, 20 másodperc volt hátra. Úgy látszott, elvesztik a bajnokságot. Beállt LeBron James, és dobott egy hármast, hogy egyenlítsen. Elhibázta. Társa, Chris Bosh a lepattanó labdát csapattársának, Ray Allennek passzolta, ő meg bedobta a hármast. Hosszabbítás! Megnyerték a meccset és a bajnokságot is. Minden idők egyik legizgalmasabb kosármeccse volt. Az a képességünk, hogy minden játékosról ismertük a dobás valószínűségét minden pillanatban, és a lepattanó labda elkapásáét is minden pillanatban, a korábbiakhoz képest más megvilágításba helyezte ezt a pillanatot. Sajnos, nem tudom levetíteni a videót. De az önök kedvéért felidéztük a pillanatot 3 hete a heti kosarazásunkkor.
(Laughter)
(Nevetés)
And we recreated the tracking that led to the insights. So, here is us. This is Chinatown in Los Angeles, a park we play at every week, and that's us recreating the Ray Allen moment and all the tracking that's associated with it. So, here's the shot. I'm going to show you that moment and all the insights of that moment. The only difference is, instead of the professional players, it's us, and instead of a professional announcer, it's me. So, bear with me.
Újra előállítottuk az útvonalat, amelyből eredményeink származtak. Ezek itt mi vagyunk. Ez a Chinatown Los Angelesben. E parkban játszunk hetente, itt meg újra előállítjuk Ray Allen akcióját és az akcióval kapcsolatos útvonalat. Ez itt a dobás. Meg fogom mutatni azt a pillanatot, és az eredményeinket. A különbség, hogy nem profik, hanem mi játszunk, és profi bemondó helyett én beszélek. Viseljenek el.
Miami. Down three. Twenty seconds left. Jeff brings up the ball. Josh catches, puts up a three!
Miami. Hárompontos hátrány 20 másodperc van hátra. Jeff hozza föl a labdát. Josh elcsípi, s dob egy hármast.
[Calculating shot probability]
[Dobás valószínűségének számolása]
[Shot quality]
[Dobásminőség]
[Rebound probability]
[Lepattanás valószínűsége]
Won't go!
Nem fog menni!
[Rebound probability]
[Lepattanás valószínűsége]
Rebound, Noel. Back to Daria.
Lepattan, Noel. Vissza Dariának,
[Shot quality]
[Dobásminőség]
Her three-pointer -- bang! Tie game with five seconds left. The crowd goes wild.
A hárompontosa — puff! Döntetlen, és 5 másodperc van hátra. A tömeg bevadul.
(Laughter)
(Nevetés)
That's roughly how it happened.
Kb. így történt.
(Applause)
(Taps)
Roughly.
Körülbelül.
(Applause) That moment had about a nine percent chance of happening in the NBA and we know that and a great many other things. I'm not going to tell you how many times it took us to make that happen.
(Taps) 9%-os volt az esély, hogy az NBA-ben az a pillanat bekövetkezik: ezt tudjuk, és egy csomó mást is. Inkább nem mondom meg, hányszor próbáltuk el, míg végül sikerült.
(Laughter)
(Nevetés)
Okay, I will! It was four.
Na jó, megmondom: négyszer.
(Laughter)
(Nevetés)
Way to go, Daria.
Bravó, Daria.
But the important thing about that video and the insights we have for every second of every NBA game -- it's not that. It's the fact you don't have to be a professional team to track movement. You do not have to be a professional player to get insights about movement.
De a videóval és az NBA-meccsek minden pillanatáról meglévő részletekkel kapcsolatban a fontos — nem ez. Tény, hogy nem kell profi csapatnak lennünk, hogy kövessük a mozgásokat. Profi játékosnak sem, hogy tájékozódjunk a mozgások részleteiről.
In fact, it doesn't even have to be about sports because we're moving everywhere. We're moving in our homes, in our offices, as we shop and we travel throughout our cities and around our world. What will we know? What will we learn? Perhaps, instead of identifying pick-and-rolls, a machine can identify the moment and let me know when my daughter takes her first steps. Which could literally be happening any second now.
Még csak nem is kell ennek sportnak lennie, hiszen mindenfelé mozgunk. Mozgunk otthon, az irodában, vásárlás közben, miközben utazgatunk a városokban és a világban. Mit fogunk megtudni? Mit tanulunk meg? Talán az elzárás-leválás azonosítása helyett azonosíthatja a pillanatot, és tudtomra adhatja, hogy kislányom mikor kezd járni. Ez pedig most bármely pillanatban megtörténhet.
Perhaps we can learn to better use our buildings, better plan our cities. I believe that with the development of the science of moving dots, we will move better, we will move smarter, we will move forward.
Tán megtanuljuk, hogy jobban használjuk épületeinket, jobban tervezzük városainkat. A mozgó pontok tudományának fejlesztésével jobban és okosabban fogunk mozogni, s előbbre haladunk.
Thank you very much.
Nagyon köszönöm.
(Applause)
(Taps)