Meine Kollegen und ich erforschen die Wissenschaft bewegter Punkte. Was sind diese Punkte? Wir alle. Wir bewegen uns zu Hause, im Büro, während wir in unseren Städten und überall auf der Welt einkaufen und reisen. Wie toll wäre es, wenn wir diese Bewegung verstehen könnten -- das Muster, die Bedeutung und Erkenntnisse gewinnen könnten. Zum Glück sind wir heute gut darin, Informationen über uns selbst zu erfassen. Wir nutzen Sensoren, Videos oder Apps, um unsere Bewegungen sehr detailliert zu erfassen.
My colleagues and I are fascinated by the science of moving dots. So what are these dots? Well, it's all of us. And we're moving in our homes, in our offices, as we shop and travel throughout our cities and around the world. And wouldn't it be great if we could understand all this movement? If we could find patterns and meaning and insight in it. And luckily for us, we live in a time where we're incredibly good at capturing information about ourselves. So whether it's through sensors or videos, or apps, we can track our movement with incredibly fine detail.
Ein geeigneter Bereich für diese Datensammlung ist Sport. Beim Basketball, Baseball, Football oder Fußball müssen Stadien und die Spieler Bewegung erfassen -- jede einzelne Sekunde. Unsere Athleten werden also zu -- Sie ahnen es -- bewegten Punkten.
So it turns out one of the places where we have the best data about movement is sports. So whether it's basketball or baseball, or football or the other football, we're instrumenting our stadiums and our players to track their movements every fraction of a second. So what we're doing is turning our athletes into -- you probably guessed it -- moving dots.
Wir haben eine Fülle an bewegten Punkten. Meistens sind Rohdaten aber schwer zu bearbeiten und langweilig. Basketball-Trainer z.B. wollen aber bestimmte Dinge wissen. Sie können aber nicht jede Sekunde des Spiels sehen, merken und verarbeiten. Das kann kein Mensch leisten. Eine Maschine schon. Maschinen sehen das Spiel nicht mit den Augen eines Trainers. Bis jetzt zumindest. Was haben wir der Maschine beigebracht?
So we've got mountains of moving dots and like most raw data, it's hard to deal with and not that interesting. But there are things that, for example, basketball coaches want to know. And the problem is they can't know them because they'd have to watch every second of every game, remember it and process it. And a person can't do that, but a machine can. The problem is a machine can't see the game with the eye of a coach. At least they couldn't until now. So what have we taught the machine to see?
Wir haben einfach angefangen. Mit Pässen, Würfen und Rebounds. Was auch Gelegenheitsfans kennen dürften. Dann wurde es etwas komplizierter. Aufstellen, Pick-and-Roll oder Isolation. Sagt Ihnen nichts? Keine Sorge. Den meisten Gelegenheitsspielern schon. Heute verstehen Maschinen komplexe Ereignisse, wie Down-Screens und Wide-Pins. Sachen, die nur Profis kennen. Wir brachten einer Maschine bei, mit den Augen eines Trainers zu sehen.
So, we started simply. We taught it things like passes, shots and rebounds. Things that most casual fans would know. And then we moved on to things slightly more complicated. Events like post-ups, and pick-and-rolls, and isolations. And if you don't know them, that's okay. Most casual players probably do. Now, we've gotten to a point where today, the machine understands complex events like down screens and wide pins. Basically things only professionals know. So we have taught a machine to see with the eyes of a coach.
Wie haben wir das geschafft? Sollte mir ein Trainer Pick-and-Roll erklären, würde er es mir beschreiben. Hätte ich das als Algorithmus kodiert, wäre es fürchterlich. Pick-and-Roll ist ein Tanz zwischen zwei Offensiv-Spielern und zwei Defensiv-Spielern. Das funktioniert ungefähr so: Es gibt einen Spieler in der Offensive ohne Ball. Er bewegt sich zum Gegenspieler des Ballführenden und bleibt da.
So how have we been able to do this? If I asked a coach to describe something like a pick-and-roll, they would give me a description, and if I encoded that as an algorithm, it would be terrible. The pick-and-roll happens to be this dance in basketball between four players, two on offense and two on defense. And here's kind of how it goes. So there's the guy on offense without the ball the ball and he goes next to the guy guarding the guy with the ball, and he kind of stays there
Es kommt Bewegung ins Spiel und plötzlich ist es Pick-and-Roll.
and they both move and stuff happens, and ta-da, it's a pick-and-roll.
(Lachen)
(Laughter)
Das ist auch ein schlechter Algorithmus. Ist der Spieler, der sich dem Gegenspieler in den Weg stellt -- der Blocksteller -- nah dran, stoppt aber nicht, ist es kein Pick-and-Roll. Wenn er stoppt, aber nicht nah genug, ist es kein Pick-and-Roll. Wenn er nah dran ist und stoppt, das aber unter dem Korb passiert, ist es kein Pick-and-Roll. Ich könnte mich irren und alles ist Pick-and-Roll. Es liegt am Timing, dem Abstand, dem Ort. Das macht es so schwer. Zum Glück gehen wir beim Maschinen- lernen über unsere Grenzen hinaus, bekannte Dinge zu beschreiben.
So that is also an example of a terrible algorithm. So, if the player who's the interferer -- he's called the screener -- goes close by, but he doesn't stop, it's probably not a pick-and-roll. Or if he does stop, but he doesn't stop close enough, it's probably not a pick-and-roll. Or, if he does go close by and he does stop but they do it under the basket, it's probably not a pick-and-roll. Or I could be wrong, they could all be pick-and-rolls. It really depends on the exact timing, the distances, the locations, and that's what makes it hard. So, luckily, with machine learning, we can go beyond our own ability to describe the things we know.
Wir funktioniert das? Mit Beispielen. Wir sagen zur Machine: "Guten Morgen, Maschine. Das sind Pick-and-Rolls -- und das nicht. Lern den Unterschied." Wichtig ist, Merkmale für die Unterscheidung zu finden. Soll die Maschine den Unterschied zwischen Äpfeln und Orangen lernen, sag ich: "Mach es über Farbe und Form." Dabei ergründen wir, was das für Dinge sind. Welche Kernfaktoren lassen einen Computer die Welt der bewegten Punkte steuern? Diese Beziehungen mit relativem und absolutem Ort, Abstand, Timing und Geschwindigkeit herauszufinden, ist der Schlüssel Punkte zu bewegen. Oder wie wir es in akademischer Sprache nennen: spatiotemporale Mustererkennung. Das Wichtgste ist: Es muss schwierig klingen. Denn das ist es auch.
So how does this work? Well, it's by example. So we go to the machine and say, "Good morning, machine. Here are some pick-and-rolls, and here are some things that are not. Please find a way to tell the difference." And the key to all of this is to find features that enable it to separate. So if I was going to teach it the difference between an apple and orange, I might say, "Why don't you use color or shape?" And the problem that we're solving is, what are those things? What are the key features that let a computer navigate the world of moving dots? So figuring out all these relationships with relative and absolute location, distance, timing, velocities -- that's really the key to the science of moving dots, or as we like to call it, spatiotemporal pattern recognition, in academic vernacular. Because the first thing is, you have to make it sound hard -- because it is.
NBA-Trainer wollen nicht wissen, ob das gerade ein Pick-and-Roll war. Sie wollen wissen, wie das passiert ist. Warum ist das so wichtig? Hier ein kleiner Einblick: Im modernen Basketballspiel ist Pick-and-Roll wohl der wichtigste Spielzug. Zu wissen, wie man ihn spielt oder verteidigt, entscheidet über Gewinnen oder Verlieren eines Spiels. Diesen Tanz gibt es also in vielen Variationen. Diese Variationen zu erkennen, ist das Entscheidende. Deswegen muss es wirklich gut sein.
The key thing is, for NBA coaches, it's not that they want to know whether a pick-and-roll happened or not. It's that they want to know how it happened. And why is it so important to them? So here's a little insight. It turns out in modern basketball, this pick-and-roll is perhaps the most important play. And knowing how to run it, and knowing how to defend it, is basically a key to winning and losing most games. So it turns out that this dance has a great many variations and identifying the variations is really the thing that matters, and that's why we need this to be really, really good.
Ein Beispiel. Zwei Offensiv- und zwei Defensiv-Spieler bereiten sich auf den Pick-and-Roll-Tanz vor. Der Ballführer kann den Block annehmen oder ablehnen. Sein Mitspieler kann zum Korb abrollen oder sich absetzen. Der Gegenspieler kann über oder unter dem Block vorbei. Sein Mitspieler kann sich zeigen, den Ballführer aggressiv oder soft verteigen. Zusammen können sie entweder "switchen" oder "blitzen". Am Anfang kannte ich das meiste davon nicht. Es wäre so schön, wenn sich alle mit den Pfeilen bewegen könnten. Das würde unser Leben erleichtern. Aber Bewegung ist unordentlich. Menschen wanken viel. Und das Erkennen dieser Variationen mit exakter Präzision und Wiederholung ist schwer. Das braucht es, damit ein Trainer an einen glaubt. Trotz aller Schwierigkeiten mit den richtigen spatiotemporalen Merkmalen konnten wir genau das tun.
So, here's an example. There are two offensive and two defensive players, getting ready to do the pick-and-roll dance. So the guy with ball can either take, or he can reject. His teammate can either roll or pop. The guy guarding the ball can either go over or under. His teammate can either show or play up to touch, or play soft and together they can either switch or blitz and I didn't know most of these things when I started and it would be lovely if everybody moved according to those arrows. It would make our lives a lot easier, but it turns out movement is very messy. People wiggle a lot and getting these variations identified with very high accuracy, both in precision and recall, is tough because that's what it takes to get a professional coach to believe in you. And despite all the difficulties with the right spatiotemporal features we have been able to do that.
Trainer vertrauen darauf, dass unsere Maschine diese Variationen erkennt. Inzwischen benutzt fast jeder Anwärter für diesjährige NBA-Meisterschaften unsere Software, basierend auf einer Maschine, die bewegte Punkte im Basketball versteht. Unser Rat hat nicht nur Strategien verändert, die Teams beim Sieg von wichtigen Spielen verhalfen. Sogar Trainer, die seit über 30 Jahren in der Liga sind, nehmen den Rat einer Maschine an. Und es geht um mehr als Pick-and-Roll. Unser Computer begann mit einfachen Dingen, hat immer komplexere Sachen gelernt und weiß jetzt sehr viel. Ich verstehe, ehrlich gesagt, das meiste davon nicht. Es ist kein Kunststück klüger zu sein als ich. Aber wir fragen uns: Kann eine Maschine mehr wissen als ein Trainer? Mehr als ein Mensch? Die verblüffende Antwort ist ja.
Coaches trust our ability of our machine to identify these variations. We're at the point where almost every single contender for an NBA championship this year is using our software, which is built on a machine that understands the moving dots of basketball. So not only that, we have given advice that has changed strategies that have helped teams win very important games, and it's very exciting because you have coaches who've been in the league for 30 years that are willing to take advice from a machine. And it's very exciting, it's much more than the pick-and-roll. Our computer started out with simple things and learned more and more complex things and now it knows so many things. Frankly, I don't understand much of what it does, and while it's not that special to be smarter than me, we were wondering, can a machine know more than a coach? Can it know more than person could know? And it turns out the answer is yes.
Trainer fordern gute Würfe von den Spielern. Wenn ich neben dem Korb stehe und alleine bin, ist es ein guter Wurf. Wenn ich weit weg bin, umringt von Verteidigern, ist das ein schlechter Wurf. Quantitativ wussten wir aber nicht, wie gut oder schlecht etwas wirklich war. Bis jetzt.
The coaches want players to take good shots. So if I'm standing near the basket and there's nobody near me, it's a good shot. If I'm standing far away surrounded by defenders, that's generally a bad shot. But we never knew how good "good" was, or how bad "bad" was quantitatively. Until now.
Wir nutzten spatiotemporale Merkmale und analysierten jeden Wurf. Von wo wird geworfen? Was ist der Winkel zum Korb? Wo stehen die Verteigier? In welcher Entfernung? In welchen Winkeln? Bei mehreren Verteidern sehen wir die Bewegung der Spieler und bestimmen die Wurfart. Wir analysieren die Geschwindigkeit und berechnen die Wahrscheinlichkeit, dass der Ball unter diesen Umständen reingeht. Wozu das alles? Wir sehen uns den Werfer an. Und aus einer Sache werden zwei: die Qualität des Wurfs und die des Werfers. Hier ein Blasendiagramm, das ja zu jedem TED-Vortrag gehört.
So what we can do, again, using spatiotemporal features, we looked at every shot. We can see: Where is the shot? What's the angle to the basket? Where are the defenders standing? What are their distances? What are their angles? For multiple defenders, we can look at how the player's moving and predict the shot type. We can look at all their velocities and we can build a model that predicts what is the likelihood that this shot would go in under these circumstances? So why is this important? We can take something that was shooting, which was one thing before, and turn it into two things: the quality of the shot and the quality of the shooter. So here's a bubble chart, because what's TED without a bubble chart?
(Lachen)
(Laughter)
Das sind NBA-Spieler. Die Größe ist die Größe des Spielers und die Farbe die Position. Die X-Achse zeigt die Wurfwahrscheinlichkeit. Spieler links machen schwierige Würfe, rechts leichte. Die Y-Achse zeigt ihre Wurffähigkeit. Gute Spieler sind oben, schlechte unten. Früher wusste man z. B. nur, dass ein Spieler 47 % seiner Würfe macht. Mehr nicht. Jetzt weiß man, dass dieser Spieler Würfe macht, die ein durchschnittlicher NBA-Spieler zu 49 % machen würde. Er ist um 2 % schlechter. Aber es gibt viele 47er da draußen. Man muss also wissen, ob die 47, in die man eventuell 100 Millionen Dollar investieren möchte, ein guter Spieler mit schlechten Würfen oder ein schlechter Spieler mit guten Würfen ist. Maschinenverständnis ändert unsere Sicht auf Spieler und das Spiel.
Those are NBA players. The size is the size of the player and the color is the position. On the x-axis, we have the shot probability. People on the left take difficult shots, on the right, they take easy shots. On the [y-axis] is their shooting ability. People who are good are at the top, bad at the bottom. So for example, if there was a player who generally made 47 percent of their shots, that's all you knew before. But today, I can tell you that player takes shots that an average NBA player would make 49 percent of the time, and they are two percent worse. And the reason that's important is that there are lots of 47s out there. And so it's really important to know if the 47 that you're considering giving 100 million dollars to is a good shooter who takes bad shots or a bad shooter who takes good shots. Machine understanding doesn't just change how we look at players, it changes how we look at the game.
Es gab in den NBA-Finals ein sehr spannendes Spiel. Miami lag mit 3 Punkten zurück; noch 20 Sekunden zu spielen. Es sah schlecht aus. LeBron James nahm den Dreier und traf nicht. Chris Bosh holte einen Rebound und spielte zu Ray Allen. Er versenkte einen Dreier. Verlängerung. Sie gewannen das Spiel und die Meisterschaft. Es war eines der spannendsten Basektballspiele. Das Wissen um die Wurfwahrscheinlichkeit eines jeden Spielers in jeder Sekunde und die Wahrscheinlichkeit eines erfolgreichen Rebounds kann den Moment auf ungeahnte Weise beleuchten. Leider kann ich Ihnen das Video nicht zeigen. Jedoch haben wir den Moment nachgestellt – bei unserem wöchentlichen Spiel vor 3 Wochen.
So there was this very exciting game a couple of years ago, in the NBA finals. Miami was down by three, there was 20 seconds left. They were about to lose the championship. A gentleman named LeBron James came up and he took a three to tie. He missed. His teammate Chris Bosh got a rebound, passed it to another teammate named Ray Allen. He sank a three. It went into overtime. They won the game. They won the championship. It was one of the most exciting games in basketball. And our ability to know the shot probability for every player at every second, and the likelihood of them getting a rebound at every second can illuminate this moment in a way that we never could before. Now unfortunately, I can't show you that video. But for you, we recreated that moment at our weekly basketball game about 3 weeks ago.
(Lachen)
(Laughter)
Wir haben die Bewegungen nachgestellt und erhielten folgende Einblicke. Das sind wir in Chinatown, Los Angeles, der Park, in dem wir jede Woche spielen. Hier kommt der Ray-Allen-Moment, mit der Schrittfolge. Hier kommt der Wurf. Ich zeige Ihnen den Moment und alle Erkenntnisse daraus. Nur sind es keine Profis, sondern wir. Und kein Profi-Sprecher, sondern ich. Haben Sie Nachsicht.
And we recreated the tracking that led to the insights. So, here is us. This is Chinatown in Los Angeles, a park we play at every week, and that's us recreating the Ray Allen moment and all the tracking that's associated with it. So, here's the shot. I'm going to show you that moment and all the insights of that moment. The only difference is, instead of the professional players, it's us, and instead of a professional announcer, it's me. So, bear with me.
Miami. 3 Punkte zurück. Noch 20 Skeunden. Jeff dribbelt nach vorn. Josh fängt, nimmt den Dreier!
Miami. Down three. Twenty seconds left. Jeff brings up the ball. Josh catches, puts up a three!
[Wurfwahrscheinlichkeit berechnen]
[Calculating shot probability]
[Wurfwahrscheinlichkeit]
[Shot quality]
[Rebound-Wahrscheinlichkeit]
[Rebound probability]
Wird nichts!
Won't go!
[Rebound-Wahrscheinlichkeit]
[Rebound probability]
Rebound, Noel. Zurück zu Daria.
Rebound, Noel. Back to Daria.
[Wurfqualität]
[Shot quality]
Ein Dreier -- Peng! Unentschieden 5 Sekunden vor Schluss. Die Menge tobt.
Her three-pointer -- bang! Tie game with five seconds left. The crowd goes wild.
(Lachen)
(Laughter)
Ungefähr so war das.
That's roughly how it happened.
(Applaus)
(Applause)
Ungefähr.
Roughly.
(Applaus) Die Wahrscheinlichkeit, dass das in der NBA passiert, lag bei 9 %. Das wissen wir und viele andere Dinge. Ich sage jetzt nicht, wie oft wir die Szene wiederholen mussten.
(Applause) That moment had about a nine percent chance of happening in the NBA and we know that and a great many other things. I'm not going to tell you how many times it took us to make that happen.
(Lachen)
(Laughter)
Okay, es waren vier.
Okay, I will! It was four.
(Lachen)
(Laughter)
Sehr gut, Daria.
Way to go, Daria.
Das ist aber nicht der Knackpunkt an diesem Video -- oder die Einblicke in jede Sekunde jedes NBA-Spiels. Sondern, dass man kein Profi-Team sein muss, um Bewegung aufzuzeichnen. Man muss kein Profi-Spieler sein, um Einblicke in Bewegung zu erhalten.
But the important thing about that video and the insights we have for every second of every NBA game -- it's not that. It's the fact you don't have to be a professional team to track movement. You do not have to be a professional player to get insights about movement.
Es muss nicht einmal Sport sein. Wir bewegen uns überall. Zu Hause, in unseren Büros, während des Einkaufens und Reisens in unseren Städten und durch die ganze Welt. Was werden wir erfahren? Was werden wir lernen? Statt Pick-and-Rolls könnte eine Maschine den Moment identifizieren, in dem meine Tochter ihren ersten Schritt macht. Was tatsächlich jeden Moment passieren könnte.
In fact, it doesn't even have to be about sports because we're moving everywhere. We're moving in our homes, in our offices, as we shop and we travel throughout our cities and around our world. What will we know? What will we learn? Perhaps, instead of identifying pick-and-rolls, a machine can identify the moment and let me know when my daughter takes her first steps. Which could literally be happening any second now.
Vielleicht können wir lernen, Gebäude besser zu nutzen oder Städte zu planen. Ich glaube, mit der Entwicklung der Wissenschaft der bewegten Punkte bewegen wir uns besser, bewegen wir uns klüger, bewegen wir uns vorwärts.
Perhaps we can learn to better use our buildings, better plan our cities. I believe that with the development of the science of moving dots, we will move better, we will move smarter, we will move forward.
Vielen Dank.
Thank you very much.
(Applaus)
(Applause)