My colleagues and I are fascinated by the science of moving dots. So what are these dots? Well, it's all of us. And we're moving in our homes, in our offices, as we shop and travel throughout our cities and around the world. And wouldn't it be great if we could understand all this movement? If we could find patterns and meaning and insight in it. And luckily for us, we live in a time where we're incredibly good at capturing information about ourselves. So whether it's through sensors or videos, or apps, we can track our movement with incredibly fine detail.
Я и мои коллеги восхищены природой движущихся точек. Что такое эти точки? Это мы. Все мы передвигаемся у себя дома, в офисах, в магазинах и путешествуя по своему городу или по миру. Было бы потрясающе, если бы мы могли понять природу этих движений, их закономерности, значение и то, что скрывается за ними. К счастью для нас, мы живём в такое время, когда мы невероятно преуспели в сборе информации о самих себе. С сенсоров, видео или приложений мы можем отследить наше движение с удивительной точностью.
So it turns out one of the places where we have the best data about movement is sports. So whether it's basketball or baseball, or football or the other football, we're instrumenting our stadiums and our players to track their movements every fraction of a second. So what we're doing is turning our athletes into -- you probably guessed it -- moving dots.
Оказывается, одна из областей, где собраны лучшие данные о движении, — это спорт. Будь это баскетбол или бейсбол, американский футбол или обычный, мы оснащаем стадионы и игроков устройствами для отслеживания движений каждую долю секунды. То есть мы превращаем своих атлетов — вы, наверное, уже догадались — в движущиеся точки.
So we've got mountains of moving dots and like most raw data, it's hard to deal with and not that interesting. But there are things that, for example, basketball coaches want to know. And the problem is they can't know them because they'd have to watch every second of every game, remember it and process it. And a person can't do that, but a machine can. The problem is a machine can't see the game with the eye of a coach. At least they couldn't until now. So what have we taught the machine to see?
Теперь у нас масса движущихся точек. И как с любыми необработанными данными, с ними трудно разобраться, да и не так это интересно. Но есть вещи, о которых, например, баскетбольные тренеры хотят знать. И проблема в том, что они не знают о них, потому что пришлось бы смотреть каждую секунду каждой игры, запоминая и затем обрабатывая. Человек не может сделать этого, но машина может. Но машина не может смотреть на игры глазами тренера. По крайней мере, не могли. До сих пор. Что мы научили машину видеть?
So, we started simply. We taught it things like passes, shots and rebounds. Things that most casual fans would know. And then we moved on to things slightly more complicated. Events like post-ups, and pick-and-rolls, and isolations. And if you don't know them, that's okay. Most casual players probably do. Now, we've gotten to a point where today, the machine understands complex events like down screens and wide pins. Basically things only professionals know. So we have taught a machine to see with the eyes of a coach.
Мы начали с простого: научили её таким вещам, как пассы, броски и отскоки — тому, что известно обычным болельщикам. А затем мы перешли к вещам посложнее: таким манёврам, как пост-апы, пик-н-роллы и изоляции. Если вы их не знаете, не страшно. Большинство игроков, возможно, знает. На сегодняшний день машина понимает сложные манёвры, вроде заслона и широких пин-даунов. Такие термины знают только профессионалы. Мы научили машину «смотреть» глазами тренера.
So how have we been able to do this? If I asked a coach to describe something like a pick-and-roll, they would give me a description, and if I encoded that as an algorithm, it would be terrible. The pick-and-roll happens to be this dance in basketball between four players, two on offense and two on defense. And here's kind of how it goes. So there's the guy on offense without the ball the ball and he goes next to the guy guarding the guy with the ball, and he kind of stays there and they both move and stuff happens, and ta-da, it's a pick-and-roll.
Как мы смогли сделать это? Если бы я попросил тренера описать, например, пик-н-ролл, то он дал бы мне описание, и если бы я закодировал это в алгоритм, то ничего бы не вышло. Пик-н-ролл — своего рода танец в баскетболе между четырьмя игроками, двумя в защите и двумя в нападении. Вот как это происходит. Игрок в нападении без мяча идёт рядом, защищает игрока с мячом, остаётся в зоне, они оба перемещаются, что-то происходит, и — та-да! — это и есть пик-н-ролл.
(Laughter)
(Смех)
So that is also an example of a terrible algorithm. So, if the player who's the interferer -- he's called the screener -- goes close by, but he doesn't stop, it's probably not a pick-and-roll. Or if he does stop, but he doesn't stop close enough, it's probably not a pick-and-roll. Or, if he does go close by and he does stop but they do it under the basket, it's probably not a pick-and-roll. Or I could be wrong, they could all be pick-and-rolls. It really depends on the exact timing, the distances, the locations, and that's what makes it hard. So, luckily, with machine learning, we can go beyond our own ability to describe the things we know.
Это также пример плохого алгоритма. Если игрок, который мешает — его называют заслоняющим, — подойдёт ближе, но не остановится, возможно, это не будет пик-н-ролл. Или если он остановится, но будет недостаточно близко, то это тоже, возможно, не пик-н-ролл. Или если он подойдёт близко и остановится, но все они окажутся под корзиной, это, возможно, не пик-н-ролл. Или я ошибаюсь — может, все они и есть пик-н-роллы. На деле, это зависит от точного времени, расстояния, местоположения — вот что делает это таким сложным. К счастью, машина может обучаться, и мы можем выйти за пределы своих возможностей, чтобы описать то, что знаем.
So how does this work? Well, it's by example. So we go to the machine and say, "Good morning, machine. Here are some pick-and-rolls, and here are some things that are not. Please find a way to tell the difference." And the key to all of this is to find features that enable it to separate. So if I was going to teach it the difference between an apple and orange, I might say, "Why don't you use color or shape?" And the problem that we're solving is, what are those things? What are the key features that let a computer navigate the world of moving dots? So figuring out all these relationships with relative and absolute location, distance, timing, velocities -- that's really the key to the science of moving dots, or as we like to call it, spatiotemporal pattern recognition, in academic vernacular. Because the first thing is, you have to make it sound hard -- because it is.
Как это работает? Рассмотрим на примере. Итак, мы подходим к машине и говорим: «Доброе утро, машина. Вот несколько пик-н-роллов и несколько манёвров — не пик-н-роллов. Пожалуйста, найди способ отличить их». И ключ ко всему — найти черты, которые позволяют различать их. Если бы я хотел обучить машину разнице между яблоком и апельсином, я бы сказал: «Почему бы тебе не использовать цвет и форму?» Проблема, которую мы решаем: по каким параметрам отличать? Какие ключевые черты позволяют компьютеру ориентироваться в мире движущихся точек? Выяснение всех этих отношений между относительным и абсолютным местоположением, расстоянием, временем, скоростью — это и есть ключ к природе движущихся точек, или, как мы любим её называть, говоря научным языком, пространственно-временным распознаванием образов. Ведь первым делом нужно назвать это как-то сложно — потому что это сложно.
The key thing is, for NBA coaches, it's not that they want to know whether a pick-and-roll happened or not. It's that they want to know how it happened. And why is it so important to them? So here's a little insight. It turns out in modern basketball, this pick-and-roll is perhaps the most important play. And knowing how to run it, and knowing how to defend it, is basically a key to winning and losing most games. So it turns out that this dance has a great many variations and identifying the variations is really the thing that matters, and that's why we need this to be really, really good.
Главное для тренеров NBA — знать не то, был ли пик-н-ролл или нет, — они просто хотят знать, как это произошло. Почему это так важно для них? Есть такая догадка: оказывается, в современном баскетболе этот пик-н-ролл — чуть ли не самый важный манёвр. Знать, как это происходит, как обороняться от него, — по сути, залог выигрыша или поражения в большинстве игр. Оказалось, у этого танца великое множество вариаций, и определение этих вариаций — единственная важная вещь, поэтому нам нужно, чтобы машина выясняла это очень, очень точно.
So, here's an example. There are two offensive and two defensive players, getting ready to do the pick-and-roll dance. So the guy with ball can either take, or he can reject. His teammate can either roll or pop. The guy guarding the ball can either go over or under. His teammate can either show or play up to touch, or play soft and together they can either switch or blitz and I didn't know most of these things when I started and it would be lovely if everybody moved according to those arrows. It would make our lives a lot easier, but it turns out movement is very messy. People wiggle a lot and getting these variations identified with very high accuracy, both in precision and recall, is tough because that's what it takes to get a professional coach to believe in you. And despite all the difficulties with the right spatiotemporal features we have been able to do that.
Вот пример: есть два нападающих и два защитника, готовых исполнить танец пик-н-ролла. Игрок с мячом может либо навестись на заслон, либо отказаться. Его товарищ по команде может либо «провалиться» под кольцо, либо открыться. Игрок, опекающий мяч, может либо проскользнуть, либо обогнуть заслон. Его товарищ по команде может либо помочь, либо сделать ложный размен или остаться. И оба они могут либо сделать размен, либо контратаковать. Я бóльшую часть этого не знал, кода только начинал. Было бы чудесно, если бы все двигались согласно этим стрелочкам. Нам было бы куда легче, но движение — явление довольно запутанное. Люди движутся не монотонно. Определить эти вариации с очень высокой точностью, одновременно точно и по памяти, — сложно, ведь именно это нужно, чтобы профессиональный тренер поверил в тебя. Несмотря на сложности с пространственно- временными характеристиками, мы смогли сделать это.
Coaches trust our ability of our machine to identify these variations. We're at the point where almost every single contender for an NBA championship this year is using our software, which is built on a machine that understands the moving dots of basketball. So not only that, we have given advice that has changed strategies that have helped teams win very important games, and it's very exciting because you have coaches who've been in the league for 30 years that are willing to take advice from a machine. And it's very exciting, it's much more than the pick-and-roll. Our computer started out with simple things and learned more and more complex things and now it knows so many things. Frankly, I don't understand much of what it does, and while it's not that special to be smarter than me, we were wondering, can a machine know more than a coach? Can it know more than person could know? And it turns out the answer is yes.
Тренеры верят в возможности нашей машины определять эти вариации. Мы находимся на стадии, когда практически каждый претендент на чемпионат NBA в этом году использует нашу программу, разработанную для устройства, которое понимает, как движутся точки в баскетболе. Кроме того, мы дали совет, изменивший стратегии, которые помогли командам выиграть важные игры. Это очень волнующе, ведь есть даже такие тренеры, которые состоят в Лиге 30 лет, но всё же готовы получить совет от машины. Это очень волнующе, даже больше, чем пик-н-ролл. Наш компьютер начинал с простых вещей, стал учиться всё более и более сложным, а сейчас знает так много, что, по правде, я не знаю столько, сколько он. И не удивительно, что он знает больше меня. Неужели машина может знать больше, чем тренер? Может ли она знать больше, чем человек? Оказалось, что да.
The coaches want players to take good shots. So if I'm standing near the basket and there's nobody near me, it's a good shot. If I'm standing far away surrounded by defenders, that's generally a bad shot. But we never knew how good "good" was, or how bad "bad" was quantitatively. Until now.
Тренеры хотят, чтобы игроки делали хорошие броски. Если я стою здесь, у корзины, и никого нет рядом со мной, — это хороший бросок. Если я стою далеко, окружённый защитниками, — обычно это плохой бросок. Но мы не знали, как оценить количественно «хороший» или «плохой» бросок. До сих пор.
So what we can do, again, using spatiotemporal features, we looked at every shot. We can see: Where is the shot? What's the angle to the basket? Where are the defenders standing? What are their distances? What are their angles? For multiple defenders, we can look at how the player's moving and predict the shot type. We can look at all their velocities and we can build a model that predicts what is the likelihood that this shot would go in under these circumstances? So why is this important? We can take something that was shooting, which was one thing before, and turn it into two things: the quality of the shot and the quality of the shooter. So here's a bubble chart, because what's TED without a bubble chart?
Используя пространственно- временные характеристики, мы можем просмотреть каждый бросок, узнать, откуда он сделан, какой угол по отношению к корзине, где стоят защитники, каково их расстояние, под какими они углами. Среди нескольких защитников мы можем увидеть, как двигается определённый игрок и предугадать тип броска. Мы можем вычислить их скорости и построить модель, которая предскажет вероятность осуществления броска при данных обстоятельствах. Почему это так важно? Мы можем определить бросок, который раньше был един, как состоящий из двух параметров: качество броска и уровень бросающего. Вот пузырьковая диаграмма. Какое это выступление TED без диаграммы?
(Laughter)
(Смех)
Those are NBA players. The size is the size of the player and the color is the position. On the x-axis, we have the shot probability. People on the left take difficult shots, on the right, they take easy shots. On the [y-axis] is their shooting ability. People who are good are at the top, bad at the bottom. So for example, if there was a player who generally made 47 percent of their shots, that's all you knew before. But today, I can tell you that player takes shots that an average NBA player would make 49 percent of the time, and they are two percent worse. And the reason that's important is that there are lots of 47s out there. And so it's really important to know if the 47 that you're considering giving 100 million dollars to is a good shooter who takes bad shots or a bad shooter who takes good shots. Machine understanding doesn't just change how we look at players, it changes how we look at the game.
Это игроки NBA. Размер — это размер игроков, а цвет — позиция. По оси Х — вероятность броска. Игроки слева делают сложные броски, справа — лёгкие. По оси У — их умение совершать броски. Хорошие игроки наверху, кто хуже бросает — внизу. Например, если раньше был игрок, чья эффективность бросков 47%, это всё, что вам было известно. Но сегодня я могу сказать вам, что этот игрок делает броски, как в 49% случаев их делает среднестатистический игрок NBA, что на 2% хуже. Это важно знать потому, что есть много игроков с 47%. Поэтому очень важно знать, является ли тот игрок с 47%, в которого вы планируете вложить 100 миллионов долларов, хорошим бомбардиром, который иногда делает плохие броски, или плохим бомбардиром, совершающим хорошие броски. Машинный анализ меняет не только то, как мы рассматриваем игроков, но и то, как мы видим игру.
So there was this very exciting game a couple of years ago, in the NBA finals. Miami was down by three, there was 20 seconds left. They were about to lose the championship. A gentleman named LeBron James came up and he took a three to tie. He missed. His teammate Chris Bosh got a rebound, passed it to another teammate named Ray Allen. He sank a three. It went into overtime. They won the game. They won the championship. It was one of the most exciting games in basketball. And our ability to know the shot probability for every player at every second, and the likelihood of them getting a rebound at every second can illuminate this moment in a way that we never could before. Now unfortunately, I can't show you that video. But for you, we recreated that moment at our weekly basketball game about 3 weeks ago.
Пару лет назад состоялась очень захватывающая игра в финале NBA. «Майами» отставал на 3 очка. Оставалось 20 секунд. Они были на грани проигрыша чемпионата. Джентльмен по имени Леброн Джеймс бросил трёхочковый, чтобы сравнять счёт, но промахнулся. Его товарищ Крис Бош подобрал мяч, передал его другому игроку в команде — Рею Аллену. Тот забросил трёхочковый. Игра продолжилась в овертайме. Они выиграли игру и чемпионат. Это была одна из самых захватывающих игр в баскетболе. Наша способность предугадывать вероятность броска для каждого игрока каждую секунду и вероятность подбора мяча каждую секунду может пролить свет на этот момент так, как никогда раньше. К несчастью, я не могу показать вам запись той игры. Но для вас мы воссоздали этот момент на нашей еженедельной игре в баскетбол около трёх недель назад.
(Laughter)
(Смех)
And we recreated the tracking that led to the insights. So, here is us. This is Chinatown in Los Angeles, a park we play at every week, and that's us recreating the Ray Allen moment and all the tracking that's associated with it. So, here's the shot. I'm going to show you that moment and all the insights of that moment. The only difference is, instead of the professional players, it's us, and instead of a professional announcer, it's me. So, bear with me.
Мы воссоздали их действия, что привело к озарению. Вот мы. Это Чайна-таун в Лос-Анджелесе; парк, где мы играем каждую неделю. Мы воссоздаём момент Рэя Аллена и отслеживаем движения. Вот бросок. Я собираюсь показать вам тот момент и все детали того момента. Единственная разница: вместо профессиональных игроков играем мы, а вместо профессионального комментатора буду я. Будьте ко мне снисходительны.
Miami. Down three. Twenty seconds left. Jeff brings up the ball. Josh catches, puts up a three!
«Майами». Разрыв в три очка. Осталось 20 секунд. Джефф передаёт мяч. Джош его ловит и бросает трёхочковый.
[Calculating shot probability]
[Вычисляется вероятность броска]
[Shot quality]
[Качество броска]
[Rebound probability]
[Возможность отскока]
Won't go!
Промах!
[Rebound probability]
[Вероятность отскока]
Rebound, Noel. Back to Daria.
Ноэль ловит мяч, передаёт его Дарии.
[Shot quality]
[Качество броска]
Her three-pointer -- bang! Tie game with five seconds left. The crowd goes wild.
Трёхочковый — ура! Мы сравняли счёт, и остаётся ещё 5 секунд. Трибуны ревут.
(Laughter)
(Смех)
That's roughly how it happened.
Примерно вот так всё это произошло. (Аплодисменты) Примерно.
(Applause)
Roughly.
(Аплодисменты)
(Applause) That moment had about a nine percent chance of happening in the NBA and we know that and a great many other things. I'm not going to tell you how many times it took us to make that happen.
Вероятность этого момента в игре NBA — 9%. Мы знаем это и ещё множество других вещей. Не буду рассказывать, сколько раз нам пришлось переигрывать этот момент.
(Laughter)
(Смех)
Okay, I will! It was four.
Ладно, скажу — 4 раза. (Смех)
(Laughter)
Молодец, док!
Way to go, Daria.
But the important thing about that video and the insights we have for every second of every NBA game -- it's not that. It's the fact you don't have to be a professional team to track movement. You do not have to be a professional player to get insights about movement.
Но главное в этом видео и знаниях, которые у нас есть по каждой секунде каждой игры NBA — не в этом. Главное то, что не нужно быть профессиональной командой, чтобы отслеживать движение; не нужно быть профессиональным игроком, чтобы понять все детали движений.
In fact, it doesn't even have to be about sports because we're moving everywhere. We're moving in our homes, in our offices, as we shop and we travel throughout our cities and around our world. What will we know? What will we learn? Perhaps, instead of identifying pick-and-rolls, a machine can identify the moment and let me know when my daughter takes her first steps. Which could literally be happening any second now.
Даже не обязательно применять это к спорту, ведь мы двигаемся постоянно. Мы двигаемся дома, в офисе, когда ходим за покупками или путешествуем по городу и по миру. Что мы узнаем? Чему научимся? Может, вместо определения пик-н-роллов, машина сможет определить и позволит мне узнать момент, когда моя дочь сделает свои первые шаги. Что буквально может произойти в любой момент.
Perhaps we can learn to better use our buildings, better plan our cities. I believe that with the development of the science of moving dots, we will move better, we will move smarter, we will move forward.
Возможно, мы можем научиться лучше планировать здания, города. Я верю, что с развитием науки, занимающейся изучением движущихся точек, мы будем двигаться лучше, мы будем двигаться разумнее,
Thank you very much.
мы будем двигаться вперёд.
Спасибо большое.
(Applause)
(Аплодисменты)