My colleagues and I are fascinated by the science of moving dots. So what are these dots? Well, it's all of us. And we're moving in our homes, in our offices, as we shop and travel throughout our cities and around the world. And wouldn't it be great if we could understand all this movement? If we could find patterns and meaning and insight in it. And luckily for us, we live in a time where we're incredibly good at capturing information about ourselves. So whether it's through sensors or videos, or apps, we can track our movement with incredibly fine detail.
Ми з колегами захоплюємося природою рухомих точок. Що таке ці точки? Це всі ми. Всі ми пересуваємося у себе вдома, в офісах, в магазинах і подорожуємо по своєму місту або по всьому світу. Хіба не було б чудово, якби ми могли зрозуміти ці рухи? Їх закономірності, значення і те, що ховається за ними. На щастя для нас, ми живемо в такий час, коли ми досягли успіху в зборі інформації про самих себе. З сенсорів, відео або додатків ми можемо відстежити наш рух з дивовижною точністю.
So it turns out one of the places where we have the best data about movement is sports. So whether it's basketball or baseball, or football or the other football, we're instrumenting our stadiums and our players to track their movements every fraction of a second. So what we're doing is turning our athletes into -- you probably guessed it -- moving dots.
Виявляється, одна з областей, де зібрані найкращі дані про рух, це спорт. Чи то баскетбол чи бейсбол, звичайний або інший футбол, ми оснащуємо стадіони і гравців пристроями для відстеження рухів кожну частку секунди. Тобто ми перетворюємо своїх атлетів - ви, напевно, вже здогадалися, - в рухомі точки.
So we've got mountains of moving dots and like most raw data, it's hard to deal with and not that interesting. But there are things that, for example, basketball coaches want to know. And the problem is they can't know them because they'd have to watch every second of every game, remember it and process it. And a person can't do that, but a machine can. The problem is a machine can't see the game with the eye of a coach. At least they couldn't until now. So what have we taught the machine to see?
Тепер у нас маса рухомих точок, і, як з будь-якими необробленими даними, з ними важко розібратися, та й не так це цікаво. Але є речі, про які, наприклад, баскетбольні тренери хочуть знати. Проблема в тому, що вони не знають про них, бо довелося б дивитися кожну секунду кожної гри, запам'ятовуючи і обробляючи. Людина не може зробити цього, але машина може. Але машина не може дивитися на гру очима тренера. Принаймні, вони не могли до цього часу. Що ми навчили машину бачити?
So, we started simply. We taught it things like passes, shots and rebounds. Things that most casual fans would know. And then we moved on to things slightly more complicated. Events like post-ups, and pick-and-rolls, and isolations. And if you don't know them, that's okay. Most casual players probably do. Now, we've gotten to a point where today, the machine understands complex events like down screens and wide pins. Basically things only professionals know. So we have taught a machine to see with the eyes of a coach.
Ми почали з простого: навчили її таким речам, як паси, кидки і відскоки. Тому, що відомо звичайним уболівальникам. А потім ми перейшли до складніших речей. Таким маневрам, як пост-апи, пік-н-роли та ізоляції. Якщо ви їх не знаєте, не страшно. Більшість гравців, можливо, знає. На сьогоднішній день машина розуміє складні маневри на кшталт заслону і широких пін-даунів. Такі терміни знають тільки професіонали. Отже, ми навчили машину «дивитися» очами тренера.
So how have we been able to do this? If I asked a coach to describe something like a pick-and-roll, they would give me a description, and if I encoded that as an algorithm, it would be terrible. The pick-and-roll happens to be this dance in basketball between four players, two on offense and two on defense. And here's kind of how it goes. So there's the guy on offense without the ball the ball and he goes next to the guy guarding the guy with the ball, and he kind of stays there and they both move and stuff happens, and ta-da, it's a pick-and-roll.
Як ми змогли зробити це? Якби я попросив тренера описати, наприклад, пік-н-рол, то він дав би мені опис, і якби я закодував це в алгоритм, то нічого б не вийшло. Пік-н-рол - це свого роду танець в баскетболі між чотирма гравцями, двоє в захисті і двоє в нападі. Ось, як це відбувається. Гравець в нападі без м'яча йде поруч, захищає гравця з м'ячем, і залишається в зоні. Вони переміщаються, щось відбувається, і -та-та! - це і є пік-н-рол.
(Laughter)
(Сміх)
So that is also an example of a terrible algorithm. So, if the player who's the interferer -- he's called the screener -- goes close by, but he doesn't stop, it's probably not a pick-and-roll. Or if he does stop, but he doesn't stop close enough, it's probably not a pick-and-roll. Or, if he does go close by and he does stop but they do it under the basket, it's probably not a pick-and-roll. Or I could be wrong, they could all be pick-and-rolls. It really depends on the exact timing, the distances, the locations, and that's what makes it hard. So, luckily, with machine learning, we can go beyond our own ability to describe the things we know.
Це також приклад поганого алгоритму. Якщо гравець, який заважає, - робить заслону, - підійде ближче, але не зупиниться, можливо, це не буде пік-н-рол. Або якщо він зупиниться, але буде недостатньо близько, то це теж, можливо, не пік-н-рол. Або якщо він підійде близько і зупиниться, але всі вони виявляться під кошиком, це, можливо, не пік-н-рол. Або я помиляюся, може, і це все пік-н-роли. На ділі, це залежить від точного часу, відстані, місця розташування - ось що робить це таким складним. На щастя, машина може навчатись, ми можемо вийти за межі своїх можливостей, щоб описати те, що знаємо.
So how does this work? Well, it's by example. So we go to the machine and say, "Good morning, machine. Here are some pick-and-rolls, and here are some things that are not. Please find a way to tell the difference." And the key to all of this is to find features that enable it to separate. So if I was going to teach it the difference between an apple and orange, I might say, "Why don't you use color or shape?" And the problem that we're solving is, what are those things? What are the key features that let a computer navigate the world of moving dots? So figuring out all these relationships with relative and absolute location, distance, timing, velocities -- that's really the key to the science of moving dots, or as we like to call it, spatiotemporal pattern recognition, in academic vernacular. Because the first thing is, you have to make it sound hard -- because it is.
Як це працює? Розглянемо на прикладі. Отже, ми підходимо до машини і кажемо: «Доброго ранку, машино. Ось кілька пік-н-ролів і кілька маневрів - не пік-н-ролів. Будь ласка, знайди спосіб відрізнити їх.» І ключ до всього - знайти риси, які дозволяють розрізняти їх. Якби я хотів навчити машину, яка різниця між яблуком і апельсином, я б спитав: "Чому ти не використовуєш колір і форму?» Проблема, яку ми вирішуємо: за якими параметрами відрізняти? Які ключові риси дозволяють комп'ютеру орієнтуватися в світі рухомих точок? З'ясування всіх цих відносин між відносним і абсолютним розташуванням, відстанню, часом, швидкістю - це і є ключ до природи рухомих точок, або, як ми їх називаємо, просторово-тимчасове розпізнання образів. Адже, у першу чергу, потрібно назвати це якось складно - тому що це складно.
The key thing is, for NBA coaches, it's not that they want to know whether a pick-and-roll happened or not. It's that they want to know how it happened. And why is it so important to them? So here's a little insight. It turns out in modern basketball, this pick-and-roll is perhaps the most important play. And knowing how to run it, and knowing how to defend it, is basically a key to winning and losing most games. So it turns out that this dance has a great many variations and identifying the variations is really the thing that matters, and that's why we need this to be really, really good.
Головне для тренерів NBA - знати не те, чи був пік-н-рол чи ні. Вони просто хочуть знати, як це сталося. Чому це так важливо для них? Так ось є така гіпотеза. Виявляється, в сучасному баскетболі цей пік-н-рол - чи не найважливіший маневр. Знати, як це відбувається і як оборонятися від нього, по суті, запорука виграшу або поразки в більшості ігор. Виявляється, у цього танцю безліч варіацій і визначення цих варіацій - єдина важлива річ. І саме тому нам потрібно, щоб машина з'ясовувала це дуже, дуже точно.
So, here's an example. There are two offensive and two defensive players, getting ready to do the pick-and-roll dance. So the guy with ball can either take, or he can reject. His teammate can either roll or pop. The guy guarding the ball can either go over or under. His teammate can either show or play up to touch, or play soft and together they can either switch or blitz and I didn't know most of these things when I started and it would be lovely if everybody moved according to those arrows. It would make our lives a lot easier, but it turns out movement is very messy. People wiggle a lot and getting these variations identified with very high accuracy, both in precision and recall, is tough because that's what it takes to get a professional coach to believe in you. And despite all the difficulties with the right spatiotemporal features we have been able to do that.
Ось приклад: є два нападники і два захисники, готові виконати танець пік-н-рол. Гравець з м'ячем може або навести на заслін або відмовитися. Його товариш по команді може провалитися або відкритися. Гравець, який охороняє м'яч, може прослизнути або обігнути заслін. Його товариш по команді може допомогти, зробити обмін або залишитись. І разом вони можуть зробити обмін або контратакувати. Я більшу частину цього не знав, коли тільки починав. Було б чудово, якби всі рухалися згідно з цими стрілками. Нам було б набагато легше, але рух - явище досить заплутане. Люди рухаються багато і визначити ці варіації з дуже високою точністю одночасно точно і по пам'яті, - складно. Адже саме це потрібно, щоб професійний тренер повірив в тебе. Незважаючи на всі труднощі з просторово-часовими характеристиками, ми змогли зробити це.
Coaches trust our ability of our machine to identify these variations. We're at the point where almost every single contender for an NBA championship this year is using our software, which is built on a machine that understands the moving dots of basketball. So not only that, we have given advice that has changed strategies that have helped teams win very important games, and it's very exciting because you have coaches who've been in the league for 30 years that are willing to take advice from a machine. And it's very exciting, it's much more than the pick-and-roll. Our computer started out with simple things and learned more and more complex things and now it knows so many things. Frankly, I don't understand much of what it does, and while it's not that special to be smarter than me, we were wondering, can a machine know more than a coach? Can it know more than person could know? And it turns out the answer is yes.
Тренери вірять в можливості нашої машини визначати ці варіації. Ми знаходимося на стадії, коли практично кожен претендент на чемпіонат NBA в цьому році використовує нашу програму, вбудовану на пристрої, який розуміє, як рухаються точки в баскетболі. Крім того, ми дали пораду, що змінила стратегії, які допомогли командам виграти важливі гри. Це дуже цікаво, адже є навіть такі тренери, які перебувають в Лізі 30 років, але все ж готові отримати пораду від машини. Це дуже цікаво, навіть більше, ніж пік-н-рол. Наш комп'ютер починав з простих речей і вивчав все більше і більше складних речей, і тепер знає дуже багато всього. Чесно кажучи, я не знаю стільки, скільки він. І це не дивно, що він знає більше за мене. Нам було цікаво, чи може машина знати більше, ніж тренер? Чи може вона знати більше, ніж людина? Виявилося, що так.
The coaches want players to take good shots. So if I'm standing near the basket and there's nobody near me, it's a good shot. If I'm standing far away surrounded by defenders, that's generally a bad shot. But we never knew how good "good" was, or how bad "bad" was quantitatively. Until now.
Тренери хочуть, щоб гравці виконували гарні кидки. Якщо я стою біля кошика і нікого немає поруч зі мною, це хороший кидок. Якщо я стою далеко, оточений захисниками, це, зазвичай, поганий кидок. Але ми не знали, як оцінити кількісно «хороші» чи «погані» кидки. До цього часу.
So what we can do, again, using spatiotemporal features, we looked at every shot. We can see: Where is the shot? What's the angle to the basket? Where are the defenders standing? What are their distances? What are their angles? For multiple defenders, we can look at how the player's moving and predict the shot type. We can look at all their velocities and we can build a model that predicts what is the likelihood that this shot would go in under these circumstances? So why is this important? We can take something that was shooting, which was one thing before, and turn it into two things: the quality of the shot and the quality of the shooter. So here's a bubble chart, because what's TED without a bubble chart?
Використовуючи просторово-часові характеристики, ми переглядаємо кожен кидок. Дізнатися: Звідки він зроблений? Який кут відносно корзини? Де стоять захисники? Яка їхня відстань? Під якими вони кутами? Серед захисників ми можемо побачити, як рухається гравець і передбачити тип кидка. Ми можемо обчислити їх швидкості і побудувати модель, яка передбачить ймовірність здійснення кидка при даних обставинах. Чому це так важливо? Ми можемо визначити кидок, який раніше був єдиний і скласти його в два параметри: якості кидка і здатності кидаючого. Ось бульбашкова діаграма. Який виступ на TED без діаграми?
(Laughter)
(Сміх)
Those are NBA players. The size is the size of the player and the color is the position. On the x-axis, we have the shot probability. People on the left take difficult shots, on the right, they take easy shots. On the [y-axis] is their shooting ability. People who are good are at the top, bad at the bottom. So for example, if there was a player who generally made 47 percent of their shots, that's all you knew before. But today, I can tell you that player takes shots that an average NBA player would make 49 percent of the time, and they are two percent worse. And the reason that's important is that there are lots of 47s out there. And so it's really important to know if the 47 that you're considering giving 100 million dollars to is a good shooter who takes bad shots or a bad shooter who takes good shots. Machine understanding doesn't just change how we look at players, it changes how we look at the game.
Це гравці NBA. Розмір - це розмір гравців, а колір - позиція. На осі Х - ймовірність кидка. Гравці зліва роблять складні кидки, праворуч - легкі. По осі У - їх вміння здійснювати кидки. Хороші гравці нагорі, а гірші внизу. Наприклад, якщо раніше був гравець чия ефективність кидків зазвичай 47%, це все, що вам було відомо. Сьогодні я можу сказати вам, що гравець робить кидки, як середньостатистичний гравець NBA в 49% випадків, і що вони на 2% гірші. Це важливо знати тому, що є багато гравців з 47%. Дуже важливо знати, чи з тих 47% гравець, в якого ви плануєте вкласти 100 мільйонів доларів, є хорошим бомбардиром, який робить погані кидки, чи поганим бомбардиром, що виконує хороші кидки. Машинний аналіз змінює не тільки те, як ми розглядаємо гравців, але і те, як ми бачимо гру.
So there was this very exciting game a couple of years ago, in the NBA finals. Miami was down by three, there was 20 seconds left. They were about to lose the championship. A gentleman named LeBron James came up and he took a three to tie. He missed. His teammate Chris Bosh got a rebound, passed it to another teammate named Ray Allen. He sank a three. It went into overtime. They won the game. They won the championship. It was one of the most exciting games in basketball. And our ability to know the shot probability for every player at every second, and the likelihood of them getting a rebound at every second can illuminate this moment in a way that we never could before. Now unfortunately, I can't show you that video. But for you, we recreated that moment at our weekly basketball game about 3 weeks ago.
Кілька років тому відбулася дуже захоплююча гра в фіналі NBA . «Miami» відставало на 3 очки, залишалось 20 секунд. Вони були на межі програшу чемпіонату. Джентльмен на ім'я Леброн Джеймс кинув триочковий, щоб зрівняти рахунок. Він промахнувся. Його товариш Кріс Бош підібрав м'яч, і передав іншому гравцю в команді, Рею Аллену. Він закинув триочковий. Гра продовжилась в овертаймі. Вони виграли гру і чемпіонат. Це була одна з найбільш захоплюючих ігор в баскетболі. Наша здатність передбачати ймовірність кидка для кожного гравця кожну секунду і можливість відбору м'яча кожної секунди може пролити світло на цей момент так, як ніколи раніше. На жаль, я не можу показати вам запис тієї гри. Але для вас ми відтворили цей момент на нашій щотижневій грі в баскетбол 3 тижні тому.
(Laughter)
(Сміх)
And we recreated the tracking that led to the insights. So, here is us. This is Chinatown in Los Angeles, a park we play at every week, and that's us recreating the Ray Allen moment and all the tracking that's associated with it. So, here's the shot. I'm going to show you that moment and all the insights of that moment. The only difference is, instead of the professional players, it's us, and instead of a professional announcer, it's me. So, bear with me.
Ми відтворили їх дії, що призвело до прозріння. Ось ми. Це Китайський квартал в Лос-Анджелесі, парк, де ми граємо щотижня, і це ми відтворюємо момент Рея Аллена і відстежуємо рухи. Ось кидок. Я збираюся показати вам той момент і всі деталі того моменту. Єдина різниця: замість професійних гравців граємо ми, а замість професійного коментатора буду я. Будьте до мене поблажливі.
Miami. Down three. Twenty seconds left. Jeff brings up the ball. Josh catches, puts up a three!
«Miami». Розрив в три очки. Залишилось 20 секунд. Джефф передає м'яч. Джош його ловить і кидає триочковий.
[Calculating shot probability]
[Обчислюється ймовірність кидка]
[Shot quality]
[Якість кидка]
[Rebound probability]
[Можливість відскоку]
Won't go!
Промах!
[Rebound probability]
[Можливість відскоку]
Rebound, Noel. Back to Daria.
Ноель ловить м'яч. Передає його Дарії.
[Shot quality]
[Якість кидка]
Her three-pointer -- bang! Tie game with five seconds left. The crowd goes wild.
Триочковий - ура! Ми зрівняли рахунок, і залишається ще 5 секунд. Натовп божеволіє.
(Laughter)
(Сміх)
That's roughly how it happened.
Приблизно ось так все це сталося.
(Applause)
(Оплески)
Roughly.
Приблизно.
(Applause) That moment had about a nine percent chance of happening in the NBA and we know that and a great many other things. I'm not going to tell you how many times it took us to make that happen.
(Оплески) Імовірність цього моменту в грі NBA - 9%, і ми знаємо це і ще безліч інших речей. Не буду розповідати, скільки разів нам довелося перегравати цей момент.
(Laughter)
(Сміх)
Okay, I will! It was four.
Гаразд, я скажу - 4 рази.
(Laughter)
(Сміх)
Way to go, Daria.
Молодець, Дарія!
But the important thing about that video and the insights we have for every second of every NBA game -- it's not that. It's the fact you don't have to be a professional team to track movement. You do not have to be a professional player to get insights about movement.
Але головне в цьому відео і знаннях, які ми маємо по кожній секунді кожної гри NBA - не в цьому. Головне те, що не потрібно бути професійною командою, щоб відстежувати рух; Тобі не потрібно бути професійним гравцем, щоб зрозуміти всі деталі рухів.
In fact, it doesn't even have to be about sports because we're moving everywhere. We're moving in our homes, in our offices, as we shop and we travel throughout our cities and around our world. What will we know? What will we learn? Perhaps, instead of identifying pick-and-rolls, a machine can identify the moment and let me know when my daughter takes her first steps. Which could literally be happening any second now.
Навіть не обов'язково застосовувати це до спорту, адже ми рухаємося постійно. Ми рухаємося в будинку, в нашому офісі, коли ходимо за покупками або подорожуємо по місту і по всьому світу. Що ми дізнаємося? Чому ми навчимось? Можливо, замість визначення пік-н-ролів машина зможе визначити момент і дозволить мені дізнатися, коли моя дочка зробить свої перші кроки. Що буквально може статися в будь-який момент.
Perhaps we can learn to better use our buildings, better plan our cities. I believe that with the development of the science of moving dots, we will move better, we will move smarter, we will move forward.
Можливо, ми зможемо навчитися краще проектувати наші будівлі, міста. Я вірю, що з розвитком науки, що займається вивченням рухомих точок, ми будемо рухатися краще, будемо рухатися розумніше, будемо рухатися вперед.
Thank you very much.
Щиро вдячний.
(Applause)
(Оплески)