My colleagues and I are fascinated by the science of moving dots. So what are these dots? Well, it's all of us. And we're moving in our homes, in our offices, as we shop and travel throughout our cities and around the world. And wouldn't it be great if we could understand all this movement? If we could find patterns and meaning and insight in it. And luckily for us, we live in a time where we're incredibly good at capturing information about ourselves. So whether it's through sensors or videos, or apps, we can track our movement with incredibly fine detail.
동료와 저는 움직이는 점의 과학에 푹 빠져있습니다. 이 점들은 무엇일까요? 글세요. 우리 모두죠. 우리는 집에서나 회사에서도 움직입니다. 시내를 돌며 쇼핑하거나 전 세계를 여행할 때처럼 말이죠. 이 모든 움직임을 이해할 수 있다면 굉장하지 않을까요? 움직임 속에 담긴 패턴과 의미를 찾아 이해할 수 있다면 다행히 자신에 대한 정보를 수집하는데 굉장히 능숙한 시대에 살고 있습니다. 센서나 비디오나 어플을 통한다면 엄청나게 아주 미세하고 자세히 움직임을 담아낼 수 있습니다.
So it turns out one of the places where we have the best data about movement is sports. So whether it's basketball or baseball, or football or the other football, we're instrumenting our stadiums and our players to track their movements every fraction of a second. So what we're doing is turning our athletes into -- you probably guessed it -- moving dots.
움직임을 가장 잘 수집할 수 있는 곳 중 하나가 스포츠죠. 농구, 야구, 미식축구, 축구 경기라면 경기장에서 선수들의 움직임을 포착할 수 있습니다. 매초 모든 움직임을 말이죠. 동료와 제가 하는 일은 선수들을 여러분이 아마 짐작하고 있는 움직이는 점으로 변환하는 것입니다.
So we've got mountains of moving dots and like most raw data, it's hard to deal with and not that interesting. But there are things that, for example, basketball coaches want to know. And the problem is they can't know them because they'd have to watch every second of every game, remember it and process it. And a person can't do that, but a machine can. The problem is a machine can't see the game with the eye of a coach. At least they couldn't until now. So what have we taught the machine to see?
움직이는 점을 엄청 많이 가지고 있는데 대부분의 원데이터 처럼 처리하기도 어렵고 흥미롭지도 않은 것이죠. 하지만 예를 들면 농구 코치들이 알고 싶어하는 것들이 있죠. 매 경기를 모두 지켜보고 기억했다가 처리해야 하기 때문에 알 수 없죠. 사람이 그것을 할 수 없죠. 하지만 기계는 할 수 있습니다. 문제는 기계가 코치의 눈으로 경기를 지켜볼 수 없다는 거죠. 적어도 지금까지는요. 기계가 볼 수 있게 하려면 무엇을 가르쳐야 할까요?
So, we started simply. We taught it things like passes, shots and rebounds. Things that most casual fans would know. And then we moved on to things slightly more complicated. Events like post-ups, and pick-and-rolls, and isolations. And if you don't know them, that's okay. Most casual players probably do. Now, we've gotten to a point where today, the machine understands complex events like down screens and wide pins. Basically things only professionals know. So we have taught a machine to see with the eyes of a coach.
간단한 것부터 시작했어요. 패스, 슛, 리바운드 같은 것들을 가르쳤죠. 보통 팬이라면 그 정도는 알 수 있는 거죠. 그런 다음 조금 더 어려운 것을 가르쳤죠. 포스트업, 픽앤롤, 아이솔레이션 같은 기술이죠. 이런 기술을 몰라도 괜찮습니다. 대부분 보통 팬들도 아마 그럴 거예요. 현재는 기계가 복잡한 기술을 이해하는 수준까지 와 있습니다. 다운 스크린과 와이드 핀 같은 기술 말이죠. 기본적으로 이런 것들은 전문가만 아는 것입니다. 우리는 기계가 코치의 눈으로 볼 수 있도록 가르쳐 왔습니다.
So how have we been able to do this? If I asked a coach to describe something like a pick-and-roll, they would give me a description, and if I encoded that as an algorithm, it would be terrible. The pick-and-roll happens to be this dance in basketball between four players, two on offense and two on defense. And here's kind of how it goes. So there's the guy on offense without the ball the ball and he goes next to the guy guarding the guy with the ball, and he kind of stays there and they both move and stuff happens, and ta-da, it's a pick-and-roll.
우리가 어떻게 이것을 할 수 있었을까요? 제가 코치에게 픽앤롤 같은 것을 설명해 달라고 하면 제게 설명하죠. 그러면 전 그것을 알고리즘으로 인코딩하려면 죽을 맛이죠. 픽앤롤은 농구에서 4명 선수 사이에서 이런 식으로 움직이며 일어납니다. 두명은 공격하고 두 명은 방어하면서 말이죠. 예를 들면 이런 거예요. 공 없이 공격하는 선수가 있습니다. 공을 가지고 있는 선수를 수비하는 선수 옆을 지나가다가 잠시 거기에 있다가 그 선수 둘이 움직였다가 채워넣으면서 짜잔, 이게 픽앤롤이죠.
(Laughter)
(웃음)
So that is also an example of a terrible algorithm. So, if the player who's the interferer -- he's called the screener -- goes close by, but he doesn't stop, it's probably not a pick-and-roll. Or if he does stop, but he doesn't stop close enough, it's probably not a pick-and-roll. Or, if he does go close by and he does stop but they do it under the basket, it's probably not a pick-and-roll. Or I could be wrong, they could all be pick-and-rolls. It really depends on the exact timing, the distances, the locations, and that's what makes it hard. So, luckily, with machine learning, we can go beyond our own ability to describe the things we know.
그것 역시 복잡한 알고리즘의 예입니다. 막아 주는 선수를 스크리너라고 부르는데 가까이 다가가지만 막아주지 않는다면 아마 픽앤롤은 아닌 것 같네요. 그가 막지만, 가까이에서 충분히 막지 않는다면 아마 픽앤롤이 아닐 거예요. 또는 가까이 다가가서 막는데 골대 아래서에서 그렇게 한다면 아마 픽앤롤이 아닐 거예요. 제가 틀렸다면 지금까지 말한 모두가 픽앤롤이겠죠. 정확한 타이밍, 거리, 위치에 따라 진짜 달라집니다. 그러니 그게 힘든 거지요. 다행이 기계가 학습을 하면서 우리가 알고 있는 것을 설명하는데 우리의 능력을 넘어설 수 있습니다.
So how does this work? Well, it's by example. So we go to the machine and say, "Good morning, machine. Here are some pick-and-rolls, and here are some things that are not. Please find a way to tell the difference." And the key to all of this is to find features that enable it to separate. So if I was going to teach it the difference between an apple and orange, I might say, "Why don't you use color or shape?" And the problem that we're solving is, what are those things? What are the key features that let a computer navigate the world of moving dots? So figuring out all these relationships with relative and absolute location, distance, timing, velocities -- that's really the key to the science of moving dots, or as we like to call it, spatiotemporal pattern recognition, in academic vernacular. Because the first thing is, you have to make it sound hard -- because it is.
이게 어떻게 가능할까요? 예를 들어보죠. 우리가 기계에게 가서 "좋은 아침이네. 기계 씨. 여기 몇 가지 픽앤롤과 이전에 없던 몇 가지가 있네. 방법을 찾아 차이점을 말해줬으면 해." 이 모든 것의 핵심은 특징을 찾아 그것을 분리해내는 거죠. 만약 제가 사과와 오렌지의 차이점을 가르치려고 하면 "색과 모양을 사용하는 게 어때?"라고 말하겠죠. 우리가 풀려는 문제는 그것들이 뭔가라는 거죠. 어떤 핵심기능으로 컴퓨터가 움직이는 점의 세계를 처리할 수 있을까요? 상대적이고 절대적인 위치, 거리, 타이밍, 속도로 이 모든 것을 설명한다는 것이 그게 "움직이는 점의 과학"에서 진짜 핵심이죠. 학계에서 쓰는 말로는 시공간적 패턴 인식이라고 하죠. 여러분이 발음하기 힘들기 때문에 세게 발음해야 합니다.
The key thing is, for NBA coaches, it's not that they want to know whether a pick-and-roll happened or not. It's that they want to know how it happened. And why is it so important to them? So here's a little insight. It turns out in modern basketball, this pick-and-roll is perhaps the most important play. And knowing how to run it, and knowing how to defend it, is basically a key to winning and losing most games. So it turns out that this dance has a great many variations and identifying the variations is really the thing that matters, and that's why we need this to be really, really good.
핵심은 NBA코치들이 알고 싶어하는 것이 픽앤롤이 일어났는지 안 일어났는지가 아니라 어떻게 일어나느냐하는 거죠. 왜 그게 코치에게 그렇게 중요할까요? 바로 직관때문이죠. 현대 농구에서 밝혀진 바로는 이런 픽앤롤 기술이 아마 가장 중요한 플레이입니다. 어떻게 달리고 방어하는지 아는 것이 기본적으로 대부분의 경기의 승패를 가르는 열쇠입니다. 이 기술이 매우 많은 변형이 있다는 것을 알아냈죠. 변형을 알아내는 것이 진짜 중요한 일이죠. 아주 아주 잘 해내려면 이것이 필요한 이유죠.
So, here's an example. There are two offensive and two defensive players, getting ready to do the pick-and-roll dance. So the guy with ball can either take, or he can reject. His teammate can either roll or pop. The guy guarding the ball can either go over or under. His teammate can either show or play up to touch, or play soft and together they can either switch or blitz and I didn't know most of these things when I started and it would be lovely if everybody moved according to those arrows. It would make our lives a lot easier, but it turns out movement is very messy. People wiggle a lot and getting these variations identified with very high accuracy, both in precision and recall, is tough because that's what it takes to get a professional coach to believe in you. And despite all the difficulties with the right spatiotemporal features we have been able to do that.
예를 들면, 두 공격 선수와 두 수비 선수가 있죠. 픽앤롤 기술을 하려고 준비합니다. 공을 가진 선수가 그 기술을 받아들일 수도 거부할 수도 있죠. 그의 동료는 뒤로 돌아나가거나 외곽쪽으로 빠질 수 있죠. 수비 선수는 위쪽 또는 아래쪽으로 뛸 수 있죠. 그의 동료는 공을 가진 선수를 따라가거나 스크리너를 막거나 뒤쪽으로 빠지거나 둘다 스위치나 블리치를 할 수 있죠. 제가 시작할 때는 이런 것들을 대부분 몰랐어요. 모두가 이런 화살표대로 움직인다면 좋았을 거예요. 그러면 아주 쉬웠을 텐데 움직임은 매우 복잡했죠. 사람들은 매우 자주 움직이고 변형도 많았죠. 매우 정밀하게 확인해 바로는요. 정확하게 회상하기는 힘들었어요. 여러분이 믿을 만한 전문 코치를 구하는 데 시간이 걸렸기 때문이죠. 정확한 시공간 특징을 찾아낸다는 것이 어려움에도 불구하고 그것을 해낼 수 있었습니다.
Coaches trust our ability of our machine to identify these variations. We're at the point where almost every single contender for an NBA championship this year is using our software, which is built on a machine that understands the moving dots of basketball. So not only that, we have given advice that has changed strategies that have helped teams win very important games, and it's very exciting because you have coaches who've been in the league for 30 years that are willing to take advice from a machine. And it's very exciting, it's much more than the pick-and-roll. Our computer started out with simple things and learned more and more complex things and now it knows so many things. Frankly, I don't understand much of what it does, and while it's not that special to be smarter than me, we were wondering, can a machine know more than a coach? Can it know more than person could know? And it turns out the answer is yes.
코치가 기계의 능력을 믿고 이런 변형을 확인했죠. 거의 모든 경쟁자들이 올해 NBA 선수권을 위해 이 소프트웨어를 이용하려고 하고 있죠. 농구의 움직이는 점을 이해하는 기계로 만든 소프트웨어 말이에요. 그것뿐만 아니라 전술을 바꾸는 조언을 해 줘 팀을 도와 매우 중요한 경기에서 승리하게 했죠. 매우 들떴던 이유는 30년동안 리그에서 있었던 코치가 기계에서 나온 조언을 기꺼이 수용했기 때문이죠. 픽앤롤을 알았을 때보다 훨씬 더 신났어요. 컴퓨터는 간단한 것부터 시작해서 점점 더 복잡한 것을 학습했고 지금은 많은 것을 알고 있습니다. 솔직히 전 컴퓨터가 하는 일을 다 이해하지 못하지만 저보다 더 똑똑해진다고 그렇게 특별해지지 않겠지만 궁금하기는 하네요. 기계가 코치보다 더 많이 알 수 있을까요? 사람보다 더 많이 알 수 있을까요? 밝혀진 바로는 "네."입니다.
The coaches want players to take good shots. So if I'm standing near the basket and there's nobody near me, it's a good shot. If I'm standing far away surrounded by defenders, that's generally a bad shot. But we never knew how good "good" was, or how bad "bad" was quantitatively. Until now.
코치는 선수들이 슛을 잘 쏘기 바랍니다. 제가 골대 근처에 서 있고 근처에 아무도 없다면 슛하기 좋죠. 수비수에 둘러싸여 골대 멀리 서있다면 대개 슛하기 좋지 않죠. 하지만 결코 알지 못하죠. 좋은 게 얼마나 좋은지 나쁜 게 얼마나 나쁜지를요. 현재까지는요.
So what we can do, again, using spatiotemporal features, we looked at every shot. We can see: Where is the shot? What's the angle to the basket? Where are the defenders standing? What are their distances? What are their angles? For multiple defenders, we can look at how the player's moving and predict the shot type. We can look at all their velocities and we can build a model that predicts what is the likelihood that this shot would go in under these circumstances? So why is this important? We can take something that was shooting, which was one thing before, and turn it into two things: the quality of the shot and the quality of the shooter. So here's a bubble chart, because what's TED without a bubble chart?
할 수 있는 것은 다시 시공간적인 특징을 이용해서 슛을 모든 방향에서 보았습니다. 슛을 어디서 했고 골대까지 각도가 어떤지 알 수 있었죠. 수비수가 어디 서있는지? 그 거리는 얼마인지? 그들과의 각도는 얼마인지? 다수의 수비수가 어떻게 움직이는지 볼 수 있었죠. 슛 타입도 예상할 수 있었고요. 공의 속도를 보고 예측 모델을 만들 수 있었죠. 이 슛이 이런 상황에서 나올 가능성이 얼마나 될까? 이게 왜 중요할까요? 슛을 해석할 때 전에는 하나로 보았던 것을 지금 둘로 나누어 해석하죠. 슛의 유효율과 슈터의 자질입니다. 버블차트가 있습니다. 이거 없이는 테드 강연을 할 수 없죠.
(Laughter)
(웃음)
Those are NBA players. The size is the size of the player and the color is the position. On the x-axis, we have the shot probability. People on the left take difficult shots, on the right, they take easy shots. On the [y-axis] is their shooting ability. People who are good are at the top, bad at the bottom. So for example, if there was a player who generally made 47 percent of their shots, that's all you knew before. But today, I can tell you that player takes shots that an average NBA player would make 49 percent of the time, and they are two percent worse. And the reason that's important is that there are lots of 47s out there. And so it's really important to know if the 47 that you're considering giving 100 million dollars to is a good shooter who takes bad shots or a bad shooter who takes good shots. Machine understanding doesn't just change how we look at players, it changes how we look at the game.
NBA 선수들입니다. 크기는 선수들의 체격이고 색은 선수들의 포지션입니다. X축에는 슛성공률입니다. 왼쪽에 있는 선수는 슛을 성공하기 힘들죠. 오른쪽에는 있는 선수는 슛을 성공하기 쉽죠. Y축은 슛을 쏠 수 있는 능력입니다. 위에는 능력이 좋은 선수, 아래는 능력이 나쁜 선수입니다. 예를 들면, 대체로 슛의 47%를 넣는 선수가 있는데 그게 여러분이 아는 전부죠. 하지만 오늘 말씀드릴 수 있는 것은 NBA 평균 선수들이 그 당시 슛성공률은 49%이고 슛 쏘는 능력은 -2%라는 것이죠. 중요한 사실은 47%인 선수가 많다는 거죠. 알아야 할 정말 중요한 것은 1억 달러를 주기로 한 47%의 선수가 좋은 슈터지만 슛을 잘 못 던지는지 나쁜 슈터지만 슛을 잘 던지는지 아는 거죠. 기계가 이해하고 있는 것이 선수를 보는 방법을 변화시키지 못하지만 경기를 바라보는 방법을 변화시킵니다.
So there was this very exciting game a couple of years ago, in the NBA finals. Miami was down by three, there was 20 seconds left. They were about to lose the championship. A gentleman named LeBron James came up and he took a three to tie. He missed. His teammate Chris Bosh got a rebound, passed it to another teammate named Ray Allen. He sank a three. It went into overtime. They won the game. They won the championship. It was one of the most exciting games in basketball. And our ability to know the shot probability for every player at every second, and the likelihood of them getting a rebound at every second can illuminate this moment in a way that we never could before. Now unfortunately, I can't show you that video. But for you, we recreated that moment at our weekly basketball game about 3 weeks ago.
가장 흥미진진했던 몇 년 전 NBA 결승 경기에서 마이애미는 3점을 뒤지고 20초가 남았었습니다. 우승을 놓치기 일보 직전이었죠. 르브론 제임스 선수가 3점슛을 쏴 동점을 만들려고 했으나 실패했죠. 동료선수 크리스 보쉬가 리바운드를 잡았고 공을 동료선수 레이 알렌에게 패스했습니다. 3점을 성공했고 연장전으로 들어갔죠. 경기에 이겼고 챔피언십에서 우승했죠. 가장 흥미진진했던 농구경기 중 하나였습니다. 매 순간 모든 선수의 슛성공률과 매 순간 리바운드를 따낼 가능성을 파악하는 능력을 전에는 불가능했던 방법으로 설명할 수 있게 되었죠. 현재, 안타깝게도 여러분에게 그 비디오를 보여줄 수 없네요. 하지만, 여러분을 위해 그 순간을 재현했습니다. 3주 전 주말 농구경기에서 말이죠.
(Laughter)
(웃음)
And we recreated the tracking that led to the insights. So, here is us. This is Chinatown in Los Angeles, a park we play at every week, and that's us recreating the Ray Allen moment and all the tracking that's associated with it. So, here's the shot. I'm going to show you that moment and all the insights of that moment. The only difference is, instead of the professional players, it's us, and instead of a professional announcer, it's me. So, bear with me.
직관을 보여주는 경기를 재현했죠. 이곳입니다. 로스앤젤레스 차이나타운이죠. 매주 경기를 했던 공원입니다. 레이 알렌이 플레이했던 순간과 그것과 관련된 모든 것을 재현했습니다. 슛장면입니다. 그 순간을 여러분에게 보여주려고 합니다. 그 순간의 직관까지요. 차이점이라곤 전문 선수들이 아니라 제 동료라는 거죠. 전문적인 아나운서가 아니라 제가 하고 있다는 거죠. 잠시 참아주세요.
Miami. Down three. Twenty seconds left. Jeff brings up the ball. Josh catches, puts up a three!
마이애미 3점이 지고 있는 상황 20초가 남았네요. 제프가 공을 몰고 오네요. 조쉬가 받아 3점 슛!
[Calculating shot probability]
[슛 성공률 계산 중]
[Shot quality]
[슛의 유효율]
[Rebound probability]
[리바운드 성공률]
Won't go!
잡지 못했네요.
[Rebound probability]
[리바운드 성공률]
Rebound, Noel. Back to Daria.
노엘이 리바운드했습니다. 다리아에게 패스
[Shot quality]
[슛의 유효율]
Her three-pointer -- bang! Tie game with five seconds left. The crowd goes wild.
3점 슛, 골! 5초를 남긴 상황 관중이 흥분하기 시작합니다.
(Laughter)
(웃음)
That's roughly how it happened.
대충 이런 식으로 일어나죠.
(Applause)
(박수)
Roughly.
대충이요.
(Applause) That moment had about a nine percent chance of happening in the NBA and we know that and a great many other things. I'm not going to tell you how many times it took us to make that happen.
(박수) 그런 순간은 NBA에서 일어날 확률이 약 9%라고 하죠. 아시다시피 다른 것들도 매우 많죠. 얼마나 많이 일어나는지 말하려고 하는 게 아닙니다.
(Laughter)
(웃음)
Okay, I will! It was four.
좋아요. 말해줄게요. 네 번 정도죠.
(Laughter)
(웃음)
Way to go, Daria.
잘했어. 다리아
But the important thing about that video and the insights we have for every second of every NBA game -- it's not that. It's the fact you don't have to be a professional team to track movement. You do not have to be a professional player to get insights about movement.
하지만 그 비디오에서 중요한 것과 모든 NBA경기의 매 초마다 파악하려고 한 직관은 그게 아니죠. 사실 움직임을 추적하기 위해 전문적인 팀일 필요는 없습니다. 움직임에 대한 안목을 키우려고 전문적인 선수일 필요는 없죠.
In fact, it doesn't even have to be about sports because we're moving everywhere. We're moving in our homes, in our offices, as we shop and we travel throughout our cities and around our world. What will we know? What will we learn? Perhaps, instead of identifying pick-and-rolls, a machine can identify the moment and let me know when my daughter takes her first steps. Which could literally be happening any second now.
사실 굳이 스포츠일 필요는 없죠. 우리는 모든 순간 움직이니까요. 집에 가거나 회사에 가거나 쇼핑을 하고 여행하죠. 도시 여기 저기를 그리고 전 세계를 우리는 무엇을 알고 배웠을까요? 아마 픽앤롤을 감지하는 대신 딸의 첫발을 내딛는 순간을 감지해 알려줄 수 있습니다. 말 그대로 현재 일어나고 있는 모든 순간을 말이죠.
Perhaps we can learn to better use our buildings, better plan our cities. I believe that with the development of the science of moving dots, we will move better, we will move smarter, we will move forward.
아마 건물을 더 잘 이용하고 도시 설계를 더 잘 할 수 있을 겁니다. 움직이는 점의 과학 발전을 통해 우리는 더 좋은 쪽으로 더 영리하게, 앞으로 나아갈 거라 믿습니다
Thank you very much.
대단히 감사합니다.
(Applause)
(박수)