Roy Price is a man that most of you have probably never heard about, even though he may have been responsible for 22 somewhat mediocre minutes of your life on April 19, 2013. He may have also been responsible for 22 very entertaining minutes, but not very many of you. And all of that goes back to a decision that Roy had to make about three years ago.
로이 프라이스라는 사람에 대해 아시는 분이 얼마 되지 않을 거예요. 그가 2013년 4월 19일에 여러분이 형편없는 22분을 보낸 이유일 수도 있지만 말입니다. 그는 일부에게는 아주 흥미로운 22분을 보내게 하기도 했지만 여러분 대부분은 아닐테죠. 그리고 이 모든건 삼년 전 로이가 만들어야 했던 결정으로 되돌아 갑니다.
So you see, Roy Price is a senior executive with Amazon Studios. That's the TV production company of Amazon. He's 47 years old, slim, spiky hair, describes himself on Twitter as "movies, TV, technology, tacos." And Roy Price has a very responsible job, because it's his responsibility to pick the shows, the original content that Amazon is going to make. And of course that's a highly competitive space. I mean, there are so many TV shows already out there, that Roy can't just choose any show. He has to find shows that are really, really great. So in other words, he has to find shows that are on the very right end of this curve here.
네, 로이는 아마존 스튜디오의 고위 간부입니다. 아마존의 TV 기획 부서죠. 로이는 47세로 마르고 뾰족한 머리를 했으며 트위터에 스스로를 다음과 같이 묘사했습니다. "영화, TV, 기술, 타코" 로이의 일은 책임감이 막중했는데 그가 하는 일은 아마존이 만들 시작 컨텐츠를 선택하는 것이니까요. 물론 경쟁이 매우 심한 분야이죠. 그러니까 이미 많은 TV 쇼가 있고 로이는 아무 쇼나 선택할 수 없죠. 매우 훌륭한 쇼를 찾아야 해요. 즉, 다시 말해서 바로 이 곡선 오른쪽 끝에 있는 것들이어야 한다는 뜻이죠.
So this curve here is the rating distribution of about 2,500 TV shows on the website IMDB, and the rating goes from one to 10, and the height here shows you how many shows get that rating. So if your show gets a rating of nine points or higher, that's a winner. Then you have a top two percent show. That's shows like "Breaking Bad," "Game of Thrones," "The Wire," so all of these shows that are addictive, whereafter you've watched a season, your brain is basically like, "Where can I get more of these episodes?" That kind of show. On the left side, just for clarity, here on that end, you have a show called "Toddlers and Tiaras" --
이 곡선은 IMDB 웹사이트의 2,500 여개의 TV 쇼를 평가하여 분석한 내용을 담고 있습니다. 평점은 1점부터 10점으로 매겨지며 여기 이 높이는 그 평점을 받은 쇼의 개수를 보여주죠. 9점 이상을 받았다면 대박인 거예요. 상위 2%의 쇼라는 거죠. "브레이킹 배드", "왕좌의 게임", "더 와이어" 처럼요. 이 쇼들은 중독성이 강해요. 한 시즌을 보고나면 여러분의 뇌는 "다른 시즌들은 어디서 구하지?" 라고 생각할 거예요. 그런 쇼들이죠. 명확히 보여드리기 위해 왼쪽 끝에는 뭐가 있는지 알려드리자면요. "토들러 앤 티아라"가 있어요.
(Laughter)
(웃음)
-- which should tell you enough about what's going on on that end of the curve.
여러분은 충분히 그 곡선 끝에서 어떤 일이 일어나고 있는지 예측할 수 있을 거예요.
Now, Roy Price is not worried about getting on the left end of the curve, because I think you would have to have some serious brainpower to undercut "Toddlers and Tiaras." So what he's worried about is this middle bulge here, the bulge of average TV, you know, those shows that aren't really good or really bad, they don't really get you excited. So he needs to make sure that he's really on the right end of this.
네, 로이 프라이스는 왼쪽 곡선에 머물게 되는 것에 신경쓰지 않아요. 왜냐하면 여러분이 "토들러 앤 티아라"를 제치시려면 뇌를 좀 많이 쓰셔야 할테니까요. 중요한 건 이 가운데 지점이에요. 평균 TV의 중간 지점 아시다시피 그다지 좋지도 나쁘지도 않은 쇼들이죠. 그렇게 흥미롭지도 않아요. 로이는 반드시 이 오른쪽 끝에 있도록 해야 해요.
So the pressure is on, and of course it's also the first time that Amazon is even doing something like this, so Roy Price does not want to take any chances. He wants to engineer success. He needs a guaranteed success, and so what he does is, he holds a competition.
부담이 있죠. 물론 아마존이 이런 일을 하는 것도 처음이기도 해요. 로이 프라이스는 위험을 피하고 싶어 할 거예요. 그는 성공을 만들어내길 꾀하죠. 그에겐 보장된 성공이 필요해요. 그래서 그는 경쟁을 시킵니다.
So he takes a bunch of ideas for TV shows, and from those ideas, through an evaluation, they select eight candidates for TV shows, and then he just makes the first episode of each one of these shows and puts them online for free for everyone to watch. And so when Amazon is giving out free stuff, you're going to take it, right? So millions of viewers are watching those episodes.
그는 텔레비젼 쇼의 여러 아이디어를 모은 다음에 아이디어와 평가를 토대로 여덟 개의 TV 쇼를 선택합니다. 그리고 각 쇼들의 첫 번째 에피소드를 온라인에 누구나 시청할 수 있도록 무료로 제공해요. 아마존이 무료로 제공하면 당연히 보게 되지 않겠어요? 수 백만 명의 시청자들이 첫 번째 에피소드를 볼 것입니다.
What they don't realize is that, while they're watching their shows, actually, they are being watched. They are being watched by Roy Price and his team, who record everything. They record when somebody presses play, when somebody presses pause, what parts they skip, what parts they watch again. So they collect millions of data points, because they want to have those data points to then decide which show they should make. And sure enough, so they collect all the data, they do all the data crunching, and an answer emerges, and the answer is, "Amazon should do a sitcom about four Republican US Senators." They did that show.
쇼를 시청할 땐 알아채지 못하지만 사실 그들은 감시당하고 있어요. 로이 프라이스와 그의 팀으로부터요. 그들은 모든 것을 기록해요. 시청자들이 언제 재생하고 언제 정지하는지 기록하죠. 어느 장면을 건너 뛰고 어디를 다시 보는지를요. 그들은 무수히 많은 데이터 포인트를 수집해요. 그들에게 필요한건 데이터 포인트거든요. 그리고 이를 통해 어떤 쇼를 만들어야 할지를 결정하죠. 당연히 그들은 모든 정보를 수집하고 분석하면 정답은 나타납니다. 정답은 "아마존은 공화당 의원 네 명에 대한 시트콤을 만들어야 한다" 입니다. 그래서 정말 만들었어요.
So does anyone know the name of the show? (Audience: "Alpha House.") Yes, "Alpha House," but it seems like not too many of you here remember that show, actually, because it didn't turn out that great. It's actually just an average show, actually -- literally, in fact, because the average of this curve here is at 7.4, and "Alpha House" lands at 7.5, so a slightly above average show, but certainly not what Roy Price and his team were aiming for. Meanwhile, however, at about the same time, at another company, another executive did manage to land a top show using data analysis, and his name is Ted, Ted Sarandos, who is the Chief Content Officer of Netflix, and just like Roy, he's on a constant mission to find that great TV show, and he uses data as well to do that, except he does it a little bit differently. So instead of holding a competition, what he did -- and his team of course -- was they looked at all the data they already had about Netflix viewers, you know, the ratings they give their shows, the viewing histories, what shows people like, and so on. And then they use that data to discover all of these little bits and pieces about the audience: what kinds of shows they like, what kind of producers, what kind of actors. And once they had all of these pieces together, they took a leap of faith, and they decided to license not a sitcom about four Senators but a drama series about a single Senator. You guys know the show?
쇼의 제목을 아시는 분이 계신가요? (청중: "알파 하우스") 네, "알파 하우스"죠. 그런데 많은 분들이 기억하고 계시지는 않은 것 같아요. 그렇게 대박난 작품은 아니거든요. 중간 정도의 쇼였어요. 사실 이 곡선의 중간은 7.4점이고 "알파 하우스"는 7.5점이니깐요. 평균보다 아주 약간 위죠. 하지만 분명 로이 프라이스와 그의 팀이 목표한 것은 아니었죠. 한편 그와 동시에 다른 회사에서도 회사 간부가 데이터 분석을 통해 탑 쇼 하나를 배출했습니다. 그의 이름은 테드 사란도스로 넷플릭스의 웹사이트 콘텐츠 부문 최고 경영자예요. 로이처럼 그는 끊임없이 좋은 TV쇼를 찾아야 하는 일을 맡고 있어요. 테드 또한 이를 위해 데이터를 이용하는데 조금은 다른 방식을 사용합니다. 경쟁을 붙이는 대신에 테드와 그의 팀은 넷플릭스 시청자들에 관한 기존의 데이터를 봅니다. 시청자들이 메긴 평점과 시청 기록과 사람들이 어떤 쇼를 좋아하는지 등을요. 그리고 그 데이터를 통해서 관객들에 대한 소소한 모든 것들을 발견해 나갑니다. 어떤 종류의 쇼를 좋아하는지와 어떤 제작자와 배우를 좋아하는지 말이에요. 이런 정보들을 한데 모아서 상당한 신뢰를 가지고 결정한 것은 네 명의 국회위원에 대한 시트콤이 아니라 한 명의 국회위원에 대한 드라마였습니다. 그 쇼가 무엇인지 아세요?
(Laughter)
(웃음)
Yes, "House of Cards," and Netflix of course, nailed it with that show, at least for the first two seasons.
네, "하우스 오브 카드"죠. 최소 두 번째 시즌까진 성공적인 넷플릭스의 쇼이죠.
(Laughter) (Applause)
(웃음) (박수)
"House of Cards" gets a 9.1 rating on this curve, so it's exactly where they wanted it to be.
"하우스 오브 카드"는 이 곡선에서 9.1점을 받았어요. 그들이 원하던 수준이죠.
Now, the question of course is, what happened here? So you have two very competitive, data-savvy companies. They connect all of these millions of data points, and then it works beautifully for one of them, and it doesn't work for the other one. So why? Because logic kind of tells you that this should be working all the time. I mean, if you're collecting millions of data points on a decision you're going to make, then you should be able to make a pretty good decision. You have 200 years of statistics to rely on. You're amplifying it with very powerful computers. The least you could expect is good TV, right?
질문을 해보죠. 무슨 일이 일어난 걸까요? 두 개의 매우 경쟁적인 데이터를 잘 다루는 회사들이 있다고 합시다. 그들은 수 백만 개의 데이터 포인트들을 연결시켜요. 그들 중 한 쪽에게만 아주 잘 작동하고 다른 쪽에서는 잘 작동하지 않아요. 왜 그럴까요? 왜냐하면 논리적으로 보면 이것이 항상 작동하는 것이 맞을 것이기 때문입니다. 결정을 하기 위해 수 백 만의 데이터 포인트를 수집한다면 꽤 훌륭한 결정을 내릴 수 있어야 마땅할 것입니다. 여러분에게 200년동안의 믿을만한 통계 자료가 있어요. 강력한 컴퓨터를 이용하여 이를 증폭시킵니다. 최소한 좋은 TV프로는 기대하실테죠?
And if data analysis does not work that way, then it actually gets a little scary, because we live in a time where we're turning to data more and more to make very serious decisions that go far beyond TV. Does anyone here know the company Multi-Health Systems? No one. OK, that's good actually. OK, so Multi-Health Systems is a software company, and I hope that nobody here in this room ever comes into contact with that software, because if you do, it means you're in prison.
만일 정보 분석이 그렇게 되지 않으면 조금 무서워 집니다. 왜냐하면 우리가 사는 현 세대는 더 많은 정보 수집을 통하여 TV프로 이상으로 훨씬 더 중대한 결정을 내리는 사회거든요. "멀티-헬스 시스템" 이라는 회사에 대해 들어 보신 분 계신가요? 아무도 없군요. 좋습니다. 좋아요, 멀티 헬스 시스템은 소프트웨어 회사입니다. 여기 계신 여러분 중 아무도 그 소프트웨어와 만나지 않으시길 바래요. 만일 그런다면 바로 감옥에 있다는 뜻이니까요.
(Laughter)
(웃음)
If someone here in the US is in prison, and they apply for parole, then it's very likely that data analysis software from that company will be used in determining whether to grant that parole. So it's the same principle as Amazon and Netflix, but now instead of deciding whether a TV show is going to be good or bad, you're deciding whether a person is going to be good or bad. And mediocre TV, 22 minutes, that can be pretty bad, but more years in prison, I guess, even worse.
미국에서 수감중인 누군가가 가석방을 요청하면 그 회사의 정보 분석 소프트 웨어를 통해 가석방 여부를 결정할 가능성이 높습니다. 아마존과 넷플릭스와 같은 원칙이죠. 하지만 지금은 TV쇼가 좋은지 나쁜지를 판단하는 대신에 여러분은 어떤 사람이 좋은지 나쁜지를 결정하게 될 거예요. 평범한 TV를 22분동안 보는 것은 별로죠. 하지만 감옥에서 몇 년 더 사는 것은 훨씬 나쁜 일일 것입니다.
And unfortunately, there is actually some evidence that this data analysis, despite having lots of data, does not always produce optimum results. And that's not because a company like Multi-Health Systems doesn't know what to do with data. Even the most data-savvy companies get it wrong. Yes, even Google gets it wrong sometimes.
애석하게도 분석된 정보가 그 방대한 양에도 불구하고 항상 최상의 결과를 얻는 것은 아니라는 증거가 있습니다. 멀티 헬스 시스템과 같은 회사가 데이터를 어떻게 이용해야 할지 몰라서 그러는게 아니에요. 가장 데이터를 잘 다루는 회사들도 틀리는 걸요. 구글마저도 가끔은 틀립니다.
In 2009, Google announced that they were able, with data analysis, to predict outbreaks of influenza, the nasty kind of flu, by doing data analysis on their Google searches. And it worked beautifully, and it made a big splash in the news, including the pinnacle of scientific success: a publication in the journal "Nature." It worked beautifully for year after year after year, until one year it failed. And nobody could even tell exactly why. It just didn't work that year, and of course that again made big news, including now a retraction of a publication from the journal "Nature." So even the most data-savvy companies, Amazon and Google, they sometimes get it wrong. And despite all those failures, data is moving rapidly into real-life decision-making -- into the workplace, law enforcement, medicine. So we should better make sure that data is helping.
2009년 구글은 데이터 분석을 통해 고약한 독감인 인플루엔자 발발을 예측할 수 있다고 주장했었어요. 구글 검색의 정보 분석을 토대로요. 아주 잘 흘러 갔고 뉴스에 크게 보도 됐어요. 과학적 성공의 정점과 함께 말입니다. "네이쳐"에 개제된 것이죠. 해마다 성공적이었죠. 한 해 실패하기 전까진요. 그리고 아무도 왜 실패했는지 확실한 이유를 규명하지 못해요. 그 해는 그냥 실패였죠. 물론 그것 또한 빅뉴스였고 "네이쳐" 학술지에 개제되는 것은 철회되었습니다. 아마존과 구글같은 데이터를 잘 다루는 회사들도 가끔은 틀린다는 거예요. 이러한 실패 속에서도 데이터는 아주 급속하게 실제 의사결정에 이용되고 있습니다. 직장에서도 법률 실행 시에도 의료 분야에서도요. 그러니까 실질적으로 데이터가 도움이 되도록 해야겠죠.
Now, personally I've seen a lot of this struggle with data myself, because I work in computational genetics, which is also a field where lots of very smart people are using unimaginable amounts of data to make pretty serious decisions like deciding on a cancer therapy or developing a drug. And over the years, I've noticed a sort of pattern or kind of rule, if you will, about the difference between successful decision-making with data and unsuccessful decision-making, and I find this a pattern worth sharing, and it goes something like this.
개인적으로 저는 데이터 때문에 고생한 경험이 많아요. 왜냐하면 전 컴퓨터 유전학 분야에 종사하고 있거든요. 이 분야에서는 수많은 뛰어난 인재들이 상상하지 못할만큼 많은 양의 정보를 이용하여 중대한 결정을 내립니다. 예를 들어 암 치료나 신약 개발 등의 결정에 말입니다. 최근 몇년 사이 새로운 패턴을 발견하였는데 차이에 관한 일종의 규칙이라고 해두죠. 데이터를 이용하여 성공적인 결정을 이끌어 내는가 실패 하는가의 차이에 대한 규칙 말입니다. 이 패턴은 공유될 가치가 있는데 그 내용은 다음과 같습니다.
So whenever you're solving a complex problem, you're doing essentially two things. The first one is, you take that problem apart into its bits and pieces so that you can deeply analyze those bits and pieces, and then of course you do the second part. You put all of these bits and pieces back together again to come to your conclusion. And sometimes you have to do it over again, but it's always those two things: taking apart and putting back together again.
복잡한 문제에 직면했을 때 여러분은 주로 두가지를 합니다. 첫번째는 그 문제를 여러 조각으로 쪼개서 그 조각들을 깊이 분석하는 것이고 물론 여러분이 하는 두 번째 일은 조각들을 다시 하나로 합쳐서 결론을 내는 것입니다. 종종 그 과정을 반복해야 할텐데요. 그래도 역시 두 가지 뿐이죠. 쪼개고 다시 합치기.
And now the crucial thing is that data and data analysis is only good for the first part. Data and data analysis, no matter how powerful, can only help you taking a problem apart and understanding its pieces. It's not suited to put those pieces back together again and then to come to a conclusion. There's another tool that can do that, and we all have it, and that tool is the brain. If there's one thing a brain is good at, it's taking bits and pieces back together again, even when you have incomplete information, and coming to a good conclusion, especially if it's the brain of an expert.
그리고 중요한 것은 데이터와 데이터 분석은 오직 첫 번째 파트에서만 중요한 것이라는 겁니다. 데이터와 데이터 분석이 얼마나 영향력이 있던 간에 문제를 쪼개고 그 조각들을 이해하는 것에만 도움을 줄 뿐 그 조각들을 다시 하나로 합쳐서 결론을 내는데 도움을 주진 않아요. 그것을 할수 있는 또다른 도구가 있는데 우리 모두는 그것을 가지고 있습니다. 그 도구는 바로 뇌에요. 뇌가 능통한 일들 중 하나는 조각들을 합치는 것입니다. 완전하지 않은 정보를 가지고 있을 때조차 좋은 결정을 내리죠. 전문가의 두뇌라면 말입니다.
And that's why I believe that Netflix was so successful, because they used data and brains where they belong in the process. They use data to first understand lots of pieces about their audience that they otherwise wouldn't have been able to understand at that depth, but then the decision to take all these bits and pieces and put them back together again and make a show like "House of Cards," that was nowhere in the data. Ted Sarandos and his team made that decision to license that show, which also meant, by the way, that they were taking a pretty big personal risk with that decision. And Amazon, on the other hand, they did it the wrong way around. They used data all the way to drive their decision-making, first when they held their competition of TV ideas, then when they selected "Alpha House" to make as a show. Which of course was a very safe decision for them, because they could always point at the data, saying, "This is what the data tells us." But it didn't lead to the exceptional results that they were hoping for.
그게 제가 생각하는 넷플릭스의 성공 비결이예요. 데이터와 뇌를 이용해서 일을 처리 했거든요. 첫 번째는 데이터를 이용해서 대중들에 관한 조각들을 이해했는데 데이터가 없었다면 그렇게 깊이 이해하지 못했을 것입니다. 하지만 그 조각들을 다시 하나로 합쳐 "하우스 오브 카드" 같은 쇼를 만든 것은 데이터로부터 나온 것이 아니었습니다. 테드 세란도스와 그의 팀은 그 쇼에 특허를 내기로 결정했어요. 즉, 다른 말로 꽤 큰 개인적 위험을 감수한다는 뜻이죠. 반면에 아마존은 실수를 했어요. 그들은 결정을 내리기까지 계속 데이터를 사용했습니다. 먼저 TV 아이디어 경쟁을 벌일 때 사용했고 "알파 하우스" 쇼를 만들기로 선택했을 때도 사용했습니다. 물론 그들에겐 아주 안정적인 결정이었습니다. 왜냐면 그들은 항상 데이터를 가르키면서 말할 수 있었으니까요. "이것이 데이터가 말해준 것입니다". 그렇지만 그들이 원하던 특별한 결과에 이르지는 못했어요.
So data is of course a massively useful tool to make better decisions, but I believe that things go wrong when data is starting to drive those decisions. No matter how powerful, data is just a tool, and to keep that in mind, I find this device here quite useful. Many of you will ...
당연히 데이터는 더 나은 선택을 위한 매우 유용한 도구이지만 때로는 잘못될 수도 있다고 생각해요. 데이터가 그러한 결정을 이끌기 시작한다면 말이죠. 얼마나 강력하건 간에, 데이터는 도구일 뿐입니다. 이를 유념하기 위해서는 이 장치가 꽤 유용하다고 생각합니다. 여러분들 중 많은분들이
(Laughter)
(웃음)
Before there was data, this was the decision-making device to use.
데이터가 있기 전에 이것을 의사결정 장치로 이용하셨을 것입니다.
(Laughter)
(웃음)
Many of you will know this. This toy here is called the Magic 8 Ball, and it's really amazing, because if you have a decision to make, a yes or no question, all you have to do is you shake the ball, and then you get an answer -- "Most Likely" -- right here in this window in real time. I'll have it out later for tech demos.
대부분은 아실 거예요. 이 장난감의 이름이 매직 에잇 볼이고 멋진 것이라는 것을요. 왜냐하면 어떠한 결정을 내려야 할 때 예 또는 아니오 식의 문제일때요. 이 공을 흔들기만 하면 답을 얻을 수 있습니다. 지금 여기서의 실제 답은 "아주 그렇다"이네요. 이따가 기술 시현 때 보여드리죠.
(Laughter)
(웃음)
Now, the thing is, of course -- so I've made some decisions in my life where, in hindsight, I should have just listened to the ball. But, you know, of course, if you have the data available, you want to replace this with something much more sophisticated, like data analysis to come to a better decision. But that does not change the basic setup. So the ball may get smarter and smarter and smarter, but I believe it's still on us to make the decisions if we want to achieve something extraordinary, on the right end of the curve. And I find that a very encouraging message, in fact, that even in the face of huge amounts of data, it still pays off to make decisions, to be an expert in what you're doing and take risks. Because in the end, it's not data, it's risks that will land you on the right end of the curve.
물론 중요한 것은- 제 인생에서 결정들을 종종 내렸는데 뒤늦게 그냥 그 공의 말을 들을걸 하고 깨달은 적이 있습니다. 그런데 당연히 데이터가 있는 상태라면 좀 더 지적인 결정을 내리고 싶어지죠. 데이터 분석을 통해 더 나은 결정을 내리는 것 처럼 말이예요. 하지만 그렇더라도 기본 환경은 바뀌지 않아요. 공이 더욱 지능적으로 계속 진화할지는 모르지만 여전히 결정을 내리는 것은 우리의 몫이 될꺼에요. 무언가 특별한 일을 이루고 싶다면요. 즉 곡선의 오른쪽 끝에 도달하고 싶을때요. 저는 사실 이것이 아주 희망적인 메세지라고 생각하는데 엄청난 양의 데이터에도 불과하고 결정을 내리고 전문가가 되고 위험성을 감수하는 댓가가 주어지니까요. 왜냐하면 결국 데이터가 아니라 당신이 감수하는 위험이 곡선의 오른쪽 끝으로 데려다 줄테니까요.
Thank you.
감사합니다.
(Applause)
(박수)