Roy Price is a man that most of you have probably never heard about, even though he may have been responsible for 22 somewhat mediocre minutes of your life on April 19, 2013. He may have also been responsible for 22 very entertaining minutes, but not very many of you. And all of that goes back to a decision that Roy had to make about three years ago.
Рой Прайс — это человек, о котором большинство из вас никогда не слышало, а он мог быть ответственным за 22 посредственных минуты вашего времени 19 апреля 2013 года. Он также мог быть ответственным за 22 весьма развлекательных минуты, но не для многих из вас. Всё это ведёт нас к решению, которое Рой должен был принять три года назад.
So you see, Roy Price is a senior executive with Amazon Studios. That's the TV production company of Amazon. He's 47 years old, slim, spiky hair, describes himself on Twitter as "movies, TV, technology, tacos." And Roy Price has a very responsible job, because it's his responsibility to pick the shows, the original content that Amazon is going to make. And of course that's a highly competitive space. I mean, there are so many TV shows already out there, that Roy can't just choose any show. He has to find shows that are really, really great. So in other words, he has to find shows that are on the very right end of this curve here.
Рой Прайс — ответственный менеджер в Amazon Studios. Это подразделение Amazon по производству телепрограмм. Ему 47 лет, худощавый, с «ёжиком» на голове, в Твиттере он описывает себя так: «фильмы, ТВ, технологии, тако». У Роя Прайса очень ответственная работа, потому что он отвечает за выбор сериалов, оригинального контента, который будет производить Amazon. Безусловно, это очень конкурентная среда. Уже есть столько сериалов, что Рой не может просто выбрать любой сериал. Ему нужно находить сериалы, которые действительно очень хороши. Другими словами, ему нужно находить сериалы, которые будут на самом правом краю этой кривой.
So this curve here is the rating distribution of about 2,500 TV shows on the website IMDB, and the rating goes from one to 10, and the height here shows you how many shows get that rating. So if your show gets a rating of nine points or higher, that's a winner. Then you have a top two percent show. That's shows like "Breaking Bad," "Game of Thrones," "The Wire," so all of these shows that are addictive, whereafter you've watched a season, your brain is basically like, "Where can I get more of these episodes?" That kind of show. On the left side, just for clarity, here on that end, you have a show called "Toddlers and Tiaras" --
Эта кривая — распределение рейтингов порядка 2 500 телесериалов, по данным сайта IMDB. Рейтинг может быть от 1 до 10, высота показывает, сколько сериалов получают данный рейтинг. Если у вашего сериала рейтинг 9 и выше, это победитель. Ваш сериал в 2% самых успешных. Это такие сериалы, как «Во все тяжкие», «Игра престолов», «Прослушка», все они затягивают, после того, как вы посмотрите сезон, ваш мозг думает: «Где бы мне достать ещё эпизодов?» Вот такие сериалы. Для ясности: на левой стороне у нас сериал «Коронованные детки»,
(Laughter)
(Смех)
-- which should tell you enough about what's going on on that end of the curve.
и это должно сказать достаточно о том, что происходит на левом краю кривой.
Now, Roy Price is not worried about getting on the left end of the curve, because I think you would have to have some serious brainpower to undercut "Toddlers and Tiaras." So what he's worried about is this middle bulge here, the bulge of average TV, you know, those shows that aren't really good or really bad, they don't really get you excited. So he needs to make sure that he's really on the right end of this.
Рой Прайс не боится попасть на левый край, потому что нужны серьёзные мыслительные способности, чтобы обойти «Коронованных деток». О чём он волновался, так это о средней части этой кривой, там где находятся средние сериалы, сериалы, которые не хороши и не плохи, которые никого не будоражат. Рою нужно непременно попасть на правый край.
So the pressure is on, and of course it's also the first time that Amazon is even doing something like this, so Roy Price does not want to take any chances. He wants to engineer success. He needs a guaranteed success, and so what he does is, he holds a competition.
Давление нарастает, и, конечно, это первый раз, когда Amazon делает что-то подобное, поэтому Рой Прайс не хочет рисковать. Он хочет сделать успешное шоу. Ему нужен гарантированный успех, поэтому он проводит соревнование.
So he takes a bunch of ideas for TV shows, and from those ideas, through an evaluation, they select eight candidates for TV shows, and then he just makes the first episode of each one of these shows and puts them online for free for everyone to watch. And so when Amazon is giving out free stuff, you're going to take it, right? So millions of viewers are watching those episodes.
Он берёт несколько идей для сериалов, из которых затем с помощью оценки они выбирают восемь кандидатов для сериала, а потом снимают первый эпизод для каждого из этих сериалов и выкладывают их онлайн бесплатно, чтобы все могли посмотреть. Когда Amazon бесплатно раздаёт что-то, мы, конечно, берём, правда? Миллионы зрителей смотрят эти эпизоды.
What they don't realize is that, while they're watching their shows, actually, they are being watched. They are being watched by Roy Price and his team, who record everything. They record when somebody presses play, when somebody presses pause, what parts they skip, what parts they watch again. So they collect millions of data points, because they want to have those data points to then decide which show they should make. And sure enough, so they collect all the data, they do all the data crunching, and an answer emerges, and the answer is, "Amazon should do a sitcom about four Republican US Senators." They did that show.
Но они не осознают, что пока они смотрят сериалы, на самом деле наблюдают за ними. За ними наблюдает Рой Прайс и его команда, они записывают всё. Записывают, когда кто-то нажал «Воспроизвести», «Пауза», какие части они пропускают, какие — пересматривают. Они собирают миллионы ориентиров, потому что они хотят иметь эти данные, чтобы на их основе решить, какой сериал снимать. Закономерно, что они собирают данные, обрабатывают их и получают ответ, и ответ таков: «Amazon должна снять ситком о четырёх сенаторах-республиканцах». Они его сняли.
So does anyone know the name of the show? (Audience: "Alpha House.") Yes, "Alpha House," but it seems like not too many of you here remember that show, actually, because it didn't turn out that great. It's actually just an average show, actually -- literally, in fact, because the average of this curve here is at 7.4, and "Alpha House" lands at 7.5, so a slightly above average show, but certainly not what Roy Price and his team were aiming for. Meanwhile, however, at about the same time, at another company, another executive did manage to land a top show using data analysis, and his name is Ted, Ted Sarandos, who is the Chief Content Officer of Netflix, and just like Roy, he's on a constant mission to find that great TV show, and he uses data as well to do that, except he does it a little bit differently. So instead of holding a competition, what he did -- and his team of course -- was they looked at all the data they already had about Netflix viewers, you know, the ratings they give their shows, the viewing histories, what shows people like, and so on. And then they use that data to discover all of these little bits and pieces about the audience: what kinds of shows they like, what kind of producers, what kind of actors. And once they had all of these pieces together, they took a leap of faith, and they decided to license not a sitcom about four Senators but a drama series about a single Senator. You guys know the show?
Кто-нибудь знает, как он называется? (Зал: «Альфа-дом») Да, «Альфа-дом», но, похоже, немногие из вас помнят этот сериал, потому что он не был таким классным. На самом деле это средний сериал, буквально средний, потому что средняя цифра на этой кривой — 7.4, а у «Альфа-дома» рейтинг 7.5, чуть-чуть выше среднего сериала, но это явно не то, к чему Рой Прайс и его команда стремились. А между тем примерно в то же время другая компания, другой менеджер умудрился сделать топовый сериал, используя анализ данных. Его зовут Тед, Тед Сарандос, программный директор в Netflix, и, как и Рой, он постоянно работает над тем, чтобы найти отличный сериал, и он также использует для этого данные, но делает это немного по-другому. Вместо того, чтобы проводить соревнование, он — и его команда, конечно, — посмотрели на данные, которые уже имелись о зрителях Netflix: оценки, которые зрители ставили сериалам, история просмотров, какие сериалы нравятся и так далее. Они использовали эти данные, чтобы выяснить мелочи и детали об аудитории: какие сериалы им нравятся, какие продюсеры, какие актёры. Когда они собрали эти данные вместе, они совершили решительный шаг, они решили сделать не ситком о четырёх сенаторах, а драму об одном сенаторе. Вы, ребята, знаете этот сериал?
(Laughter)
(Смех)
Yes, "House of Cards," and Netflix of course, nailed it with that show, at least for the first two seasons.
Да, «Карточный домик», и Netflix отлично справился с этим сериалом, по крайней мере, с первыми двумя сезонами.
(Laughter) (Applause)
(Смех) (Аплодисменты)
"House of Cards" gets a 9.1 rating on this curve, so it's exactly where they wanted it to be.
У «Карточного домика» рейтинг 9.1 по этой кривой, именно такой, какой они хотели.
Now, the question of course is, what happened here? So you have two very competitive, data-savvy companies. They connect all of these millions of data points, and then it works beautifully for one of them, and it doesn't work for the other one. So why? Because logic kind of tells you that this should be working all the time. I mean, if you're collecting millions of data points on a decision you're going to make, then you should be able to make a pretty good decision. You have 200 years of statistics to rely on. You're amplifying it with very powerful computers. The least you could expect is good TV, right?
Само собой, вопрос в том, что произошло? Две конкурентоспособные, понимающие в данных компании. Они собирают миллионы индикаторов, которые отлично работают для одной из них и совсем не работают для другой. Почему? Логика подсказывает нам, что это должно было сработать в обоих случаях. В смысле, если вы собираете миллионы индикаторов для решения, которое собираетесь принять, то вы должны принять очень хорошее решение. У вас есть статистика за 200 лет. Вы анализируете данные с помощью очень мощных компьютеров. Как минимум, вы можете ожидать хорошего сериала, да?
And if data analysis does not work that way, then it actually gets a little scary, because we live in a time where we're turning to data more and more to make very serious decisions that go far beyond TV. Does anyone here know the company Multi-Health Systems? No one. OK, that's good actually. OK, so Multi-Health Systems is a software company, and I hope that nobody here in this room ever comes into contact with that software, because if you do, it means you're in prison.
И если анализ данных не работает, то это даже страшновато, потому что мы живём во время, когда мы всё больше работаем с данными для принятия серьёзных решений, которые выходят далеко за рамки ТВ. Кто-нибудь знает компанию Multi-Health Systems? Никто. Это даже хорошо. Multi-Health Systems — это компания-разработчик, и я надеюсь, никто в этом зале никогда не столкнётся с их ПО, потому что если столкнётесь, значит, вы в тюрьме.
(Laughter)
(Смех)
If someone here in the US is in prison, and they apply for parole, then it's very likely that data analysis software from that company will be used in determining whether to grant that parole. So it's the same principle as Amazon and Netflix, but now instead of deciding whether a TV show is going to be good or bad, you're deciding whether a person is going to be good or bad. And mediocre TV, 22 minutes, that can be pretty bad, but more years in prison, I guess, even worse.
Если в США заключённый просит о досрочном освобождении, весьма вероятно, что будет использован анализ данных от этой компании, чтобы решить, стоит ли его предоставить. Это то же самый принцип, как у Amazon и Netflix, только вместо того, чтобы решать, будет ли сериал хорошим или плохим, вы решаете, будет ли человек хорошим или плохим. Средненькая серия на 22 минуты — да, это может быть не очень хорошо, но больше лет в тюрьме — это много хуже.
And unfortunately, there is actually some evidence that this data analysis, despite having lots of data, does not always produce optimum results. And that's not because a company like Multi-Health Systems doesn't know what to do with data. Even the most data-savvy companies get it wrong. Yes, even Google gets it wrong sometimes.
К сожалению, есть доказательства, что такой анализ данных, несмотря на огромное количество данных, не всегда выдаёт оптимальные результаты. Это не потому, что компании вроде Multi-Health Systems не знают, что делать с данными. Даже самые понимающие в данных компании ошибаются. Да, даже Google иногда ошибается.
In 2009, Google announced that they were able, with data analysis, to predict outbreaks of influenza, the nasty kind of flu, by doing data analysis on their Google searches. And it worked beautifully, and it made a big splash in the news, including the pinnacle of scientific success: a publication in the journal "Nature." It worked beautifully for year after year after year, until one year it failed. And nobody could even tell exactly why. It just didn't work that year, and of course that again made big news, including now a retraction of a publication from the journal "Nature." So even the most data-savvy companies, Amazon and Google, they sometimes get it wrong. And despite all those failures, data is moving rapidly into real-life decision-making -- into the workplace, law enforcement, medicine. So we should better make sure that data is helping.
В 2009 году Google заявил, что благодаря анализу данных они могут предсказать эпидемию гриппа, основываясь на анализе поисковых запросов. Это отлично работало, это вызвало резонанс в новостях, включая максимальный успех для научного исследования — публикацию в журнале Nature. Это отлично работало год за годом, год за годом, пока однажды не провалилось. Никто не может точно сказать почему. Это просто не сработало в том году; конечно, снова был резонанс в новостях, включая отзы́в статьи из журнала Nature. Так что даже самые опытные компании, Amazon и Google, иногда ошибаются. Но несмотря на эти ошибки, данные всё больше вовлекаются в ежедневное принятие решений — в рабочее пространство, в работу правоохранительных органов, медицину. Так что нам бы хорошо убедиться, что данные помогают.
Now, personally I've seen a lot of this struggle with data myself, because I work in computational genetics, which is also a field where lots of very smart people are using unimaginable amounts of data to make pretty serious decisions like deciding on a cancer therapy or developing a drug. And over the years, I've noticed a sort of pattern or kind of rule, if you will, about the difference between successful decision-making with data and unsuccessful decision-making, and I find this a pattern worth sharing, and it goes something like this.
Я лично сталкивался с заминками в работе с данными, потому что я работаю в вычислительной генетике, а это сфера, где очень умные люди используют невообразимые объёмы данных для принятия серьёзных решений, например, решения о терапии рака или разработки лекарства. За годы я заметил что-то вроде тенденции или правила, если хотите, о разнице между успешным решением, основанным на данных, и неуспешным решением, и я думаю, что эта тенденция стоит того, чтобы поделиться ей. Вот она:
So whenever you're solving a complex problem, you're doing essentially two things. The first one is, you take that problem apart into its bits and pieces so that you can deeply analyze those bits and pieces, and then of course you do the second part. You put all of these bits and pieces back together again to come to your conclusion. And sometimes you have to do it over again, but it's always those two things: taking apart and putting back together again.
когда вы решаете сложную проблему, вы обязательно делаете две вещи. Во-первых, вы берёте проблему и раскладываете её на кусочки, чтобы суметь глубоко проанализировать эти кусочки, а потом, конечно, вы делаете вторую часть. Вы собираете эти кусочки в одно целое, чтобы прийти к решению. Иногда приходится делать это не раз, но всегда есть два этапа: разложить на кусочки и собрать обратно.
And now the crucial thing is that data and data analysis is only good for the first part. Data and data analysis, no matter how powerful, can only help you taking a problem apart and understanding its pieces. It's not suited to put those pieces back together again and then to come to a conclusion. There's another tool that can do that, and we all have it, and that tool is the brain. If there's one thing a brain is good at, it's taking bits and pieces back together again, even when you have incomplete information, and coming to a good conclusion, especially if it's the brain of an expert.
Самое важное состоит в том, что данные и анализ данных годятся только для первого шага. Данные и анализ данных, не важно, насколько мощные, могут помочь только с разделением проблемы на кусочки и пониманием их. Они не подходят для собирания кусочков в единое целое и принятия решения. Для этого существует другой инструмент, который есть у всех нас, — это наш мозг. Что мозг умеет делать хорошо — так это собирать кусочки воедино, даже в условиях недостаточной информации, и делать правильные выводы, особенно если это мозг эксперта.
And that's why I believe that Netflix was so successful, because they used data and brains where they belong in the process. They use data to first understand lots of pieces about their audience that they otherwise wouldn't have been able to understand at that depth, but then the decision to take all these bits and pieces and put them back together again and make a show like "House of Cards," that was nowhere in the data. Ted Sarandos and his team made that decision to license that show, which also meant, by the way, that they were taking a pretty big personal risk with that decision. And Amazon, on the other hand, they did it the wrong way around. They used data all the way to drive their decision-making, first when they held their competition of TV ideas, then when they selected "Alpha House" to make as a show. Which of course was a very safe decision for them, because they could always point at the data, saying, "This is what the data tells us." But it didn't lead to the exceptional results that they were hoping for.
Я думаю, именно поэтому Netflix получил такой успех — они использовали и данные, и силу человеческого мозга, где необходимо. Они использовали данные, чтобы детально понять свою аудиторию, иначе они не смогли бы сделать такой глубокий анализ, но их решение, когда пришло время собирать кусочки воедино и снимать сериал вроде «Карточного домика», было принято не данными. Это решение приняли Тед Сарандос и его команда, что, кстати, означает, что они лично серьёзно рисковали с этим решением. С другой стороны, Amazon сделали всё наоборот. Они использовали данные на обоих этапах принятия решения: сначала провели соревнование сценариев для сериала, а затем выбрали «Альфа-дом». Это, конечно, было весьма безопасное решение для них, потому что они всегда могли бы сказать: «Вот что говорят нам данные». Но это не привело их к выдающемуся результату, к которому они стремились.
So data is of course a massively useful tool to make better decisions, but I believe that things go wrong when data is starting to drive those decisions. No matter how powerful, data is just a tool, and to keep that in mind, I find this device here quite useful. Many of you will ...
Данные — это, безусловно, полезный инструмент для принятия хороших решений, но я уверен, что неправильно, когда данные начинают управлять этими решениями. Вне зависимости от своей силы, данные — это всего лишь инструмент, учитывая это, я думаю, что вот эта штука очень полезная. Многие из вас...
(Laughter)
(Смех)
Before there was data, this was the decision-making device to use.
До того, как появились данные, эту штуку использовали для принятия решений.
(Laughter)
(Смех)
Many of you will know this. This toy here is called the Magic 8 Ball, and it's really amazing, because if you have a decision to make, a yes or no question, all you have to do is you shake the ball, and then you get an answer -- "Most Likely" -- right here in this window in real time. I'll have it out later for tech demos.
Многие знают, что это. Это называется «Шар предсказаний», он правда классный, потому что, если вам нужен ответ на вопрос «да или нет», всё, что нужно сделать, это потрясти шар, и у вас есть ответ — «Вероятнее всего» — прямо здесь, прямо сейчас. Вы сможете попробовать попозже.
(Laughter)
(Смех)
Now, the thing is, of course -- so I've made some decisions in my life where, in hindsight, I should have just listened to the ball. But, you know, of course, if you have the data available, you want to replace this with something much more sophisticated, like data analysis to come to a better decision. But that does not change the basic setup. So the ball may get smarter and smarter and smarter, but I believe it's still on us to make the decisions if we want to achieve something extraordinary, on the right end of the curve. And I find that a very encouraging message, in fact, that even in the face of huge amounts of data, it still pays off to make decisions, to be an expert in what you're doing and take risks. Because in the end, it's not data, it's risks that will land you on the right end of the curve.
Я принимал в своей жизни много решений, в которых, как я сейчас понимаю, лучше было послушаться шара. Но, конечно, если у вас есть данные, вы захотите использовать нечто посерьёзнее шара, вроде анализа данных, чтобы прийти к лучшему решению. Но это не меняет основной идеи. Шар может становиться умнее, умнее и умнее, но принятие решений — всё ещё наша ответственность, если мы хотим достичь чего-то выдающегося, попасть в правую часть кривой. Я нахожу это очень вдохновляющим: даже перед лицом огромных объёмов данных всё ещё стоит принимать решения, быть экспертом в своём деле и рисковать. Потому что в конце концов не данные, а риск приведёт вас в правую часть кривой.
Thank you.
Спасибо.
(Applause)
(Аплодисменты)