Roy Price is a man that most of you have probably never heard about, even though he may have been responsible for 22 somewhat mediocre minutes of your life on April 19, 2013. He may have also been responsible for 22 very entertaining minutes, but not very many of you. And all of that goes back to a decision that Roy had to make about three years ago.
Roy Price é um homem de quem a maioria de vocês provavelmente nunca ouviu falar, embora ele possa ter sido responsável por 22 minutos um tanto medíocres da sua vida em 19 de Abril de 2013. Pode também ter sido responsável pelos 22 minutos muito divertidos, mas não para muitos de vocês. E tudo isso está ligado a uma decisão que Roy teve de tomar há cerca de 3 anos.
So you see, Roy Price is a senior executive with Amazon Studios. That's the TV production company of Amazon. He's 47 years old, slim, spiky hair, describes himself on Twitter as "movies, TV, technology, tacos." And Roy Price has a very responsible job, because it's his responsibility to pick the shows, the original content that Amazon is going to make. And of course that's a highly competitive space. I mean, there are so many TV shows already out there, that Roy can't just choose any show. He has to find shows that are really, really great. So in other words, he has to find shows that are on the very right end of this curve here.
Então vejam, Roy Price é um executivo sênior na Amazon Studios, que é a companhia de produção de TV da Amazon. Ele tem 47 anos, é magro, seu cabelo é arrepiado, descreve a si próprio no Twitter com "filmes, TV, tecnologia, tacos." E Roy Price tem um emprego de muita responsabilidade, porque é seu dever escolher os programas, o conteúdo original que a Amazon produzirá. E claro que esse é um campo muito competitivo. Digo, já existem tantas séries por aí que Roy não pode escolher qualquer série. Ele tem que encontrar séries que são muito, muito boas. Então, em outras palavras, ele tem de encontrar séries que estão bem na ponta direita desta curva aqui.
So this curve here is the rating distribution of about 2,500 TV shows on the website IMDB, and the rating goes from one to 10, and the height here shows you how many shows get that rating. So if your show gets a rating of nine points or higher, that's a winner. Then you have a top two percent show. That's shows like "Breaking Bad," "Game of Thrones," "The Wire," so all of these shows that are addictive, whereafter you've watched a season, your brain is basically like, "Where can I get more of these episodes?" That kind of show. On the left side, just for clarity, here on that end, you have a show called "Toddlers and Tiaras" --
Esta curva aqui é a distribuição da classificação de cerca de 2,5 mil programas de TV no website IMDB, e a pontuação vai de um a dez, e a altura aqui mostra quantas séries obtiveram esta pontuação. Então se a sua série obtém uma nota nove ou maior, é uma vencedora. Uma série entre as 2% melhores. São séries como "Breaking Bad", "Game of Thrones", "The Wire"... então todas essas séries são viciantes. após ter assistido a uma temporada, seu cérebro está assim tipo: "Onde eu posso conseguir mais episódios?" Esse tipo de série. No lado esquerdo, apenas para esclarecer, aqui, você tem uma série chamada "Criancinhas e Tiaras"
(Laughter)
(Risos)
-- which should tell you enough about what's going on on that end of the curve.
o que deve te dizer o suficiente sobre o que se passa naquela ponta da curva.
Now, Roy Price is not worried about getting on the left end of the curve, because I think you would have to have some serious brainpower to undercut "Toddlers and Tiaras." So what he's worried about is this middle bulge here, the bulge of average TV, you know, those shows that aren't really good or really bad, they don't really get you excited. So he needs to make sure that he's really on the right end of this.
Roy Price não está preocupado em entrar naquela ponta esquerda da curva, porque eu acho que você teria de ser muito inteligente para bater "Criancinhas e Tiaras." Então a parte que ele está preocupado é este pico do meio da curva aqui, o pico da TV mediana, aqueles programas que não são nem muito bons nem muito ruins, não empolgam para valer. Ele precisa ter certeza que está na extremidade a direita.
So the pressure is on, and of course it's also the first time that Amazon is even doing something like this, so Roy Price does not want to take any chances. He wants to engineer success. He needs a guaranteed success, and so what he does is, he holds a competition.
Então a pressão está presente, e é também a primeira vez que a Amazon está fazendo algo assim e Roy Price não quer se arriscar. Ele quer criar um sucesso. Ele precisa de um sucesso garantido, e então o que ele faz é realizar uma competição.
So he takes a bunch of ideas for TV shows, and from those ideas, through an evaluation, they select eight candidates for TV shows, and then he just makes the first episode of each one of these shows and puts them online for free for everyone to watch. And so when Amazon is giving out free stuff, you're going to take it, right? So millions of viewers are watching those episodes.
Ele coleta um punhado de ideias para séries e dessas ideias, por meio de uma avaliação, são selecionadas oito candidatas, e faz apenas o primeiro episódio de cada uma dessas séries e os coloca on-line de graça para qualquer um assistir. Quando a Amazon está dando coisas de graça você vai pegá-las, certo? Então milhões de pessoas estão assistindo àqueles episódios.
What they don't realize is that, while they're watching their shows, actually, they are being watched. They are being watched by Roy Price and his team, who record everything. They record when somebody presses play, when somebody presses pause, what parts they skip, what parts they watch again. So they collect millions of data points, because they want to have those data points to then decide which show they should make. And sure enough, so they collect all the data, they do all the data crunching, and an answer emerges, and the answer is, "Amazon should do a sitcom about four Republican US Senators." They did that show.
O que eles não percebem é que, enquanto assistem às séries, na verdade, eles estão sendo observados. Observados por Roy Price e sua equipe, que gravam tudo. Gravam quando alguém aperta o “play”, quando alguém pressiona o “pause”, que partes pulam, que parte assistem novamente. Assim coletam milhões de dados específicos porque querem ter aqueles dados para então decidir qual série devem produzir. E com certeza, eles colhem todos os dados fazem o processamento dos dados e uma resposta surge, e a resposta é: "Amazon deve fazer uma comédia em série sobre quatro senadores Republicanos." Produziram essa série.
So does anyone know the name of the show? (Audience: "Alpha House.") Yes, "Alpha House," but it seems like not too many of you here remember that show, actually, because it didn't turn out that great. It's actually just an average show, actually -- literally, in fact, because the average of this curve here is at 7.4, and "Alpha House" lands at 7.5, so a slightly above average show, but certainly not what Roy Price and his team were aiming for. Meanwhile, however, at about the same time, at another company, another executive did manage to land a top show using data analysis, and his name is Ted, Ted Sarandos, who is the Chief Content Officer of Netflix, and just like Roy, he's on a constant mission to find that great TV show, and he uses data as well to do that, except he does it a little bit differently. So instead of holding a competition, what he did -- and his team of course -- was they looked at all the data they already had about Netflix viewers, you know, the ratings they give their shows, the viewing histories, what shows people like, and so on. And then they use that data to discover all of these little bits and pieces about the audience: what kinds of shows they like, what kind of producers, what kind of actors. And once they had all of these pieces together, they took a leap of faith, and they decided to license not a sitcom about four Senators but a drama series about a single Senator. You guys know the show?
Alguém sabe o nome da série? Público: "Alpha House." Isto! "Alpha House", mas parece que não muitos de vocês aqui se lembram dessa série, na verdade, porque ela não ficou tão boa. É na verdade apenas uma série mediana, literalmente mediana pois a média desta curva aqui é 7,4 pontos, e "Alpha House" fica em 7,5, portanto um pouquinho acima da média, mas certamente não o que Roy Price e sua equipe almejavam. Enquanto isso, porém, e mais ou menos ao mesmo tempo em outra empresa, outro executivo conseguiu produzir uma série de sucesso usando análise de dados, e seu nome é Ted, Ted Sarandos, que é o Diretor de Conteúdo da Netflix, e assim como Roy, está na constante missão de encontrar uma grande série, e ele usa dados também para fazer isso, mas o faz de um jeito um pouco diferente. Em vez de realizar uma competição, o que ele fez, com sua equipe, claro, foi examinar todos os dados que já tinham sobre os usuários do Netflix a nota que o público deu a suas séries, o registro de audição, de quais séries o público gosta, etc. E usam esses dados para descobrir todos os detalhes sobre a audiência: de que tipos de séries gostam, que tipos de produtores, que tipos de atores. Ao juntarem todas essas partes, deram um salto de fé, e decidiram licenciar não uma comédia em série sobre quatro senadores mas uma série dramática sobre um único senador. Vocês conhecem a série?
(Laughter)
(Risos)
Yes, "House of Cards," and Netflix of course, nailed it with that show, at least for the first two seasons.
Sim, "House of Cards", e Netflix, claro, acertou em cheio com essa série, ao menos pelas duas primeiras temporadas.
(Laughter) (Applause)
(Risos) (Aplausos)
"House of Cards" gets a 9.1 rating on this curve, so it's exactly where they wanted it to be.
"House of Cards" obtém uma pontuação de 9,1 nesta curva, logo ela está exatamente onde eles queriam que ela estivesse.
Now, the question of course is, what happened here? So you have two very competitive, data-savvy companies. They connect all of these millions of data points, and then it works beautifully for one of them, and it doesn't work for the other one. So why? Because logic kind of tells you that this should be working all the time. I mean, if you're collecting millions of data points on a decision you're going to make, then you should be able to make a pretty good decision. You have 200 years of statistics to rely on. You're amplifying it with very powerful computers. The least you could expect is good TV, right?
Agora, a questão, claro, é: o que aconteceu aqui? Há duas empresas muito competitivas que dominam os dados. Elas conectam todos esses milhões de dados específicos. E então isso funciona muito bem para uma delas, e não funciona para a outra. Por quê? Pois pela lógica isso deveria funcionar o tempo todo. Digo, se estão coletando milhões de dados específicos sobre uma decisão que irão tomar, e deveriam estar aptos a tomar uma decisão muito boa. Podem se valer de 200 anos de estatísticas. Vocês estão detalhando isso com computadores muito poderosos. O mínimo que se pode esperar é uma boa programação de TV, certo?
And if data analysis does not work that way, then it actually gets a little scary, because we live in a time where we're turning to data more and more to make very serious decisions that go far beyond TV. Does anyone here know the company Multi-Health Systems? No one. OK, that's good actually. OK, so Multi-Health Systems is a software company, and I hope that nobody here in this room ever comes into contact with that software, because if you do, it means you're in prison.
E se análise de dados não funciona assim, então a coisa fica um pouco assustadora, pois vivemos numa época em que estamos nos voltando aos dados mais e mais para tomar decisões muito sérias que vão muito além de programas de TV. Alguém aqui conhece a companhia Multi-Health Systems? Ninguém. Ok, isso na verdade é bom. Multi-Health Systems é uma empresa de softwares, e espero que ninguém nesta sala jamais entre em contato com esse software, pois se entrar, significa estar na prisão.
(Laughter)
(Risos)
If someone here in the US is in prison, and they apply for parole, then it's very likely that data analysis software from that company will be used in determining whether to grant that parole. So it's the same principle as Amazon and Netflix, but now instead of deciding whether a TV show is going to be good or bad, you're deciding whether a person is going to be good or bad. And mediocre TV, 22 minutes, that can be pretty bad, but more years in prison, I guess, even worse.
Se alguém aqui nos EUA está na prisão e solicita liberdade condicional, então é muito provável que o software de análise de dados dessa empresa será usado para determinar se pode conceder a sua liberdade condicional. É o mesmo princípio com a Amazon e Netflix, mas agora, em vez de decidir se uma série será boa ou ruim, vocês decidirão se uma pessoa será boa ou má. E um programa de TV medíocre, de 22 minutos, pode ser muito ruim; mais anos na prisão, porém, pode ser ainda pior.
And unfortunately, there is actually some evidence that this data analysis, despite having lots of data, does not always produce optimum results. And that's not because a company like Multi-Health Systems doesn't know what to do with data. Even the most data-savvy companies get it wrong. Yes, even Google gets it wrong sometimes.
E, infelizmente, há algumas evidências de que esta análise de dados, apesar de ter muitos dados, nem sempre produz resultados ótimos. Isso não ocorre porque uma empresa como a Multi-Health Systems não sabe o que fazer com os dados. Até as empresas que dominam esta análise erram. Sim, mesmo a Google erra às vezes.
In 2009, Google announced that they were able, with data analysis, to predict outbreaks of influenza, the nasty kind of flu, by doing data analysis on their Google searches. And it worked beautifully, and it made a big splash in the news, including the pinnacle of scientific success: a publication in the journal "Nature." It worked beautifully for year after year after year, until one year it failed. And nobody could even tell exactly why. It just didn't work that year, and of course that again made big news, including now a retraction of a publication from the journal "Nature." So even the most data-savvy companies, Amazon and Google, they sometimes get it wrong. And despite all those failures, data is moving rapidly into real-life decision-making -- into the workplace, law enforcement, medicine. So we should better make sure that data is helping.
Em 2009, a Google anunciou que eles eram capazes, com análise de dados, predizer surtos de gripe influenza, o sórdido tipo de gripe, fazendo análise de dados sobre as buscas no Google. E funcionou muito bem fez um estardalhaço na mídia, incluindo o auge do sucesso científico: uma publicação na revista "Nature". Isso funcionou muito bem, ano após ano, após ano, até que em um ano, falhou. E ninguém podia dizer exatamente o porquê. Apenas não funcionou aquele ano, e claro que novamente virou notícia, tendo até uma retratação de uma publicação da revista "Nature". Então mesmo as líderes na análise de dados, Amazon e Google, às vezes erram. E apesar de todas aquelas falhas, os dados estão rapidamente se incorporando nas tomadas de decisão da vida real no trabalho, no cumprimento das leis, na medicina. Logo deveríamos levar em conta que a análise de dados está ajudando.
Now, personally I've seen a lot of this struggle with data myself, because I work in computational genetics, which is also a field where lots of very smart people are using unimaginable amounts of data to make pretty serious decisions like deciding on a cancer therapy or developing a drug. And over the years, I've noticed a sort of pattern or kind of rule, if you will, about the difference between successful decision-making with data and unsuccessful decision-making, and I find this a pattern worth sharing, and it goes something like this.
Agora, pessoalmente tenho visto muito desse esforço com os dados, pois trabalho com genética computacional, que é também um campo no qual muita gente inteligente usa inimagináveis quantidades de dados para tomar decisões muito importantes como decidir sobre uma terapia contra o câncer ou desenvolver uma droga. E ao longo dos anos, tenho notado um tipo de padrão ou tipo de regra, se quiserem, sobre a diferença entre tomadas de decisão bem-sucedidas pelo análise de dados e decisões mal-sucedidas, e acho que este é um padrão que vale a pena compartilhar, e que funciona assim.
So whenever you're solving a complex problem, you're doing essentially two things. The first one is, you take that problem apart into its bits and pieces so that you can deeply analyze those bits and pieces, and then of course you do the second part. You put all of these bits and pieces back together again to come to your conclusion. And sometimes you have to do it over again, but it's always those two things: taking apart and putting back together again.
Quando estiverem resolvendo um problema, vocês no fundo farão duas coisas. A primeira é que você dividem esse problema em suas menores partes para que consigam analisar os detalhes em profundidade, e daí vocês fazem a segunda parte. Vocês juntam novamente todas as partes para chegar a uma conclusão. E às vezes vocês têm de fazer isso novamente, mas são sempre aquelas duas coisas: dividir e remontar novamente.
And now the crucial thing is that data and data analysis is only good for the first part. Data and data analysis, no matter how powerful, can only help you taking a problem apart and understanding its pieces. It's not suited to put those pieces back together again and then to come to a conclusion. There's another tool that can do that, and we all have it, and that tool is the brain. If there's one thing a brain is good at, it's taking bits and pieces back together again, even when you have incomplete information, and coming to a good conclusion, especially if it's the brain of an expert.
E agora a parte crucial é que o dados e a análise são apenas bons para a primeira parte. Dados e análise de dados, não importa quão poderosos, podem apenas ajudá-los a dividir um problema e entender suas partes. Eles não são adequados para colocar essas partes juntas novamente e assim chegar a uma conclusão. Todos nós temos uma ferramenta que pode fazer isso: é nosso cérebro. Se há algo no qual um cérebro é bom, é juntar pequenas partes novamente, mesmo quando se tem informação incompleta, e chegar uma boa conclusão, especialmente se é o cérebro de um expert.
And that's why I believe that Netflix was so successful, because they used data and brains where they belong in the process. They use data to first understand lots of pieces about their audience that they otherwise wouldn't have been able to understand at that depth, but then the decision to take all these bits and pieces and put them back together again and make a show like "House of Cards," that was nowhere in the data. Ted Sarandos and his team made that decision to license that show, which also meant, by the way, that they were taking a pretty big personal risk with that decision. And Amazon, on the other hand, they did it the wrong way around. They used data all the way to drive their decision-making, first when they held their competition of TV ideas, then when they selected "Alpha House" to make as a show. Which of course was a very safe decision for them, because they could always point at the data, saying, "This is what the data tells us." But it didn't lead to the exceptional results that they were hoping for.
Acredito que é por isso que a Netflix foi tão bem-sucedida, porque usaram dados e cérebros onde cada um se encaixa no processo. Primeiro eles usam dados para entender vários aspectos de sua audiência, que de outra forma não teriam sido capazes de entender em profundidade. Mas a decisão de pegar todas essas pequenas partes e juntá-las novamente e fazer uma série como "House of Cards", isso não estava nos dados. Ted Sarandos e sua equipe tomaram a decisão de licenciar essa série, o que também significou, a propósito, que eles estavam correndo um grande risco pessoal com aquela decisão. E na Amazon, fizeram isso da forma errada. Usaram dados o tempo todo para guiar a tomada de decisão, primeiro ao fazerem a competição de ideias para a TV depois quando selecionaram "Alpha House" para fazer como série. O que, claro, foi uma decisão segura para eles, pois poderiam sempre apontar para os dados, dizendo: "Isso é o que os dados nos dizem". Mas isso não levou ao resultado excepcional que estavam esperando.
So data is of course a massively useful tool to make better decisions, but I believe that things go wrong when data is starting to drive those decisions. No matter how powerful, data is just a tool, and to keep that in mind, I find this device here quite useful. Many of you will ...
Então os dados são, claro, uma ferramenta muito útil para tomar melhores decisões mas eu acredito que as coisas deem errado quando as estatísticas começam a guiar essas decisões. Não importa quão poderosos sejam, dados são apenas uma ferramenta, e para manter isso em mente, eu achei esse dispositivo aqui muito útil. Muitos de vocês vão...
(Laughter)
(Risos)
Before there was data, this was the decision-making device to use.
Antes de existirem dados, era este o aparelho de decisão usado.
(Laughter)
(Risos)
Many of you will know this. This toy here is called the Magic 8 Ball, and it's really amazing, because if you have a decision to make, a yes or no question, all you have to do is you shake the ball, and then you get an answer -- "Most Likely" -- right here in this window in real time. I'll have it out later for tech demos.
Muitos reconhecerão isso. Este brinquedo é chamado de Bola 8 Mágica e é realmente incrível, pois se têm que tomar uma decisão, um sim ou não, vocês só precisam chacoalhar a bola e aí recebem uma resposta "Muito provavelmente", bem aqui nesta janela, em tempo real. Estarei com ela lá fora para demonstrações.
(Laughter)
(Risos)
Now, the thing is, of course -- so I've made some decisions in my life where, in hindsight, I should have just listened to the ball. But, you know, of course, if you have the data available, you want to replace this with something much more sophisticated, like data analysis to come to a better decision. But that does not change the basic setup. So the ball may get smarter and smarter and smarter, but I believe it's still on us to make the decisions if we want to achieve something extraordinary, on the right end of the curve. And I find that a very encouraging message, in fact, that even in the face of huge amounts of data, it still pays off to make decisions, to be an expert in what you're doing and take risks. Because in the end, it's not data, it's risks that will land you on the right end of the curve.
O fato é que, obviamente, tomei algumas decisões na minha vida que, olhando para trás, deveria ter apenas ouvido a bola. Mas, sabem, se vocês têm os dados disponíveis, vão querer substituir isto por algo muito mais sofisticado, como análise estatística para tomar uma decisão melhor. Mas isso não muda a configuração básica. Portanto "a bola" pode ficar mais e mais esperta, mas acredito que ainda cabe a nós tomar decisões se quisermos alcançar algo extraordinário, na extremidade direita desta curva. E acho que é uma mensagem muito encorajadora, na verdade, que mesmo em vista de enormes quantidades de dados, ainda é vantajoso tomarmos decisões, sermos especialistas no que fazemos e correr os riscos. Porque no fim, não são os dados, mas os riscos, que colocarão vocês na extremidade direita da curva.
Thank you.
Muito obrigado.
(Applause)
(Aplausos)