Roy Price is a man that most of you have probably never heard about, even though he may have been responsible for 22 somewhat mediocre minutes of your life on April 19, 2013. He may have also been responsible for 22 very entertaining minutes, but not very many of you. And all of that goes back to a decision that Roy had to make about three years ago.
Roy Price é um homem do qual provavelmente nunca ouviram falar, ainda que ele tenha sido responsável por uns 22 minutos algo medíocres da nossa vida, a 19 de Abril de 2013. Pode ter sido também responsável por 22 minutos muito agradáveis, mas não para muitos de vocês. E tudo isso remonta a uma decisão que Roy teve de fazer há cerca de três anos.
So you see, Roy Price is a senior executive with Amazon Studios. That's the TV production company of Amazon. He's 47 years old, slim, spiky hair, describes himself on Twitter as "movies, TV, technology, tacos." And Roy Price has a very responsible job, because it's his responsibility to pick the shows, the original content that Amazon is going to make. And of course that's a highly competitive space. I mean, there are so many TV shows already out there, that Roy can't just choose any show. He has to find shows that are really, really great. So in other words, he has to find shows that are on the very right end of this curve here.
Pois vejam, Roy Price é um executivo sénior na Amazon Studios. É a empresa de produção televisiva da Amazon. Tem 47 anos, é esbelto, com o cabelo espetado, descreve-se no Twitter como "filmes, TV, tecnologia, tacos." Roy Price tem um trabalho importante, porque é da sua responsabilidade escolher programas, o conteúdo original que a Amazon vai fazer. Claro que esse é um espaço muito competitivo. Quero dizer, há tantos programas televisivos já lançados, que Roy não pode escolher qualquer programa. Tem que encontrar programas que sejam mesmo, mesmo bons. Por outras palavras, tem que encontrar programas que estejam do lado direito desta curva aqui.
So this curve here is the rating distribution of about 2,500 TV shows on the website IMDB, and the rating goes from one to 10, and the height here shows you how many shows get that rating. So if your show gets a rating of nine points or higher, that's a winner. Then you have a top two percent show. That's shows like "Breaking Bad," "Game of Thrones," "The Wire," so all of these shows that are addictive, whereafter you've watched a season, your brain is basically like, "Where can I get more of these episodes?" That kind of show. On the left side, just for clarity, here on that end, you have a show called "Toddlers and Tiaras" --
Esta curva aqui é a distribuição de avaliações de cerca de 2500 programas de TV, no site do IMDb. Essas avaliações vão de 1 a 10. Esta altura aqui mostra quantos programas obtêm essa avaliação. Se o programa tem uma avaliação de 9 pontos ou superior, é um vencedor. Assim temos 2% de programas de topo. São programas como o "Breaking Bad", "Game of Thrones", "The Wire", todos esses programas que são viciantes, em que, depois de se ter visto uma série, o cérebro fica assim como: "Onde posso obter mais destes episódios?" Esse tipo de programas. No lado esquerdo, só para clarificar, tem-se, por outro lado, um programa chamado "Toddlers and Tiaras"...
(Laughter)
(Risos)
-- which should tell you enough about what's going on on that end of the curve.
... que deve dizer o suficiente sobre o que se passa neste lado da curva.
Now, Roy Price is not worried about getting on the left end of the curve, because I think you would have to have some serious brainpower to undercut "Toddlers and Tiaras." So what he's worried about is this middle bulge here, the bulge of average TV, you know, those shows that aren't really good or really bad, they don't really get you excited. So he needs to make sure that he's really on the right end of this.
Agora, o Roy Price não está preocupado em ficar do lado esquerdo da curva, porque acho que é preciso ter um sério poder mental para superar "Toddlers e Tiaras." Ele está preocupado com esta parte aqui no meio, a parte da TV mediana. Vocês sabem, aqueles programas que são mais ou menos, que não vos deixam entusiasmados. Ele tem que ter a certeza que fica do lado direito da curva.
So the pressure is on, and of course it's also the first time that Amazon is even doing something like this, so Roy Price does not want to take any chances. He wants to engineer success. He needs a guaranteed success, and so what he does is, he holds a competition.
A pressão é máxima, e claro que é também a primeira vez que a Amazon está a fazer algo assim, por isso o Roy Price não quer arriscar. Ele quer fabricar um sucesso. Ele precisa de sucesso garantido. Então o que ele faz é lançar uma competição.
So he takes a bunch of ideas for TV shows, and from those ideas, through an evaluation, they select eight candidates for TV shows, and then he just makes the first episode of each one of these shows and puts them online for free for everyone to watch. And so when Amazon is giving out free stuff, you're going to take it, right? So millions of viewers are watching those episodes.
Pega numa data de ideias para programas de TV e a partir dessas ideias, através de uma avaliação, selecionam 8 candidatos para programas de TV. Depois faz só o 1º episódio de cada um desses programas e põe-nos "online" grátis, para toda a gente ver. E quando a Amazon dá coisas grátis, toda a gente a vai ver, não é? Há milhões de telespectadores a ver esses episódios.
What they don't realize is that, while they're watching their shows, actually, they are being watched. They are being watched by Roy Price and his team, who record everything. They record when somebody presses play, when somebody presses pause, what parts they skip, what parts they watch again. So they collect millions of data points, because they want to have those data points to then decide which show they should make. And sure enough, so they collect all the data, they do all the data crunching, and an answer emerges, and the answer is, "Amazon should do a sitcom about four Republican US Senators." They did that show.
O que eles não se apercebem é que, enquanto estão a ver o programa, estão ser observados. Estão a ser observados pelo Roy Price e pela sua equipa que gravam tudo. Gravam quando alguém pressiona "Play", quando alguém pressiona "Pausa", que partes passam à frente, que partes vêem de novo. Recolhem milhares de dados, porque querem ter essa informação para depois decidir que programa devem fazer. E claro, recolhem toda a informação, analisam-na, e a resposta surge. E a resposta é: "A Amazon devia fazer uma comédia sobre 4 senadores Republicanos dos EUA." (Risos)
So does anyone know the name of the show?
Fizeram esse programa.
(Audience: "Alpha House.") Yes, "Alpha House," but it seems like not too many of you here remember that show, actually, because it didn't turn out that great. It's actually just an average show, actually -- literally, in fact, because the average of this curve here is at 7.4, and "Alpha House" lands at 7.5, so a slightly above average show, but certainly not what Roy Price and his team were aiming for. Meanwhile, however, at about the same time, at another company, another executive did manage to land a top show using data analysis, and his name is Ted, Ted Sarandos, who is the Chief Content Officer of Netflix, and just like Roy, he's on a constant mission to find that great TV show, and he uses data as well to do that, except he does it a little bit differently. So instead of holding a competition, what he did -- and his team of course -- was they looked at all the data they already had about Netflix viewers, you know, the ratings they give their shows, the viewing histories, what shows people like, and so on. And then they use that data to discover all of these little bits and pieces about the audience: what kinds of shows they like, what kind of producers, what kind of actors. And once they had all of these pieces together, they took a leap of faith, and they decided to license not a sitcom about four Senators but a drama series about a single Senator. You guys know the show?
Então? Alguém sabe o nome desse programa? Audiência: "Alpha House." Sim, "Alpha House," mas parece que poucos aqui se lembram desse programa, porque não ficou assim tão bom. Na verdade, é só um programa mediano, literalmente, de facto, porque a média da curva está em 7,4 e "Alpha House" tem 7,5. Portanto, está ligeiramente acima da média, mas certamente não é o que Roy Price e a sua equipa queriam atingir. Mas, entretanto, por volta da mesma altura, numa outra empresa outro executivo produziu um programa do topo, usando análise de dados. Chama-se Ted, Ted Sarandos, é o diretor de Conteúdos da Netflix. Tal como o Roy, ele está numa missão constante para encontrar um programa de topo e também usa dados para fazer isso, excepto que o faz de forma um pouco diferente. Em vez de lançar uma competição, ele e a sua equipa olharam para todos os dados que tinham sobre os telespectadores da Netflix, as avaliações que dão aos programas, o historial de visualizações, o que gostam, etc. Depois usaram esses dados para descobrir toda a informação e mais alguma sobre a audiência: que tipos de programas gostam, que tipo de produtores, que tipo de actores. Depois de terem toda essa informação junta, num acto de fé, decidiram licenciar, não uma comédia sobre quatro senadores mas uma série dramática sobre um único senador. Vocês conhecem o programa?
(Laughter)
(Risos)
Yes, "House of Cards," and Netflix of course, nailed it with that show, at least for the first two seasons.
Sim, "House of Cards", e a Netflix claro, acertou em cheio com esse programa, pelos menos nas primeiras duas temporadas.
(Laughter) (Applause)
(Risos)
"House of Cards" gets a 9.1 rating on this curve, so it's exactly where they wanted it to be.
(Aplausos) "House of Cards" tem uma avaliação de 9,1 nesta curva. Exactamente onde queriam que estivesse.
Now, the question of course is, what happened here? So you have two very competitive, data-savvy companies. They connect all of these millions of data points, and then it works beautifully for one of them, and it doesn't work for the other one. So why? Because logic kind of tells you that this should be working all the time. I mean, if you're collecting millions of data points on a decision you're going to make, then you should be able to make a pretty good decision. You have 200 years of statistics to rely on. You're amplifying it with very powerful computers. The least you could expect is good TV, right?
Agora, a pergunta é: "O que aconteceu aqui?" Temos duas empresas muito competitivas que usam análise de dados. Relacionam estes milhões de pontos de informação, mas depois funciona lindamente para um deles, e não funciona para outro. Então porquê? Porque a lógica diz que isto devia resultar todas as vezes. Quero dizer, se estamos a recolher milhares de dados para tomar uma decisão então devíamos conseguir tomar uma boa decisão. Temos 200 anos de estatísticas com que podemos contar. Estamos a amplificá-la com computadores muito potentes. O mínimo que podíamos esperar é boa televisão, ou não é?
And if data analysis does not work that way, then it actually gets a little scary, because we live in a time where we're turning to data more and more to make very serious decisions that go far beyond TV. Does anyone here know the company Multi-Health Systems? No one. OK, that's good actually. OK, so Multi-Health Systems is a software company, and I hope that nobody here in this room ever comes into contact with that software, because if you do, it means you're in prison.
Se a análise de dados não funciona dessa maneira, então torna-se assustador, porque vivemos numa época em que dependemos cada vez mais de dados para tomar decisões sérias que vão para além da televisão. Alguém aqui conhece a empresa Multi-Health Systems? Ninguém. OK, isso é certamente bom. A Multi-Health systems é uma empresa de "software", e espero que ninguém aqui nesta sala venha a estar em contacto com esse "software", porque, se estiver, significa que está preso.
(Laughter)
(Risos)
If someone here in the US is in prison, and they apply for parole, then it's very likely that data analysis software from that company will be used in determining whether to grant that parole. So it's the same principle as Amazon and Netflix, but now instead of deciding whether a TV show is going to be good or bad, you're deciding whether a person is going to be good or bad. And mediocre TV, 22 minutes, that can be pretty bad, but more years in prison, I guess, even worse.
Se alguém aqui nos EUA está na prisão, e pretende a liberdade condicional é muito provável que o "software" de análise de dados dessa empresa seja usado para determinar se essa proposta é ou não aceite. É o mesmo principio que a Amazon e a Netflix utilizam, mas agora em vez de decidir se um programa vai ser bom ou mau, vai-se decidir se uma pessoa vai ser boa ou má. Uma TV medíocre, 22 minutos, pode ser muito mau, mas mais anos na prisão, acho eu, é ainda pior.
And unfortunately, there is actually some evidence that this data analysis, despite having lots of data, does not always produce optimum results. And that's not because a company like Multi-Health Systems doesn't know what to do with data. Even the most data-savvy companies get it wrong. Yes, even Google gets it wrong sometimes.
Infelizmente, há algumas provas de que a análise de dados, apesar da enormidade de dados, nem sempre produz óptimos resultados. E não é porque uma empresa como a Multi-Health Systems. não saiba o que fazer com os dados. Até as empresas mais conhecedoras na área falham. Sim, até a Google erra às vezes.
In 2009, Google announced that they were able, with data analysis, to predict outbreaks of influenza, the nasty kind of flu, by doing data analysis on their Google searches. And it worked beautifully, and it made a big splash in the news, including the pinnacle of scientific success: a publication in the journal "Nature." It worked beautifully for year after year after year, until one year it failed. And nobody could even tell exactly why. It just didn't work that year, and of course that again made big news, including now a retraction of a publication from the journal "Nature." So even the most data-savvy companies, Amazon and Google, they sometimes get it wrong. And despite all those failures, data is moving rapidly into real-life decision-making -- into the workplace, law enforcement, medicine. So we should better make sure that data is helping.
Em 2009, a Google anunciou que conseguia, com a análise de dados, prever surtos de gripe da pior espécie, fazendo análise de dados nas pesquisas da Google. E funcionou lindamente, fazendo grande sensação nas notícias, incluindo o pináculo do sucesso científico: uma publicação na revista "Nature". Funcionou óptimamente, ano após ano após ano, até que um dia falhou. Ninguém conseguiu dizer exactamente porquê. Simplesmente não funcionou nesse ano. Claro que isso também foi uma grande notícia, incluindo agora uma retratação de uma publicação da revista "Nature". Então, até as empresas mais conhecedoras, como a Amazon e a Google, às vezes erram. Apesar de todos esses falhanços, os dados intervêm cada vez mais em decisões da vida real — no espaço de trabalho, no cumprimento da lei, na medicina. Então devíamos ter a certeza de que os dados estão a ajudar.
Now, personally I've seen a lot of this struggle with data myself, because I work in computational genetics, which is also a field where lots of very smart people are using unimaginable amounts of data to make pretty serious decisions like deciding on a cancer therapy or developing a drug. And over the years, I've noticed a sort of pattern or kind of rule, if you will, about the difference between successful decision-making with data and unsuccessful decision-making, and I find this a pattern worth sharing, and it goes something like this.
Agora, pessoalmente, já vi muita desta luta com dados, porque trabalho com genética computacional, que é também um campo onde muita gente inteligente usa quantidades de dados inimagináveis para tomar decisões importantes, como decidir uma terapia de cancro ou desenvolver uma droga. Ao longo dos anos, notei um tipo de padrão ou uma regra, se quiserem, sobre a diferença entre tomadas de decisão bem sucedidas com dados e tomadas de decisão mal-sucedidas. Acho que é um padrão que devo partilhar, e é mais ou menos assim.
So whenever you're solving a complex problem, you're doing essentially two things. The first one is, you take that problem apart into its bits and pieces so that you can deeply analyze those bits and pieces, and then of course you do the second part. You put all of these bits and pieces back together again to come to your conclusion. And sometimes you have to do it over again, but it's always those two things: taking apart and putting back together again.
Sempre que se resolve um problema complexo fazem-se basicamente duas coisas. A primeira é dividir esse problema em várias partes para que se possa analisar cada parte em separado. Depois, claro, faz-se a segunda parte. Juntam-se todas essas partes de novo para chegar a uma conclusão. Às vezes é preciso fazer tudo de novo, mas são sempre essas duas coisas: Dividir e voltar a juntar de novo.
And now the crucial thing is that data and data analysis is only good for the first part. Data and data analysis, no matter how powerful, can only help you taking a problem apart and understanding its pieces. It's not suited to put those pieces back together again and then to come to a conclusion. There's another tool that can do that, and we all have it, and that tool is the brain. If there's one thing a brain is good at, it's taking bits and pieces back together again, even when you have incomplete information, and coming to a good conclusion, especially if it's the brain of an expert.
Agora a parte crucial é que esses dados e a análise de dados servem apenas para a primeira parte. Os dados e análise de dados, por mais poderosos que sejam, só ajudam a dividir o problema e a compreender as suas partes. Não é adequado para voltar a juntar essas partes de novo e depois chegar a uma conclusão. Há outra ferramenta que faz isso, e todos a temos. Essa ferramenta é o cérebro. Se há uma coisa em que o cérebro é bom é em pegar em pedaços de informação e juntá-los mesmo quando a informação é incompleta, e chegar a uma boa conclusão, especialmente se for o cérebro de um especialista.
And that's why I believe that Netflix was so successful, because they used data and brains where they belong in the process. They use data to first understand lots of pieces about their audience that they otherwise wouldn't have been able to understand at that depth, but then the decision to take all these bits and pieces and put them back together again and make a show like "House of Cards," that was nowhere in the data. Ted Sarandos and his team made that decision to license that show, which also meant, by the way, that they were taking a pretty big personal risk with that decision. And Amazon, on the other hand, they did it the wrong way around. They used data all the way to drive their decision-making, first when they held their competition of TV ideas, then when they selected "Alpha House" to make as a show. Which of course was a very safe decision for them, because they could always point at the data, saying, "This is what the data tells us." But it didn't lead to the exceptional results that they were hoping for.
É por isso que acredito que a Netflix teve tanto sucesso, porque usaram dados e cérebros onde devido, durante o processo. Utilizaram dados para perceber informações sobre a audiência que, de outra maneira, não conseguiriam perceber àquele nível. Mas a decisão de pegar em todas essas informações e juntá-las de novo, para fazer uma série como a "House of Cards," isso não estava nos dados. Ted Sarandos e a sua equipa tomaram a decisão de licenciar a série, o que também significou, que eles estavam a correr um grande risco pessoal com essa decisão. A Amazon, por outro lado, fez o oposto. Usaram os dados para guiar a sua tomada de decisão, primeiro quando lançaram a competição de ideias de TV, depois quanto escolheram "Alpha House" como série. Claro que foi uma decisão muito segura para eles, porque podiam sempre apontar para os dados e dizer: "Isto é o que os dados nos dizem." Mas não os levou aos resultados excepcionais que eles estavam à espera.
So data is of course a massively useful tool to make better decisions, but I believe that things go wrong when data is starting to drive those decisions. No matter how powerful, data is just a tool, and to keep that in mind, I find this device here quite useful. Many of you will ...
Claro que os dados são uma ferramenta muito útil para tomar melhores decisões, mas acredito que as coisas dão para o torto quando os dados começam a guiar tais decisões. Não interessa quão poderosos possam ser os dados, são só uma ferramenta. Para manter isso presente, acho este aparelho aqui muito útil. Muitos de vocês vão...
(Laughter)
(Risos)
Before there was data, this was the decision-making device to use.
Antes de haver dados, este era o aparelho de tomada de decisões que se usava.
(Laughter)
(Risos)
Many of you will know this. This toy here is called the Magic 8 Ball, and it's really amazing, because if you have a decision to make, a yes or no question, all you have to do is you shake the ball, and then you get an answer -- "Most Likely" -- right here in this window in real time. I'll have it out later for tech demos.
Devem conhecer isto. Este brinquedo chama-se "Magic 8 Ball", E é realmente incrível, Porque, se tivermos uma decisão a tomar, uma questão de sim/não, basta abanarmos a bola, e recebemos uma resposta. "Muito provavelmente" — aqui nesta janela, em tempo real. Vou deixá-la por aí para uma "tech demo".
(Laughter)
Now, the thing is, of course -- so I've made some decisions in my life where, in hindsight, I should have just listened to the ball. But, you know, of course, if you have the data available, you want to replace this with something much more sophisticated, like data analysis to come to a better decision. But that does not change the basic setup. So the ball may get smarter and smarter and smarter, but I believe it's still on us to make the decisions if we want to achieve something extraordinary, on the right end of the curve. And I find that a very encouraging message, in fact, that even in the face of huge amounts of data, it still pays off to make decisions, to be an expert in what you're doing and take risks. Because in the end, it's not data, it's risks that will land you on the right end of the curve.
Agora, eu tomei algumas decisões na minha vida em que, em retrospectiva, eu devia ter dado ouvidos à bola. Mas, claro, se temos dados disponíveis, queremos substituir a bola por algo mais sofisticado, como a análise de dados, para tomar uma decisão melhor. Mas tal não altera a configuração base. A bola pode ficar cada vez mais inteligente mas eu acredito que somos nós que temos que tomar decisões, se queremos alcançar algo extraordinário, no lado direito da curva. Acho que uma mensagem muito encorajadora é que, mesmo perante imensa informação, ainda compensa tomar decisões, ser um especialista no que fazemos e correr riscos. Porque, afinal, não são os dados, são os riscos que nos possibilitam estar no lado direito da curva.
Thank you.
Obrigado.
(Applause)
(Aplausos)