In ancient Greece, when anyone from slaves to soldiers, poets and politicians, needed to make a big decision on life's most important questions, like, "Should I get married?" or "Should we embark on this voyage?" or "Should our army advance into this territory?" they all consulted the oracle.
Na Grécia antiga, quando alguém, de escravos a soldados, poetas e políticos precisava tomar uma grande decisão nas questões mais importantes da vida, como: "Eu deveria me casar?" ou: "Devemos embarcar nesta viagem?" ou: "Nosso exército deve avançar para este território?", todos consultavam o oráculo.
So this is how it worked: you would bring her a question and you would get on your knees, and then she would go into this trance. It would take a couple of days, and then eventually she would come out of it, giving you her predictions as your answer.
É assim que funcionava: as pessoas levavam uma pergunta a ela e ficavam de joelhos, e então ela caía em transe. Levava alguns dias, e então, finalmente, ela saía dele, dando às pessoas as previsões dela como resposta.
From the oracle bones of ancient China to ancient Greece to Mayan calendars, people have craved for prophecy in order to find out what's going to happen next. And that's because we all want to make the right decision. We don't want to miss something. The future is scary, so it's much nicer knowing that we can make a decision with some assurance of the outcome.
Dos ossos do oráculo da antiga China à Grécia antiga e aos calendários maias, as pessoas têm buscado a profecia para descobrir o que acontecerá a seguir. O motivo é que todos queremos tomar a decisão certa. Não queremos perder nada. O futuro é assustador, então é muito melhor saber que podemos tomar uma decisão com alguma garantia do resultado.
Well, we have a new oracle, and it's name is big data, or we call it "Watson" or "deep learning" or "neural net." And these are the kinds of questions we ask of our oracle now, like, "What's the most efficient way to ship these phones from China to Sweden?" Or, "What are the odds of my child being born with a genetic disorder?" Or, "What are the sales volume we can predict for this product?"
Bem, temos um novo oráculo, e o nome dele é "big data", ou o chamamos de "Watson", "aprendizagem profunda" ou "rede neural". Esses são os tipos de perguntas que pedimos agora ao nosso oráculo, como: "Qual é o modo mais eficiente de enviar esses telefones da China à Suécia?" ou: "Quais são as chances de meu filho nascer com uma doença genética?" ou: "Qual é o volume de vendas que podemos prever para este produto?"
I have a dog. Her name is Elle, and she hates the rain. And I have tried everything to untrain her. But because I have failed at this, I also have to consult an oracle, called Dark Sky, every time before we go on a walk, for very accurate weather predictions in the next 10 minutes. She's so sweet. So because of all of this, our oracle is a $122 billion industry.
Tenho um cão. O nome dela é Elle, e ela odeia a chuva. Tenho tentado de tudo para destreiná-la. Mas, como tenho fracassado nisso, também tenho que consultar um "oráculo" chamado "Dark Sky", toda vez antes de ir passear, para previsões meteorológicas muito precisas dos dez minutos seguintes. Ela é uma graça. Por causa de tudo isso, nosso oráculo é uma indústria de US$ 122 bilhões.
Now, despite the size of this industry, the returns are surprisingly low. Investing in big data is easy, but using it is hard. Over 73 percent of big data projects aren't even profitable, and I have executives coming up to me saying, "We're experiencing the same thing. We invested in some big data system, and our employees aren't making better decisions. And they're certainly not coming up with more breakthrough ideas."
Apesar do tamanho dessa indústria, os retornos são surpreendentemente baixos. Investir em big data é fácil, difícil é usá-lo. Mais de 73% dos projetos de big data não são nem mesmo rentáveis, e tenho executivos chegando até mim e dizendo: "Estamos passando pela mesma experiência. Investimos em sistemas de big data, e nossos funcionários não estão tomando as melhores decisões. E, certamente, não estão apresentando mais ideias inovadoras".
So this is all really interesting to me, because I'm a technology ethnographer. I study and I advise companies on the patterns of how people use technology, and one of my interest areas is data. So why is having more data not helping us make better decisions, especially for companies who have all these resources to invest in these big data systems? Why isn't it getting any easier for them?
Tudo isso é muito interessante para mim, porque sou etnógrafa de tecnologia. Estudo e aconselho empresas sobre os padrões de como as pessoas usam tecnologia, e uma de minhas áreas de interesse são dados. Então por que ter mais dados não está nos ajudando a tomar as melhores decisões, especialmente para as empresas que têm todos esses recursos para investir em sistemas de big data? Por que não está ficando mais fácil para eles?
So, I've witnessed the struggle firsthand. In 2009, I started a research position with Nokia. And at the time, Nokia was one of the largest cell phone companies in the world, dominating emerging markets like China, Mexico and India -- all places where I had done a lot of research on how low-income people use technology. And I spent a lot of extra time in China getting to know the informal economy. So I did things like working as a street vendor selling dumplings to construction workers. Or I did fieldwork, spending nights and days in internet cafés, hanging out with Chinese youth, so I could understand how they were using games and mobile phones and using it between moving from the rural areas to the cities.
Então testemunhei a luta em primeira mão. Em 2009, assumi um cargo de pesquisa na Nokia. Na época, a Nokia era uma das maiores empresas de telefonia celular do mundo, dominando mercados emergentes como China, México e Índia, todos os lugares onde eu havia feito muita pesquisa sobre como as pessoas de baixa renda usam a tecnologia. Gastei muito tempo extra na China conhecendo a economia informal. Fiz coisas como trabalhar como vendedora ambulante, vendendo bolinhos para trabalhadores da construção civil. Fiz trabalho de campo, passando dias e noites em "cybercafés", saindo com os jovens chineses, para entender como usavam os jogos e telefones celulares entre o movimento das áreas rurais para as cidades.
Through all of this qualitative evidence that I was gathering, I was starting to see so clearly that a big change was about to happen among low-income Chinese people. Even though they were surrounded by advertisements for luxury products like fancy toilets -- who wouldn't want one? -- and apartments and cars, through my conversations with them, I found out that the ads the actually enticed them the most were the ones for iPhones, promising them this entry into this high-tech life. And even when I was living with them in urban slums like this one, I saw people investing over half of their monthly income into buying a phone, and increasingly, they were "shanzhai," which are affordable knock-offs of iPhones and other brands. They're very usable. Does the job.
Ao longo de toda essa evidência qualitativa que eu estava reunindo, começava a ver tão claramente que aconteceria uma grande mudança entre os chineses de baixa renda. Mesmo cercados por anúncios de produtos de luxo como banheiros extravagantes, "Quem não quer um?", apartamentos e carros, pelas conversas que tive com eles, descobri que os anúncios que realmente os atraíam mais eram os de "iPhones", prometendo-lhes a entrada nesta vida de alta tecnologia. Mesmo quando estava vivendo com eles em favelas urbanas como essa, via pessoas investindo mais da metade de sua renda mensal na compra de um telefone e, cada vez mais, em "shanzhai", que eram imitações baratas de iPhones e outras marcas. São muito úteis. Fazem o trabalho.
And after years of living with migrants and working with them and just really doing everything that they were doing, I started piecing all these data points together -- from the things that seem random, like me selling dumplings, to the things that were more obvious, like tracking how much they were spending on their cell phone bills. And I was able to create this much more holistic picture of what was happening. And that's when I started to realize that even the poorest in China would want a smartphone, and that they would do almost anything to get their hands on one.
Após anos vivendo com migrantes, trabalhando com eles e fazendo realmente tudo o que estavam fazendo, comecei a juntar todas essas unidades de informação, das coisas que pareciam aleatórias, como eu, vendendo bolinhos, para as coisas mais óbvias, como rastrear quanto gastavam em suas contas de telefone celular. Consegui criar essa imagem muito mais completa do que estava acontecendo. Comecei, então, a perceber que até mesmo os mais pobres da China queriam um smartphone, e fariam de tudo para colocar as mãos em um aparelho.
You have to keep in mind, iPhones had just come out, it was 2009, so this was, like, eight years ago, and Androids had just started looking like iPhones. And a lot of very smart and realistic people said, "Those smartphones -- that's just a fad. Who wants to carry around these heavy things where batteries drain quickly and they break every time you drop them?" But I had a lot of data, and I was very confident about my insights, so I was very excited to share them with Nokia.
Vocês precisam ter em mente que os iPhones tinham acabado de ser lançados, era 2009, oito anos atrás, e os "Androids" começavam a se parecer com os iPhones. Muitas pessoas inteligentes e realistas disseram: "Esses smartphones, é apenas uma moda. Quem vai querer levar essas coisas pesadas, com baterias que se esgotam rapidamente, e que quebram quando deixamos cair?" Mas eu tinha muitos dados, e estava tão confiante de minhas ideias que fiquei muito animada em compartilhá-las com a Nokia.
But Nokia was not convinced, because it wasn't big data. They said, "We have millions of data points, and we don't see any indicators of anyone wanting to buy a smartphone, and your data set of 100, as diverse as it is, is too weak for us to even take seriously." And I said, "Nokia, you're right. Of course you wouldn't see this, because you're sending out surveys assuming that people don't know what a smartphone is, so of course you're not going to get any data back about people wanting to buy a smartphone in two years. Your surveys, your methods have been designed to optimize an existing business model, and I'm looking at these emergent human dynamics that haven't happened yet. We're looking outside of market dynamics so that we can get ahead of it." Well, you know what happened to Nokia? Their business fell off a cliff. This -- this is the cost of missing something. It was unfathomable.
Mas a Nokia não estava convencida, porque não eram informações importantes. Disseram: "Temos milhões de unidades de informação, e não vemos nenhum indicador de quem quer comprar um smartphone, e seu conjunto de dados de 100, tão heterogêneo, é muito fraco para até mesmo levarmos a sério". Eu disse: "Nokia, vocês têm razão. Claro, não veem isso, porque estão enviando pesquisas supondo que as pessoas não sabem o que é um smartphone. Então é claro que não terão de volta os dados sobre quem quer comprar um smartphone em dois anos. As pesquisas e os métodos de vocês foram projetados para otimizar um modelo de negócios existente, e estou analisando essas dinâmicas humanas emergentes que ainda não aconteceram. Estamos olhando fora da dinâmica do mercado para que possamos ficar à frente disso". Bem, sabem o que aconteceu com a Nokia? O negócio deles caiu de um penhasco. Este é o custo de deixar escapar alguma coisa. Era impossível de entender.
But Nokia's not alone. I see organizations throwing out data all the time because it didn't come from a quant model or it doesn't fit in one. But it's not big data's fault. It's the way we use big data; it's our responsibility. Big data's reputation for success comes from quantifying very specific environments, like electricity power grids or delivery logistics or genetic code, when we're quantifying in systems that are more or less contained.
Mas a Nokia não está sozinha. Vejo organizações jogando os dados fora o tempo todo porque não vieram de um modelo quantitativo ou não se encaixam em um. Mas não é culpa do big data. É o modo como o usamos; é nossa responsabilidade. A reputação para o sucesso do big data vem da quantificação de ambientes muito específicos, como redes de energia elétrica, logística de entrega ou código genético, quando quantificamos em sistemas mais ou menos controlados.
But not all systems are as neatly contained. When you're quantifying and systems are more dynamic, especially systems that involve human beings, forces are complex and unpredictable, and these are things that we don't know how to model so well. Once you predict something about human behavior, new factors emerge, because conditions are constantly changing. That's why it's a never-ending cycle. You think you know something, and then something unknown enters the picture. And that's why just relying on big data alone increases the chance that we'll miss something, while giving us this illusion that we already know everything.
Mas nem todos os sistemas estão tão bem controlados. Quando estamos quantificando e os sistemas são mais dinâmicos, especialmente sistemas que envolvem seres humanos, as forças são complexas e imprevisíveis, e são coisas que não sabemos tão bem como modelar. Depois de prever algo sobre o comportamento humano, surgem novos fatores, porque as condições estão em constante mudança. Por isso é um ciclo sem fim. Achamos que conhecemos algo, e então surge algo desconhecido. É por isso que confiar apenas no big data aumenta a chance de deixar escapar alguma coisa, ao nos dar essa ilusão de que já sabemos tudo.
And what makes it really hard to see this paradox and even wrap our brains around it is that we have this thing that I call the quantification bias, which is the unconscious belief of valuing the measurable over the immeasurable. And we often experience this at our work. Maybe we work alongside colleagues who are like this, or even our whole entire company may be like this, where people become so fixated on that number, that they can't see anything outside of it, even when you present them evidence right in front of their face. And this is a very appealing message, because there's nothing wrong with quantifying; it's actually very satisfying. I get a great sense of comfort from looking at an Excel spreadsheet, even very simple ones.
O que torna muito difícil ver esse paradoxo e até mesmo envolver nossos cérebros em torno disso é que temos o que chamo de viés de quantificação, que é a crença inconsciente de valorizar o mensurável sobre o imensurável. Muitas vezes passamos por isso em nosso trabalho. Talvez trabalhemos ao lado de colegas assim, ou até mesmo toda a nossa empresa pode ser assim, onde as pessoas ficam tão obcecadas com aquela quantidade, que não podem ver nada fora dela, mesmo quando apresentamos evidências bem diante dos olhos delas. Esta é uma mensagem muito interessante, porque não há nada errado em quantificar; é realmente muito gratificante. Tenho uma grande sensação de conforto ao olhar para uma planilha do Excel, mesmo as mais simples.
(Laughter)
(Risos)
It's just kind of like, "Yes! The formula worked. It's all OK. Everything is under control."
É meio como: "Sim! A fórmula funcionou. Está tudo bem. Está tudo sob controle".
But the problem is that quantifying is addictive. And when we forget that and when we don't have something to kind of keep that in check, it's very easy to just throw out data because it can't be expressed as a numerical value. It's very easy just to slip into silver-bullet thinking, as if some simple solution existed. Because this is a great moment of danger for any organization, because oftentimes, the future we need to predict -- it isn't in that haystack, but it's that tornado that's bearing down on us outside of the barn. There is no greater risk than being blind to the unknown. It can cause you to make the wrong decisions. It can cause you to miss something big.
Mas o problema é que quantificar é viciante. Quando nos esquecemos disso e não temos algo para manter esse controle, é muito fácil simplesmente jogar os dados fora porque não podem ser expressos como um valor numérico. É muito fácil ter apenas um pensamento imediatista, como se houvesse alguma solução simples. Este é um grande momento de perigo para qualquer organização, porque, muitas vezes, o futuro que precisamos prever não está nesse palheiro, mas é aquele tornado que está vindo em nossa direção do lado de fora do celeiro. Não há risco maior do que ficar cego para o desconhecido. Isso pode nos fazer tomar decisões erradas. Pode nos fazer perder algo grande.
But we don't have to go down this path. It turns out that the oracle of ancient Greece holds the secret key that shows us the path forward. Now, recent geological research has shown that the Temple of Apollo, where the most famous oracle sat, was actually built over two earthquake faults. And these faults would release these petrochemical fumes from underneath the Earth's crust, and the oracle literally sat right above these faults, inhaling enormous amounts of ethylene gas, these fissures.
Mas não precisamos seguir esse caminho. Acontece que o oráculo da Grécia antiga guarda a chave secreta que nos mostra o caminho adiante. Pesquisas geológicas recentes mostraram que o Templo de Apolo, onde estava o oráculo mais famoso, foi, na verdade, construído sobre duas falhas de terremoto. Essas falhas liberavam gases petroquímicos debaixo da crosta terrestre. O oráculo literalmente se sentava bem acima dessas falhas, inalando enormes quantidades de gás etileno, essas fissuras.
(Laughter)
(Risos)
It's true.
É verdade.
(Laughter) It's all true, and that's what made her babble and hallucinate and go into this trance-like state. She was high as a kite!
(Risos) Tudo isso é verdade, e era o que a fazia murmurar e alucinar e entrar nesse estado de transe. Ela ficava alta como uma pipa!
(Laughter)
(Risos)
So how did anyone -- How did anyone get any useful advice out of her in this state? Well, you see those people surrounding the oracle? You see those people holding her up, because she's, like, a little woozy? And you see that guy on your left-hand side holding the orange notebook? Well, those were the temple guides, and they worked hand in hand with the oracle. When inquisitors would come and get on their knees, that's when the temple guides would get to work, because after they asked her questions, they would observe their emotional state, and then they would ask them follow-up questions, like, "Why do you want to know this prophecy? Who are you? What are you going to do with this information?" And then the temple guides would take this more ethnographic, this more qualitative information, and interpret the oracle's babblings. So the oracle didn't stand alone, and neither should our big data systems.
Como alguém conseguiria algum conselho útil dela naquele estado? Estão vendo aquelas pessoas que cercam o oráculo? Veem aquelas pessoas que a apoiam, porque ela está um pouco zonza? E aquele cara do lado esquerdo dela segurando o caderno laranja? Aqueles eram os guias do templo, e trabalhavam de mãos dadas com o oráculo. Quando os interrogadores vinham e ficavam de joelhos, os guias do templo chegavam ao trabalho. Depois de fazerem perguntas a ela, observavam o estado emocional deles. Então lhes faziam perguntas como: "Por que querem conhecer esta profecia? Quem são vocês? O que irão fazer com esta informação?" Então os guias do templo levavam esta informação etnográfica e qualitativa e interpretavam os murmúrios do oráculo. O oráculo não ficava sozinho, e nossos sistemas de big data também não deveriam ficar.
Now to be clear, I'm not saying that big data systems are huffing ethylene gas, or that they're even giving invalid predictions. The total opposite. But what I am saying is that in the same way that the oracle needed her temple guides, our big data systems need them, too. They need people like ethnographers and user researchers who can gather what I call thick data. This is precious data from humans, like stories, emotions and interactions that cannot be quantified. It's the kind of data that I collected for Nokia that comes in in the form of a very small sample size, but delivers incredible depth of meaning.
Para ser clara, não estou dizendo que os sistemas de big data estão inalando gás de etileno, ou que estão até mesmo dando previsões inválidas. Muito pelo contrário, o que estou dizendo é que, da mesma forma que o oráculo precisava dos guias de templo dela, nossos sistemas de big data precisam deles também. Precisam de pessoas como etnógrafos e pesquisadores de usuários que podem reunir o que chamo de "thick data". São dados valiosos de pessoas, como histórias, emoções e interações que não podem ser quantificadas. É o tipo de dados que coletei para a Nokia, que chega na forma de um tamanho de amostra muito pequeno, mas oferece uma profundidade de significado incrível.
And what makes it so thick and meaty is the experience of understanding the human narrative. And that's what helps to see what's missing in our models. Thick data grounds our business questions in human questions, and that's why integrating big and thick data forms a more complete picture. Big data is able to offer insights at scale and leverage the best of machine intelligence, whereas thick data can help us rescue the context loss that comes from making big data usable, and leverage the best of human intelligence. And when you actually integrate the two, that's when things get really fun, because then you're no longer just working with data you've already collected. You get to also work with data that hasn't been collected. You get to ask questions about why: Why is this happening?
O que o torna tão denso e significante é a experiência de compreender a narrativa humana. Isso é o que ajuda a ver o que está faltando em nossos modelos. Thick data baseia nossas questões de negócio em questões humanas, e é por isso que integrar big data e thick data forma uma imagem mais completa. Big data é capaz de oferecer compreensões sobre a escala e alavancar o melhor da inteligência da máquina, enquanto thick data pode nos ajudar a resgatar a perda de contexto, que vem de tornar o big data utilizável, e a aproveitar o melhor da inteligência humana. Quando os dois são integrados, as coisas ficam muito divertidas, porque não estamos mais apenas trabalhando com dados já coletados. Também trabalhamos com dados que não foram coletados. Fazemos perguntas sobre o porquê: "Por que está acontecendo isso?"
Now, when Netflix did this, they unlocked a whole new way to transform their business. Netflix is known for their really great recommendation algorithm, and they had this $1 million prize for anyone who could improve it. And there were winners. But Netflix discovered the improvements were only incremental. So to really find out what was going on, they hired an ethnographer, Grant McCracken, to gather thick data insights. And what he discovered was something that they hadn't seen initially in the quantitative data. He discovered that people loved to binge-watch. In fact, people didn't even feel guilty about it. They enjoyed it.
Quando a Netflix fez isso, foi revelada uma forma totalmente nova de transformar os negócios. A Netflix é conhecida por seu excelente algoritmo de recomendação, e ofereceu um prêmio de US$ 1 milhão para quem pudesse melhorá-lo. Houve ganhadores. Mas a Netflix descobriu que as melhorias eram apenas incrementais. Para descobrir o que estava acontecendo, contratou um etnógrafo, Grant McCracken, para reunir ideias de thick data. O que ele descobriu foi algo não visto inicialmente nos dados quantitativos: as pessoas adoravam assistir às maratonas de séries na TV. De fato, nem se sentiam culpadas por isso; elas gostavam.
(Laughter)
(Risos)
So Netflix was like, "Oh. This is a new insight." So they went to their data science team, and they were able to scale this big data insight in with their quantitative data. And once they verified it and validated it, Netflix decided to do something very simple but impactful. They said, instead of offering the same show from different genres or more of the different shows from similar users, we'll just offer more of the same show. We'll make it easier for you to binge-watch. And they didn't stop there. They did all these things to redesign their entire viewer experience, to really encourage binge-watching. It's why people and friends disappear for whole weekends at a time, catching up on shows like "Master of None." By integrating big data and thick data, they not only improved their business, but they transformed how we consume media. And now their stocks are projected to double in the next few years.
Para a Netflix era como: "Ah, esta é uma nova visão". Levou para a equipe de ciência de dados, que conseguiu dimensionar esta visão do big data com os dados quantitativos. Uma vez verificados e validados, a Netflix decidiu fazer algo muito simples, mas de grande impacto. Disse que, em vez de oferecer o mesmo programa de diferentes gêneros ou mais dos diferentes programas de usuários semelhantes, iria apenas oferecer mais do mesmo programa, fazer com que seja mais fácil assistir. E não parou por aí. Ela fez tudo isso para replanejar toda a experiência do telespectador, e realmente incentivá-lo a assistir. É por isso que as pessoas e os amigos somem em finais de semana inteiros, colocando em dia as séries como "Master of None". Ao integrar big data e thick data, ela não só melhorou os negócios, mas transformou a forma como consumimos a mídia. Agora as ações dela estão projetadas para duplicar nos próximos anos.
But this isn't just about watching more videos or selling more smartphones. For some, integrating thick data insights into the algorithm could mean life or death, especially for the marginalized. All around the country, police departments are using big data for predictive policing, to set bond amounts and sentencing recommendations in ways that reinforce existing biases. NSA's Skynet machine learning algorithm has possibly aided in the deaths of thousands of civilians in Pakistan from misreading cellular device metadata. As all of our lives become more automated, from automobiles to health insurance or to employment, it is likely that all of us will be impacted by the quantification bias.
Mas não se trata apenas de assistir a mais vídeos ou de vender mais smartphones. Para alguns, integrar thick data ao algoritmo pode ser uma questão de vida ou morte, especialmente para os marginalizados. Em todo o país, os departamentos de polícia estão usando o big data para o policiamento preditivo, para estabelecer valores de títulos e recomendações de sentença de forma a reforçar as prevenções existentes. O algoritmo de aprendizagem de máquina Skynet da NSA ajudou possivelmente na morte de milhares de civis no Paquistão pela leitura errada de metadados do dispositivo celular. À medida que toda a nossa vida se torna mais automatizada, dos automóveis aos planos de saúde ou ao emprego, é provável que todos nós sejamos impactados pelo viés da quantificação.
Now, the good news is that we've come a long way from huffing ethylene gas to make predictions. We have better tools, so let's just use them better. Let's integrate the big data with the thick data. Let's bring our temple guides with the oracles, and whether this work happens in companies or nonprofits or government or even in the software, all of it matters, because that means we're collectively committed to making better data, better algorithms, better outputs and better decisions. This is how we'll avoid missing that something.
A boa notícia é que percorremos um longo caminho, de inalar gás de etileno a fazer previsões. Temos ferramentas melhores, então vamos apenas usá-las melhor. Vamos integrar o big data ao thick data, trazer nossos guias do templo com os oráculos, e se este trabalho acontecer em empresas ou organizações sem fins lucrativos, no governo ou mesmo no software, tudo isso importa. Significa que estamos comprometidos coletivamente a elaborar dados melhores, algoritmos melhores, resultados melhores e decisões melhores. É assim que evitaremos deixar escapar esse algo.
(Applause)
(Aplausos)