In ancient Greece, when anyone from slaves to soldiers, poets and politicians, needed to make a big decision on life's most important questions, like, "Should I get married?" or "Should we embark on this voyage?" or "Should our army advance into this territory?" they all consulted the oracle.
En la antigua Grecia, cuando alguien, desde esclavos a soldados, poetas y políticos, necesitaba tomar una gran decisión sobre las preguntas más importantes, como, "¿Debería casarme?" o "¿Deberíamos iniciar este viaje?" "¿Debería el ejército avanzar a este territorio?" todos consultaban el oráculo.
So this is how it worked: you would bring her a question and you would get on your knees, and then she would go into this trance. It would take a couple of days, and then eventually she would come out of it, giving you her predictions as your answer.
Así funcionaba: traías una pregunta y te arrodillabas, y luego ella entraba en un trance. Llevaba un par de días, y eventualmente salía del trance, dando sus predicciones como respuesta.
From the oracle bones of ancient China to ancient Greece to Mayan calendars, people have craved for prophecy in order to find out what's going to happen next. And that's because we all want to make the right decision. We don't want to miss something. The future is scary, so it's much nicer knowing that we can make a decision with some assurance of the outcome.
Desde los oráculos de huesos de la antigua China a la antigua Grecia, a los calendarios mayas, la gente ha buscado la profecía para enterarse de qué va a suceder. Y eso se debe a que todos queremos tomar la decisión correcta. No nos queremos perder de algo. El futuro da miedo, es mucho mejor saber que podemos decidir con alguna garantía del resultado.
Well, we have a new oracle, and it's name is big data, or we call it "Watson" or "deep learning" or "neural net." And these are the kinds of questions we ask of our oracle now, like, "What's the most efficient way to ship these phones from China to Sweden?" Or, "What are the odds of my child being born with a genetic disorder?" Or, "What are the sales volume we can predict for this product?"
Bueno, tenemos un nuevo oráculo, y su nombre es big data. o le llamamos "Watson" o "aprendizaje profundo" o "red neural". Y estas son las preguntas que hacemos a nuestro oráculo ahora, "¿Cuál es la forma más eficiente de enviar estos teléfonos de China a Suecia?" O, "¿Cuál es la probabilidad de que mi hijo nazca con un problema genético?" O, "¿Qué volumen de ventas podemos proyectar para este producto?"
I have a dog. Her name is Elle, and she hates the rain. And I have tried everything to untrain her. But because I have failed at this, I also have to consult an oracle, called Dark Sky, every time before we go on a walk, for very accurate weather predictions in the next 10 minutes. She's so sweet. So because of all of this, our oracle is a $122 billion industry.
Tengo una perra. Se llama Elle, y odia la lluvia. He tratado todo para re-entrenarla. Pero como he fallado con esto, le consulto a un oráculo que se llama Cielos Oscuros, cada vez que salimos a caminar, para tener predicciones precisas para los próximos diez minutos. (Risas) Ella es tan dulce. Por estas razones, nuestra industria de oráculos es de USD 122 000 millones.
Now, despite the size of this industry, the returns are surprisingly low. Investing in big data is easy, but using it is hard. Over 73 percent of big data projects aren't even profitable, and I have executives coming up to me saying, "We're experiencing the same thing. We invested in some big data system, and our employees aren't making better decisions. And they're certainly not coming up with more breakthrough ideas."
A pesar del tamaño de esta industria, los dividendos son sorprendentemente bajos. Invertir en big data es muy fácil, pero usar macrodatos es difícil. Más del 73 % de los proyectos de big data no son rentables, hay ejecutivos que dicen: "Se repite el problema. Invertimos en algún sistema de big data, y nuestros empleados no toman mejores decisiones. Y definitivamente no generan ideas innovadoras".
So this is all really interesting to me, because I'm a technology ethnographer. I study and I advise companies on the patterns of how people use technology, and one of my interest areas is data. So why is having more data not helping us make better decisions, especially for companies who have all these resources to invest in these big data systems? Why isn't it getting any easier for them?
Esto me parece muy interesante, porque soy etnógrafa de tecnología. Estudio y aconsejo a empresas en las tendencias de uso de tecnología. Una de las áreas que me interesan es el análisis de datos. ¿Por qué no estamos tomando mejores decisiones, especialmente compañías que tienen todos los recursos para invertir en estos sistemas de big data? ¿Por qué no les está facilitando nuevas estrategias?
So, I've witnessed the struggle firsthand. In 2009, I started a research position with Nokia. And at the time, Nokia was one of the largest cell phone companies in the world, dominating emerging markets like China, Mexico and India -- all places where I had done a lot of research on how low-income people use technology. And I spent a lot of extra time in China getting to know the informal economy. So I did things like working as a street vendor selling dumplings to construction workers. Or I did fieldwork, spending nights and days in internet cafés, hanging out with Chinese youth, so I could understand how they were using games and mobile phones and using it between moving from the rural areas to the cities.
Soy testigo, en 2009, empecé un puesto de investigadora en Nokia. En esa época, Nokia era una de las empresas más grandes del mundo, dominaba los mercados emergentes como China, México e India... todos sitios que yo había investigado bastante la forma de uso de tecnología de perfiles de bajos ingresos. Pasé mucho tiempo en China, familiarizándome con la economía informal. Trabajé como vendedora ambulante vendiendo comida a obreros. Hice trabajo de campo, pasé días y noches en cibercafés, parando con la juventud china, para entender cómo estaban usando los videojuegos y móviles. Y cómo los usaban en la migración del campo a las ciudades.
Through all of this qualitative evidence that I was gathering, I was starting to see so clearly that a big change was about to happen among low-income Chinese people. Even though they were surrounded by advertisements for luxury products like fancy toilets -- who wouldn't want one? -- and apartments and cars, through my conversations with them, I found out that the ads the actually enticed them the most were the ones for iPhones, promising them this entry into this high-tech life. And even when I was living with them in urban slums like this one, I saw people investing over half of their monthly income into buying a phone, and increasingly, they were "shanzhai," which are affordable knock-offs of iPhones and other brands. They're very usable. Does the job.
Con toda esta evidencia cualitativa que estaba coleccionando, noté claramente que iba a haber un gran cambio entre los pobres de China. A pesar de estar rodeados de publicidad para productos de lujo, como inodoros sofisticados -- ¿quién no quiere uno? -- y departamentos y autos, en nuestras conversaciones, me di cuenta de que los anuncios que realmente les interesaban eran los anuncios para iPhones, que les prometía acceso a esta vida de alta tecnología. Incluso cuando viví con ellos en barriadas como esta, veía gente invirtiendo más de la mitad de su sueldo mensual para comprar un celular, y cada vez más, eran "shanzhai", que son imitaciones baratas de iPhones y otras marcas. Son bastante usables, funcionan.
And after years of living with migrants and working with them and just really doing everything that they were doing, I started piecing all these data points together -- from the things that seem random, like me selling dumplings, to the things that were more obvious, like tracking how much they were spending on their cell phone bills. And I was able to create this much more holistic picture of what was happening. And that's when I started to realize that even the poorest in China would want a smartphone, and that they would do almost anything to get their hands on one.
Y después de años de vivir con inmigrantes y trabajar con ellos, y básicamente hacer todo lo que ellos hacían, empecé a unir los datos... desde las cosas que parecen al azar como yo vendiendo comida, a las cosas más obvias, como calcular cuánto gastan en las cuentas de móviles. Así pude ver una figura más clara, más completa, de lo que estaba pasando. Ahí me di cuenta de que hasta los más pobres de China iban a querer un teléfono inteligente, y que harían casi cualquier cosa por conseguir uno.
You have to keep in mind, iPhones had just come out, it was 2009, so this was, like, eight years ago, and Androids had just started looking like iPhones. And a lot of very smart and realistic people said, "Those smartphones -- that's just a fad. Who wants to carry around these heavy things where batteries drain quickly and they break every time you drop them?" But I had a lot of data, and I was very confident about my insights, so I was very excited to share them with Nokia.
Acuérdense, los iPhones acababan de salir, era el 2009, o sea, hace ocho años, y los Androids se parecían más a los iPhones. Y mucha gente inteligente y realista dijo: "Esos teléfonos inteligentes son una moda pasajera. ¿Quién quiere estar cargando esas cosas pesadas que se les gastan las baterías y que se rompen cada vez que se te caen?" Pero yo tenía bastantes datos, y confiaba en mis ideas, así que estaba muy entusiasmada en compartirlas con Nokia.
But Nokia was not convinced, because it wasn't big data. They said, "We have millions of data points, and we don't see any indicators of anyone wanting to buy a smartphone, and your data set of 100, as diverse as it is, is too weak for us to even take seriously." And I said, "Nokia, you're right. Of course you wouldn't see this, because you're sending out surveys assuming that people don't know what a smartphone is, so of course you're not going to get any data back about people wanting to buy a smartphone in two years. Your surveys, your methods have been designed to optimize an existing business model, and I'm looking at these emergent human dynamics that haven't happened yet. We're looking outside of market dynamics so that we can get ahead of it." Well, you know what happened to Nokia? Their business fell off a cliff. This -- this is the cost of missing something. It was unfathomable.
Pero en Nokia no estaban convencidos, porque no era big data. Dijeron: "Tenemos millones de datos, no hay ninguna indicación de que alguien quiera comprar teléfonos inteligentes, y tu lista de 100 datos, aún siendo diversa, es muy débil para tomarla en serio". Yo les dije: "Nokia, tienen razón, por supuesto que no ven esto, porque Uds. mandan encuestas suponiendo que la gente no sabe qué es un teléfono inteligente, así que claro que no van a obtener ningún resultado sobre demanda de teléfonos inteligentes. Sus encuestas, sus métodos han sido diseñados para optimizar el modelo empresarial existente, y yo estoy mirando las dinámicas humanas emergentes, que no han pasado todavía. Mirando fuera de las dinámicas del mercado para poder estar en la vanguardia". ¿Saben que le pasó a Nokia? La empresa se cayó por un barranco. Ese es el costo de ignorar algo. Fue increíble.
But Nokia's not alone. I see organizations throwing out data all the time because it didn't come from a quant model or it doesn't fit in one. But it's not big data's fault. It's the way we use big data; it's our responsibility. Big data's reputation for success comes from quantifying very specific environments, like electricity power grids or delivery logistics or genetic code, when we're quantifying in systems that are more or less contained.
Pero Nokia no está sola. Veo organizaciones que desechan datos todo el tiempo porque no vienen de un modelo cuantitativo o no son compatibles con uno cuantitativo. Pero no se debe a los grandes volúmenes de datos. Es la manera en que los usamos; nosotros somos los responsables. La reputación exitosa de big data se debe a cuantificaciones en ambientes bastante específicos, como redes eléctricas, logística de distribución, o códigos genéticos, cuando el análisis cuantitativo es de sistemas contenidos.
But not all systems are as neatly contained. When you're quantifying and systems are more dynamic, especially systems that involve human beings, forces are complex and unpredictable, and these are things that we don't know how to model so well. Once you predict something about human behavior, new factors emerge, because conditions are constantly changing. That's why it's a never-ending cycle. You think you know something, and then something unknown enters the picture. And that's why just relying on big data alone increases the chance that we'll miss something, while giving us this illusion that we already know everything.
Pero no todos los sistemas son contenidos tan organizadamente. Cuando uno cuantifica sistemas más dinámicos, especialmente sistemas que conciernen a seres humanos, hay fuerzas complejas e impredecibles, cosas que no sabemos modelar tan bien. Y una vez que uno predice algo sobre la conducta humana, emergen nuevos factores, porque las condiciones cambian constantemente. Por eso es un ciclo interminable. Uno cree que sabe algo y aparece algo nuevo. Por eso es que confiar solo en big data, incrementa la posibilidad de no ver algo, y a la vez nos da la ilusión de saberlo todo.
And what makes it really hard to see this paradox and even wrap our brains around it is that we have this thing that I call the quantification bias, which is the unconscious belief of valuing the measurable over the immeasurable. And we often experience this at our work. Maybe we work alongside colleagues who are like this, or even our whole entire company may be like this, where people become so fixated on that number, that they can't see anything outside of it, even when you present them evidence right in front of their face. And this is a very appealing message, because there's nothing wrong with quantifying; it's actually very satisfying. I get a great sense of comfort from looking at an Excel spreadsheet, even very simple ones.
Lo que hace difícil de ver esta contradicción, y hasta de comprenderla, es algo que se llama predisposición cuantitativa que significa que inconscientemente valoramos más lo que podemos medir que lo que no es medible. Y muy a menudo tenemos esta experiencia en el trabajo. Quizás tenemos colegas que son así, o quizás la empresa es así, donde la gente tiene una fijación con un número, y no ve nada más, aún si tienen las pruebas en la punta de la nariz. Y este es un mensaje muy atractivo, porque no hay nada malo en cuantificar; realmente da mucha satisfacción. Me causa bienestar ver una hoja de cálculo Excel, hasta las más simples.
(Laughter)
(Risas)
It's just kind of like, "Yes! The formula worked. It's all OK. Everything is under control."
Es así: "¡Sí, la formula funciona! Todo está bien. Todo está bajo control".
But the problem is that quantifying is addictive. And when we forget that and when we don't have something to kind of keep that in check, it's very easy to just throw out data because it can't be expressed as a numerical value. It's very easy just to slip into silver-bullet thinking, as if some simple solution existed. Because this is a great moment of danger for any organization, because oftentimes, the future we need to predict -- it isn't in that haystack, but it's that tornado that's bearing down on us outside of the barn. There is no greater risk than being blind to the unknown. It can cause you to make the wrong decisions. It can cause you to miss something big.
Pero el problema es que la cuantificación es adictiva. Y cuando nos olvidamos de eso y no tenemos un sistema de control, podemos muy fácilmente desechar datos que no se pueden expresar numéricamente. Es muy fácil caer en la idea milagrosa, como si existiera una solución simple. Este es un momento peligroso para cualquier organización, en muchos casos, el futuro que predecimos no está en el pajar, es un tornado que se nos viene encima afuera del granero. No hay peor riesgo que no ver lo desconocido. Puede causar malas decisiones. Puede causar que no veas algo importante.
But we don't have to go down this path. It turns out that the oracle of ancient Greece holds the secret key that shows us the path forward. Now, recent geological research has shown that the Temple of Apollo, where the most famous oracle sat, was actually built over two earthquake faults. And these faults would release these petrochemical fumes from underneath the Earth's crust, and the oracle literally sat right above these faults, inhaling enormous amounts of ethylene gas, these fissures.
Pero no es necesario que vayamos por ese camino. Resulta que el oráculo de la antigua Grecia tiene la llave secreta para enseñarnos el camino hacia adelante. Estudios geológicos recientes han demostrado que el Templo de Apolo, donde estaba el oráculo más famoso, fue construido sobre dos fallas sísmicas; y estas fallas emiten gases petroquímicos que están bajo la corteza terrestre, y que el oráculo estaba literalmente sentado sobre estas fallas, inhalando cantidades inmensas de gas etileno, por estas grietas.
(Laughter)
(Risas)
It's true.
Es verdad.
(Laughter) It's all true, and that's what made her babble and hallucinate and go into this trance-like state. She was high as a kite!
(Risas) Todo es verdad, eso es lo que la hacía balbucear, alucinar, y entrar en trance. ¡Volar como una cometa!
(Laughter)
(Risas)
(Aplausos)
So how did anyone -- How did anyone get any useful advice out of her in this state? Well, you see those people surrounding the oracle? You see those people holding her up, because she's, like, a little woozy? And you see that guy on your left-hand side holding the orange notebook? Well, those were the temple guides, and they worked hand in hand with the oracle. When inquisitors would come and get on their knees, that's when the temple guides would get to work, because after they asked her questions, they would observe their emotional state, and then they would ask them follow-up questions, like, "Why do you want to know this prophecy? Who are you? What are you going to do with this information?" And then the temple guides would take this more ethnographic, this more qualitative information, and interpret the oracle's babblings. So the oracle didn't stand alone, and neither should our big data systems.
Entonces cómo... ¿Cómo recibió alguien buenos consejos de ella en ese estado? Bueno, ¿ven la gente que rodeaba al oráculo? Toda esa gente que la está sujetando porque está un poquito mareada. Y ¿pueden ver al hombre que está a su izquierda, con un cuaderno anaranjado? Todos esos eran guías del templo, y trabajaban mano a mano con el oráculo. Cuando las personas entraban y se arrodillaban, los guías se ponían a trabajar, después que la persona preguntaba, observaban su estado emocional, le hacían más preguntas, como: "¿Por qué quieres saber esta profecía? ¿Quién eres? ¿Qué vas a hacer con esta información?" Y después los guías usaban esta información, más etnográfica, esta información más cualitativa, e interpretaban los balbuceos del oráculo. Así que el oráculo no estaba solo, y tampoco deberían estarlo los sistemas de big data.
Now to be clear, I'm not saying that big data systems are huffing ethylene gas, or that they're even giving invalid predictions. The total opposite. But what I am saying is that in the same way that the oracle needed her temple guides, our big data systems need them, too. They need people like ethnographers and user researchers who can gather what I call thick data. This is precious data from humans, like stories, emotions and interactions that cannot be quantified. It's the kind of data that I collected for Nokia that comes in in the form of a very small sample size, but delivers incredible depth of meaning.
Ahora, aclaremos, no estoy diciendo que los sistemas de big data estén inhalando gas o haciendo malas predicciones. Al contrario, estoy diciendo que de la misma forma que el oráculo necesitaba los guías de templo, nuestros sistemas de big data también los necesitan. Necesitan etnógrafos e investigadores que puedan colectar lo que yo llamo "datos densos". Estos preciosos datos humanos, como historias, emociones, interacciones que no se pueden cuantificar. Es el tipo de datos que colecté para Nokia, que se obtienen con pocas muestras, pero traen información trascendente.
And what makes it so thick and meaty is the experience of understanding the human narrative. And that's what helps to see what's missing in our models. Thick data grounds our business questions in human questions, and that's why integrating big and thick data forms a more complete picture. Big data is able to offer insights at scale and leverage the best of machine intelligence, whereas thick data can help us rescue the context loss that comes from making big data usable, and leverage the best of human intelligence. And when you actually integrate the two, that's when things get really fun, because then you're no longer just working with data you've already collected. You get to also work with data that hasn't been collected. You get to ask questions about why: Why is this happening?
Y lo que hace esto tan denso y sustancioso, es la experiencia de entender la narrativa humana. Y eso es lo que ayuda a ver lo que hace falta en nuestros modelos. Los "datos densos" arraigan nuestras preguntas de negocios en preguntas humanas y por eso integrando big data y "datos densos" formamos una figura más completa. Los grandes volúmenes de datos nos ofrecen ideas en escala, sostienen lo mejor de la inteligencia artificial mientras que los "datos densos" nos ayudan a rescatar el contexto perdido que viene del uso de big data y le saca provecho a lo mejor de la inteligencia humana. Y cuando se integra ambas cosas, la cosa se pone divertida, porque uno ya no trabaja solo con datos que ha recolectado. También trabaja con datos que nunca ha recolectado. Puede hacer preguntas como ¿por qué? ¿Por qué está pasando esto?
Now, when Netflix did this, they unlocked a whole new way to transform their business. Netflix is known for their really great recommendation algorithm, and they had this $1 million prize for anyone who could improve it. And there were winners. But Netflix discovered the improvements were only incremental. So to really find out what was going on, they hired an ethnographer, Grant McCracken, to gather thick data insights. And what he discovered was something that they hadn't seen initially in the quantitative data. He discovered that people loved to binge-watch. In fact, people didn't even feel guilty about it. They enjoyed it.
Ahora, cuando Netflix hizo esto, desencadenó una nueva manera de transformar su negocio. Netflix es conocido por su excelente algoritmo de recomendaciones, y tenía un premio de USD 1 millón para cualquiera que lo pudiera mejorar. Y hubo ganadores. Pero Netflix descubrió que las mejoras eran solo graduales. Para realmente enterarse de lo que pasaba, contrataron a un etnógrafo, Grant McCracken, para compilar inferencias de "datos densos". Y Grant descubrió algo que no vieron inicialmente en los datos cuantitativos. Descubrió que a la gente le encanta mirar de una sentada. Tanto es así que las personas ni se sentían culpables. Disfrutaban.
(Laughter)
(Risas)
So Netflix was like, "Oh. This is a new insight." So they went to their data science team, and they were able to scale this big data insight in with their quantitative data. And once they verified it and validated it, Netflix decided to do something very simple but impactful. They said, instead of offering the same show from different genres or more of the different shows from similar users, we'll just offer more of the same show. We'll make it easier for you to binge-watch. And they didn't stop there. They did all these things to redesign their entire viewer experience, to really encourage binge-watching. It's why people and friends disappear for whole weekends at a time, catching up on shows like "Master of None." By integrating big data and thick data, they not only improved their business, but they transformed how we consume media. And now their stocks are projected to double in the next few years.
Así que Netflix dijo: "Ah, esto es nuevo". Incluyeron al equipo de análisis de datos, y lograron incluir estos hallazgos de los datos densos con los datos cuantitativos. Y una vez que lo verificaron y validaron, Netflix decidió hacer algo muy simple pero con mucho impacto. Dijeron: "En vez de ofrecer series de diferentes géneros o más variedad de series a usuarios similares, vamos a ofrecer más de la misma serie. Les vamos a facilitar ver series de una sentada. Y no pararon allí. Hicieron todo esto para rediseñar la experiencia completa de los espectadores, para fomentar los atracones de series. Por eso es que la gente y los amigos se desaparecen por fines de semanas, están mirando shows como Dueño de nadie. Al integrar big data con "datos densos", no solo mejoraron su negocio, sino que transformaron la manera de consumo de la audiencia. Ahora proyectan duplicar el valor de sus acciones en los próximos años.
But this isn't just about watching more videos or selling more smartphones. For some, integrating thick data insights into the algorithm could mean life or death, especially for the marginalized. All around the country, police departments are using big data for predictive policing, to set bond amounts and sentencing recommendations in ways that reinforce existing biases. NSA's Skynet machine learning algorithm has possibly aided in the deaths of thousands of civilians in Pakistan from misreading cellular device metadata. As all of our lives become more automated, from automobiles to health insurance or to employment, it is likely that all of us will be impacted by the quantification bias.
Pero esto no solo se trata de cómo consumimos programación, o vendemos más teléfonos inteligentes. Para algunos, la integración de ideas de "datos densos" a los algoritmos puede significar algo de vida o muerte, especialmente para los marginados. En todo el país, las comisarías están usando big data para predecir dónde patrullar; para determinar las fianzas y las sentencias en maneras que refuerzan prejuicios existentes. El algoritmo "Skynet" de la Agencia Nacional de Seguridad quizá haya contribuido a miles de muertes de civiles en Pakistán por malinterpretar metadatos de aparatos móviles. Mientras más automatizadas nuestras vidas, desde automóviles hasta seguro médico o empleo, es probable que a todos nos afecte la parcialidad hacia la cuantificación.
Now, the good news is that we've come a long way from huffing ethylene gas to make predictions. We have better tools, so let's just use them better. Let's integrate the big data with the thick data. Let's bring our temple guides with the oracles, and whether this work happens in companies or nonprofits or government or even in the software, all of it matters, because that means we're collectively committed to making better data, better algorithms, better outputs and better decisions. This is how we'll avoid missing that something.
Las buenas noticias son que hemos progresado mucho desde que aspirábamos gases para hacer predicciones. Tenemos mejores herramientas, o sea que usémoslas mejor. Integremos big data con los "datos densos", Unamos a los guías del templo con los oráculos, y ya sea que lo hagamos en empresas u organizaciones sin fines de lucro en gobiernos o en el software, todo es importante, porque significa que colectivamente estamos comprometidos a crear mejores datos, algoritmos, resultados, y a tomar mejores decisiones. Así evitaremos perdernos algo.
(Applause)
(Aplausos)