In ancient Greece, when anyone from slaves to soldiers, poets and politicians, needed to make a big decision on life's most important questions, like, "Should I get married?" or "Should we embark on this voyage?" or "Should our army advance into this territory?" they all consulted the oracle.
Nell'antica Grecia, quando chiunque, schiavo o soldato, poeta o politico, doveva prendere una decisione importante per la propria vita, come, "Dovrei sposarmi?" o "Dobbiamo fare questo viaggio?" o "Il nostro esercito dovrebbe avanzare in questo territorio?" consultava l'oracolo.
So this is how it worked: you would bring her a question and you would get on your knees, and then she would go into this trance. It would take a couple of days, and then eventually she would come out of it, giving you her predictions as your answer.
Funzionava così: si poneva una domanda, ci si inginocchiava, e l'oracolo cadeva in trance. Ci voleva un paio di giorni, e poi lei ne sarebbe uscita, dando una profezia come risposta.
From the oracle bones of ancient China to ancient Greece to Mayan calendars, people have craved for prophecy in order to find out what's going to happen next. And that's because we all want to make the right decision. We don't want to miss something. The future is scary, so it's much nicer knowing that we can make a decision with some assurance of the outcome.
Dalle ossa oracolari della Cina antica all'antica Grecia, ai calendari Maia, le persone avevano bisogno delle profezie per sapere cosa sarebbe accaduto. Questo perché tutti vogliamo prendere la giusta decisione. Non vogliamo perdere niente. Il futuro ci spaventa, per cui è meglio decidere conoscendo le possibili conseguenze.
Well, we have a new oracle, and it's name is big data, or we call it "Watson" or "deep learning" or "neural net." And these are the kinds of questions we ask of our oracle now, like, "What's the most efficient way to ship these phones from China to Sweden?" Or, "What are the odds of my child being born with a genetic disorder?" Or, "What are the sales volume we can predict for this product?"
Beh, abbiamo un nuovo oracolo, e si chiama big data, noi lo chiamamo anche "Watson" "apprendimento profondo" o "rete neurale". Questo è il genere di domanda che poniamo all'oracolo, come, "Qual è il modo più efficiente per trasportare questi telefoni dalla Cina alla Svezia?" Oppure, "Che probabilità ci sono che mio figlio nasca con una malattia genetica?" "Quale volume di vendite prevediamo per questo prodotto?
I have a dog. Her name is Elle, and she hates the rain. And I have tried everything to untrain her. But because I have failed at this, I also have to consult an oracle, called Dark Sky, every time before we go on a walk, for very accurate weather predictions in the next 10 minutes. She's so sweet. So because of all of this, our oracle is a $122 billion industry.
Ho un cane. Si chiama Elle e odia la pioggia. Ho provato di tutto per riabilitarla. Visto che non ci sono riuscita, ho dovuto consultare un oracolo, chiamato Dark Sky, ogni volta prima di uscire, per avere previsioni del tempo accurate per i successivi dieci minuti. Il mio cane è dolcissimo. Il nostro oracolo è un business da 122 miliardi di euro.
Now, despite the size of this industry, the returns are surprisingly low. Investing in big data is easy, but using it is hard. Over 73 percent of big data projects aren't even profitable, and I have executives coming up to me saying, "We're experiencing the same thing. We invested in some big data system, and our employees aren't making better decisions. And they're certainly not coming up with more breakthrough ideas."
Malgrado la dimensione del settore, il profitto è sorprendentemente basso. Investire nei big data è facile, ma usarli è difficile. Più del 73 per cento dei progetti fatti con i big data non sono redditizi e molti dirigenti mi dicono, "Stiamo avendo lo stesso problema. Abbiamo investito in sistemi big data, ma i nostri dipendenti non prendono decisioni migliori. E non hanno neanche avuto le idee più innovative."
So this is all really interesting to me, because I'm a technology ethnographer. I study and I advise companies on the patterns of how people use technology, and one of my interest areas is data. So why is having more data not helping us make better decisions, especially for companies who have all these resources to invest in these big data systems? Why isn't it getting any easier for them?
Questo è molto interessante per me che sono una etnografa della tecnologia. Studio e do consigli alle aziende sul modo in cui le persone usano la tecnologia, e uno dei miei interessi sono i dati. Perché allora avere più dati non ci aiuta a prendere decisioni migliori, specialmente per le aziende che hanno queste risorse da investire in questi sistemi? Perché non è diventato più facile?
So, I've witnessed the struggle firsthand. In 2009, I started a research position with Nokia. And at the time, Nokia was one of the largest cell phone companies in the world, dominating emerging markets like China, Mexico and India -- all places where I had done a lot of research on how low-income people use technology. And I spent a lot of extra time in China getting to know the informal economy. So I did things like working as a street vendor selling dumplings to construction workers. Or I did fieldwork, spending nights and days in internet cafés, hanging out with Chinese youth, so I could understand how they were using games and mobile phones and using it between moving from the rural areas to the cities.
Ho visto questa situazione io stessa. Nel 2009, ho cominciato da una posizione di ricerca alla Nokia. In quegli anni, la Nokia era una delle maggiori aziende di telecomunicazioni, dominava i mercati emergenti come la Cina, il Messico, l'India -- tutti luoghi nei quali avevo fatto molta ricerca su come le persone di basso reddito usano la tecnologia. Ho passato molto tempo in Cina per conoscere l'economia informale. Facevo lavori come il venditore ambulante distribuendo fagottini di mele ai lavoratori edili. Facevo ricerche sul campo, passando notti e giorni negli internet point con i giovani cinesi, per capire come usavano i giochi e i telefonini e come li usavano per spostarsi dalla campagna alle città.
Through all of this qualitative evidence that I was gathering, I was starting to see so clearly that a big change was about to happen among low-income Chinese people. Even though they were surrounded by advertisements for luxury products like fancy toilets -- who wouldn't want one? -- and apartments and cars, through my conversations with them, I found out that the ads the actually enticed them the most were the ones for iPhones, promising them this entry into this high-tech life. And even when I was living with them in urban slums like this one, I saw people investing over half of their monthly income into buying a phone, and increasingly, they were "shanzhai," which are affordable knock-offs of iPhones and other brands. They're very usable. Does the job.
Con le testimonianze che raccoglievo, cominciavo a vedere che un grosso cambiamento stava per avvenire tra i cinesi dal reddito basso. Anche se erano circondati da pubblicità di prodotti di lusso come toilette eleganti -- chi non ne vorrebbe una? -- appartamenti, automobili, parlando con loro ho scoperto che le pubblicità che interessavano di più erano quelle degli iPhone, che promettevano l'entrata nella nuova vita high-tech. Vivendo con loro nei bassifondi urbani, vedevo persone che investivano metà dei loro redditi per comprare un cellulare, e c'erano sempre più "shanzhai", ovvero versioni meno care degli iPhone o altri telefoni. Sono molto facili da usare. Fanno il loro lavoro.
And after years of living with migrants and working with them and just really doing everything that they were doing, I started piecing all these data points together -- from the things that seem random, like me selling dumplings, to the things that were more obvious, like tracking how much they were spending on their cell phone bills. And I was able to create this much more holistic picture of what was happening. And that's when I started to realize that even the poorest in China would want a smartphone, and that they would do almost anything to get their hands on one.
Dopo anni vissuti con questi migranti e lavorando con loro, facendo tutto quello che loro facevano, ho iniziato a mettere insieme tutti questi dati -- dalle cose che sembravano strane, come vendere i fagottini di mele, alle cose che erano più ovvie, come registrare i costi del loro traffico telefonico. Sono riuscita a creare un'immagine più olistica di ciò che stava succedendo. Ho cominciato a capire che anche i cinesi più poveri volevano uno smartphone, e che avrebbero fatto di tutto per averne uno.
You have to keep in mind, iPhones had just come out, it was 2009, so this was, like, eight years ago, and Androids had just started looking like iPhones. And a lot of very smart and realistic people said, "Those smartphones -- that's just a fad. Who wants to carry around these heavy things where batteries drain quickly and they break every time you drop them?" But I had a lot of data, and I was very confident about my insights, so I was very excited to share them with Nokia.
Dovete ricordare che gli iPhone erano appena usciti nel 2009, ovvero otto anni fa, e gli Android iniziavano a somigliare agli iPhone. Molte persone intelligenti e realistiche dicevano, "Questi smartphone sono solo una moda." Chi vorrebbe portarsi in giro queste cose pesanti con le batterie che si scaricano subito e che si rompono appena cadono?" Ma io avevo molti dati, mi fidavo delle mie intuizioni, ed ero entusiasta di condividerle con la Nokia.
But Nokia was not convinced, because it wasn't big data. They said, "We have millions of data points, and we don't see any indicators of anyone wanting to buy a smartphone, and your data set of 100, as diverse as it is, is too weak for us to even take seriously." And I said, "Nokia, you're right. Of course you wouldn't see this, because you're sending out surveys assuming that people don't know what a smartphone is, so of course you're not going to get any data back about people wanting to buy a smartphone in two years. Your surveys, your methods have been designed to optimize an existing business model, and I'm looking at these emergent human dynamics that haven't happened yet. We're looking outside of market dynamics so that we can get ahead of it." Well, you know what happened to Nokia? Their business fell off a cliff. This -- this is the cost of missing something. It was unfathomable.
Ma Nokia non era convinta, perché non avevo big data. Dicevano, "Abbiamo milioni di dati, e non ci sono indicazioni che la gente comprerà smartphone. Il tuo insieme di dati da 100, anche se vario, è troppo debole per poterlo prendere sul serio." Risposi, "Nokia, avete ragione. È ovvio che non lo vediate, perché fate sondaggi pensando che la gente non sappia cosa sia uno smartphone, quindi non ricevete dati sulle persone che vorranno uno smartphone tra due anni. I vostri sondaggi e metodi sono stati creati per rinnovare un modello di business esistente e io sto analizzando dinamiche umane emergenti non ancora accadute. Stiamo guardando fuori dalle dinamiche del mercato per superarle." Sapete cosa è successo alla Nokia? Il business è precipitato. Questo è il prezzo del perdersi qualcosa. Era inimmaginabile.
But Nokia's not alone. I see organizations throwing out data all the time because it didn't come from a quant model or it doesn't fit in one. But it's not big data's fault. It's the way we use big data; it's our responsibility. Big data's reputation for success comes from quantifying very specific environments, like electricity power grids or delivery logistics or genetic code, when we're quantifying in systems that are more or less contained.
Ma Nokia non è l'unico caso. Vedo tante aziende ignorare dati importanti perché non provengono da un modello quantitativo o non si adattano a uno di essi. Ma non è colpa dei big data. È il modo in cui usiamo i big data; è responsabilità nostra. Il successo dei big data proviene dal quantificare ambienti specifici come reti elettriche o sistemi logistici o il codice genetico, quando quantifichiamo sistemi che sono più o meno limitati.
But not all systems are as neatly contained. When you're quantifying and systems are more dynamic, especially systems that involve human beings, forces are complex and unpredictable, and these are things that we don't know how to model so well. Once you predict something about human behavior, new factors emerge, because conditions are constantly changing. That's why it's a never-ending cycle. You think you know something, and then something unknown enters the picture. And that's why just relying on big data alone increases the chance that we'll miss something, while giving us this illusion that we already know everything.
Ma non tutti i sistemi sono così facilmente contenibili. Quando vanno quantificati sistemi più dinamici, specialmente sistemi che coinvolgono le persone, ci sono troppe complessità e imprevedibilità, e queste sono cose che non sappiamo rappresentare bene. Quando si predice qualche comportamento umano, emergono altri fattori, perché le condizioni cambiano di continuo. È un ciclo senza fine. Pensiamo di sapere qualcosa, e poi qualcosa di sconosciuto entra in scena. Questo succede perché usare solo i big data aumenta la possibilità di perdersi qualcosa, mentre ci dà l'impressione di sapere tutto.
And what makes it really hard to see this paradox and even wrap our brains around it is that we have this thing that I call the quantification bias, which is the unconscious belief of valuing the measurable over the immeasurable. And we often experience this at our work. Maybe we work alongside colleagues who are like this, or even our whole entire company may be like this, where people become so fixated on that number, that they can't see anything outside of it, even when you present them evidence right in front of their face. And this is a very appealing message, because there's nothing wrong with quantifying; it's actually very satisfying. I get a great sense of comfort from looking at an Excel spreadsheet, even very simple ones.
Ciò che rende questo paradosso difficile da vedere e da capire è che abbiamo un cosa che chiamo un pregiudizio della quantificazione, che è una convinzione inconscia di preferire il misurabile al non misurabile. Lo viviamo spesso al lavoro. Forse lavoriamo con colleghi che la pensano così, o magari tutta la nostra azienda è così, le persone diventano così ossessionate da quel numero, che non vedono niente al di fuori di esso, anche quando mostri loro l'evidenza dei fatti. Questo è un messaggio attraente perché non c'è nulla di male nel quantificare; ed è molto soddisfacente. Ho un grande senso di piacere guardando un foglio di Excel, anche di quelli più semplici.
(Laughter)
(Risate)
It's just kind of like, "Yes! The formula worked. It's all OK. Everything is under control."
È un po' come, "Sì! La formula ha funzionato. Va tutto bene. Tutto è sotto controllo."
But the problem is that quantifying is addictive. And when we forget that and when we don't have something to kind of keep that in check, it's very easy to just throw out data because it can't be expressed as a numerical value. It's very easy just to slip into silver-bullet thinking, as if some simple solution existed. Because this is a great moment of danger for any organization, because oftentimes, the future we need to predict -- it isn't in that haystack, but it's that tornado that's bearing down on us outside of the barn. There is no greater risk than being blind to the unknown. It can cause you to make the wrong decisions. It can cause you to miss something big.
Ma il problema è che quantificare è una droga. E quando lo dimentichiamo quando non abbiamo niente che ne controlli l'uso, diventa facile buttare via dati perché non possono essere espressi con valori numerici. È molto facile finire col credere nei miracoli come se esistesse una soluzione semplice. Questo è un periodo molto pericoloso per qualunque azienda, perché spesso, il futuro che dobbiamo prevedere non è in quel pagliaio, ma è quel tornado che sta arrivando su di noi fuori dal fienile. Non c'è rischio più grande che essere ciechi verso l'ignoto. Ti può far prendere la decisione sbagliata. Ti può far perdere qualcosa d'importante.
But we don't have to go down this path. It turns out that the oracle of ancient Greece holds the secret key that shows us the path forward. Now, recent geological research has shown that the Temple of Apollo, where the most famous oracle sat, was actually built over two earthquake faults. And these faults would release these petrochemical fumes from underneath the Earth's crust, and the oracle literally sat right above these faults, inhaling enormous amounts of ethylene gas, these fissures.
Non vogliamo seguire questo percorso. Pare che l'oracolo della Grecia antica possiede la chiave segreta che ci mostra la strada. Recenti ricerche geologiche hanno dimostrato che il Tempio di Apollo, dove sedeva l'oracolo più famoso, fu costruito sopra due faglie sismiche. Da queste faglie fuoriuscivano gas tossici dalla crosta terrestre, e l'oracolo sedeva letteralmente sopra questa faglia, inalando enormi quantità di gas etilene.
(Laughter)
(Risate)
It's true.
È vero.
(Laughter) It's all true, and that's what made her babble and hallucinate and go into this trance-like state. She was high as a kite!
(Risate) È tutto vero, ed è questo che la faceva farfugliare e andare in questo stato di trance. Era fatta come una zucchina!
(Laughter)
(Risate)
So how did anyone -- How did anyone get any useful advice out of her in this state? Well, you see those people surrounding the oracle? You see those people holding her up, because she's, like, a little woozy? And you see that guy on your left-hand side holding the orange notebook? Well, those were the temple guides, and they worked hand in hand with the oracle. When inquisitors would come and get on their knees, that's when the temple guides would get to work, because after they asked her questions, they would observe their emotional state, and then they would ask them follow-up questions, like, "Why do you want to know this prophecy? Who are you? What are you going to do with this information?" And then the temple guides would take this more ethnographic, this more qualitative information, and interpret the oracle's babblings. So the oracle didn't stand alone, and neither should our big data systems.
Quindi come poteva... Come poteva la gente ricevere consigli utili da lei che era in questo stato? Vedete la gente che circonda l'oracolo? Vedete la gente che la sorregge, tanto è stordita? Vedete quel tizio alla vostra sinistra con un taccuino arancione in mano? Quelle erano le guide del tempio, che lavoravano fianco a fianco con l'oracolo. Quando i visitatori arrivavano e si inginocchiavano le guide iniziavano il loro lavoro, perché dopo le domande dei visitatori osservavano il loro stato emotivo, ne sondavano i desideri, chiedendo: "Perché vuoi conoscere questa profezia? Chi sei? Cosa te ne farai di questa informazione?" Allora le guide del tempio raccoglievano queste informazioni etnografiche, importanti, interpretando i deliri dell'oracolo. L'oracolo quindi non agiva da solo, né lo fanno i nostri sistemi di big data.
Now to be clear, I'm not saying that big data systems are huffing ethylene gas, or that they're even giving invalid predictions. The total opposite. But what I am saying is that in the same way that the oracle needed her temple guides, our big data systems need them, too. They need people like ethnographers and user researchers who can gather what I call thick data. This is precious data from humans, like stories, emotions and interactions that cannot be quantified. It's the kind of data that I collected for Nokia that comes in in the form of a very small sample size, but delivers incredible depth of meaning.
Per essere chiari, non sto dicendo che i sistemi di big data emettano gas etilene, o che facciano predizioni false. Tutto il contrario. Quello che sto dicendo è che così come l'oracolo aveva bisogno delle guide del tempio, anche i nostri sistemi di big data ne hanno. Hanno bisogno di persone come gli etnografi e i ricercatori sugli utenti che possono raccogliere i cosiddetti 'dati densi'. Sono preziosi dati di carattere personale, come storie, interazioni ed emozioni che non possono essere quantificate. Sono il genere di dati che ho raccolto per Nokia che hanno la forma di un campione molto piccolo, ma forniscono una incredibile profondità di significato.
And what makes it so thick and meaty is the experience of understanding the human narrative. And that's what helps to see what's missing in our models. Thick data grounds our business questions in human questions, and that's why integrating big and thick data forms a more complete picture. Big data is able to offer insights at scale and leverage the best of machine intelligence, whereas thick data can help us rescue the context loss that comes from making big data usable, and leverage the best of human intelligence. And when you actually integrate the two, that's when things get really fun, because then you're no longer just working with data you've already collected. You get to also work with data that hasn't been collected. You get to ask questions about why: Why is this happening?
Ciò che li rende così densi di contenuto è la possibilità di inferire le storie che contengono. È questo che aiuta a percepire cosa manca nei nostri modelli. I dati densi basano le ricerche economiche in questioni umane, ed è per questo che integrando i big data con i dati densi si ha un'immagine più completa. I big data ci offrono intuizioni su larga scala ed usano al meglio l'intelligenza artificiale, mentre i dati densi ci aiutano a sopperire alla mancanza di contesto che nasce dal rendere utilizzabili i big data e usare bene l'intelligenza umana. Quando si integrano i due è l'inizio del divertimento, perché allora non lavori più solo con i dati che hai già raccolto. Lavori anche con dati che non hai raccolto. Devi chiederti il perché: perché succede questo?
Now, when Netflix did this, they unlocked a whole new way to transform their business. Netflix is known for their really great recommendation algorithm, and they had this $1 million prize for anyone who could improve it. And there were winners. But Netflix discovered the improvements were only incremental. So to really find out what was going on, they hired an ethnographer, Grant McCracken, to gather thick data insights. And what he discovered was something that they hadn't seen initially in the quantitative data. He discovered that people loved to binge-watch. In fact, people didn't even feel guilty about it. They enjoyed it.
Quando lo ha fatto Netflix, ha scoperto un modo nuovo di trasformare il proprio business. Netflix è conosciuta per l'eccellente algoritmo di raccomandazione, e per il premio di un milione di dollari a chiunque riuscisse a migliorarlo. Ci sono stati dei vincitori. Ma Netflix ha scoperto che le migliorie erano solo incrementali. Per capire davvero cosa stava succedendo, ha assunto un etnografo, Grant McCracken, per raccogliere dati densi. Quello che ha scoperto è stato qualcosa che non aveva notato prima nei dati quantitativi. Ha scoperto che la gente amava le scorpacciate di TV senza sentirsi affatto in colpa. Si divertiva.
(Laughter)
(Risate)
So Netflix was like, "Oh. This is a new insight." So they went to their data science team, and they were able to scale this big data insight in with their quantitative data. And once they verified it and validated it, Netflix decided to do something very simple but impactful. They said, instead of offering the same show from different genres or more of the different shows from similar users, we'll just offer more of the same show. We'll make it easier for you to binge-watch. And they didn't stop there. They did all these things to redesign their entire viewer experience, to really encourage binge-watching. It's why people and friends disappear for whole weekends at a time, catching up on shows like "Master of None." By integrating big data and thick data, they not only improved their business, but they transformed how we consume media. And now their stocks are projected to double in the next few years.
Netflix ha dedotto che era una buona intuizione. Si è rivolta ai suoi tecnici scientifici ed è riuscita a integrare queste intuizioni con i dati quantitativi. Una volta verificati e validati, Netflix ha deciso di fare qualcosa di semplice ma significativo. Ha detto: "Invece di offrire lo stesso programma per generi diversi o più programmi diversi per utenti simili, vi offriamo lo stesso programma in maggiore quantità. Vi aiuteremo a fare scorpacciate di TV." E non si è fermata qui. Ha fatto tutto questo per trasformare l'intera esperienza dei suoi utenti, per incoraggiare scorpacciate di TV. È per questo che persone e amici scompaiono per interi weekend, catturati da programmi come "Master of None". Integrando i big data con i dati densi, non solo ha raggiunto risultati migliori, ma ha trasformato il modo in cui usiamo i media. Ora le loro azioni raddoppieranno nei prossimi anni.
But this isn't just about watching more videos or selling more smartphones. For some, integrating thick data insights into the algorithm could mean life or death, especially for the marginalized. All around the country, police departments are using big data for predictive policing, to set bond amounts and sentencing recommendations in ways that reinforce existing biases. NSA's Skynet machine learning algorithm has possibly aided in the deaths of thousands of civilians in Pakistan from misreading cellular device metadata. As all of our lives become more automated, from automobiles to health insurance or to employment, it is likely that all of us will be impacted by the quantification bias.
Ma non si tratta solo di guardare più video o vendere più smartphone. Per qualcuno, integrare i "dati densi" nell'algoritmo potrebbe significare vita o morte, specialmente per chi è emarginato. In tutto il paese i dipartimenti di polizia usano i big data per fare previsioni di intervento, per definire gli importi delle cauzioni e per raccomandazioni di sentenze in modi che rinforzano i pregiudizi attuali. L'algoritmo Skynet dell'NSA per l'apprendimento automatico ha probabilmente aiutato ad uccidere migliaia di civili in Pakistan male interpretando i metadati dei telefoni cellulari. Poiché tutte le nostre vite diventano sempre più automatizzate, dalle automobili alle assicurazioni sanitarie al lavoro stesso, è verosimile che tutti noi subiremo l'effetto dei pregiudizi quantitativi.
Now, the good news is that we've come a long way from huffing ethylene gas to make predictions. We have better tools, so let's just use them better. Let's integrate the big data with the thick data. Let's bring our temple guides with the oracles, and whether this work happens in companies or nonprofits or government or even in the software, all of it matters, because that means we're collectively committed to making better data, better algorithms, better outputs and better decisions. This is how we'll avoid missing that something.
La buona notizia è che è passato tanto tempo dalle emissioni di gas etilene per le predizioni. Abbiamo strumenti migliori per cui usiamoli meglio. Integriamo i big data con i dati densi. Affianchiamo le nostre guide del tempio all'oracolo, e se questo lavoro si dovrà fare nelle aziende o nelle ONG, nei governi o nei software sarà sempre importante, perché ciò che importa è che siamo vincolati collettivamente per creare dati migliori, algoritmi migliori, migliori risultati e migliori decisioni. È così che eviteremo di perdere quel qualcosa.
(Applause)
(Applausi)