In ancient Greece, when anyone from slaves to soldiers, poets and politicians, needed to make a big decision on life's most important questions, like, "Should I get married?" or "Should we embark on this voyage?" or "Should our army advance into this territory?" they all consulted the oracle.
В стародавній Греції, коли комусь: чи рабу чи солдату, поету чи політику потрібно було прийняти найважливіше в житті рішення, типу: "Чи одружитися мені?", або "Чи повинні ми розпочати цю подорож?", або " Чи потрібно армії рушати на цю територію?", вони всі йшли за порадою до оракула.
So this is how it worked: you would bring her a question and you would get on your knees, and then she would go into this trance. It would take a couple of days, and then eventually she would come out of it, giving you her predictions as your answer.
Як це працювало: ви задаєте їй питання, стаєте на коліна і тоді вона впадає в транс. Це займало кілька днів, і тоді, врешті, вона виходить з нього, її передбачення і будуть вашою відповіддю.
From the oracle bones of ancient China to ancient Greece to Mayan calendars, people have craved for prophecy in order to find out what's going to happen next. And that's because we all want to make the right decision. We don't want to miss something. The future is scary, so it's much nicer knowing that we can make a decision with some assurance of the outcome.
Від оракулів стародавнього Китаю до стародавньої Греції та календарів майя, люди чекали на пророцтва, щоб дізнатися, що відбудеться в майбутньому. Все це тому, що нам потрібно прийняти правильні рішення. Ми не хочемо щось пропустити. Майбутнє є непевним, тож набагато краще знати, що ми можемо прийняти рішення з певною гарантією результату.
Well, we have a new oracle, and it's name is big data, or we call it "Watson" or "deep learning" or "neural net." And these are the kinds of questions we ask of our oracle now, like, "What's the most efficient way to ship these phones from China to Sweden?" Or, "What are the odds of my child being born with a genetic disorder?" Or, "What are the sales volume we can predict for this product?"
Що ж, у нас є новий оракул, його ім'я великі дані, ми звемо його "Ватсон" чи "глибоке вивчення" або "нейронна мережа". І ось найтиповіші з питань, які ми зараз питаємо нашого оракула, "Який найефективніший спосіб переправити телефони з Китаю до Швеції?" Або "Які шанси, що моя дитина народиться із вродженими вадами?" Чи "Який обсяг продажів можна передбачити для цього товару?"
I have a dog. Her name is Elle, and she hates the rain. And I have tried everything to untrain her. But because I have failed at this, I also have to consult an oracle, called Dark Sky, every time before we go on a walk, for very accurate weather predictions in the next 10 minutes. She's so sweet. So because of all of this, our oracle is a $122 billion industry.
У мене є собака. Її звати Ель і вона ненавидить дощ. Я спробувала все, щоб вона позбулась цього відчуття. Але оскільки мені не вдалося, я мала консультуватися з оракулом під назвою Темне Небо кожного разу, коли виходила з нею на прогулянку для точних прогнозів погоди кожні 10 хвилин. Вона така мила. Через все це наш оракул - це індустрія у 122 мільйони доларів.
Now, despite the size of this industry, the returns are surprisingly low. Investing in big data is easy, but using it is hard. Over 73 percent of big data projects aren't even profitable, and I have executives coming up to me saying, "We're experiencing the same thing. We invested in some big data system, and our employees aren't making better decisions. And they're certainly not coming up with more breakthrough ideas."
Та незважаючи на розмір цієї індустрії, прибутки є надзвичайно низькими. Дуже легко інвестувати в великі дані, але користуватися важко. Більш ніж 73% проектів гігантських даних навіть не є прибутковими, деякі керівники підходять до мене і кажуть, "Ми помічаємо те ж саме. Ми інвестували в певну систему даних, та наші співробітники не приймають кращі рішення. І у них вже точно не з'являються проривні ідеї."
So this is all really interesting to me, because I'm a technology ethnographer. I study and I advise companies on the patterns of how people use technology, and one of my interest areas is data. So why is having more data not helping us make better decisions, especially for companies who have all these resources to invest in these big data systems? Why isn't it getting any easier for them?
Це все дійсно мене цікавить, оскільки я технологічний етнограф. Я вивчаю та надаю компаніям зразки, як використовувати технології, і одним із моїх інтересів є дані. Чому накопичення більшої кількості даних не допомагає приймати кращі рішення, особливо для тих компаній, котрі мають всі ці ресурси для інвестицій у великі системи даних? Чому їм не стає легше?
So, I've witnessed the struggle firsthand. In 2009, I started a research position with Nokia. And at the time, Nokia was one of the largest cell phone companies in the world, dominating emerging markets like China, Mexico and India -- all places where I had done a lot of research on how low-income people use technology. And I spent a lot of extra time in China getting to know the informal economy. So I did things like working as a street vendor selling dumplings to construction workers. Or I did fieldwork, spending nights and days in internet cafés, hanging out with Chinese youth, so I could understand how they were using games and mobile phones and using it between moving from the rural areas to the cities.
Тож я на власні очі бачила цю боротьбу. В 2009 році я розпочала своє дослідження в Nokia. В той час Nokia була однією з найбільших компаній мобільного зв'язку у світі, з основними ринками в Китаї, Мексиці та Індії -- це все місця, де я провела чимало досліджень про те, як люди із низьким доходом користуються технологіями. І я провела чимало часу в Китаї, ознайомлюючись із неформальною економікою. Тож я працювала вуличним постачальником, продавала пельмені будівельникам. Або ж я працювала в полі, проводила дні та ночі в інтернет-кафе, проводила час з китайською молоддю, щоб зрозуміти, як вони використовують ігри та мобільні телефони та користуються ними між поїздками від сільських районів до міст.
Through all of this qualitative evidence that I was gathering, I was starting to see so clearly that a big change was about to happen among low-income Chinese people. Even though they were surrounded by advertisements for luxury products like fancy toilets -- who wouldn't want one? -- and apartments and cars, through my conversations with them, I found out that the ads the actually enticed them the most were the ones for iPhones, promising them this entry into this high-tech life. And even when I was living with them in urban slums like this one, I saw people investing over half of their monthly income into buying a phone, and increasingly, they were "shanzhai," which are affordable knock-offs of iPhones and other brands. They're very usable. Does the job.
Завдяки зібраним мною всім якісним доказам, я почала ясно бачити ту велику зміну, яка мала відбутися серед китайців з низьким доходом. Хоча їх оточувала реклама продуктів для високого класу, як чудернацькі туалети -- хто б такий не хотів? -- чи квартира, чи автомобіль, розмовляючи з ними я побачила, що їх найбільше вабила реклама одного з айфонів, що обіцяло їм квиток до такого високотехнологічного життя. Навіть, коли я жила з ними в таких міських нетрях, як ось це місце, то бачила людей, котрі інвестували більшу половину свого місячного доходу в покупку телефона, і переважно це були "шанджай", дешеві підробки айфонів та інших марок. Ними можна було користуватися. Вони робили свою роботу.
And after years of living with migrants and working with them and just really doing everything that they were doing, I started piecing all these data points together -- from the things that seem random, like me selling dumplings, to the things that were more obvious, like tracking how much they were spending on their cell phone bills. And I was able to create this much more holistic picture of what was happening. And that's when I started to realize that even the poorest in China would want a smartphone, and that they would do almost anything to get their hands on one.
Після кількох років спільного проживання з мігрантами та роботи з ними і просто виконуючи все, що робили і вони, я почала складати докупи всі ці дані -- від речей, що видаються випадковими, тоді, коли я продавала пельмені, до більш очевидних речей, коли відслідковувала, скільки грошей вони витрачають на мобільні телефони. Я змогла створити більш цілісне зображення того, що відбувається. Саме тоді я почала усвідомлювати, що навіть найбідніша людина в Китаї хотіла смартфон, і що вони зроблять майже все, щоб отримати його.
You have to keep in mind, iPhones had just come out, it was 2009, so this was, like, eight years ago, and Androids had just started looking like iPhones. And a lot of very smart and realistic people said, "Those smartphones -- that's just a fad. Who wants to carry around these heavy things where batteries drain quickly and they break every time you drop them?" But I had a lot of data, and I was very confident about my insights, so I was very excited to share them with Nokia.
Не забувайте, що Айфон тільки щойно вийшов, це було в 2009, тож це було 8 років тому, і андроїд тільки почав виглядати як айфон. І чимало розумних та реалістичних людей говорили: "Ці смартфони - це просто примха. Хто захоче носитися із цими тяжкими речами, коли батареї швидко розряджаються і розбиваються, коли падають?" Та у мене було чимало даних, я була впевнена у своїх поглядах, тому я поспішила поділитися ними з Nokia.
But Nokia was not convinced, because it wasn't big data. They said, "We have millions of data points, and we don't see any indicators of anyone wanting to buy a smartphone, and your data set of 100, as diverse as it is, is too weak for us to even take seriously." And I said, "Nokia, you're right. Of course you wouldn't see this, because you're sending out surveys assuming that people don't know what a smartphone is, so of course you're not going to get any data back about people wanting to buy a smartphone in two years. Your surveys, your methods have been designed to optimize an existing business model, and I'm looking at these emergent human dynamics that haven't happened yet. We're looking outside of market dynamics so that we can get ahead of it." Well, you know what happened to Nokia? Their business fell off a cliff. This -- this is the cost of missing something. It was unfathomable.
Але Nokia було не переконати, бо це не були великі дані. Вони сказали: " У нас мільйони точок даних і ми не бачимо жодних ознак, що хтось хоче купити смартфон, а ваші дані базовані лише на ста точках, при такому різноманітті це занадто мало, щоб ми сприйняли це серйозно." Я сказала, "Nokia, ви праві. Звичайно, ви цього не побачите, бо ви проводите ваші дослідження на базі того, що люди не знають, що таке смартфони, і тому ви не отримаєте жодної інформації, про людей, які захочуть купити смартфони через два роки. Ваші дослідженя, методи створені, щоб оптимізувати вже існуючу бізнес-модель, а я шукаю серед цієї людської динаміки, яка навіть ще не почала діяти. Ми шукаємо поза ринковою динамікою, щоб йти попереду неї." Ви знаєте, що трапилось із Nokia? Їх бізнес розвалився. Це ціна того, на що вони не звернули увагу. Цього не можна було передбачити.
But Nokia's not alone. I see organizations throwing out data all the time because it didn't come from a quant model or it doesn't fit in one. But it's not big data's fault. It's the way we use big data; it's our responsibility. Big data's reputation for success comes from quantifying very specific environments, like electricity power grids or delivery logistics or genetic code, when we're quantifying in systems that are more or less contained.
Та Nokia не єдині. Я бачила організації, які весь час зневажали дані, бо вони брались не від статистичної моделі, або не узгоджувались із нею. Але це не вина великих даних. Це спосіб, у який ми користуємось великими даними; це наша відповідальність. Успішна репутація великих даних береться зі статистичної оцінки дуже специфічних середовищ, таких як електромережі, логістика доставок чи генетичний код, коли ми оцінюємо більш-менш локалізовані системи.
But not all systems are as neatly contained. When you're quantifying and systems are more dynamic, especially systems that involve human beings, forces are complex and unpredictable, and these are things that we don't know how to model so well. Once you predict something about human behavior, new factors emerge, because conditions are constantly changing. That's why it's a never-ending cycle. You think you know something, and then something unknown enters the picture. And that's why just relying on big data alone increases the chance that we'll miss something, while giving us this illusion that we already know everything.
Та не всі системи є струнко організованими. Коли ви робите перелік, а системи є більш динамічними, особливо системи, які залучають людський фактор, складні та непередбачувані сили, і всі інші речі, які ми не знаємо, як саме внести до плану. Коли ти передбачиш щось у людській поведінці, то виникне новий фактор, бо умови постійно змінюються. Саме тому це нескінченний цикл. Ви думаєте, що щось знаєте, а тоді на картинці з'являється щось невідоме. Саме тому залежність лише від великих даних збільшує шанси, на те що щось пройде повз нашу увагу, але в той же час дає нам ілюзію того, що ми вже все знаємо.
And what makes it really hard to see this paradox and even wrap our brains around it is that we have this thing that I call the quantification bias, which is the unconscious belief of valuing the measurable over the immeasurable. And we often experience this at our work. Maybe we work alongside colleagues who are like this, or even our whole entire company may be like this, where people become so fixated on that number, that they can't see anything outside of it, even when you present them evidence right in front of their face. And this is a very appealing message, because there's nothing wrong with quantifying; it's actually very satisfying. I get a great sense of comfort from looking at an Excel spreadsheet, even very simple ones.
Через що ми дійсно не помічаємо цей парадокс, та навіть озброюємо себе цим, це річ, яку я називаю кількісним зміщенням, кількісна несвідома віра у перевагу вимірюваного над невимірним. Ми часто спостерігаємо це на роботі. Можливо, ми працюємо поруч із такими колегами чи, можливо, з цілою компанією, де люди стають такими націленими на числа, що не помічають нічого поза ними, навіть, коли ви показуєте їм очевидні речі прямо перед їх носом. Це повідомлення із закликом, бо в кількісній оцінці немає нічого поганого, власне, це дуже добре. Я відчуваю такий комфорт при перегляді таблиці Excel, навіть дуже простої.
(Laughter)
(Сміх)
It's just kind of like, "Yes! The formula worked. It's all OK. Everything is under control."
Хочеться сказати: "Так! Формула працює. Все чудово. Все під контролем.
But the problem is that quantifying is addictive. And when we forget that and when we don't have something to kind of keep that in check, it's very easy to just throw out data because it can't be expressed as a numerical value. It's very easy just to slip into silver-bullet thinking, as if some simple solution existed. Because this is a great moment of danger for any organization, because oftentimes, the future we need to predict -- it isn't in that haystack, but it's that tornado that's bearing down on us outside of the barn. There is no greater risk than being blind to the unknown. It can cause you to make the wrong decisions. It can cause you to miss something big.
Але проблема в тому, що кількісна оцінка викликає звикання. І коли ми це забуваємо, у нас немає нічого, що можна нанести на чек, тож викинути дані дуже легко, бо їх не можна показати кількісно. Дуже легко просто шукати парочку-виручалочку, ніби існує якесь просте рішення. Це небезпечний момент для будь-якої організації, бо часто майбутнє, яке нам потрібно передбачити -- не в тому стозі сіна, а в торнадо, яке викидає нас із амбару. Небає більшого ризику, ніж не бачити невідоме. Ви можете прийняти неправильне рішення. Ви можете пропустити щось велике.
But we don't have to go down this path. It turns out that the oracle of ancient Greece holds the secret key that shows us the path forward. Now, recent geological research has shown that the Temple of Apollo, where the most famous oracle sat, was actually built over two earthquake faults. And these faults would release these petrochemical fumes from underneath the Earth's crust, and the oracle literally sat right above these faults, inhaling enormous amounts of ethylene gas, these fissures.
Але ми не маємо йти цією стежкою. Виявляється, що оракул стародавньої Греції, має таємний ключ, який направляє нас по стежці. Сучасні геологічні дослідження показали, що храм Аполлона, одне з найбільших місць розташування оракулів, був побудований на двох геологічних розломах. І ці розломи вивільняли нафтохімічні випаровування з-під земної кори, тож оракули буквально сиділи на цих розломах і вдихали неймовірну кількість етиленового газу з цих тріщин.
(Laughter)
(Сміх)
It's true.
Це правда.
(Laughter) It's all true, and that's what made her babble and hallucinate and go into this trance-like state. She was high as a kite!
(Сміх) Це все правда, саме це змушувало її бубніти та бачити галюцинації і поринати в стан трансу. Вона літала в височині!
(Laughter)
(Сміх)
So how did anyone -- How did anyone get any useful advice out of her in this state? Well, you see those people surrounding the oracle? You see those people holding her up, because she's, like, a little woozy? And you see that guy on your left-hand side holding the orange notebook? Well, those were the temple guides, and they worked hand in hand with the oracle. When inquisitors would come and get on their knees, that's when the temple guides would get to work, because after they asked her questions, they would observe their emotional state, and then they would ask them follow-up questions, like, "Why do you want to know this prophecy? Who are you? What are you going to do with this information?" And then the temple guides would take this more ethnographic, this more qualitative information, and interpret the oracle's babblings. So the oracle didn't stand alone, and neither should our big data systems.
Як комусь... Як комусь вдавалось отримати від неї корисну пораду в такому стані? Ви бачите людей поруч з оракулом? Ви бачите, що вони піднімають її, бо вона наче сп'яніла? І бачите того хлопця зліва, котрий тримає оранжеву книгу? Вони були охоронцями храму і працювали пліч-о-пліч з оракулом. Коли приходили прохачі і ставали на коліна, саме тоді починали працювати охоронці храму, бо коли вони задавали їй питання, вони дивились на їх емоційний стан і запитували наступне: "Чому ти хочеш це пророцтво? Хто ти? Що ти хочеш зробити з цією інформацієїю?" А потім охоронці храму візьмуть цю етнографічну, більш якісну інформацію, і перекладуть бурмотіння оракула. Тож оракул не працює один, так само має бути із нашою системою великих даних.
Now to be clear, I'm not saying that big data systems are huffing ethylene gas, or that they're even giving invalid predictions. The total opposite. But what I am saying is that in the same way that the oracle needed her temple guides, our big data systems need them, too. They need people like ethnographers and user researchers who can gather what I call thick data. This is precious data from humans, like stories, emotions and interactions that cannot be quantified. It's the kind of data that I collected for Nokia that comes in in the form of a very small sample size, but delivers incredible depth of meaning.
Пояснюю ще раз, я не хочу сказати, що система великих даних вдихає етиленовий газ або видає неправильні передбачення. Ні, зовсім протилежне. Я хочу сказати, що так само, як оракулові були потрібні охоронці храму, так само їх потребує і наша система. Їм потрібні такі люди, як етнографи, дослідники користувачів, щоб зібрати те, що я називаю насиченими даними. Це цінні дані від людей, як історії, емоції та спілкування, які не перевести в числа. Це ті дані, які я зібрала для Nokia, що мають форму дуже маленького зразка, але несуть в собі неймовірне значення.
And what makes it so thick and meaty is the experience of understanding the human narrative. And that's what helps to see what's missing in our models. Thick data grounds our business questions in human questions, and that's why integrating big and thick data forms a more complete picture. Big data is able to offer insights at scale and leverage the best of machine intelligence, whereas thick data can help us rescue the context loss that comes from making big data usable, and leverage the best of human intelligence. And when you actually integrate the two, that's when things get really fun, because then you're no longer just working with data you've already collected. You get to also work with data that hasn't been collected. You get to ask questions about why: Why is this happening?
Такими насиченими та значними їх робить досвід розуміння людської природи. Це допомагає побачити, чого не вистачає в наших моделях. насичені дані приземляють питання бізнесу до питань людини, і саме тому інтеграція великих та насичених даних дає більш комплексну картину. Великі дані можуть показати масштабне розуміння та використовують всі можливості машинного інтелекту, в той час, як насичені дані можуть допомогти врятувати контекст, що втрачається при використанні великих даних, та зможуть використати всі можливості людського інтелекту. І коли ви поєднаєте їх, то буде справді цікаво, бо ви вже не працюватимете із зібраними даними. Ви будете працювати із ще не зібраними даними. Ви ставитимете питання чому: Чому це відбувається?
Now, when Netflix did this, they unlocked a whole new way to transform their business. Netflix is known for their really great recommendation algorithm, and they had this $1 million prize for anyone who could improve it. And there were winners. But Netflix discovered the improvements were only incremental. So to really find out what was going on, they hired an ethnographer, Grant McCracken, to gather thick data insights. And what he discovered was something that they hadn't seen initially in the quantitative data. He discovered that people loved to binge-watch. In fact, people didn't even feel guilty about it. They enjoyed it.
Коли в компанії Netflix зробили це, вони відкрили абсолютно новий шлях для зміни бізнесу. Netflix стали відомими за свій справді чудовий алгоритм корисних дій, і вони мали приз для кожного, хто зміг би поліпшити його. І були переможці. Та Netflix помітили, що всі зміни підходили лише для першого етапу. Щоб зрозуміти, що відбувається насправді, вони запросили етнографа Гранта МакКракена, щоб він зібрав насичені дані. Він відкрив те, що вони спочатку і не помічали в числових даних. Він помітив, що люди обожнюють тупитися в телевізор. Фактично, їх за це не мучить совість. Їм це подобається.
(Laughter)
(Сміх)
So Netflix was like, "Oh. This is a new insight." So they went to their data science team, and they were able to scale this big data insight in with their quantitative data. And once they verified it and validated it, Netflix decided to do something very simple but impactful. They said, instead of offering the same show from different genres or more of the different shows from similar users, we'll just offer more of the same show. We'll make it easier for you to binge-watch. And they didn't stop there. They did all these things to redesign their entire viewer experience, to really encourage binge-watching. It's why people and friends disappear for whole weekends at a time, catching up on shows like "Master of None." By integrating big data and thick data, they not only improved their business, but they transformed how we consume media. And now their stocks are projected to double in the next few years.
Тож Netflix сказали: "О. Це новий погляд." Вони звернулися до своєї наукової команди з даних, і вже змогли виміряти нові дані поруч із чисельними даними. Як тільки вони засвідчили це, Netflix вирішили зробити дещо просте, але значне. Вони сказали, що замість того, щоб пропонувати те ж саме шоу в різних жанрах чи різні шоу від подібних ведучих, ми просто запропонуємо більше того самого шоу. Ваше зависання з телевізором ми зробимо легшим. Вони на зупинились на цьому. Вони зробили все можливе, щоб переробити весь глядацький досвід, щоб справді заохотити споглядання телевізора. Саме тому люди та їх знайомі зникають на цілі вихідні в один і той же час, присівши на шоу типу "Майстер не на всі руки". Поєднавши великі дані та грубі дані, вони не тільки покращили свій бізнес, але і трансформували спосіб споживання телебачення. А зараз їх акції у наступні кілька років за прогнозами збільшаться.
But this isn't just about watching more videos or selling more smartphones. For some, integrating thick data insights into the algorithm could mean life or death, especially for the marginalized. All around the country, police departments are using big data for predictive policing, to set bond amounts and sentencing recommendations in ways that reinforce existing biases. NSA's Skynet machine learning algorithm has possibly aided in the deaths of thousands of civilians in Pakistan from misreading cellular device metadata. As all of our lives become more automated, from automobiles to health insurance or to employment, it is likely that all of us will be impacted by the quantification bias.
Це не просто означає більше дивитися більше відео чи продавати більше смартфонів. Для деяких приєднання насичених даних до алгоритмів буде питанням життя і смерті, особливо для соціально відокремлених. По всій країні поліцейські відділи використовують великі дані для прогнозу поліцейської діяльності, щоб встановити сталі числа та рекомендації щодо винесення вироку, щоб змінити існуючі настрої. Алгоритм НАСА навчання машин Skynet (Скайнет) можливо, посприяв смерті тисяч цивільних в Пакистані від неправильного прочитання метаданих стільникового пристрою. Життя всіх стало більш автоматизованим, від автомобілів до медичної страхівки чи до пошуку роботи, ймовірно, на всіх нас впливають чисельні дані.
Now, the good news is that we've come a long way from huffing ethylene gas to make predictions. We have better tools, so let's just use them better. Let's integrate the big data with the thick data. Let's bring our temple guides with the oracles, and whether this work happens in companies or nonprofits or government or even in the software, all of it matters, because that means we're collectively committed to making better data, better algorithms, better outputs and better decisions. This is how we'll avoid missing that something.
Тепер, гарні новини, до яких ми довго йшли від запаху етиленового газу до прогнозів. У нас є кращі пристрої, тож давайте їх краще використовувати. Давайте інтегрувати великі дані з насиченими даними. Давайте поєднаємо наших охоронців храму з оракулом, немає значення, чи це трапляється в компаніях, благодійних організаціях, урядах чи навіть в програмах, все це має значення, бо означає, що ми всі разом змогли створити кращі дані, кращі алгоритми, кращі результати та кращі рішення. Саме так ми не пропустимо чогось важливого.
(Applause)
(Оплески)