In ancient Greece, when anyone from slaves to soldiers, poets and politicians, needed to make a big decision on life's most important questions, like, "Should I get married?" or "Should we embark on this voyage?" or "Should our army advance into this territory?" they all consulted the oracle.
古代ギリシアでは 奴隷でも兵士でも詩人でも政治家でも 人生で最高に重要な問いに対して 大きな決断をしなければならない時 — 例えば 「結婚すべきか?」 あるいは 「この航海を始めるべきか?」 あるいは 「自軍はこの地域に進出すべきか?」 「巫女(オラクル)」に伺いを立てました
So this is how it worked: you would bring her a question and you would get on your knees, and then she would go into this trance. It would take a couple of days, and then eventually she would come out of it, giving you her predictions as your answer.
やり方はこうです 巫女に質問してひざまずくと 巫女はトランス状態となります 2、3日経つと 最後に 巫女が正気に戻って 答えとして予言をしました
From the oracle bones of ancient China to ancient Greece to Mayan calendars, people have craved for prophecy in order to find out what's going to happen next. And that's because we all want to make the right decision. We don't want to miss something. The future is scary, so it's much nicer knowing that we can make a decision with some assurance of the outcome.
古代中国の 「占い(オラクル)」の骨から 古代ギリシアやマヤ暦まで 人々は予言を切望してきました 次に何が起きるか 知るためでした 私たちは皆 正しい決断を 下したいと願うからです 見落したくないのです 未来は怖いので 結果に対して なんらかの保証があって 決断できると分れば すごくありがたいことなのです
Well, we have a new oracle, and it's name is big data, or we call it "Watson" or "deep learning" or "neural net." And these are the kinds of questions we ask of our oracle now, like, "What's the most efficient way to ship these phones from China to Sweden?" Or, "What are the odds of my child being born with a genetic disorder?" Or, "What are the sales volume we can predict for this product?"
さて私たちには 新しい「オラクル」があります その名も「ビッグデータ」や 「ワトソン」「ディープラーニング」 「ニューラルネット」呼び方は様々です 私たちが「オラクル」に 尋ねる問いは 例えば 「中国からスウェーデンに スマホを発送するための 一番効率の良い方法は?」 あるいは「私の子が 遺伝性疾患を持って生まれてくる確率は?」 あるいは 「この製品の 売り上げ予想は?」などです
I have a dog. Her name is Elle, and she hates the rain. And I have tried everything to untrain her. But because I have failed at this, I also have to consult an oracle, called Dark Sky, every time before we go on a walk, for very accurate weather predictions in the next 10 minutes. She's so sweet. So because of all of this, our oracle is a $122 billion industry.
私の犬は エルという名前で 雨が大嫌いです 雨嫌いをなくそうと あらゆることをしました でも 失敗に終わったので 私も「ダークスカイ」というアプリの 「予測(オラクル)」に頼らねばなりません 散歩前にいつも 今から10分間の正確な 天気予想を調べるのです とても可愛い犬です このような用向きのため 私たちの予測は1220億ドルの産業です
Now, despite the size of this industry, the returns are surprisingly low. Investing in big data is easy, but using it is hard. Over 73 percent of big data projects aren't even profitable, and I have executives coming up to me saying, "We're experiencing the same thing. We invested in some big data system, and our employees aren't making better decisions. And they're certainly not coming up with more breakthrough ideas."
巨大な産業にも関わらず 利益は驚くほど低いです ビッグデータへの投資は容易ですが 活用するのは困難です ビッグデータを使ったプロジェクトの 73%以上は 赤字で 重役が私の所にやってきて こう言います 「私たちも同じ経験をしている ビッグデータのシステムに投資したが 従業員たちは良い決定ができない さらにブレークスルーになるような アイデアも出てこない」と
So this is all really interesting to me, because I'm a technology ethnographer. I study and I advise companies on the patterns of how people use technology, and one of my interest areas is data. So why is having more data not helping us make better decisions, especially for companies who have all these resources to invest in these big data systems? Why isn't it getting any easier for them?
これは全て実に私にとって興味深いことです 私は テクノロジー・エスノグラファー (IT民族誌学者)だからです 私は人がテクノロジーを 利用するパターンについて 研究し 企業に助言していて 私が関心をもつ分野の一つが データなのです 得られるデータが増えても より良い決定の助けにならないのはなぜか? こういったビッグデータの システムに投資するための あらゆるリソースを持つ 企業にとっては特にそうです どうして彼らにとって 簡単にならないのか?
So, I've witnessed the struggle firsthand. In 2009, I started a research position with Nokia. And at the time, Nokia was one of the largest cell phone companies in the world, dominating emerging markets like China, Mexico and India -- all places where I had done a lot of research on how low-income people use technology. And I spent a lot of extra time in China getting to know the informal economy. So I did things like working as a street vendor selling dumplings to construction workers. Or I did fieldwork, spending nights and days in internet cafés, hanging out with Chinese youth, so I could understand how they were using games and mobile phones and using it between moving from the rural areas to the cities.
さて 私はこのような葛藤を 直接見てきました 2009年に 私は ノキアで調査研究の仕事を始めました そして当時 ノキアは世界で最大手の 携帯電話会社であり 中国、メキシコ、インドなどの 新興市場を支配し — これら全ての国において 低所得層の人が どのようにテクノロジーを利用するか 調査研究をしました また非正規経済を知るために 特に中国には時間をかけました そこで 私は 建設労働者に 点心を売る 露天商をしました また フィールドワークで 何日も夜も昼もネットカフェで過ごし 中国の若者と出歩いたりして 若者が ゲームや携帯電話を どう利用しているか 田舎から都市部への移動時に 携帯をどう使うかを 理解することもしました
Through all of this qualitative evidence that I was gathering, I was starting to see so clearly that a big change was about to happen among low-income Chinese people. Even though they were surrounded by advertisements for luxury products like fancy toilets -- who wouldn't want one? -- and apartments and cars, through my conversations with them, I found out that the ads the actually enticed them the most were the ones for iPhones, promising them this entry into this high-tech life. And even when I was living with them in urban slums like this one, I saw people investing over half of their monthly income into buying a phone, and increasingly, they were "shanzhai," which are affordable knock-offs of iPhones and other brands. They're very usable. Does the job.
こういった 自分が集めた 質的証拠の全てを通して 私にはっきりと見え始めたのは 中国の低所得者層に まさに 大きな変化が起ころうとしていることでした 彼らは様々な贅沢品の広告に 囲まれていましたが 例えば 高機能トイレなどは 誰もが欲しいと思いますよね? それとアパートや車などなど でも 彼らと会話して気づいたのですが 彼らが一番惹きつけられていた広告は iPhoneの広告で ハイテク生活へのデビューを 約束する広告でした そして私がこんな 都会のスラムに 暮らしていた時でさえ 人々が 月収の半分以上を投じて 電話を買うのを目にしました そうして増えたのが「シャンザイ」という iPhoneやその他のブランドの 安い模倣品でした かなり使い物になります 十分機能を果たします
And after years of living with migrants and working with them and just really doing everything that they were doing, I started piecing all these data points together -- from the things that seem random, like me selling dumplings, to the things that were more obvious, like tracking how much they were spending on their cell phone bills. And I was able to create this much more holistic picture of what was happening. And that's when I started to realize that even the poorest in China would want a smartphone, and that they would do almost anything to get their hands on one.
数年間 移動労働者と生活や仕事を共にして 移動労働者がやることを ほぼ全てやった後で 私は 全てのデータポイントを まとめ始めて— 点心売りのような バラバラに見えるものから 携帯電話料金の 支払額の推移のような より明確なことまでをまとめ始めました そして 何が起ころうとしているかの 全体像を作ることができました そのときに分かり始めたことがあります それは 中国では 底辺所得者層の人々もが スマホを欲しいと考えていて 一台手に入れるためなら ほぼ何でもするということです
You have to keep in mind, iPhones had just come out, it was 2009, so this was, like, eight years ago, and Androids had just started looking like iPhones. And a lot of very smart and realistic people said, "Those smartphones -- that's just a fad. Who wants to carry around these heavy things where batteries drain quickly and they break every time you drop them?" But I had a lot of data, and I was very confident about my insights, so I was very excited to share them with Nokia.
思い出してください iPhoneが出たての2009年 つまり 約8年前 iPhoneのような見た目の アンドロイド携帯も登場しました 賢くて 現実的な人たちの 多くがこう言っていました 「スマホなんて 一時の流行にすぎない 誰がこんな重いものを 持ち歩きたいと思うか? バッテリだってすぐに切れるし 一度落としたら故障するのに」 でも 私は多くのデータを元に すごく自信を持って予見できました ワクワクしながら その予見をノキアに知らせました
But Nokia was not convinced, because it wasn't big data. They said, "We have millions of data points, and we don't see any indicators of anyone wanting to buy a smartphone, and your data set of 100, as diverse as it is, is too weak for us to even take seriously." And I said, "Nokia, you're right. Of course you wouldn't see this, because you're sending out surveys assuming that people don't know what a smartphone is, so of course you're not going to get any data back about people wanting to buy a smartphone in two years. Your surveys, your methods have been designed to optimize an existing business model, and I'm looking at these emergent human dynamics that haven't happened yet. We're looking outside of market dynamics so that we can get ahead of it." Well, you know what happened to Nokia? Their business fell off a cliff. This -- this is the cost of missing something. It was unfathomable.
でも ノキアは懐疑的でした それがビッグデータでは なかったからです 「我々は何百万もの データポイントを持っている けれど スマホを購入したいと 思う人の指標は見えないし たった100件の バラバラのデータでは弱すぎる まともに取り上げるに値しない」と 私は言いました 「御社のいう通りです スマートフォンがどういうものかを 人が知らないという前提で 調査していれば 当然 見えないでしょうね だから当然 これから2年間で スマホの購入を希望する人についての データを手にすることはありません 御社の調査と手法は 既存のビジネスモデルを 最適化するためのデザインですが 私が見ている人間の動態は これから出てくるもので まだ起きていない事象なんです 私たちは市場力学の外側を見て その先を行けるよう 努めています」と そして ノキアの結末は ご存知の通りです 業績は崖から落ちるように下がりました これは 大切なものを 見落としたことの代償です それは計り知れないものでした
But Nokia's not alone. I see organizations throwing out data all the time because it didn't come from a quant model or it doesn't fit in one. But it's not big data's fault. It's the way we use big data; it's our responsibility. Big data's reputation for success comes from quantifying very specific environments, like electricity power grids or delivery logistics or genetic code, when we're quantifying in systems that are more or less contained.
でもノキアだけではありませんでした 様々な組織が いつもデータを 廃棄するのを見て来ました 理由は 定量モデルから 出たものではないとか 合致するモデルが ないというものでした でもそれはビッグデータのせいではありません ビッグデータを 私たちがどう扱うかであり 私たちの責任です ビッグデータを使用した成功例は ごく限定された環境の定量化に 基づいたものであり 送電網や物流システムや 遺伝子コードなど ほぼ閉じたシステムを 定量化した場合です
But not all systems are as neatly contained. When you're quantifying and systems are more dynamic, especially systems that involve human beings, forces are complex and unpredictable, and these are things that we don't know how to model so well. Once you predict something about human behavior, new factors emerge, because conditions are constantly changing. That's why it's a never-ending cycle. You think you know something, and then something unknown enters the picture. And that's why just relying on big data alone increases the chance that we'll miss something, while giving us this illusion that we already know everything.
でも 全てのシステムが きちんと閉じている訳ではありません より動的なシステムで 定量化を行う場合 特にシステムに 人間が関与している場合は 影響を与える要素は複雑で 予想不可能になり これらに関して うまくモデル化する術がありません 人間の行動について 一旦何かを予想すると 新たなファクターが出現します なぜなら 常に条件は変化するからです そのため 終わりのない循環となります 何かを理解したと思ったら 未知のものが 関与してきます だから ビッグデータに頼るだけでは 何かを見落とす可能性が高まる一方で 全てが分かっているかのような 幻想が生まれるのです
And what makes it really hard to see this paradox and even wrap our brains around it is that we have this thing that I call the quantification bias, which is the unconscious belief of valuing the measurable over the immeasurable. And we often experience this at our work. Maybe we work alongside colleagues who are like this, or even our whole entire company may be like this, where people become so fixated on that number, that they can't see anything outside of it, even when you present them evidence right in front of their face. And this is a very appealing message, because there's nothing wrong with quantifying; it's actually very satisfying. I get a great sense of comfort from looking at an Excel spreadsheet, even very simple ones.
このパラドックスに気付き 理解することが 非常に困難なのは 私が 「定量化バイアス」と呼ぶ 状況があるからです それは 測定可能なものを 測定不可能なものよりも重視するという 無意識の信念です そして これは 私たちの仕事において ありがちな経験です 多分 私たちは このような同僚の傍で働いているか 会社全体がこのような状態 なのかもしれません そこでは人が数字に固執していて 目の前に証拠を突きつけられても それ以外のものを見ることができないのです 定量化が とても訴えかけるメッセージなのは なぜなら そこに何ら間違いはなく 実際 とても満足のいくことだからです ごく単純なエクセルの スプレッドシートを見ても 私はとても心地よさを感じます
(Laughter)
(笑)
It's just kind of like, "Yes! The formula worked. It's all OK. Everything is under control."
ちょうどこんな感じです 「そう!数式がうまく働いたから大丈夫 全てうまくいっている」
But the problem is that quantifying is addictive. And when we forget that and when we don't have something to kind of keep that in check, it's very easy to just throw out data because it can't be expressed as a numerical value. It's very easy just to slip into silver-bullet thinking, as if some simple solution existed. Because this is a great moment of danger for any organization, because oftentimes, the future we need to predict -- it isn't in that haystack, but it's that tornado that's bearing down on us outside of the barn. There is no greater risk than being blind to the unknown. It can cause you to make the wrong decisions. It can cause you to miss something big.
でも問題なのは 定量化には依存性があることです そのことを忘れて その確認を常に促す 何かを備えていなければ 数値で示せないからという理由で データを棄ててしまいがちです あたかも 簡単な解決策が存在するかのような 特効薬的な思考に陥るのは 非常に簡単なことです これはどんな組織にとっても 危険な瞬間です しばしば 私たちが 予測しなければならない未来は 干し草の山の中ではなく 納屋の外で迫ってくる 竜巻そのものなのです 未知のものが見えないことほど 大きなリスクはありません 間違った結論に至りかねません 大きなものを見落とす結果になりかねません
But we don't have to go down this path. It turns out that the oracle of ancient Greece holds the secret key that shows us the path forward. Now, recent geological research has shown that the Temple of Apollo, where the most famous oracle sat, was actually built over two earthquake faults. And these faults would release these petrochemical fumes from underneath the Earth's crust, and the oracle literally sat right above these faults, inhaling enormous amounts of ethylene gas, these fissures.
でも この道を進まなくても良いのです 古代ギリシアの神託が 行く末を私たちに示す 秘密の鍵を握っていることが分かりました さて 最近の地質調査によると もっとも有名な巫女が神託をもたらした アポロの神殿は なんと 2つの地震断層の上に 建造されているのです そして これらの断層は地殻の下から 原油由来の蒸気を放出し 巫女は文字通り この断層の真上に座して 亀裂から放出された 大量のエチレンガスを吸い込んでいました
(Laughter)
(笑)
It's true.
実話ですよ
(Laughter) It's all true, and that's what made her babble and hallucinate and go into this trance-like state. She was high as a kite!
(笑) 実話であり このため巫女は 大声でわめきながら 幻覚を見て トランス状態になったのです 彼女は凧のように舞い上がりました
(Laughter)
(笑)
So how did anyone -- How did anyone get any useful advice out of her in this state? Well, you see those people surrounding the oracle? You see those people holding her up, because she's, like, a little woozy? And you see that guy on your left-hand side holding the orange notebook? Well, those were the temple guides, and they worked hand in hand with the oracle. When inquisitors would come and get on their knees, that's when the temple guides would get to work, because after they asked her questions, they would observe their emotional state, and then they would ask them follow-up questions, like, "Why do you want to know this prophecy? Who are you? What are you going to do with this information?" And then the temple guides would take this more ethnographic, this more qualitative information, and interpret the oracle's babblings. So the oracle didn't stand alone, and neither should our big data systems.
どうしたら — このような状態にある彼女から 有益な助言を 受けることができたでしょうか? 巫女を取り囲む人たちを見てください 人々が彼女を抱え上げています 彼女は少しふらついていますよね? そして左手の男性が 見えますが 彼はオレンジ色の手帳を持っていますよね? 彼らは 介添え人であり 巫女と連携して働いていました 質問者がきて 跪くと 寺院の介添え人たちが 仕事に就く時です 彼らが巫女に質問した後 彼らの感情的な状態を見て 補足的な質問をします 例えば 「なぜこの予言が知りたいのか? あなたは何者か? この情報で 何をするつもりか?」 などなど 介添え人たちは この答えを追加の民俗学的で 定性的な情報として加味して 巫女のつぶやきを神託として 解釈しました 巫女が単独で神託を下したのではありません 私たちのビッグデータもそうあるべきです
Now to be clear, I'm not saying that big data systems are huffing ethylene gas, or that they're even giving invalid predictions. The total opposite. But what I am saying is that in the same way that the oracle needed her temple guides, our big data systems need them, too. They need people like ethnographers and user researchers who can gather what I call thick data. This is precious data from humans, like stories, emotions and interactions that cannot be quantified. It's the kind of data that I collected for Nokia that comes in in the form of a very small sample size, but delivers incredible depth of meaning.
さて 誤解のないよう 私は ビッグデータのシステムが エチレン酔いだなどとは言いません 全てが根拠のない予想だと 言うつもりもありません その全く反対です でも私が言っているのは 神託を告げる巫女が 寺院の介添え人を必要とするのと同じく ビッグデータにも 介添え人が必要だということです 私が「シックデータ(濃密データ)」と呼ぶ ものを収集できる ― 民俗学者やユーザーリサーチャーのような人が 必要です これは 物語、感情、人間関係などの 人間に由来し 定量化できない 貴重なデータです 私がノキアのために収集した データの類であり ごく小さなサンプルサイズという形で 手に入るデータですが 信じられないくらい 深い意味を持っています
And what makes it so thick and meaty is the experience of understanding the human narrative. And that's what helps to see what's missing in our models. Thick data grounds our business questions in human questions, and that's why integrating big and thick data forms a more complete picture. Big data is able to offer insights at scale and leverage the best of machine intelligence, whereas thick data can help us rescue the context loss that comes from making big data usable, and leverage the best of human intelligence. And when you actually integrate the two, that's when things get really fun, because then you're no longer just working with data you've already collected. You get to also work with data that hasn't been collected. You get to ask questions about why: Why is this happening?
濃密さと示唆に富んだデータを生むのは 人間の語りを理解する経験です そしてそれこそが 現行モデルの中の 見落としを見つける助けとなります シックデータはビジネス上の問いを 人間の問いに基づいたものとなし だからこそ ビッグデータとシックデータを 統合することで 正しい全体像に近づきます ビッグデータが大規模な洞察をもたらし 機械知能を最大限活用できる一方で シックデータは ビッグデータを使えるようにした時に 失われた文脈を取り戻して 人的知能を最大限に活用するのに 役立ちます この2つを実際に統合すると 本当に面白くなります なぜなら 単に自分の収集した データを扱う以上のことが できるからです 未収集のデータを扱うことも できるようになるのです なぜこんなことが起こるのかと 原因を問えるようになります
Now, when Netflix did this, they unlocked a whole new way to transform their business. Netflix is known for their really great recommendation algorithm, and they had this $1 million prize for anyone who could improve it. And there were winners. But Netflix discovered the improvements were only incremental. So to really find out what was going on, they hired an ethnographer, Grant McCracken, to gather thick data insights. And what he discovered was something that they hadn't seen initially in the quantitative data. He discovered that people loved to binge-watch. In fact, people didn't even feel guilty about it. They enjoyed it.
さて Netflixはこれを実現し ビジネスを変容させる 全く新しい道を開拓しました Netflixは 非常に優れた 推薦アルゴリズムで知られていて そのアルゴリズムを改良した者に 百万ドルの賞金を出しました 賞金を獲得した人もいました でも Netflixは 全ての改良は 漸増の過程であると気づきました そこで 何が起こっているかを見極めるため Netflixは 民俗学者の グラント・マクラッケンを雇って シックデータによる洞察を まとめさせました 彼が見つけたものは 最初は定量的なデータの中には 見えていなかったものでした 彼は 一気(イッキ)見が好まれること を発見したのです 実際 何ら罪悪感を感じることもなく 楽しまれていました
(Laughter)
(笑)
So Netflix was like, "Oh. This is a new insight." So they went to their data science team, and they were able to scale this big data insight in with their quantitative data. And once they verified it and validated it, Netflix decided to do something very simple but impactful. They said, instead of offering the same show from different genres or more of the different shows from similar users, we'll just offer more of the same show. We'll make it easier for you to binge-watch. And they didn't stop there. They did all these things to redesign their entire viewer experience, to really encourage binge-watching. It's why people and friends disappear for whole weekends at a time, catching up on shows like "Master of None." By integrating big data and thick data, they not only improved their business, but they transformed how we consume media. And now their stocks are projected to double in the next few years.
Netflixは「おや これは新しい洞察だ」 みたいな感じでした そこで データサイエンスの部署を使って このシックデータの洞察を スケールアップさせ 定量的なデータと突き合わせました 彼らが一旦それをテストし効果を確かめると Netflixは とても単純ながらも インパクトのある決定をしました ある番組を色々なジャンルから 提案するのをやめる また 似たユーザーの観た別の番組を 提案するのもやめて その代わり ただ同じ番組を どんどん見せて行こうというのです 「一気見」をしやすくしようと 言ったのです そこで 更に 視聴経験全体をデザインし直すため あらゆる手段を尽くして 「一気見」を強く勧めたのです そのため『マスター・オブ・ゼロ』などの 見逃し配信があると 週末丸ごと 友人も人々も一斉に姿を消しました ビッグデータとシックデータを統合して Netflixは自社の業績改善をしただけでなく ユーザーのメディア消費方法をも 変貌させたのです そして今や Netflixの株価は 数年以内に倍増が予想されています
But this isn't just about watching more videos or selling more smartphones. For some, integrating thick data insights into the algorithm could mean life or death, especially for the marginalized. All around the country, police departments are using big data for predictive policing, to set bond amounts and sentencing recommendations in ways that reinforce existing biases. NSA's Skynet machine learning algorithm has possibly aided in the deaths of thousands of civilians in Pakistan from misreading cellular device metadata. As all of our lives become more automated, from automobiles to health insurance or to employment, it is likely that all of us will be impacted by the quantification bias.
でもこれは 動画の視聴数やスマホ販売数が 増えるというだけではありません 濃いデータの洞察をアルゴリズムに組み込む ということは 人によっては 特に 社会の周縁に追いやられた者にとっては 生死を分ける結果になりかねません 国中で 警察がビッグデータを 予測による取り締まりに利用し 保釈金額や処罰勧告の設定を 既存のバイアスを増長するようなやり方で 行なっています NSAのSkynet機器の学習アルゴリズムは モバイル端末のメタデータの読み誤りから 何千人ものパキスタン市民の死を もたらした可能性があります 私たち生活全般が自動化するにつれ 自動車から健康保険や雇用まで 私たちは皆 定量化バイアスに 影響を受ける可能性が大です
Now, the good news is that we've come a long way from huffing ethylene gas to make predictions. We have better tools, so let's just use them better. Let's integrate the big data with the thick data. Let's bring our temple guides with the oracles, and whether this work happens in companies or nonprofits or government or even in the software, all of it matters, because that means we're collectively committed to making better data, better algorithms, better outputs and better decisions. This is how we'll avoid missing that something.
さて 良い知らせは 予測をするのに エチレンガスの吸入から ずいぶん遠くまで来たことです ツールがより良くなったので より良く使いましょう ビッグデータを シックデータと統合しましょう 「オラクル」を補助する 介添え人を呼んで来ましょう 企業であれ 非利益団体であれ 行政であれ ソフトウェアであれ このシステムがどこで作動するにせよ 全てが重要です なぜなら こうすることの意味は 私たちが力を合わせて全力で より良いデータ、より良いアルゴリズム より良い計算結果、より良い意思決定を 目指すことだからです こうすることで 私たちは大切なことを 見落とさずに済むでしょう
(Applause)
(拍手)