My relationship with the internet reminds me of the setup to a clichéd horror movie. You know, the blissfully happy family moves in to their perfect new home, excited about their perfect future, and it's sunny outside and the birds are chirping ... And then it gets dark. And there are noises from the attic. And we realize that that perfect new house isn't so perfect.
私のインターネットとの関係は ありきたりのホラー映画の設定を 思わせるんです ほら 幸せな一家が 完璧な新居に入居して 完璧な未来を 思い描いているところ 外は晴れていて 鳥のさえずりも聞こえて でもそのうち夜になり 屋根裏部屋から音がして 完璧だと思っていた家が そうでもないことに気づく
When I started working at Google in 2006, Facebook was just a two-year-old, and Twitter hadn't yet been born. And I was in absolute awe of the internet and all of its promise to make us closer and smarter and more free. But as we were doing the inspiring work of building search engines and video-sharing sites and social networks, criminals, dictators and terrorists were figuring out how to use those same platforms against us. And we didn't have the foresight to stop them. Over the last few years, geopolitical forces have come online to wreak havoc. And in response, Google supported a few colleagues and me to set up a new group called Jigsaw, with a mandate to make people safer from threats like violent extremism, censorship, persecution -- threats that feel very personal to me because I was born in Iran, and I left in the aftermath of a violent revolution. But I've come to realize that even if we had all of the resources of all of the technology companies in the world, we'd still fail if we overlooked one critical ingredient: the human experiences of the victims and perpetrators of those threats.
2006年 私がGoogleに 勤め始めた頃 Facebookは 誕生して2年 Twitterはまだ 存在してませんでした そして私はインターネットとその可能性に 絶大な畏敬の念を抱いていました 人と人の距離を縮め 人間をさらに賢くし いっそう自由にしてくれると しかし 私たちが検索エンジンや 動画投稿サイト ソーシャルネットワークを創り出すという 魅力的な仕事に関わると同時に 犯罪者や独裁者 テロリストは 同じプラットフォームを 私たちに対して悪用する方法を 見いだしていったのです 私たちにはそれが予見できず 止められませんでした 過去数年で 地政学に強い勢力が 破壊を目的としてネット上に進出しました それに対してGoogleは 私と数人の同僚が Jigsawという組織を設立するのを 支援してくれました 私たちの任務は人々を 暴力的な過激主義 検閲 迫害などの脅威から守ること イランで生まれ 暴力的な革命の後に 国を去った私が 個人的に強く感じている脅威です しかし 気づいたことがあります たとえ 世界中のテクノロジー企業が持つ すべての資源を合わせたとしても たった1つの決定的な要素を 見落とすだけで失敗するだろうということ その要素とは 先ほど言ったような脅威の 被害者や加害者の実体験です
There are many challenges I could talk to you about today. I'm going to focus on just two. The first is terrorism. So in order to understand the radicalization process, we met with dozens of former members of violent extremist groups. One was a British schoolgirl, who had been taken off of a plane at London Heathrow as she was trying to make her way to Syria to join ISIS. And she was 13 years old. So I sat down with her and her father, and I said, "Why?" And she said, "I was looking at pictures of what life is like in Syria, and I thought I was going to go and live in the Islamic Disney World." That's what she saw in ISIS. She thought she'd meet and marry a jihadi Brad Pitt and go shopping in the mall all day and live happily ever after.
私が今日ここで語れる問題点は たくさんありますが 2つに絞ることにします 1つ目はテロです 過激化の過程を理解するために 何十人もの元過激派構成員と 会いました うち1人はイギリス人女子学生 ISISに入るためシリアに向かう途中 ロンドン・ヒースロー空港で 飛行機から降ろされたのです しかも13歳という若さでした 私はその子の父親を交えて腰を下ろし 「なぜ?」と尋ねました 答えはこうでした 「シリアでの生活の様子を写真で見て イスラム版ディズニーランドに 住めるんだと思った」 それが その子から見たISISでした ISIS版ブラッド・ピットのような人と そこで出会い 結婚し 一日中モールで買い物して 末長く幸せに暮らすのだと思っていたそうです
ISIS understands what drives people, and they carefully craft a message for each audience. Just look at how many languages they translate their marketing material into. They make pamphlets, radio shows and videos in not just English and Arabic, but German, Russian, French, Turkish, Kurdish, Hebrew, Mandarin Chinese. I've even seen an ISIS-produced video in sign language. Just think about that for a second: ISIS took the time and made the effort to ensure their message is reaching the deaf and hard of hearing. It's actually not tech-savviness that is the reason why ISIS wins hearts and minds. It's their insight into the prejudices, the vulnerabilities, the desires of the people they're trying to reach that does that. That's why it's not enough for the online platforms to focus on removing recruiting material. If we want to have a shot at building meaningful technology that's going to counter radicalization, we have to start with the human journey at its core.
ISISは何が人を動かすかを知っています そしてそれぞれの読者に合わせ 丹念にメッセージを作成します ISISの勧誘資料が どれだけの言語に 翻訳されているか見てください パンフレットに ラジオ番組に動画などを 英語とアラビア語だけでなく ドイツ語 ロシア語 フランス語 トルコ語 クルド語 ヘブライ語 中国語でも作っています ISISが作った 手話の動画を 見たことすらあります ちょっと考えてみてください ISISは耳の不自由な人にも メッセージが届くよう わざわざ時間と労力を費やしたのです ISISが人々の心を つかむことができるのは ハイテクに精通しているからではありません 自分たちが思いを伝えたい相手の 偏見 弱さ 願望が何なのかを 見極めているからです ネット上からISISの募集資料を 削除することに目を向けるだけでは 不十分なのはそういうわけです 過激派に対抗する テクノロジーとして 役に立つものを開発したいのならば 人間の人生の核心の部分から 始めなくてはなりません
So we went to Iraq to speak to young men who'd bought into ISIS's promise of heroism and righteousness, who'd taken up arms to fight for them and then who'd defected after they witnessed the brutality of ISIS's rule. And I'm sitting there in this makeshift prison in the north of Iraq with this 23-year-old who had actually trained as a suicide bomber before defecting. And he says, "I arrived in Syria full of hope, and immediately, I had two of my prized possessions confiscated: my passport and my mobile phone." The symbols of his physical and digital liberty were taken away from him on arrival. And then this is the way he described that moment of loss to me. He said, "You know in 'Tom and Jerry,' when Jerry wants to escape, and then Tom locks the door and swallows the key and you see it bulging out of his throat as it travels down?" And of course, I really could see the image that he was describing, and I really did connect with the feeling that he was trying to convey, which was one of doom, when you know there's no way out.
そこで私たちは イラクへ出向きました ISISが約束する英雄像や 正義を信じ込み 戦闘員として武器を手に取ったものの ISISの支配の残虐さを目にした後 脱走した若者たちに会うためです 私は北イラクにある 簡素な仮設刑務所で ISIS脱走前には自爆テロ犯として 訓練を受けていた― 23歳の若者と座っていました 彼はこう語りました 「希望に満ち溢れて シリアに到着したのに 直後に僕にとって最も大切なものを 2つ取り上げられた それはパスポートと携帯電話だった」 自分の身体的そして 電子的な自由の象徴が 到着した途端 剥奪されたのです 彼はその喪失の瞬間について こう表現しました 「トムとジェリーのアニメでさ ジェリーが逃げようとしているのに トムがドアの鍵を締めて その鍵を飲み込んじゃって それがトムの喉を通って 胃に入る様子が見える場面みたいな感じ」 もちろん 彼の描写する場面が はっきりと目に浮かびました 彼が伝えようとしている心情— 逃げ場がないとわかっているときの 無力感に心から共感できました
And I was wondering: What, if anything, could have changed his mind the day that he left home? So I asked, "If you knew everything that you know now about the suffering and the corruption, the brutality -- that day you left home, would you still have gone?" And he said, "Yes." And I thought, "Holy crap, he said 'Yes.'" And then he said, "At that point, I was so brainwashed, I wasn't taking in any contradictory information. I couldn't have been swayed."
そして ふと思ったのです 彼が家を出た日に 考えを改めさせる何かがあったならば どうなっていただろうか そこで尋ねてみました 「君が今だから知っていることすべて― ISISでの苦痛や腐敗や残虐さなどを 家を出た日に知っていたとして それでも行ったと思う?」 彼は「はい」と答えました それを聞いて困惑しました そうしたら彼は 「その時点では洗脳が進みすぎて ISISを否定するような情報を 一切受け入れようとしていなかったから 気持ちは変わらなかっただろう」と
"Well, what if you knew everything that you know now six months before the day that you left?"
「ではもし その半年前に 知っていたならば?」と尋ねると
"At that point, I think it probably would have changed my mind."
「その時なら多分考えを改めていた」 とと返ってきました
Radicalization isn't this yes-or-no choice. It's a process, during which people have questions -- about ideology, religion, the living conditions. And they're coming online for answers, which is an opportunity to reach them. And there are videos online from people who have answers -- defectors, for example, telling the story of their journey into and out of violence; stories like the one from that man I met in the Iraqi prison. There are locals who've uploaded cell phone footage of what life is really like in the caliphate under ISIS's rule. There are clerics who are sharing peaceful interpretations of Islam. But you know what? These people don't generally have the marketing prowess of ISIS. They risk their lives to speak up and confront terrorist propaganda, and then they tragically don't reach the people who most need to hear from them. And we wanted to see if technology could change that.
過激化というものはイエスかノーかという 単純な選択ではないのです 人々が観念 宗教 生活環境についての 疑問を抱いていくなかで 起こるものなのです そこで答えを探すために ネットで検索したりしますが これがISISにとってはチャンスなのです 正しい答えを知る人からの動画も ネット上には転がっています 例えば自分が暴力的な世界に入って 抜け出した経験を語る脱走者の話 イラクの刑務所で面会した 若者の話もそうです ISISの支配のもとでの生活が どのようなものなのかを 携帯電話で撮影してアップロードした 現地住民もいます イスラームの平和的な解釈を説く 聖職者もいます でも こういう人たちは たいてい ISISほどの発信力を持ちません 命も惜しまず テロリストの プロパガンダに立ち向かいますが 無残なことに 最も聞くべき人々には 言葉が届かないのです 我が社ではそれを 技術の力で変えようと試みました
So in 2016, we partnered with Moonshot CVE to pilot a new approach to countering radicalization called the "Redirect Method." It uses the power of online advertising to bridge the gap between those susceptible to ISIS's messaging and those credible voices that are debunking that messaging. And it works like this: someone looking for extremist material -- say they search for "How do I join ISIS?" -- will see an ad appear that invites them to watch a YouTube video of a cleric, of a defector -- someone who has an authentic answer. And that targeting is based not on a profile of who they are, but of determining something that's directly relevant to their query or question.
2016年に Moonshot CVEと 提携を結んで 過激派に対する新たな対抗手段である― 「リダイレクトメソッド」を試しました これはオンライン広告の力を ISISの発信に影響されやすい人と ISISの欠点を暴く信用ある人との間に 存在する隔たりを埋めるために 使うというものです 仕組みを説明しますね 過激派についての情報を探している人が 「ISISに入る方法」と調べたとしましょう すると聖職者や脱走者など 正しい答えを知っている人が映った― YouTubeの動画へと導く広告が現れます 広告ターゲットは 検索した人がどんな人かには関係なく その人の検索内容や疑問に 直接関連するものを特定することで 設定されます
During our eight-week pilot in English and Arabic, we reached over 300,000 people who had expressed an interest in or sympathy towards a jihadi group. These people were now watching videos that could prevent them from making devastating choices. And because violent extremism isn't confined to any one language, religion or ideology, the Redirect Method is now being deployed globally to protect people being courted online by violent ideologues, whether they're Islamists, white supremacists or other violent extremists, with the goal of giving them the chance to hear from someone on the other side of that journey; to give them the chance to choose a different path.
8週間にわたる 英語とアラビア語での試験調査の結果 イスラム過激組織に興味や同情を示した 30万人以上もの人に 情報を伝えることができました 壊滅的な選択をしてしまうのを 防ぐ効果のあるかもしれないビデオを 視聴してもらえたわけです そして 暴力的な過激主義は 1つの言語 宗教 観念に 限ったものではないので リダイレクトメソッドは今や 全世界で展開され ネット上で暴力的な観念の信奉者が 接近しないよう人々を守っています 相手が イスラム過激派 白人至上主義者 その他の暴力的な過激派であろうが 自分が進もうとしている道の 反対側にいる人たちの話を聞いて 違う道を選ぶチャンスを 与えるという目標です
It turns out that often the bad guys are good at exploiting the internet, not because they're some kind of technological geniuses, but because they understand what makes people tick. I want to give you a second example: online harassment. Online harassers also work to figure out what will resonate with another human being. But not to recruit them like ISIS does, but to cause them pain. Imagine this: you're a woman, you're married, you have a kid. You post something on social media, and in a reply, you're told that you'll be raped, that your son will be watching, details of when and where. In fact, your home address is put online for everyone to see. That feels like a pretty real threat. Do you think you'd go home? Do you think you'd continue doing the thing that you were doing? Would you continue doing that thing that's irritating your attacker?
結局 悪者たちはインターネットを 悪用するのが得意なだけであることが多く それはテクノロジーに 精通しているからではなく 何が人を動かすかを知っているからなのです ここで2つ目の例をあげましょう ネット上での嫌がらせです オンラインで嫌がらせをする人も 人の気持ちをつかむのは何かを 知ろうとします でもISISみたいに 徴兵するためじゃなくて 苦痛を与えるためです 想像してください あなたは女性で 結婚していて 子供もいます ネットに何かを投稿したところ レイプしてやるという コメントがつきます しかも息子の見ている前で実行する と 時と場所の詳細まで書かれ しかも皆の目につくように 自宅住所も公開されました 結構な脅威に感じますよね 家に帰れますか? これまでしていたことを 続けられますか? 加害者を苛つかせている行為を これからも続けられますか?
Online abuse has been this perverse art of figuring out what makes people angry, what makes people afraid, what makes people insecure, and then pushing those pressure points until they're silenced. When online harassment goes unchecked, free speech is stifled. And even the people hosting the conversation throw up their arms and call it quits, closing their comment sections and their forums altogether. That means we're actually losing spaces online to meet and exchange ideas. And where online spaces remain, we descend into echo chambers with people who think just like us. But that enables the spread of disinformation; that facilitates polarization. What if technology instead could enable empathy at scale?
ネットいじめは このところ 何が人を怒らせ 何が人を怖がらせ 何が人を不安にさせるかを突き止め そこを相手が黙り込むまで突くという 歪んだ遊びの極みと化しています ネット上の嫌がらせが横行すると 自由な発言ができなくなります 議論の主催者側ですら 手を上げて諦め コメント欄やフォーラムを 閉じてしまいます つまりネット上での 出会いや意見交換の場が 失われていくということです そして私たちは 残った場所で 自分と同じ考えを持つ人としか 話さなくなってしまいます でもそれは偽情報の拡散を促し 二極化を助長します その代わりに テクノロジーを使って 共感を拡散できないだろうか
This was the question that motivated our partnership with Google's Counter Abuse team, Wikipedia and newspapers like the New York Times. We wanted to see if we could build machine-learning models that could understand the emotional impact of language. Could we predict which comments were likely to make someone else leave the online conversation? And that's no mean feat. That's no trivial accomplishment for AI to be able to do something like that. I mean, just consider these two examples of messages that could have been sent to me last week. "Break a leg at TED!" ... and "I'll break your legs at TED."
この疑問がきっかけとなり Googleの乱用対策技術チームや Wikipediaや New York Timesなどの 新聞社との提携が実現しました 言葉が感情に与える影響を理解する— 機械学習モデルを作れるか 試そうというものです ネット上の会話で 誰かを退出させるコメントを 予測できないだろうか と それはもう至難の技でしょう AIで達成するのは 生半可なことではありません 私に先週送られてきたかもしれない 2通りのメッセージを考えてみれば わかりますね 「TEDで(足を折るくらい)頑張れ」 と 「TEDでお前の足を折ってやる」
(Laughter)
(笑)
You are human, that's why that's an obvious difference to you, even though the words are pretty much the same. But for AI, it takes some training to teach the models to recognize that difference. The beauty of building AI that can tell the difference is that AI can then scale to the size of the online toxicity phenomenon, and that was our goal in building our technology called Perspective. With the help of Perspective, the New York Times, for example, has increased spaces online for conversation. Before our collaboration, they only had comments enabled on just 10 percent of their articles. With the help of machine learning, they have that number up to 30 percent. So they've tripled it, and we're still just getting started.
皆さん 人間ですから ほぼ同じような言葉でも 明らかな違いがあることが わかりますが AIが認識するようになるには 発話の型を教える訓練が ある程度必要なのです 違いがわかるAIを作ることの醍醐味は ネット上で起こる迷惑行為の規模に合わせて 利用を拡大できるところにあります それが「Perspective」という テクノロジーを開発する際の目標でした Perspectiveのお陰で 例えばNew York Timesは オンラインで会話が起こる場が増えました 我が社との提携前は 全記事の10%ほどでしか コメントができなかったのです しかし機械学習のお陰で 30%まで上がりました 以前の3倍です まだ始動したばかりで この成果です
But this is about way more than just making moderators more efficient. Right now I can see you, and I can gauge how what I'm saying is landing with you. You don't have that opportunity online. Imagine if machine learning could give commenters, as they're typing, real-time feedback about how their words might land, just like facial expressions do in a face-to-face conversation. Machine learning isn't perfect, and it still makes plenty of mistakes. But if we can build technology that understands the emotional impact of language, we can build empathy. That means that we can have dialogue between people with different politics, different worldviews, different values. And we can reinvigorate the spaces online that most of us have given up on.
でもこれは会話を主催する側の 効率化の話にとどまりません 今 皆さんが視界にいるので 私の話がどう受け取られているのか 推し量ることができますが ネット上では そんな機会はありません もし機械学習を使って コメントの投稿者が 文字を打ち込む間に 相手にどう受け取られる可能性があるのか 直接の会話での表情のように 瞬時にフィードバックできたならば どうでしょうか 機械学習は完璧ではありません まだまだ たくさん間違えます でも 言葉が感情に与える影響を理解する テクノロジーを開発できれば 共感を培うことができます それは つまり 異なる政治観や異なる世界観 そして異なる価値観を持つ人と人の間に 会話が成立するということです 大半の人が見限ってしまったネット空間に 再び活力を与えることができます
When people use technology to exploit and harm others, they're preying on our human fears and vulnerabilities. If we ever thought that we could build an internet insulated from the dark side of humanity, we were wrong. If we want today to build technology that can overcome the challenges that we face, we have to throw our entire selves into understanding the issues and into building solutions that are as human as the problems they aim to solve. Let's make that happen.
他人を食い物にしたり危害を加えるために テクノロジーを利用する人は 人間が持つ恐怖や弱さを糧としています もし 人間の醜い側面から隔絶された ネット世界を作れるなどという考えが 一度でも浮かんだのであれば それは間違いです 人間が直面する困難を乗り越えられる そんなテクノロジーを作りたければ 問題点を理解することや かつ その問題点と同じくらい 人間らしい解決策を作ることに 全身全霊を捧げなければなりません 私たちで実現させましょう
Thank you.
ご清聴ありがとうございました
(Applause)
(拍手)