My relationship with the internet reminds me of the setup to a clichéd horror movie. You know, the blissfully happy family moves in to their perfect new home, excited about their perfect future, and it's sunny outside and the birds are chirping ... And then it gets dark. And there are noises from the attic. And we realize that that perfect new house isn't so perfect.
رابطهام با اینترنت یک فیلم ترسناکِ کلیشهای را به خاطرم میآورد. خانواده خوشحال و سعادتمند به خانۀ جدید بینقصشان میروند، دربارۀ آیندۀ درخشانشان هیجانزدهاند بیرون آفتابیست و پرندهها به آوازخواندن مشغول ... سپس تاریک میشود. و صدایی از زیر شیروانی میآید. میفهمیم که آن خانۀ جدید بینقص، آنقدرهم بینقص نیست.
When I started working at Google in 2006, Facebook was just a two-year-old, and Twitter hadn't yet been born. And I was in absolute awe of the internet and all of its promise to make us closer and smarter and more free. But as we were doing the inspiring work of building search engines and video-sharing sites and social networks, criminals, dictators and terrorists were figuring out how to use those same platforms against us. And we didn't have the foresight to stop them. Over the last few years, geopolitical forces have come online to wreak havoc. And in response, Google supported a few colleagues and me to set up a new group called Jigsaw, with a mandate to make people safer from threats like violent extremism, censorship, persecution -- threats that feel very personal to me because I was born in Iran, and I left in the aftermath of a violent revolution. But I've come to realize that even if we had all of the resources of all of the technology companies in the world, we'd still fail if we overlooked one critical ingredient: the human experiences of the victims and perpetrators of those threats.
وقتی در سال ۲۰۰۶ کارکردن در گوگل را شروع کردم، فیسبوک تنها دو سال داشت، و توییتر هنوز متولد نشده بود. و من در سایۀ هیبت مطلق اینترنت و تمام وعدههایش بودم که ما را به هم نزدیکتر میکند و باهوشترمان میکند و آزادترمان میکند. اما همانطور که ما کار الهامبخش ساختن موتورهای جستوجو، و سایتهای انتشار ویدیو و شبکههای اجتماعی را انجام میدادیم، جنایتکاران، دیکتاتورها و تروریستها فهمیدند که چگونه از آن پلتفرمهای مشابه علیه ما استفاده کنند. و ما پیشبینی نکردهبودیم که چطور متوقفشان کنیم. در طول چند سال گذشته، قدرتهای ژئوپولیتیک برای خرابکاری به عرصۀ آنلاین آمدند. و در پاسخ، گوگل از من و تعدادی همکار برای تأسیس گروه جدیدی به نام Jigsaw پشتیبانی کرد، با یک تعهد که مردم را در برابر تهدیدهایی مثل افراط گرایی خشن، سانسور، آزار و شکنجه در امان داریم -- تهدیداتی که برای من احساسی بسیار شخصی است چونکه من در ایران به دنیا آمدم، و پس از یک انقلاب خشن از آنجا خارج شدم. امّا من متوجّه شدم حتی اگر ما همۀ منابع کل کمپانیهای تکنولوژی در دنیا را در اختیار داشته باشیم هنوز شکست خورده قلمداد میشویم اگر یک عنصر حیاتی را نادیده بگیریم: تجربیات انسانی قربانیان و عاملان آن تهدیدات.
There are many challenges I could talk to you about today. I'm going to focus on just two. The first is terrorism. So in order to understand the radicalization process, we met with dozens of former members of violent extremist groups. One was a British schoolgirl, who had been taken off of a plane at London Heathrow as she was trying to make her way to Syria to join ISIS. And she was 13 years old. So I sat down with her and her father, and I said, "Why?" And she said, "I was looking at pictures of what life is like in Syria, and I thought I was going to go and live in the Islamic Disney World." That's what she saw in ISIS. She thought she'd meet and marry a jihadi Brad Pitt and go shopping in the mall all day and live happily ever after.
چیزهای چالشبرانگیز زیادی هستند که امروز میتوانم دربارهشان با شما صحبت کنم. من بر روی تنها دو مورد تمرکز میکنم. اولینش تروریسم است. پس ما برای درک فرایند افراطیگری، با دهها نفر از اعضای سابق گروههای خشن تندرو دیدار کردیم. یکی از آنها یک دختر مدرسهای انگلیسی بود، که او را از یک پرواز در فرودگاه هیترو لندن پایین آورده بودند چرا که میخواست خودش را برای پیوستن به داعش به سوریه برساند. و او ۱۳ ساله بود. پس من با او و پدرش نشستم و پرسیدم، «چرا؟» و او گفت: «من عکسهایی میدیدم از اینکه زندگی در سوریه چه شکلی است، فکر میکردم که میروم و در دیزنیورلد اسلامی زندگی میکنم.» این چیزی بود که او در داعش دید. او فکر میکرد که با یک برد پیت جهادی ملاقات و ازدواج میکند و هر روز به مرکز خرید میرود و بعد از آن به خوشی زندگی میکند.
ISIS understands what drives people, and they carefully craft a message for each audience. Just look at how many languages they translate their marketing material into. They make pamphlets, radio shows and videos in not just English and Arabic, but German, Russian, French, Turkish, Kurdish, Hebrew, Mandarin Chinese. I've even seen an ISIS-produced video in sign language. Just think about that for a second: ISIS took the time and made the effort to ensure their message is reaching the deaf and hard of hearing. It's actually not tech-savviness that is the reason why ISIS wins hearts and minds. It's their insight into the prejudices, the vulnerabilities, the desires of the people they're trying to reach that does that. That's why it's not enough for the online platforms to focus on removing recruiting material. If we want to have a shot at building meaningful technology that's going to counter radicalization, we have to start with the human journey at its core.
داعش فهمیده که چهچیز مردم را تحریک میکند، و آنها با دقت برای هر مخاطب پیامی میسازند. فقط ببینید چه تعداد زبان هست که آنها اطلاعات موردنظرشان را به آن زبانها ترجمه میکنند. آنها جزوات و برنامههای رادیویی و ویدیویی میسازند نه فقط به زبان انگلیسی و عربی، بلکه آلمانی، روسی، فرانسه، ترکی، کُردی، عبری، چینی ماندارین. من حتی یک ویدیوی تولیدشدۀ داعش را دیدم که به زبان اشاره بود. فقط برای یک لحظه به آن فکر کنید: داعش زمان گذاشته و کوشیده تا مطمئن بشود که پیامش حتی به ناشنوا و کمشنوا هم میرسد. در واقع آنچه داعش را دلربا و هوشربا میکند شایستگی تکنولوژیک آن نیست. بلکه بینش داعش به تعصبات، آسیبپذیریها و خواستههاییست که مردم میکوشند بدان برسند و داعش به آنها این اجازه را میدهد. این نشان میدهد چرا برای یک پلتفرم آنلاین کافی نیست که تمرکزش را معطوف به حذف اطلاعات جمعشده کند. اگر میخواهیم که در عرصۀ تکنولوژی تلاش معناداری بکنیم آن تلاش باید در راه مبارزه با افراطیگری باشد، ما بایستی با سفر انسان به درون خود بیاغازیم.
So we went to Iraq to speak to young men who'd bought into ISIS's promise of heroism and righteousness, who'd taken up arms to fight for them and then who'd defected after they witnessed the brutality of ISIS's rule. And I'm sitting there in this makeshift prison in the north of Iraq with this 23-year-old who had actually trained as a suicide bomber before defecting. And he says, "I arrived in Syria full of hope, and immediately, I had two of my prized possessions confiscated: my passport and my mobile phone." The symbols of his physical and digital liberty were taken away from him on arrival. And then this is the way he described that moment of loss to me. He said, "You know in 'Tom and Jerry,' when Jerry wants to escape, and then Tom locks the door and swallows the key and you see it bulging out of his throat as it travels down?" And of course, I really could see the image that he was describing, and I really did connect with the feeling that he was trying to convey, which was one of doom, when you know there's no way out.
پس ما به عراق رفتیم برای اینکه با مردان جوانی حرف بزنیم که با وعدۀ قهرمانی وعدالت به داعش پیوسته بودند، کسانی که برای داعش مبارزه کردند اما بالاخره آنگاه که وحشیانگی قانون داعش را دیدند فرار کردند. خب من در زندان موقتی در شمال عراق نشستهام با این فرد ۲۳ ساله که به عنوان بمبگذار انتحاری آموزش دیده بود پیش از آنکه فرار کند. او گفت: «سرشار از امید به سوریه رسیدم، و ناگهان، دو چیز ارزشمندم مصادره شد: گذرنامه و موبایلم.» نمادهایی از آزادی فیزیکی و دیجیتالش را در بدو ورود از او گرفتند. و این چیزی است که او از لحظۀ ناامیدیاش به من گفت. گفت: «میدونی در تام و جری اونجایی که جری میخواد فرار کنه و تام در رو قفل میکنه و کلید رو قورت میده و دیدی که کلید از برآمدگی گلوش رد میشه و پایین میره؟» و درسته، من واقعاً میتوانستم آنچه را که او میگفت تصور کنم، واقعاً میتوانستم با احساسی که میکوشید منتقل کند ارتباط برقرار کنم، که یک عذاب بود، وقتی میدانی که هیچ راه خروجی نیست.
And I was wondering: What, if anything, could have changed his mind the day that he left home? So I asked, "If you knew everything that you know now about the suffering and the corruption, the brutality -- that day you left home, would you still have gone?" And he said, "Yes." And I thought, "Holy crap, he said 'Yes.'" And then he said, "At that point, I was so brainwashed, I wasn't taking in any contradictory information. I couldn't have been swayed."
میخواستم بدانم: چه میشد اگر وقتی میخواست خانه را ترک کند چیزی نظر او را عوض میکرد؟ پس پرسیدم: «اگر تو آنچه را که امروز دربارۀ رنج و فساد و وحشیگری میدانی -- همان روز اول که رفتی میدانستی، بازهم میرفتی؟» و او گفت، «آره.» و فکر کردم، «خدایا، گفت آره.» بعد گفت: «آن موقع من شستوشوی مغزی شدهبودم، اطلاعاتی را که در تضاد با عقایدم بود نمیپذیرفتم. نمیتوانستم قانع شوم.»
"Well, what if you knew everything that you know now six months before the day that you left?"
«خب اگر شش ماه پیش از آنکه خانه را ترک کنی آنچه را که امروز میدانی میدانستی چه؟»
"At that point, I think it probably would have changed my mind."
«به گمانم آن موقع ممکن بود که نظرم تغییر کند.»
Radicalization isn't this yes-or-no choice. It's a process, during which people have questions -- about ideology, religion, the living conditions. And they're coming online for answers, which is an opportunity to reach them. And there are videos online from people who have answers -- defectors, for example, telling the story of their journey into and out of violence; stories like the one from that man I met in the Iraqi prison. There are locals who've uploaded cell phone footage of what life is really like in the caliphate under ISIS's rule. There are clerics who are sharing peaceful interpretations of Islam. But you know what? These people don't generally have the marketing prowess of ISIS. They risk their lives to speak up and confront terrorist propaganda, and then they tragically don't reach the people who most need to hear from them. And we wanted to see if technology could change that.
افراطیگری گزینش بلی یا خیر نیست. بلکه یک فرایند است، دورانی که مردم پرسشهایی دربارۀ ایدئولوژی، دین و اوضاع زندگی دارند. و آنها برای رسیدن به پاسخها آنلاین میشوند، جاییکه فرصتی برای رسیدن به آنهاست. و ویدیوهای آنلاینی از کسانیکه پاسخ را میدانند وجود دارد -- برای نمونه فراریان از داعش که داستان ورود و خروجشان از خشونت را میگویند؛ مشابه داستان آن مردی که من در زندان عراقی دیدم. محلیهایی هستند که با تلفن همراه فیلم آپلود کردهاند از اینکه زندگی تحت قانون خلافت داعش واقعاً چگونه است. روحانیانی هستند که تفسیرهای صلحآمیزی از اسلام را ارائه میدهند. اما میدانید؟ این افراد معمولاً توان عرضه و تبلیغاتی را که داعش دارد، ندارند. آنها جانشان را با حرفزدن و مقابلهکردن علیه تبلیغات تروریستی به خطر میاندازند. اما به شکل غمانگیزی حرفشان به گوش مردمی که نیاز به شنیدن آن حرفها دارند نمیرسد. و میخواستیم ببینیم اگر تکنولوژی بتواند آن را تغییر دهد.
So in 2016, we partnered with Moonshot CVE to pilot a new approach to countering radicalization called the "Redirect Method." It uses the power of online advertising to bridge the gap between those susceptible to ISIS's messaging and those credible voices that are debunking that messaging. And it works like this: someone looking for extremist material -- say they search for "How do I join ISIS?" -- will see an ad appear that invites them to watch a YouTube video of a cleric, of a defector -- someone who has an authentic answer. And that targeting is based not on a profile of who they are, but of determining something that's directly relevant to their query or question.
پس در سال ۲۰۱۶ ما با Moonshot CVE همکاری کردیم تا رهیافتی نو را برای مقابله با افراطیگری آزمایش کنیم بنام «روش راهنمایی مجدد.» که از قدرت تبلیغات آنلاین بهره میبرد تا آن صداهای معتبری را که به روکردن دست داعش مشغولند به آنهایی که دربرابر پیام داعش آسیبپذیرند برساند. و اینطور کار میکند: کسی به دنبال محتوای افراطگرایانه میگردد -- مثلاً کسی «چگونه عضو داعش شوم؟» را جستوجو میکنند -- یک آگهی ظاهر میشود که دعوتشان میکند تا ویدیویی را از یک روحانی یا کسی که از داعش فرار کرده یا کسی که پاسخی قانعکننده داشته باشد، ببینند. و این دعوت، بر مبنای مشخصات هویتیشان نیست، بلکه هدف تعیین چیزی کاملاً مرتبط با تردید یا پرسششان است.
During our eight-week pilot in English and Arabic, we reached over 300,000 people who had expressed an interest in or sympathy towards a jihadi group. These people were now watching videos that could prevent them from making devastating choices. And because violent extremism isn't confined to any one language, religion or ideology, the Redirect Method is now being deployed globally to protect people being courted online by violent ideologues, whether they're Islamists, white supremacists or other violent extremists, with the goal of giving them the chance to hear from someone on the other side of that journey; to give them the chance to choose a different path.
طی آزمایش هشتهفتهایمان در زبانهای انگلیسی و عربی، به بیش از ۳۰۰٫۰۰۰ نفر که از خود تمایل یا همدلی به گروههای جهادی نشان دادند رسیدیم. این افراد حالا ویدیوهایی میبینند که میتواند مانع از این شود که تصمیمی خانمانبرانداز بگیرند. و بهخاطر اینکه افراطیگری خشن محدود به یک زبان، دین یا ایدئولوژی نیست، روش راهنمایی مجدد هماکنون بسمت جهانیشدن میرود تا محافظ مردم باشد که در اینترنت توسط ایدئولوژیهای خشن، وسوسه نشوند، خواه آن ایدئولوژیها اسلامگرایان باشند خواه برتریپنداران سفیدپوست یا دیگر افراطگرایان خشن. با این هدف که به آنها شانس شنیدن صحبت فردی را که در آن سوی این سفر است بدهیم؛ به آنها شانس انتخاب مسیری متفاوت را بدهیم.
It turns out that often the bad guys are good at exploiting the internet, not because they're some kind of technological geniuses, but because they understand what makes people tick. I want to give you a second example: online harassment. Online harassers also work to figure out what will resonate with another human being. But not to recruit them like ISIS does, but to cause them pain. Imagine this: you're a woman, you're married, you have a kid. You post something on social media, and in a reply, you're told that you'll be raped, that your son will be watching, details of when and where. In fact, your home address is put online for everyone to see. That feels like a pretty real threat. Do you think you'd go home? Do you think you'd continue doing the thing that you were doing? Would you continue doing that thing that's irritating your attacker?
معلوم میشود که اغلب، آدمبدها در بهرهبردن از اینترنت موفقاند، نه بخاطر اینکه نابغههای تکنولوژیاند، بلکه بخاطراینکه میدانند چه چیز افراد را تحریک میکند. میخواهم مثال دوم را به شما بگویم: مزاحمت آنلاین. مزاحمان آنلاین نیز میخواهند بفهمند که چهچیز دیگری را تحریک میکند. امّا نه برای نابودکردنشان، مثل آنچه داعش میکند، بلکه برای رنجدادن آنها. تصور کن: یک زن هستی، متأهلی، و یک فرزند داری. مطلبی در رسانههای اجتماعی مینویسی، در یک از نظر، نوشته میشود که به شما تجاوز خواهد شد. چیزی که پسرت خواهد دید، جزئیات اینکه کِی و کجا. در واقع، آدرس خانهات برای هرکسی قابل مشاهده است. مثل تهدیدی واقعی به نظر میآید. به نظرت باید به خانه بروی؟ گمان میکنی که باید به کاری که مشغول بودی ادامه بدهی؟ ادامهدادن به کار موجب خشم فرد مزاحم میشود؟
Online abuse has been this perverse art of figuring out what makes people angry, what makes people afraid, what makes people insecure, and then pushing those pressure points until they're silenced. When online harassment goes unchecked, free speech is stifled. And even the people hosting the conversation throw up their arms and call it quits, closing their comment sections and their forums altogether. That means we're actually losing spaces online to meet and exchange ideas. And where online spaces remain, we descend into echo chambers with people who think just like us. But that enables the spread of disinformation; that facilitates polarization. What if technology instead could enable empathy at scale?
آزارگری آنلاین هنر فاسدِ پیبردن به این است که چه چیز اوقات مردم را تلخ میکند، چه چیز میترساندشان، چهچیز سبب احساس ناامنی در آنها میشود، و پس از پیبردن، افزدون فشار تا آنگاه که ساکتاند. وقتی مزاحمت آنلاین مهار نشود، آزادی بیان خفه میشود. و حتی اگر افراد گفتوگو را میزبانی کنند سر آخر تسلیم میشوند، قسمت نظراتشان را میبندند و انجمنهایشان را تعطیل میکنند. که در واقع به این معناست که ما فضاهای آنلاین را برای ملاقات و تغییر نظرات از دست میدهیم. و فضاهای آنلاینی که میماند، ما با افراد همفکرمان به اتاقهای پژواک سرازیر میشویم. امّا این گسترش اطلاعات غلط را موجب میشود؛ که قطبیشدن فضا را تسهیل میکند. چه میشود اگر در عوض تکنولوژی بتواند همدلی را به اندازۀ کافی ایجاد کند؟
This was the question that motivated our partnership with Google's Counter Abuse team, Wikipedia and newspapers like the New York Times. We wanted to see if we could build machine-learning models that could understand the emotional impact of language. Could we predict which comments were likely to make someone else leave the online conversation? And that's no mean feat. That's no trivial accomplishment for AI to be able to do something like that. I mean, just consider these two examples of messages that could have been sent to me last week. "Break a leg at TED!" ... and "I'll break your legs at TED."
این پرسشی بود که موجب همکاری ما با تیم سوءاستفادهستیزِ گوگل، ویکیپدیا و روزنامههایی همچون نیویورکتایمز شد. میخواستیم ببینیم که اگر بتوانیم مدلهایی از یادگیری ماشین بسازیم که بتواند اثرگذاری احساسی زبان را بفهمد. آیا میتوانیم پیشبینی کنیم که چه نظراتی محتملترست که موجب شوند افراد گفتوگوی آنلاین را ترک کنند؟ و این کار سادهای نیست. برای هوش مصنوعی دستاورد بیاهمیتی نیست که بتواند چیزی مثل این را انجام دهد. منظورم این است که تنها این دو نمونه پیام را که میتوانست هفتۀ پیش برای من ارسال شود در نظر بگیرید. «شکستن یک پا در TED!» و... «من پاهای تو را در TED میشکنم.»
(Laughter)
(خنده)
You are human, that's why that's an obvious difference to you, even though the words are pretty much the same. But for AI, it takes some training to teach the models to recognize that difference. The beauty of building AI that can tell the difference is that AI can then scale to the size of the online toxicity phenomenon, and that was our goal in building our technology called Perspective. With the help of Perspective, the New York Times, for example, has increased spaces online for conversation. Before our collaboration, they only had comments enabled on just 10 percent of their articles. With the help of machine learning, they have that number up to 30 percent. So they've tripled it, and we're still just getting started.
شما انسانید، و همین خاطر تفاوت برای شما واضح است، حتی اگر کلمات کاملاً شبیه باشند. اما برای هوش مصنوعی، برای آموزش مدلها به تمرین نیاز است تا این تفاوت را تشخیص دهد. زیبایی ساختن هوشی مصنوعی که بتواند تفاوت را بگوید این است که میتواند میزان مضربودن پدیده را اندازه گیرد، و آن هدف ما در ساخت تکنولوژیمان به نام چشمانداز بود. به یاری چشمانداز، برای مثال نیویورکتایمز، فضاهای آنلاینش برای گفتوگو افزایش یافتهاست. پیش از همکاریمان، آنها تنها در پای ۱۰ درصد از مقالاتشان نظرات را فعال کرده بودند. به یاری یادگیری ماشین، آن عدد هماکنون بیش از ۳۰ درصد است. پس سه برابرش کردهاند، و ما هنوز تازه شروع کردهایم.
But this is about way more than just making moderators more efficient. Right now I can see you, and I can gauge how what I'm saying is landing with you. You don't have that opportunity online. Imagine if machine learning could give commenters, as they're typing, real-time feedback about how their words might land, just like facial expressions do in a face-to-face conversation. Machine learning isn't perfect, and it still makes plenty of mistakes. But if we can build technology that understands the emotional impact of language, we can build empathy. That means that we can have dialogue between people with different politics, different worldviews, different values. And we can reinvigorate the spaces online that most of us have given up on.
امّا این دربارۀ راهی فراتر از فقط کارآمدکردن مدیریت است. اکنون میتوانم شما را ببینم، و میتوانم اثری را که سخنانم بر شما میگذارد بفهمم. شما این فرصت آنلاین را ندارید. تصور کنید اگر یادگیری ماشین بتواند به نظردهندگان، آنگاه که تایپ میکنند، دربارۀ اثرگذاری واژگانشان بازخورد آنی بدهد، مشابه آنچه حالات چهره در یک بحث رو در رو میکند. یادگیری ماشین بینقص نیست، و هنوز اشتباهات زیادی دارد. امّا اگر ما بتوانیم تکنولوژیی بسازیم که بتواند اثرگذاری عاطفی زبان را درک کند، میتوانیم همدلی را بسازیم. بدین معنا که میتوانیم میان افراد گفتوگو داشتهباشیم افرادی با گرایشهای سیاسی متفاوت، جهانبینی متفاوت، ارزشهای متفاوت. و ما میتوانیم این فضاهای آنلاین را که بسیاری از ما ترکش کردهایم دوباره بازسازی و تقویت کنیم.
When people use technology to exploit and harm others, they're preying on our human fears and vulnerabilities. If we ever thought that we could build an internet insulated from the dark side of humanity, we were wrong. If we want today to build technology that can overcome the challenges that we face, we have to throw our entire selves into understanding the issues and into building solutions that are as human as the problems they aim to solve. Let's make that happen.
هنگامی که مردم از تکنولوژی برای بهره برداری و آسیب رساندن به دیگران استفاده می کنند، آنها به شکار ترسها و آسیبپذیریهای ما مشغولند. اگر تاکنون فکر کردیم میتوانیم اینترنتی بسازیم که از سویۀ تاریک انسانیت در امان باشد، در اشتباه بودیم. اگر امروز بخواهیم تکنولوژیی راه بیندازیم که بتواند بر چالشهای پیشرویمان غلبه کند، بایستی تمام توانمان را برای درک مسائل و یافتن راهحلهایی که به هماناندازۀ مشکلات انسانیاند بکارگیریم. بیایید عملیاش کنیم.
Thank you.
سپاسگزارم.
(Applause)
(تشویق)