My relationship with the internet reminds me of the setup to a clichéd horror movie. You know, the blissfully happy family moves in to their perfect new home, excited about their perfect future, and it's sunny outside and the birds are chirping ... And then it gets dark. And there are noises from the attic. And we realize that that perfect new house isn't so perfect.
인터넷과 저의 관계는 뻔한 공포 영화의 설정 같습니다. 너무나도 행복한 가족이 모든 게 완벽한 새 집으로 이사를 가서 다같이 완벽한 미래를 꿈꾸는 설정이요. 화창한 날씨와 지저귀는 새들까지... 그리고 어둠이 찾아오죠. 다락방에서 소리가 들려옵니다. 그제서야 완벽한 줄만 알았던 그 집이 완벽하지 않다는 걸 깨닫게 되죠.
When I started working at Google in 2006, Facebook was just a two-year-old, and Twitter hadn't yet been born. And I was in absolute awe of the internet and all of its promise to make us closer and smarter and more free. But as we were doing the inspiring work of building search engines and video-sharing sites and social networks, criminals, dictators and terrorists were figuring out how to use those same platforms against us. And we didn't have the foresight to stop them. Over the last few years, geopolitical forces have come online to wreak havoc. And in response, Google supported a few colleagues and me to set up a new group called Jigsaw, with a mandate to make people safer from threats like violent extremism, censorship, persecution -- threats that feel very personal to me because I was born in Iran, and I left in the aftermath of a violent revolution. But I've come to realize that even if we had all of the resources of all of the technology companies in the world, we'd still fail if we overlooked one critical ingredient: the human experiences of the victims and perpetrators of those threats.
제가 2006년에 구글에서 일하기 시작했을 때 페이스북이 시작한지는 고작 2년 밖에 되지 않았고 트위터는 존재하지도 않았습니다. 저는 인터넷에 완전히 매료되어 인터넷을 통해 우리가 더 가까워지고 더 똑똑해지며 그리고 더 자유로워질 미래를 꿈꿨습니다. 하지만 우리가 검색엔진을 만들고 영상 공유 사이트나 소셜 네트워크를 만드는 동안 범죄자, 독재자와 테러범들은 같은 플랫폼을 악용할 방법을 찾고 있었습니다. 하지만 우리에겐 그들을 막을 선견지명이 없었습니다. 지난 몇 년 동안, 지정학적인 세력이 온라인에서 대혼란을 일으키려 했습니다. 그리고 그에 맞서 구글사에서는 저와 몇 직원들을 구성해 직소라는 그룹을 만들고 폭력적인 극단주의자들의 공격으로부터 사람들을 보호하도록 했습니다. 검열, 처벌 등 저에게 매우 익숙한 공격들인데 저는 이란에서 태어났고 난폭한 혁명의 여파로 나라를 떠났거든요. 하지만 제가 깨달은 것이 우리에게 세상의 모든 자원과 모든 기술 회사들이 있다고 해도 우리가 가장 중요한 한 가지를 놓친다면 결국 실패한다는 것입니다. 앞서 말한 위협의 피해자나 가해자의 인간적 경험입니다.
There are many challenges I could talk to you about today. I'm going to focus on just two. The first is terrorism. So in order to understand the radicalization process, we met with dozens of former members of violent extremist groups. One was a British schoolgirl, who had been taken off of a plane at London Heathrow as she was trying to make her way to Syria to join ISIS. And she was 13 years old. So I sat down with her and her father, and I said, "Why?" And she said, "I was looking at pictures of what life is like in Syria, and I thought I was going to go and live in the Islamic Disney World." That's what she saw in ISIS. She thought she'd meet and marry a jihadi Brad Pitt and go shopping in the mall all day and live happily ever after.
오늘은 많은 위협 중 두 가지에 집중하겠습니다. 첫 번째는 테러입니다. 우리는 급진화의 과정을 이해하기 위해서 폭력적 급진파의 전 멤버였던 수 많은 사람들을 만나보았습니다. 그 중 한명은 영국인 여학생이었는데 시리아에 가서 반정부 무장단체 IS에 가입하려다가 런던 히드로 공항 비행기에서 잡혔습니다. 고작 13살이었는데 말입니다. 학생의 아버지와 셋이 앉아서 제가 물었습니다. "이유가 뭐지?" 그러자 그녀가 말했습니다. "시리아에서는 어떻게 사는지 사진을 보고있다가 이슬람 디즈니 월드에서 살 수 있을 것 같았어요." ISIS를 보고 그렇게 생각한 거예요. 브래드 피트처럼 생긴 지하드 전사를 만나 결혼해서 하루종일 쇼핑 다니고 평생 행복할 거라 생각했대요.
ISIS understands what drives people, and they carefully craft a message for each audience. Just look at how many languages they translate their marketing material into. They make pamphlets, radio shows and videos in not just English and Arabic, but German, Russian, French, Turkish, Kurdish, Hebrew, Mandarin Chinese. I've even seen an ISIS-produced video in sign language. Just think about that for a second: ISIS took the time and made the effort to ensure their message is reaching the deaf and hard of hearing. It's actually not tech-savviness that is the reason why ISIS wins hearts and minds. It's their insight into the prejudices, the vulnerabilities, the desires of the people they're trying to reach that does that. That's why it's not enough for the online platforms to focus on removing recruiting material. If we want to have a shot at building meaningful technology that's going to counter radicalization, we have to start with the human journey at its core.
IS는 사람들이 뭘 좋아하는지 알고 각 대상에 맞춰 정교한 메세지를 만듭니다. IS가 홍보자료를 몇 개 국어로 번역해내는지만 봐도 답이 보입니다. 팜플렛, 라디오쇼, 비디오 모두 영어와 아랍어 뿐 아니라 독일어, 러시아어, 프랑스어, 터키어, 쿠르드어 히브리어 표준 중국어로 까지 번역합니다. 심지어 수화로 된 IS 홍보영상도 있습니다. 한번 생각해 보세요. ISIS는 시간과 노력을 들여 그들의 메세지를 난청과 청각 장애인들에게도 전파하려고 했습니다. ISIS가 사람들의 마음을 훔치는 방법은 높은 기술력이 아닙니다. 자신들이 손을 뻗고자 하는 대상에 대한 편견이나 나약함, 갈망 등을 꿰뚫어봤기 때문입니다. 이러한 이유 때문에 단순히 온라인 상의 모집 관련 글을 내리는 것으론 충분한 대응이 되지 않습니다. 급진화를 대응할 의미있는 기술을 발달시킬 노력이라도 해보기 위해서는 인간의 여정의 본질부터 알아야 합니다.
So we went to Iraq to speak to young men who'd bought into ISIS's promise of heroism and righteousness, who'd taken up arms to fight for them and then who'd defected after they witnessed the brutality of ISIS's rule. And I'm sitting there in this makeshift prison in the north of Iraq with this 23-year-old who had actually trained as a suicide bomber before defecting. And he says, "I arrived in Syria full of hope, and immediately, I had two of my prized possessions confiscated: my passport and my mobile phone." The symbols of his physical and digital liberty were taken away from him on arrival. And then this is the way he described that moment of loss to me. He said, "You know in 'Tom and Jerry,' when Jerry wants to escape, and then Tom locks the door and swallows the key and you see it bulging out of his throat as it travels down?" And of course, I really could see the image that he was describing, and I really did connect with the feeling that he was trying to convey, which was one of doom, when you know there's no way out.
그래서 저희는 이라크에 가서 한 남자를 만나봤습니다. 그는 IS의 영웅주의와 정의에 이끌려 그들과 한편이 되어 싸웠지만 그들의 잔인함을 목격한 후 IS를 떠나 돌아섰습니다. 이라크 북쪽에 위치한 임시교도소에 앉아서 자살폭탄 테러범 훈련을 받았지만 결국 돌아선 23살짜리 남자와 얘기를 나눴습니다. 그가 말했습니다. "희망을 가득 품고 시리아에 도착했는데, 도착 즉시 저의 가장 중요한 소유품 두 개를 압수당했습니다. 제 여권과 핸드폰을요." 신체적, 디지털 자유의 상징 두 가지가 도착 즉시 압수되었습니다. 그는 압수 당시의 상황을 이렇게 설명했습니다. 그가 말하길, "만화영화 '톰과 제리' 아시죠? 제리가 도망가려고 하면 톰이 문을 잠그고 열쇠를 꿀꺽 하잖아요. 열쇠가 뱃속으로 불룩하고 튀어나오며 내려가는 것도 보이고요." 물론, 그가 설명하는 상황이 머릿속에 그려졌고 그가 전하고자 하는 느낌 또한 이해가 됐습니다. 빠져나갈 방법이 없는 최후의 날이나 막다른 길 같은 느낌이요.
And I was wondering: What, if anything, could have changed his mind the day that he left home? So I asked, "If you knew everything that you know now about the suffering and the corruption, the brutality -- that day you left home, would you still have gone?" And he said, "Yes." And I thought, "Holy crap, he said 'Yes.'" And then he said, "At that point, I was so brainwashed, I wasn't taking in any contradictory information. I couldn't have been swayed."
그리고 궁금해졌습니다. 그가 집을 떠나던 날 그의 마음을 돌릴 수 있는 건 뭐가 있었을까요? 그래서 그에게 물었습니다. "만약 당신이 지금 아는 모든 것을, 고통, 부패, 잔인함 등 모든 것을 집을 떠나기 전의 당신이 알았더라도 같은 선택을 했을까요?" 그러자 그가 대답했습니다, "네." 제가 "세상에, '네' 라고 대답하다니" 라고 생각하는 도중 그가 이어서 말했습니다. "그때 저는 완전히 세뇌되어 있는 상태여서 반박될 만한 정보는 하나도 받아들이지 않았어요. 맘이 바뀌지 않았을 겁니다."
"Well, what if you knew everything that you know now six months before the day that you left?"
"그럼 지금 당신이 아는 모든 것들을 떠나기 6개월 전에 알았다면요?"
"At that point, I think it probably would have changed my mind."
"그때는 아마 제 맘이 바뀌었을 수도 있을 것 같아요."
Radicalization isn't this yes-or-no choice. It's a process, during which people have questions -- about ideology, religion, the living conditions. And they're coming online for answers, which is an opportunity to reach them. And there are videos online from people who have answers -- defectors, for example, telling the story of their journey into and out of violence; stories like the one from that man I met in the Iraqi prison. There are locals who've uploaded cell phone footage of what life is really like in the caliphate under ISIS's rule. There are clerics who are sharing peaceful interpretations of Islam. But you know what? These people don't generally have the marketing prowess of ISIS. They risk their lives to speak up and confront terrorist propaganda, and then they tragically don't reach the people who most need to hear from them. And we wanted to see if technology could change that.
급진화는 네 또는 아니오 선택의 문제가 아닙니다. 사람들에게 이념, 종교, 생활 환경 등에 대한 질문을 불러 일으키는 과정입니다. 그리고 사람들은 온라인에서 그 답을 찾으려고 하는데 ISIS는 이를 기회로 삼는 것입니다. 온라인엔 이런 질문들에 대한 답을 담은 동영상들이 존재합니다. 폭력의 길에 들어섰다가 돌아선 사람들의 여정을 공유하는 동영상들 말입니다. 제가 이라크 교도소에서 만났던 그 남자와 같은 사람들이 올린 영상들이죠. 혹은 현지인들이 핸드폰으로 찍어올린 ISIS의 지배를 받는 칼리프 삶의 실상도 볼 수 있습니다. 이슬람 교리의 평화로운 해석을 하는 성직자들도 있고요. 하지만 그거 아세요? 이런 사람들은 보통 ISIS 만큼의 홍보 역량이 없습니다. 자신의 삶을 내걸고 테러범 조직 선전활동에 반대하지만 비극적이게도, 정작 그런 메세지를 들어야 되는 사람들에게는 영향력을 미치지 못합니다. 그래서 저희 그룹은 기술을 통해 이를 변화시키고자 했습니다.
So in 2016, we partnered with Moonshot CVE to pilot a new approach to countering radicalization called the "Redirect Method." It uses the power of online advertising to bridge the gap between those susceptible to ISIS's messaging and those credible voices that are debunking that messaging. And it works like this: someone looking for extremist material -- say they search for "How do I join ISIS?" -- will see an ad appear that invites them to watch a YouTube video of a cleric, of a defector -- someone who has an authentic answer. And that targeting is based not on a profile of who they are, but of determining something that's directly relevant to their query or question.
2016년에 Moonshot CVE 라는 그룹과 제휴를 맺고 급진화를 대응하기 위한 새로운 시도인 "우회 방법" 이란 시험을 해보았습니다. 온라인 홍보의 힘을 이용해 ISIS의 메세지에 취약한 사람들과 그 메세지를 무력화할 수 있는 설득력 있는 사람들의 영상을 연결시켜주는 방법이었습니다. 예를 들면 이런 방식입니다. 누군가 극단주의적인 자료를 검색한다고 해보죠. "ISIS에 가입하는 법" 을 검색하면 광고가 같이 뜹니다. 성직자나, 변절자 등 제대로 된 답을 줄 수 있는 사람들의 유튜브 영상을 보도록 유도하는 광고죠. 광고의 대상을 정할 때 사람들의 신상정보 보다는 검색어나 질문에 직접적인 연관이 있는 행동을 할 만한 가능성에 초점을 두었습니다.
During our eight-week pilot in English and Arabic, we reached over 300,000 people who had expressed an interest in or sympathy towards a jihadi group. These people were now watching videos that could prevent them from making devastating choices. And because violent extremism isn't confined to any one language, religion or ideology, the Redirect Method is now being deployed globally to protect people being courted online by violent ideologues, whether they're Islamists, white supremacists or other violent extremists, with the goal of giving them the chance to hear from someone on the other side of that journey; to give them the chance to choose a different path.
8주 동안 영어와 아랍어로 시범 운행을 해본 결과 지하드 그룹에 대해 관심이나 동정을 표한 30만 명이 넘는 사람들에게 손길을 뻗을 수 있었습니다. 이 사람들은 절망적인 선택을 하기 전에 그들을 막아 줄 수 있는 영상을 보게 된 것입니다. 그리고 폭력적인 극단주의는 한 언어나, 종교나, 이념에 국한되어 있는 것이 아니기 때문에 '우회 방법'은 전세계적으로 퍼져 많은 사람들을 폭력적인 이념주의자들의 유혹에서 구하고 있습니다. 이슬람 교도이던, 백인 우월주의자이든 혹은 다른 폭력적 극단주의자이든 간에 그 여정의 반대쪽에 있는 누군가의 말을 전하고자 하는 극단주의자들의 손에서 벗어나 다른 여정을 걸을 수 있는 기회를 주는 겁니다.
It turns out that often the bad guys are good at exploiting the internet, not because they're some kind of technological geniuses, but because they understand what makes people tick. I want to give you a second example: online harassment. Online harassers also work to figure out what will resonate with another human being. But not to recruit them like ISIS does, but to cause them pain. Imagine this: you're a woman, you're married, you have a kid. You post something on social media, and in a reply, you're told that you'll be raped, that your son will be watching, details of when and where. In fact, your home address is put online for everyone to see. That feels like a pretty real threat. Do you think you'd go home? Do you think you'd continue doing the thing that you were doing? Would you continue doing that thing that's irritating your attacker?
알고보니 보통 악당들이 인터넷을 잘 이용하더라고요. 그건 그들이 기술을 엄청나게 잘 다뤄서 그런 게 아니라 사람들을 움직이는 법을 알기 때문입니다. 다른 예시를 들어볼게요. 온라인 괴롭힘. 온라인 괴롭힘 또한 다른 사람들이 공명할 수 있는 요인을 파악하려고 노력합니다. 하지만 ISIS처럼 사람들을 모집하려는 게 아니라 고통을 주기 위해서요. 한번 상상해보세요. 여러분이 여성이고 기혼이며 아이가 있다고 가정해보세요. 소셜 미디어에 뭔가를 올렸는데 답장이 옵니다. 누군가 여러분을 강간하러 올거고 아들이 그걸 보게 만들 거라고 하며 자세하게 장소와 시간까지 적은 답장이요. 사실, 여러분 집주소는 온라인에 올려져있어서 모든 사람들이 볼 수 있습니다. 아까 그 답장이 정말 협박처럼 느껴지죠. 여러분이라면 집에 가시겠습니까? 하던 일을 계속 하시겠어요? 당신에게 그 메세지를 보낸 사람을 거슬리게 하는 행동을 계속 할 수 있으시겠어요?
Online abuse has been this perverse art of figuring out what makes people angry, what makes people afraid, what makes people insecure, and then pushing those pressure points until they're silenced. When online harassment goes unchecked, free speech is stifled. And even the people hosting the conversation throw up their arms and call it quits, closing their comment sections and their forums altogether. That means we're actually losing spaces online to meet and exchange ideas. And where online spaces remain, we descend into echo chambers with people who think just like us. But that enables the spread of disinformation; that facilitates polarization. What if technology instead could enable empathy at scale?
온라인상의 학대는 이처럼 사람들을 화나게 하거나 두려워하게 하거나 불안하게 만드는 방법을 알아내서 결국 사람들이 입을 다물 때까지 아픈 곳을 찌르는 사악한 방법입니다. 온라인 상의 학대는 검열받지 않지만 언론의 자유는 억압당합니다. 토론을 이끌던 사람들마저 두손두발 들고 포기해 버립니다. 코멘트란을 닫아버리거나 토론 포럼 자체를 닫아버립니다. 이건 온라인 상에서 우리가 만나고 생각을 나눌 공간이 사라진다는 뜻입니다. 그리고 남아있는 온라인 공간은 우리와 똑같은 생각을 하는 사람들의 같은 말만 울려퍼지는 공간으로 변질되고 허위 정보를 퍼트려 양극화를 조장하는데 이용되도록 추락할 것입니다. 하지만 기술을 사용해서 필요한 만큼의 공감을 끌어낼 수 있다면 어떨까요?
This was the question that motivated our partnership with Google's Counter Abuse team, Wikipedia and newspapers like the New York Times. We wanted to see if we could build machine-learning models that could understand the emotional impact of language. Could we predict which comments were likely to make someone else leave the online conversation? And that's no mean feat. That's no trivial accomplishment for AI to be able to do something like that. I mean, just consider these two examples of messages that could have been sent to me last week. "Break a leg at TED!" ... and "I'll break your legs at TED."
이 질문을 시작으로 저희는 구글사의 학대 대응 팀, 위키피디아, 뉴욕타임즈와 같은 신문사들과 협력관계를 맺었습니다. 기계가 스스로 학습하는 머신 러닝 모델을 구축해서 언어의 감정적인 여파를 이해할 수 있는지 실험해 보고자 했습니다. 어떤 댓글들이 온라인 상의 대화나 토론을 끝내는데 일조하는지 예상할 수 있을까요? 이건 정말 대단한 일이죠. 인공지능이 이런 역할을 수행할 수 있게 된다는 건 사소한 성과가 아닙니다. 제가 앞서 말씀드린 두 개의 메세지처럼 지난 주에 제가 받을 수도 있던 메세지를 생각해보세요. "TED에서 잘하고 와!" ...아니면 "TED에서 다리 부러뜨려!" (무대에서 잘 하라는 관용적 표현)
(Laughter)
(웃음)
You are human, that's why that's an obvious difference to you, even though the words are pretty much the same. But for AI, it takes some training to teach the models to recognize that difference. The beauty of building AI that can tell the difference is that AI can then scale to the size of the online toxicity phenomenon, and that was our goal in building our technology called Perspective. With the help of Perspective, the New York Times, for example, has increased spaces online for conversation. Before our collaboration, they only had comments enabled on just 10 percent of their articles. With the help of machine learning, they have that number up to 30 percent. So they've tripled it, and we're still just getting started.
여러분은 사람이기 때문에 단어의 뜻이 사실상 거의 같아도 의미의 차이를 명백히 느낄 수 있습니다. 하지만 인공지능에게 이러한 차이를 인지하도록 하려면 훈련하는 시간이 조금 걸립니다. 차이점을 인지 할 수 있는 인공지능을 개발한다는 건 결국 이 지능이 온라인 독성 현상을 해결할 만큼 발달할 수 있다는 겁니다. 이것이 바로 저희가 '퍼스펙티브' 라고 불리는 기술을 개발할 때 염두해 둔 목표입니다. '퍼스펙티브'의 도움으로 예를 들어, 뉴욕 타임즈 지는 온라인 상에서의 대화 가능 공간을 늘렸습니다. 협력 전에는 전체 기사 중 10%에만 댓글을 달 수 있었습니다. 머신 러닝을 통해 이제는 그 수가 30%에 육박합니다. 3배나 늘린 것이죠. 이건 겨우 시작에 불과한데도요.
But this is about way more than just making moderators more efficient. Right now I can see you, and I can gauge how what I'm saying is landing with you. You don't have that opportunity online. Imagine if machine learning could give commenters, as they're typing, real-time feedback about how their words might land, just like facial expressions do in a face-to-face conversation. Machine learning isn't perfect, and it still makes plenty of mistakes. But if we can build technology that understands the emotional impact of language, we can build empathy. That means that we can have dialogue between people with different politics, different worldviews, different values. And we can reinvigorate the spaces online that most of us have given up on.
하지만 이건 더 효과적으로 중재 역할을 시행해 내는 것에 그치는 일이 아닙니다. 지금 저는 여러분을 볼 수 있고 제가 하는 말이 여러분에게 어떻게 들리는지 판단할 수 있죠. 온라인에서는 그런 기회가 없습니다. 만약 머신 러닝이 댓글을 다는 사람들에게 실시간으로 그들이 다는 댓글이 어떻게 들릴지 알려준다면 어떨까요? 얼굴을 보고 대화 하면 표정을 볼 수 있듯이요. 머신 러닝은 완벽하지 않습니다. 아직도 실수를 잔뜩 저지릅니다. 하지만 우리가 만드는 기술이 언어가 미치는 감정적인 영향력을 이해할 수 있다면 우린 공감을 자아낼 수 있습니다. 그렇게 된다면, 우리는 다른 정치적 견해, 세상을 바라보는 눈, 다른 가치에 대해 대화할 수 있게 됩니다. 그럼 우리 대부분이 포기했던 온라인 상의 공간들을 되살릴 수도 있겠죠.
When people use technology to exploit and harm others, they're preying on our human fears and vulnerabilities. If we ever thought that we could build an internet insulated from the dark side of humanity, we were wrong. If we want today to build technology that can overcome the challenges that we face, we have to throw our entire selves into understanding the issues and into building solutions that are as human as the problems they aim to solve. Let's make that happen.
사람들이 기술을 악용해 다른 사람들에게 해를 입힐때 인간의 두려움과 취약함을 먹이로 삼습니다. 우리가 만약 인간성의 어두운 면을 완벽 차단하는 인터넷을 개발 할 수 있다고 생각한 적이 있다면 잘못 생각한 겁니다. 오늘날 우리가 직면하는 문제들을 극복할 수 있는 기술을 개발해내고 싶다면 문제를 정확히 이해하는 것과 해결책을 만드는 것에 온 힘을 다해야 합니다. 해결하고자 하는 문제만큼이나 인간적인 해결책을요. 한번 이뤄내봅시다.
Thank you.
감사합니다.
(Applause)
(박수)