Sociologist Zeynep Tufekci once said that history is full of massive examples of harm caused by people with great power who felt that just because they felt themselves to have good intentions, that they could not cause harm.
사회학자 제이넵 투팩치는 말했습니다. 우리의 역사는 나쁜 일들의 예시로 가득 차 있고 그 일들을 초래한 권력자들은 자신들이 좋은 의도로 행한 일은 해를 끼치지 않을 거라 믿는다고 했죠.
In 2017, Rohingya refugees started to flee Myanmar into Bangladesh due to a crackdown by the Myanmar military, an act that the UN subsequently called of genocidal intent. As they started to arrive into camps, they had to register for a range of services. One of this was to register for a government-backed digital biometric identification card. They weren't actually given the option to opt out. In 2021, Human Rights Watch accused international humanitarian agencies of sharing improperly collected information about Rohingya refugees with the Myanmar government without appropriate consent. The information shared didn't just contain biometrics. It contained information about family makeup, relatives overseas, where they were originally from. Sparking fears of retaliation by the Myanmar government, some went into hiding.
2017년, 로힝야족 난민들은 미얀마를 떠나 방글라데시로 향하기 시작했습니다. 미얀마 군부의 탄압 때문이었는데, 유엔은 이것을 두고 대량학살의 의도가 있다고 밝혔죠. 난민들은 캠프에 도착하면 여러 지원을 받기 위해 신분 등록을 해야만 했습니다. 등록해야 했던 것 중 하나는 정부가 관리하는 디지털 생체 정보 신분증이었습니다. 난민들에게는 등록을 거부할 선택지가 없었습니다. 2021년, 국제인권감시기구는 국제 인도 기구들을 고소했습니다. 부적절하게 수집된 로힝야족 난민의 정보들을 정당한 동의 없이 미얀마 정부와 공유했기 때문입니다. 공유된 정보들은 단순한 생체정보뿐만이 아니었습니다. 가족 관계에 관한 정보까지 포함되어 있었어요. 고향에 있는 친인척들까지 말이죠. 미얀마 정부의 보복 위험을 느낀 일부 난민들은 숨어버렸습니다.
Targeted identification of persecuted peoples has long been a tactic of genocidal regimes. But now that data is digitized, meaning it is faster to access, quicker to scale and more readily accessible. This was a failure on a multitude of fronts: institutional, governance, moral.
박해 대상인 인물을 표적 삼아 가려내는 것은 대량 학살을 일삼는 정권의 오랜 전술이었습니다. 지금은 그 정보가 디지털화되었죠. 즉 빠른 접근, 빠른 분석 그리고 쉬운 색출이 가능하다는 의미입니다. 이건 여러 면에서 잘못된 일이에요. 제도적, 정치적, 도덕적 측면에서요.
I have spent 15 years of my career working in humanitarian aid. From Rwanda to Afghanistan. What is humanitarian aid, you might ask? In its simplest terms, it's the provision of emergency care to those that need it the most at desperate times. Post-disaster, during a crisis. Food, water, shelter. I have worked within very large humanitarian organizations, whether that's leading multicountry global programs to designing drone innovations for disaster management across small island states. I have sat with communities in the most fragile of contexts, where conversations about the future are the first ones they've ever had. And I have designed global strategies to prepare humanitarian organizations for these same futures. And the one thing I can say is that humanitarians, we have embraced digitalization at an incredible speed over the last decade, moving from tents and water cans, which we still use, by the way, to AI, big data, drones, biometrics. These might seem relevant, logical, needed, even sexy to technology enthusiasts. But what it actually is, is the deployment of untested technologies on vulnerable populations without appropriate consent. And this gives me pause. I pause because the agonies we are facing today as a global humanity didn't just happen overnight. They happened as a result of our shared history of colonialism and humanitarian technology innovations are inherently colonial, often designed for and in the good of groups of people seen as outside of technology themselves, and often not legitimately recognized as being able to provide for their own solutions.
저는 인도주의적 지원 분야에서 15년간 일했습니다. 르완다에서부터 아프가니스탄까지요. 인도주의적 지원이 무엇인지 아시나요? 간단히 말하자면, 긴급 구호를 제공하는 것입니다. 도움이 절실한 상황에 놓인 사람들을 돕는 일이죠. 재난 이후나 위기 상황에서 음식, 물, 피난처를 제공하는 거죠. 저는 매우 큰 인도주의적 지원 단체에서 일을 했었습니다. 그 단체는 다국가 대상의 세계적인 지원 프로그램을 운영했고 혁신적인 무인 드론을 설계하여 작은 섬나라들의 재난 상황을 관리하기도 했습니다. 저는 가장 취약한 상황의 지역들과 함께했어요. 미래를 꿈꿀 수도 없는 그런 지역이였습니다. 저는 이들의 미래를 위해 인도주의적 기관 설립을 위한 세계적 지원 전략을 만들었습니다. 중요한 것은, 저희 같은 인도주의 기구들이 지난 10년간 엄청나게 빠른 속도로 디지털화를 받아들였다는 것입니다. 텐트와 물통도 물론 아직 사용하고 있지만 그런 것들이 AI, 빅테이터, 드론, 생체인식기술로 바뀌고 있죠. 이것들은 관련성이 있어 보이고, 지역적이고, 필요한 것처럼 보입니다. 기술 신봉자들에게는 매력적이겠죠. 하지만 실상은... 취약한 사람들에게 적절한 동의도 받지 않고 증명되지 않은 기술을 배포한 것입니다. 여기서 저는 멈추게 되었습니다. 우리 전 세계 인류가 마주하고 있는 이 고통은 하루아침에 생겨난 게 아니에요. 이는 우리가 공유하는 식민주의 역사의 결과입니다. 그리고 인도적 지원의 기술 개혁은 식민주의를 내재하고 있으며, 그 기술을 설계할 때의 적용 대상은 기술과 전혀 가깝지 않은 사람들일 뿐만 아니라 그들 스스로 해결책을 찾는 것을 정당하지 않은 것으로 취급합니다. 그래서 인도주의자로서 저는 이런 의문을 갖게 됩니다.
And so, as a humanitarian myself, I ask this question: in our quest to do good in the world, how can we ensure that we do not lock people into future harm, future indebtedness and future inequity as a result of these actions? It is why I now study the ethics of humanitarian tech innovation. And this isn't just an intellectually curious pursuit. It's a deeply personal one. Driven by the belief that it is often people that look like me, that come from the communities I come from, historically excluded and marginalized, that are often spoken on behalf of and denied voice in terms of the choices available to us for our future. As I stand here on the shoulders of all those that have come before me and in obligation for all of those that will come after me to say to you that good intentions alone do not prevent harm, and good intentions alone can cause harm.
세상에 선을 행하려는 우리의 노력이 장래에 사람들에게 피햬를 주지 않는다고 확신할 수 있을까? 우리 행동이 결과적으로 부담과 불평등을 초래하지는 않을까? 이것이 제가 지금 인도적 기술 혁신의 윤리 문제를 공부하는 이유입니다. 단지 지적 호기심을 채우려는 것이 아니에요. 아주 개인적인 것입니다. 저와 같은 사람들을 위한 것이고, 저처럼 역사적으로 배제당하고 소외당하는 처지의 사람들, 모두를 위한 것이라는 말로 자신들의 미래에 대한 선택권을 부정당하는 사람들을 위한 것입니다. 저는 저보다 먼저 나섰던 사람들 덕분에 이 자리에 섰고, 제 뒤를 이을 사람들에 대한 의무감으로 이곳에 서있습니다. 이것을 말씀드리기 위해서요. 좋은 의도만으로 피해를 막을 수 없고 좋은 의도만으로는 오히려 피해를 일으킬 수 있습니다.
I'm often asked, what do I see ahead of us in this next 21st century? And if I had to sum it up: of deep uncertainty, a dying planet, distrust, pain. And in times of great volatility, we as human beings, we yearn for a balm. And digital futures are exactly that, a balm. We look at it in all of its possibility as if it could soothe all that ails us, like a logical inevitability.
저는 21세기 다음의 전망에 대한 질문을 종종 받습니다. 요약해보자면, 깊은 불확실성, 죽어가는 지구, 불신, 고통을 봅니다. 변덕이 심한 이 시대에 우리 인류에겐 치료제가 필요합니다. 디지털 미래 시대야말로 그 치료제라고 할 수 있죠. 그 안에 우리의 모든 가능성이 담겨있고 그것이 마치 필연적으로 우리의 아픔을 진정시킬 수 있는 것처럼 기대합니다.
In recent years, reports have started to flag the new types of risks that are emerging about technology innovations. One of this is around how data collected on vulnerable individuals can actually be used against them as retaliation, posing greater risk not just against them, but against their families, against their community. We saw these risks become a truth with the Rohingya. And very, very recently, in August 2021, as Afghanistan fell to the Taliban, it also came to light that biometric data collected on Afghans by the US military and the Afghan government and used by a variety of actors were now in the hands of the Taliban. Journalists' houses were searched. Afghans desperately raced against time to erase their digital history online. Technologies of empowerment then become technologies of disempowerment. It is because these technologies are designed on a certain set of societal assumptions, embedded in market and then filtered through capitalist considerations. But technologies created in one context and then parachuted into another will always fail because it is based on assumptions of how people lead their lives. And whilst here, you and I may be relatively comfortable providing a fingertip scan to perhaps go to the movies, we cannot extrapolate that out to the level of safety one would feel while standing in line, having to give up that little bit of data about themselves in order to access food rations. Humanitarians assume that technology will liberate humanity, but without any due consideration of issues of power, exploitation and harm that can occur for this to happen. Instead, we rush to solutionizing, a form of magical thinking that assumes that just by deploying shiny solutions, we can solve the problem in front of us without any real analysis of underlying realities.
그런데 최근 몇 년간, 이런 보고들이 나오기 시작했어요. 기술 혁신에 있어 새로운 유형의 위험 요소가 생기고 있다는 거예요. 그중 하나는... 취약한 개개인에게서 수집된 정보가 그들에 대한 보복에 사용될 수 있다는 것입니다. 그들을 향한 위험뿐만 아니라, 그 가족들과 지역사회까지 위험해집니다. 야우리는 그 위험이 현실이 되는 것을 로힝야족을 통해 보았습니다. 그리고 아주 최근, 2021년 8월에는 아프가니스칸이 탈레반으로 넘어갔죠. 또 하나 드러난 사실은, 미군과 아프간 정부에 의해 수집된 아프간 사람들의 생체 정보가 다양한 집단에 의해 사용되었고, 지금은 탈레반의 손에 있다는 것입니다. 언론인들의 집이 수색당했고, 아프간은 시간을 다투어 필사적으로 온라인 속의 역사를 지우려고 했습니다. 힘을 갖게 하는 기술들이 힘을 잃게 하는 기술이 되었습니다. 왜냐하면 이 기술들은 어떤 사회적 가정을 기반으로 만들어지고, 시장에 나올 때는 자본주의적인 관점에서 걸러지기 때문이죠. 단 한 가지의 맥락에서 만들어진 기술이 다른 곳으로 성급하게 적용되면 언제나 실패합니다. 사람들의 생활방식에 대한 가정에 기반을 두기 때문입니다. 여기 여러분이나 저는 아무렇지 않게 지문 정보를 제공할 거예요. 영화 예매를 할 때 말이죠. 하지만 다른 사람이 느끼는 안전함의 수준은 가늠하기 힘들 겁니다. 긴 줄에 서서 음식을 얻기 위해 자신의 개인 정보를 포기해야 하는 사람들 말이죠. 인도주의적 지원가들은 기술이 인류를 자유롭게 할 거라고 생각합니다. 하지만 앞서 말한 일들을 생기게 하는 권력, 착취, 피해에 대한 적절한 고려를 하지 않았습니다. 대신, 급하게 해결책만 찾으며 마법 같은 생각에 빠져 있었습니다. 반짝이는 해결책을 제공하면 눈앞의 문제가 해결될 거란 생각이요. 현실에 대한 제대로 된 분석은 전혀 하지 않은 채로 말이죠.
These are tools at the end of the day, and tools, like a chef's knife, in the hands of some, the creator of a beautiful meal, and in the hands of others, devastation. So how do we ensure that we do not design the inequities of our past into our digital futures? And I want to be clear about one thing. I'm not anti-tech. I am anti-dumb tech.
이런 해결책들은 결국 주방장의 칼과 같습니다. 어떤 손에 쥐어지면, 멋진 식사가 만들어지지만, 다른 손에서는 파괴적 도구가 됩니다. 그러면 어떻게 해야 과거의 불평등을 디지털 미래에 답습하지 않도록 할 수 있을까요? 한 가지 분명히 해두자면 저는 기술을 반대하는 게 아니에요. 멍청한 기술을 반대합니다.
(Laughter)
(웃음)
(Applause)
(박수)
The limited imaginings of the few should not colonize the radical re-imaginings of the many.
몇 명의 제한된 상상이 다수의 사람들을 급진적으로 재-이미지화 하지 못하도록 해야 합니다.
So how then do we ensure that we design an ethical baseline, so that the liberation that this promises is not just for a privileged few, but for all of us? There are a few examples that can point to a way forward.
그럼 어떻게 우리가 윤리적인 디자인에 바탕을 두고 있음을 확신하고, 그로 인해 이 해방이 몇몇의 특권층을 위한 것이 아니라 모두를 위하는 것이 될까요? 우리가 앞으로 나아갈 수 있는 몇 가지 예시를 보여드리겠습니다.
I love the work of Indigenous AI that instead of drawing from Western values and philosophies, it draws from Indigenous protocols and values to embed into AI code. I also really love the work of Nia Tero, an Indigenous co-led organization that works with Indigenous communities to map their own well-being and territories as opposed to other people coming in to do it on their behalf. I've learned a lot from the Satellite Sentinel Project back in 2010, which is a slightly different example. The project started essentially to map atrocities through remote sensing technologies, satellites, in order to be able to predict and potentially prevent them. Now the project wound down after a few years for a variety of reasons, one of which being that it couldn’t actually generate action. But the second, and probably the most important, was that the team realized they were operating without an ethical net. And without ethical guidelines in place, it was a very wide open line of questioning about whether what they were doing was helpful or harmful. And so they decided to wind down before creating harm.
저는 지역화 AI를 다루는 것이 좋습니다. 서양의 가치와 철학으로 그림을 그리는 것이 아닌, 원주민들의 관례와 가치가 AI 코드에 들어있는 그런 AI말이죠. 또 저는 니아 테로(Nia Tero)의 활동도 좋아합니다 원주민이 주도하는 단체인 니아 테로는 원주민 지역들과 함께 일하며 그들 스스로가 자신들의 복지와 영토를 위해 일하고 있습니다. 다른 이들이 들어와 원주민을 위해 일하게 하는 것과는 다르죠. 저는 2010년 센티넬 프로젝트를 통해 많은 것을 배웠습니다. 조금은 다른 예가 되겠지만, 이 프로젝트의 시작은 기본적으로 잔혹 행위를 파악하기 위한 거였습니다. 원거리 탐지 기술, 위성 등을 이용해서 잔혹 행위를 막고 예측하기 위해 시작된 프로젝트였죠. 몇 년이 지나고 이 프로젝트는 다양한 이유로 축소되었죠. 그 이유 중 하나는 실질적인 대응을 할 수 없었다는 것과 또 다른 이유는, 아마 가장 중요한 이유일 텐데, 이 프로젝트가 윤리적 통제 없이 운영되고 있음을 깨달았기 때문입니다. 윤리적 가이드라인 없다면 활동에 있어서 광범위한 의문을 갖게 됩니다. 우리 활동이 도움이 되는지 혹은 해가 되는지에 대한 의문이요. 그래서 해가 되는 일이 생기기 전에 이 프로젝트를 축소하기로 결정했습니다.
In the absence of legally binding ethical frameworks to guide our work, I have been working on a range of ethical principles to help inform humanitarian tech innovation, and I'd like to put forward a few of these here for you today.
우리의 활동을 이끌어 줄 법적 구속력이 있는 윤리적 테두리가 없었기에 저는 인도주의적 기술 혁신을 알리기 위한 다양한 윤리적 원칙에 대해 작업해 왔습니다. 오늘 이곳에서 그중 몇 가지를 말씀드리고 싶습니다.
One: Ask. Which groups of humans will be harmed by this and when? Assess: Who does this solution actually benefit? Interrogate: Was appropriate consent obtained from the end users? Consider: What must we gracefully exit out of to be fit for these futures? And imagine: What future good might we foreclose if we implemented this action today?
첫째: 질문하라. 어떤 사람들이 언제 이 도구로 인해 피해를 입게 될 것인지. 평가하라. 어떤 사람들이 이 해결책으로 인해 이익을 얻는지. 조사하라. 최종 사용자로부터 적절한 동의를 얻었는지. 고려하라. 우리가 무엇에서 벗어나야 미래에 적합하게 되는지. 그리고 상상하라. 만약 오늘 이것을 실행한다면 미래의 어떤 이익을 포기해야 하는지.
We are accountable for the futures that we create. We cannot absolve ourselves of the responsibilities and accountabilities of our actions if our actions actually cause harm to those that we purport to protect and serve. Another world is absolutely, radically possible.
우리가 어떤 미래를 만들지는 우리 손에 달려있습니다. 보호하고 섬겨야 할 사람들에게 만약 우리의 행동이 피해를 가져온다면 우리 행동에 대한 책임감과 책무에 대해 스스로 벗어날 수 없을 겁니다. 또 다른 세계는 분명히, 빠르게 열릴 수 있습니다.
Thank you.
감사합니다.
(Applause)
(박수)