Sociologist Zeynep Tufekci once said that history is full of massive examples of harm caused by people with great power who felt that just because they felt themselves to have good intentions, that they could not cause harm.
A socióloga Zeynep Tufekci uma vez disse que a História está repleta de imensos exemplos de danos causados por pessoas com muito poder que achavam que por terem boas intenções, não causariam danos.
In 2017, Rohingya refugees started to flee Myanmar into Bangladesh due to a crackdown by the Myanmar military, an act that the UN subsequently called of genocidal intent. As they started to arrive into camps, they had to register for a range of services. One of this was to register for a government-backed digital biometric identification card. They weren't actually given the option to opt out. In 2021, Human Rights Watch accused international humanitarian agencies of sharing improperly collected information about Rohingya refugees with the Myanmar government without appropriate consent. The information shared didn't just contain biometrics. It contained information about family makeup, relatives overseas, where they were originally from. Sparking fears of retaliation by the Myanmar government, some went into hiding.
Em 2017, refugiados Roinga começaram a fugir do Mianmar para o Bangladesh devido a uma repressão do exército do Mianmar, um ato que as Nações Unidas depois chamaram de intenção genocida. À medida que começaram a chegar aos acampamentos, tiveram de se registar numa variedade de serviços. Um deles era registarem-se para um cartão de identificação biométrico digital apoiado pelo governo. Não lhes era dada a opção de recusar. Em 2021, a Human Rights Watch acusou agências humanitárias internacionais de partilharem informações recolhidas de modo impróprio sobre refugiados Roinga com o governo de Mianmar sem consentimento apropriado. As informações partilhadas não continham apenas dados biométricos. Continham informações sobre a composição das famílias, parentes no estrangeiro, de onde eram originalmente. Com medo de retaliações por parte do governo de Mianmar, alguns esconderam-se.
Targeted identification of persecuted peoples has long been a tactic of genocidal regimes. But now that data is digitized, meaning it is faster to access, quicker to scale and more readily accessible. This was a failure on a multitude of fronts: institutional, governance, moral.
A identificação específica de pessoas perseguidas há muito tempo que é uma tática de regimes genocidas. Agora que os dados estão digitalizados, significa que são mais fáceis de aceder, mais rápidos de escalar e mais prontamente acessíveis. Isto foi uma falha numa imensidão de frentes: institucional, de governação, moral.
I have spent 15 years of my career working in humanitarian aid. From Rwanda to Afghanistan. What is humanitarian aid, you might ask? In its simplest terms, it's the provision of emergency care to those that need it the most at desperate times. Post-disaster, during a crisis. Food, water, shelter. I have worked within very large humanitarian organizations, whether that's leading multicountry global programs to designing drone innovations for disaster management across small island states. I have sat with communities in the most fragile of contexts, where conversations about the future are the first ones they've ever had. And I have designed global strategies to prepare humanitarian organizations for these same futures. And the one thing I can say is that humanitarians, we have embraced digitalization at an incredible speed over the last decade, moving from tents and water cans, which we still use, by the way, to AI, big data, drones, biometrics. These might seem relevant, logical, needed, even sexy to technology enthusiasts. But what it actually is, is the deployment of untested technologies on vulnerable populations without appropriate consent. And this gives me pause. I pause because the agonies we are facing today as a global humanity didn't just happen overnight. They happened as a result of our shared history of colonialism and humanitarian technology innovations are inherently colonial, often designed for and in the good of groups of people seen as outside of technology themselves, and often not legitimately recognized as being able to provide for their own solutions.
Passei 15 anos da minha carreira a trabalhar em ajuda humanitária. Desde o Ruanda até ao Afeganistão. O que é a ajuda humanitária, perguntam vocês? Nos termos mais simples, é o fornecimento de cuidados de emergência àqueles que precisam mais deles em momentos desesperados. Após um desastre, durante uma crise. Comida, água, abrigo. Já trabalhei em organizações humanitárias muito grandes, quer seja a liderar programas globais de vários países ou a projetar inovações de <i>drones</i> para gestão de desastres em pequenos Estados insulares. Já me sentei com comunidades nos contextos mais frágeis, onde conversas sobre o futuro foram as primeiras que eles já tiveram. E já elaborei estratégias globais para preparar organizações humanitárias para estes mesmos futuros. E algo que posso dizer é que nós, os humanitários, aceitamos a digitalização a uma velocidade incrível na última década, passando de tendas e latas de água, que ainda usamos, já agora, para IA, grandes volumes de dados, <i>drones</i>, dados biométricos. Estes podem parecer relevantes, lógicos, necessários, até atraentes para os entusiastas da tecnologia. Mas o que significa na verdade é a implementação de tecnologias não testadas em populações vulneráveis sem consentimento adequado. E isto leva-me a refletir. Reflito porque as agonias que enfrentamos hoje em dia como Humanidade global não aconteceram de um dia para o outro. Aconteceram como resultado da nossa história partilhada de colonialismo e as inovações tecnológicas humanitárias são inerentemente coloniais, muitas vezes projetadas para e em benefício de grupos de pessoas vistas como estando por fora da tecnologia, e que muitas vezes não são legitimamente reconhecidas como conseguindo conceber as suas próprias soluções.
And so, as a humanitarian myself, I ask this question: in our quest to do good in the world, how can we ensure that we do not lock people into future harm, future indebtedness and future inequity as a result of these actions? It is why I now study the ethics of humanitarian tech innovation. And this isn't just an intellectually curious pursuit. It's a deeply personal one. Driven by the belief that it is often people that look like me, that come from the communities I come from, historically excluded and marginalized, that are often spoken on behalf of and denied voice in terms of the choices available to us for our future. As I stand here on the shoulders of all those that have come before me and in obligation for all of those that will come after me to say to you that good intentions alone do not prevent harm, and good intentions alone can cause harm.
Por isso, como humanitária eu própria, faço esta pergunta: na nossa missão de fazermos o bem no mundo, como podemos garantir que não prendemos as pessoas em danos futuros, endividamentos futuros e iniquidade futura como resultado destas ações? É por isso que agora estudo a ética da inovação tecnológica humanitária. E não é apenas por curiosidade intelectual. É algo profundamente pessoal. Guiada pela crença que, muitas vezes, são pessoas parecidas comigo, que vêm das comunidades de onde eu vim, historicamente excluídas e marginalizadas, onde outros falam em nome delas e lhes negam ter uma opinião em termos das escolhas disponíveis para elas para o seu futuro. Estou aqui “nos ombros” daqueles que vieram antes de mim e na obrigação por todos aqueles que virão depois de mim para vos dizer que apenas boas intenções não previnem danos, e apenas boas intenções podem causar danos.
I'm often asked, what do I see ahead of us in this next 21st century? And if I had to sum it up: of deep uncertainty, a dying planet, distrust, pain. And in times of great volatility, we as human beings, we yearn for a balm. And digital futures are exactly that, a balm. We look at it in all of its possibility as if it could soothe all that ails us, like a logical inevitability.
Muitas vezes perguntam-me o que vejo no futuro neste século XXI? E se tivesse de resumir: incertezas profundas, um planeta a morrer, desconfiança, dor. E em tempos de grande volatilidade, nós como humanos, ansiamos por consolação. E os futuros digitais são exatamente isso, uma consolação. Olhamos para isso com toda a sua possibilidade como se pudesse acalmar tudo o que nos aflige, como uma inevitabilidade lógica.
In recent years, reports have started to flag the new types of risks that are emerging about technology innovations. One of this is around how data collected on vulnerable individuals can actually be used against them as retaliation, posing greater risk not just against them, but against their families, against their community. We saw these risks become a truth with the Rohingya. And very, very recently, in August 2021, as Afghanistan fell to the Taliban, it also came to light that biometric data collected on Afghans by the US military and the Afghan government and used by a variety of actors were now in the hands of the Taliban. Journalists' houses were searched. Afghans desperately raced against time to erase their digital history online. Technologies of empowerment then become technologies of disempowerment. It is because these technologies are designed on a certain set of societal assumptions, embedded in market and then filtered through capitalist considerations. But technologies created in one context and then parachuted into another will always fail because it is based on assumptions of how people lead their lives. And whilst here, you and I may be relatively comfortable providing a fingertip scan to perhaps go to the movies, we cannot extrapolate that out to the level of safety one would feel while standing in line, having to give up that little bit of data about themselves in order to access food rations. Humanitarians assume that technology will liberate humanity, but without any due consideration of issues of power, exploitation and harm that can occur for this to happen. Instead, we rush to solutionizing, a form of magical thinking that assumes that just by deploying shiny solutions, we can solve the problem in front of us without any real analysis of underlying realities.
Nos últimos anos, alguns relatórios começaram a sinalizar os novos tipos de riscos que estão a surgir com as inovações tecnológicas. Um destes riscos é como os dados recolhidos sobre indivíduos vulneráveis podem ser utilizados contra eles como retaliação, representando um risco maior não só para eles como para as suas famílias, para as suas comunidades. Vimos estes riscos tornarem-se verdadeiros com os Roinga. Recentemente, em agosto de 2021, quando o Afeganistão foi tomado pelos Talibãs, também foi revelado que dados biométricos recolhidos sobre afegãos pelo exército dos EUA e pelo governo afegão e utilizados por uma variedade de agentes estavam agora nas mãos dos Talibãs. Foram revistadas casas de jornalistas. Os afegãos corriam contra o tempo para apagar o seu histórico digital <i>online</i>. As tecnologias de capacitação tornavam-se em tecnologias de exclusão. Isto acontece porque estas tecnologias são criadas com base num certo conjunto de premissas sociais, integradas no mercado e depois filtradas através de considerações capitalistas. Mas as tecnologias criadas num contexto e depois testadas noutro vão sempre falhar porque estão baseadas em premissas de como as pessoas vivem as suas vidas. E aqui, eu e vocês podemos estar relativamente confortáveis em fazer uma leitura dos dedos para talvez ir ao cinema, mas isso não se pode extrapolar aos níveis de segurança que sentiríamos ao estar numa fila, e ter de dar esse pedaço de dados sobre nós para termos acesso a rações alimentares. Os humanitários assumem que a tecnologia vai libertar a Humanidade, sem qualquer devida consideração sobre questões de poder, exploração, danos que podem ocorrer para que isto aconteça. Ao invés, apressamo-nos em arranjar soluções, uma forma de pensamento mágico, que assume que apenas por implementarmos soluções cintilantes, podemos resolver o problema à nossa frente sem qualquer análise verdadeira das realidades subjacentes.
These are tools at the end of the day, and tools, like a chef's knife, in the hands of some, the creator of a beautiful meal, and in the hands of others, devastation. So how do we ensure that we do not design the inequities of our past into our digital futures? And I want to be clear about one thing. I'm not anti-tech. I am anti-dumb tech.
No fim do dia, estas são ferramentas, e as ferramentas, como a faca de um <i>chef</i>, nas mãos de alguns, criam belas refeições, e nas mãos de outros, criam devastação. Então como garantimos que não projetamos as iniquidades do nosso passado nos nossos futuros digitais? E quero ser clara em relação a algo. Não sou anti-tecnologias. Sou anti-tecnologias parvas.
(Laughter)
(Risos)
(Applause)
(Aplausos)
The limited imaginings of the few should not colonize the radical re-imaginings of the many.
As imaginações limitadas de alguns não devem colonizar as reimaginações radicais de muitos.
So how then do we ensure that we design an ethical baseline, so that the liberation that this promises is not just for a privileged few, but for all of us? There are a few examples that can point to a way forward.
Então, como é que garantimos que criamos uma base ética, para que a libertação que isto promete não seja apenas para alguns privilegiados, mas para todos nós? Existem alguns exemplos que podem apontar para o caminho certo.
I love the work of Indigenous AI that instead of drawing from Western values and philosophies, it draws from Indigenous protocols and values to embed into AI code. I also really love the work of Nia Tero, an Indigenous co-led organization that works with Indigenous communities to map their own well-being and territories as opposed to other people coming in to do it on their behalf. I've learned a lot from the Satellite Sentinel Project back in 2010, which is a slightly different example. The project started essentially to map atrocities through remote sensing technologies, satellites, in order to be able to predict and potentially prevent them. Now the project wound down after a few years for a variety of reasons, one of which being that it couldn’t actually generate action. But the second, and probably the most important, was that the team realized they were operating without an ethical net. And without ethical guidelines in place, it was a very wide open line of questioning about whether what they were doing was helpful or harmful. And so they decided to wind down before creating harm.
Adoro o trabalho de IA indígena que em vez de se basear em valores e filosofias ocidentais, baseia-se em protocolos e valores indígenas e implementa-os no código da IA. Também adoro o trabalho de Nia Tero, uma organização co-liderada por indígenas que trabalha com comunidades indígenas para traçar o seu próprio bem-estar e territórios ao contrário de outras pessoas virem fazê-lo em seu nome. Aprendi muito com o Satellite Sentinel Project em 2010, que é um exemplo ligeiramente diferente. Essencialmente, o projeto começou para traçar atrocidades através de tecnologias e satélites com teledeteção, de modo a poder prever e potencialmente evitá-las. O projeto terminou depois de alguns anos por uma variedade de razões, uma delas sendo o facto de não conseguir gerar ação de verdade. Mas a segunda, e talvez a mais importante, foi que a equipa percebeu que estava a funcionar sem uma rede ética. E sem diretrizes éticas existentes, era uma linha aberta muito ampla para se questionarem sobre se o que estavam a fazer era útil ou prejudicial. Por isso, decidiram terminar antes de causarem danos.
In the absence of legally binding ethical frameworks to guide our work, I have been working on a range of ethical principles to help inform humanitarian tech innovation, and I'd like to put forward a few of these here for you today.
Na ausência de princípios éticos juridicamente vinculativos para guiar o nosso trabalho, tenho estado a trabalhar numa série de princípios éticos para informar a inovação tecnológica humanitária, e gostaria de apresentar alguns deles hoje aqui para vocês.
One: Ask. Which groups of humans will be harmed by this and when? Assess: Who does this solution actually benefit? Interrogate: Was appropriate consent obtained from the end users? Consider: What must we gracefully exit out of to be fit for these futures? And imagine: What future good might we foreclose if we implemented this action today?
Um: Perguntar. Que grupos de humanos serão prejudicados por isto e quando? Avaliar: Quem é que esta solução beneficia? Interrogar: Foi obtido consentimento adequado dos utilizadores finais? Considerar: A que devemos renunciar para estarmos aptos para estes futuros? E imaginar: Que bem futuro podemos impedir se implementássemos esta ação hoje?
We are accountable for the futures that we create. We cannot absolve ourselves of the responsibilities and accountabilities of our actions if our actions actually cause harm to those that we purport to protect and serve. Another world is absolutely, radically possible.
Somos responsáveis pelos futuros que criamos. Não nos podemos absolver das responsabilidades e prestações de contas das nossas ações se as nossas ações causarem danos àqueles que alegamos proteger e servir. É absoluta e radicalmente possível existir outro mundo.
Thank you.
Obrigada.
(Applause)
(Aplausos)