Sociologist Zeynep Tufekci once said that history is full of massive examples of harm caused by people with great power who felt that just because they felt themselves to have good intentions, that they could not cause harm.
La sociologue Zeynep Tufekci a dit que l’histoire est remplie d’exemples massifs des dommages causées par des gens au pouvoir élevé qui pensaient que simplement parce qu’ils se sentaient d’avoir de bonnes intentions qu’ils ne pouvaient pas causer de mal.
In 2017, Rohingya refugees started to flee Myanmar into Bangladesh due to a crackdown by the Myanmar military, an act that the UN subsequently called of genocidal intent. As they started to arrive into camps, they had to register for a range of services. One of this was to register for a government-backed digital biometric identification card. They weren't actually given the option to opt out. In 2021, Human Rights Watch accused international humanitarian agencies of sharing improperly collected information about Rohingya refugees with the Myanmar government without appropriate consent. The information shared didn't just contain biometrics. It contained information about family makeup, relatives overseas, where they were originally from. Sparking fears of retaliation by the Myanmar government, some went into hiding.
En 2017, les réfugiés rohingyas ont commencé à fuir la Birmanie au Bengladesh en raison d’une répression par l’armée birmane, un acte que l’ONU a par la suite qualifié d’intention génocidaire. Alors qu’ils commençaient à arriver dans les camps, ils devaient s’inscrire pour plusieurs services. L’une d’entre elles consistait à s’inscrire à une carte d’identité biométrique numérique soutenu par le gouvernement. Ils n’ont en fait pas été donnés la possibilité de refuser. En 2021, Human Rights Watch a accusé les agences humanitaires internationales de partager informations indûment collectées sur les réfugiés rohingyas auprès du gouvernement Birmanie sans consentement approprié. Les informations partagées ne contenaient pas seulement des données biométriques. Il contenait des informations sur la composition de la famille, la famille d’outre-mer, d’où ils étaient originaires. Susciter des craintes de représailles par le gouvernement birman, certains se sont cachés.
Targeted identification of persecuted peoples has long been a tactic of genocidal regimes. But now that data is digitized, meaning it is faster to access, quicker to scale and more readily accessible. This was a failure on a multitude of fronts: institutional, governance, moral.
Identification ciblée des peuples persécutés a longtemps été une tactique des régimes génocidaires. Mais maintenant que les données sont numérisées elles sont plus rapidement accessibles, plus rapides à mettre à l’échelle et plus facilement accessible. Ce fut un échec sur une multitude de fronts : institutionnel, gouvernemental, moral.
I have spent 15 years of my career working in humanitarian aid. From Rwanda to Afghanistan. What is humanitarian aid, you might ask? In its simplest terms, it's the provision of emergency care to those that need it the most at desperate times. Post-disaster, during a crisis. Food, water, shelter. I have worked within very large humanitarian organizations, whether that's leading multicountry global programs to designing drone innovations for disaster management across small island states. I have sat with communities in the most fragile of contexts, where conversations about the future are the first ones they've ever had. And I have designed global strategies to prepare humanitarian organizations for these same futures. And the one thing I can say is that humanitarians, we have embraced digitalization at an incredible speed over the last decade, moving from tents and water cans, which we still use, by the way, to AI, big data, drones, biometrics. These might seem relevant, logical, needed, even sexy to technology enthusiasts. But what it actually is, is the deployment of untested technologies on vulnerable populations without appropriate consent. And this gives me pause. I pause because the agonies we are facing today as a global humanity didn't just happen overnight. They happened as a result of our shared history of colonialism and humanitarian technology innovations are inherently colonial, often designed for and in the good of groups of people seen as outside of technology themselves, and often not legitimately recognized as being able to provide for their own solutions.
J’ai passé 15 ans de ma carrière à travailler dans l’aide humanitaire. Du Rwanda à l’Afghanistan. C’est quoi l’aide humanitaire, vous vous demandez? Dans ses termes les plus simples, il s’agit de la prestation de soins d’urgence à ceux qui en ont le plus besoin à des moments désespérés. Post-catastrophe, pendant une crise. Nourriture, eau, abri. j’ai travaillé au sein de très grandes organisations humanitaires, en menant des programmes mondiaux multipays à concevoir des drones innovants pour la gestion des catastrophes dans les petits États insulaires. J’ai côtoyé des communautés dans les contextes les plus fragiles, où nos conversations sur l’avenir sont les premiers qu’ils aient jamais eus. Et j’ai conçu des stratégies globales pour préparer les organisations humanitaires à ces mêmes futurs. Et la seule chose que je peux dire c’est que les humanitaires, nous avons adopté la numérisation à une vitesse incroyable au cours de la dernière décennie, sortant des tentes et des bidons d’eau, que nous utilisons encore, au fait, à l’IA, au big data, aux drones, à la biométrie. Ceux-ci peuvent sembler pertinents, logiques, nécessaires, voire sexy pour les passionnés de technologie. Mais ce qu’il en est réellement, c’est le déploiement de technologies non testées sur des populations vulnérables sans consentement approprié. Et cela me fait arrêter. J’arrête parce que les agonies nous sommes confrontés aujourd’hui en tant qu’humanité mondiale ne se sont pas produites du jour au lendemain. Ils se sont produits à la suite de notre histoire commune de colonialisme et les innovations technologiques humanitaires sont coloniales, souvent conçues pour et pour le bien de groupes de personnes considérés comme extérieurs à la technologie eux-mêmes, et souvent non légitimement reconnus comme étant capables de fournir leurs propres solutions.
And so, as a humanitarian myself, I ask this question: in our quest to do good in the world, how can we ensure that we do not lock people into future harm, future indebtedness and future inequity as a result of these actions? It is why I now study the ethics of humanitarian tech innovation. And this isn't just an intellectually curious pursuit. It's a deeply personal one. Driven by the belief that it is often people that look like me, that come from the communities I come from, historically excluded and marginalized, that are often spoken on behalf of and denied voice in terms of the choices available to us for our future. As I stand here on the shoulders of all those that have come before me and in obligation for all of those that will come after me to say to you that good intentions alone do not prevent harm, and good intentions alone can cause harm.
Et donc, en tant qu’humanitaire moi-même, je pose cette question : dans notre quête pour faire le bien dans le monde, comment pouvons-nous nous assurer que nous n’enfermons pas les gens dans de futurs préjudices, des dettes futures et des inégalités futures à la suite de ces actions ? C’est pourquoi j’étudie maintenant l’éthique de l’innovation technologique humanitaire. Et ce n’est pas seulement une poursuite intellectuellement curieuse. C’est profondément personnel. Poussé par la conviction que ce sont souvent les gens qui me ressemblent, qui viennent des communautés d’où je viens, historiquement exclus et marginalisés, qui sont souvent parlés au nom de et refusé la voix en termes des choix qui s’offrent à nous pour notre avenir. Alors que je me tiens ici sur les épaules de tous ceux qui sont venus avant moi et en obligation pour tous ceux qui viendront après moi pour vous dire que les bonnes intentions seules n’empêchent pas le mal, et que les bonnes intentions seules peuvent causer du mal.
I'm often asked, what do I see ahead of us in this next 21st century?
On me demande souvent,
And if I had to sum it up: of deep uncertainty, a dying planet, distrust, pain. And in times of great volatility, we as human beings, we yearn for a balm. And digital futures are exactly that, a balm. We look at it in all of its possibility as if it could soothe all that ails us, like a logical inevitability.
qu’est-ce que je vois devant nous dans ce prochain 21ème siècle ? Et si je devais le résumer : d’incertitude profonde, d’une planète mourante, de méfiance, de douleur. Et en période de grande volatilité, nous en tant qu’êtres humains, nous aspirons à un baume. Et les futurs numériques sont exactement cela, un baume. Nous le regardons dans toutes ses possibilités comme si elle pouvait apaiser tout ce qui nous afflige, comme une fatalité logique.
In recent years, reports have started to flag the new types of risks that are emerging about technology innovations. One of this is around how data collected on vulnerable individuals can actually be used against them as retaliation, posing greater risk not just against them, but against their families, against their community. We saw these risks become a truth with the Rohingya. And very, very recently, in August 2021, as Afghanistan fell to the Taliban, it also came to light that biometric data collected on Afghans by the US military and the Afghan government and used by a variety of actors were now in the hands of the Taliban. Journalists' houses were searched. Afghans desperately raced against time to erase their digital history online. Technologies of empowerment then become technologies of disempowerment. It is because these technologies are designed on a certain set of societal assumptions, embedded in market and then filtered through capitalist considerations. But technologies created in one context and then parachuted into another will always fail because it is based on assumptions of how people lead their lives. And whilst here, you and I may be relatively comfortable providing a fingertip scan to perhaps go to the movies, we cannot extrapolate that out to the level of safety one would feel while standing in line, having to give up that little bit of data about themselves in order to access food rations. Humanitarians assume that technology will liberate humanity, but without any due consideration of issues of power, exploitation and harm that can occur for this to happen. Instead, we rush to solutionizing, a form of magical thinking that assumes that just by deploying shiny solutions, we can solve the problem in front of us without any real analysis of underlying realities.
Ces dernières années, les rapports ont commencé à signaler les nouveaux types de risques qui émergent sur les innovations technologiques. L’un d’entre eux concerne la manière dont les données sont collectées sur les personnes vulnérables peut effectivement être utilisé contre elles en représailles, ce qui présente un risque accru non seulement contre elles, mais aussi contre leurs familles, contre leur communauté. Nous avons vu ces risques devenir une réalité avec les Rohingyas. Et très, très récemment, en août 2021, alors que l’Afghanistan tombait aux mains des talibans, il est également apparu que les données biométriques collectées sur les Afghans par l’armée américaine et le gouvernement afghan et utilisées par divers acteurs étaient désormais entre les mains des talibans. Les maisons des journalistes ont été perquisitionnées. Les Afghans ont désespérément couru contre la montre pour effacer leur histoire numérique en ligne. Les technologies d’autonomisation deviennent alors des technologies de désautonomisation. C’est parce que ces technologies sont conçues sur un certain ensemble d’hypothèses sociétales, intégrées au marché puis filtrées à travers des considérations capitalistes. Mais des technologies créées dans un contexte puis parachutées dans un autre échouera toujours parce qu’il est basé sur des hypothèses sur la façon dont les gens mènent leur vie. Et pendant qu’ici, toi et moi sommes peut-être relativement à l’aise de fournir un scan du bout des doigts pour peut-être aller au cinéma, nous ne pouvons pas extrapoler cela au niveau de sécurité que l’on ressentirait en faisant la queue, devant abandonner ce peu de données sur eux-mêmes pour accéder aux rations alimentaires. Les humanitaires supposent que la technologie libérera l’humanité, mais sans tenir compte des questions de pouvoir, d’exploitation et de préjudice qui peuvent survenir pour que cela se produise. Au lieu de cela, nous nous précipitons vers la solution, une forme de pensée magique qui suppose que juste en déployant des solutions brillantes, nous pouvons résoudre le problème qui se pose à nous. sans véritable analyse des réalités sous-jacentes.
These are tools at the end of the day, and tools, like a chef's knife, in the hands of some, the creator of a beautiful meal, and in the hands of others, devastation. So how do we ensure that we do not design the inequities of our past into our digital futures? And I want to be clear about one thing. I'm not anti-tech. I am anti-dumb tech.
Ce sont des outils en fin de compte, comme un couteau de chef, entre les mains de certains, créateur d’un beau repas, et entre les mains des autres, la dévastation. Alors, comment pouvons-nous nous assurer que nous ne concevons pas les inégalités de notre passé dans notre avenir numérique ? Et je veux être clair sur une chose. Je ne suis pas contre la technologie. Je suis contre la technologie inintelligente.
(Laughter)
(Rires)
(Applause)
(Applaudissements)
The limited imaginings of the few should not colonize the radical re-imaginings of the many.
L’imagination limitée de quelques-uns ne devrait pas coloniser les réimaginations radicales de la majorité.
So how then do we ensure that we design an ethical baseline, so that the liberation that this promises is not just for a privileged few, but for all of us? There are a few examples that can point to a way forward.
Alors, comment pouvons-nous nous assurer que nous concevons une ligne de base éthique, de sorte que la libération que cela promet ne soit pas seulement pour quelques privilégiés, mais pour nous tous ? Quelques exemples peuvent indiquer une voie à suivre.
I love the work of Indigenous AI that instead of drawing from Western values and philosophies, it draws from Indigenous protocols and values to embed into AI code. I also really love the work of Nia Tero, an Indigenous co-led organization that works with Indigenous communities to map their own well-being and territories as opposed to other people coming in to do it on their behalf. I've learned a lot from the Satellite Sentinel Project back in 2010, which is a slightly different example. The project started essentially to map atrocities through remote sensing technologies, satellites, in order to be able to predict and potentially prevent them. Now the project wound down after a few years for a variety of reasons, one of which being that it couldn’t actually generate action. But the second, and probably the most important, was that the team realized they were operating without an ethical net. And without ethical guidelines in place, it was a very wide open line of questioning about whether what they were doing was helpful or harmful. And so they decided to wind down before creating harm.
J’adore le travail sur l’IA indigène qui, au lieu de s’inspirer des valeurs et des philosophies occidentales, s’inspire des protocoles et des valeurs indigènes pour les intégrer dans le code AI. J’aime aussi beaucoup le travail de Nia Tero, une organisation indigène codirigée qui travaille avec les communautés indigènes pour cartographier leur propre bien-être et leurs territoires Au lieu d’autres personnes venant le faire en leur nom. J’ai beaucoup appris du projet Satellite Sentinel en 2010, qui est un exemple légèrement différent. Le projet a commencé essentiellement cartographier les atrocités grâce aux technologies de télédétection, aux satellites, afin de pouvoir les prévoir et éventuellement les prévenir. Cependant, le projet s’est terminé après quelques années pour diverses raisons, dont l’une était qu’il ne pouvait pas réellement générer d’action. Mais la deuxième, et probablement la plus importante, était que l’équipe s’est rendu compte qu’elle fonctionnait sans filet éthique. Et sans lignes directrices éthiques en place, c’était une question très ouverte de savoir si ce qu’ils faisaient était utile ou nuisible. Et ils ont donc décidé de se calmer avant de créer du mal.
In the absence of legally binding ethical frameworks to guide our work, I have been working on a range of ethical principles to help inform humanitarian tech innovation, and I'd like to put forward a few of these here for you today.
En l’absence de cadres éthiques juridiquement contraignants pour guider notre travail, j’ai travaillé sur une série de principes éthiques pour aider à éclairer l’innovation technologique humanitaire, et j’aimerais vous en présenter quelques-uns aujourd’hui.
One: Ask. Which groups of humans will be harmed by this and when? Assess: Who does this solution actually benefit? Interrogate: Was appropriate consent obtained from the end users? Consider: What must we gracefully exit out of to be fit for these futures? And imagine: What future good might we foreclose if we implemented this action today?
Un : demandez. Quels groupes d’humains seront blessés par cela et quand ? Évaluer : à qui cette solution profite-t-elle réellement ? Interroger : Le consentement approprié a-t-il été obtenu des utilisateurs ? Réfléchissez : de quoi devons-nous sortir avec grâce pour être prêts pour ces futurs ? Et imaginez : Quel bien futur pourrions-nous exclure si nous mettions en œuvre cette action aujourd’hui ?
We are accountable for the futures that we create. We cannot absolve ourselves of the responsibilities and accountabilities of our actions if our actions actually cause harm to those that we purport to protect and serve. Another world is absolutely, radically possible.
Nous sommes responsables pour les futurs que nous créons. Nous ne pouvons pas nous décharger des responsabilités et des obligations redditionelles de nos actions. Si nos actions causent réellement du tort à ceux que nous disons que nous protégeons et servons un autre monde est absolument, radicalement possible.
Thank you.
Merci.
(Applause)
(Applaudissements)