Sociologist Zeynep Tufekci once said that history is full of massive examples of harm caused by people with great power who felt that just because they felt themselves to have good intentions, that they could not cause harm.
El sociólogo Zeynep Tufekci dijo en una ocasión que la historia estaba llena de grandes ejemplos de daños causados por gente poderosa que pensaba que solo porque creían tener buenas intenciones, no podían causar daño alguno.
In 2017, Rohingya refugees started to flee Myanmar into Bangladesh due to a crackdown by the Myanmar military, an act that the UN subsequently called of genocidal intent. As they started to arrive into camps, they had to register for a range of services. One of this was to register for a government-backed digital biometric identification card. They weren't actually given the option to opt out. In 2021, Human Rights Watch accused international humanitarian agencies of sharing improperly collected information about Rohingya refugees with the Myanmar government without appropriate consent. The information shared didn't just contain biometrics. It contained information about family makeup, relatives overseas, where they were originally from. Sparking fears of retaliation by the Myanmar government, some went into hiding.
En 2017, los refugiados rohingya comenzaron a huir de Myanmar hacia Bangladesh debido a la represión por parte del ejército de Myanmar, un acto que la ONU calificó posteriormente de intención genocida. Según llegaban a los campos de refugiados, tenían que registrarse para una serie de servicios, entre ellos la inscripción a una tarjeta de identificación biométrica avalada por el gobierno. En realidad no tenían opción de negarse. En 2021, Human Rights Watch acusó a las agencias humanitarias internacionales de compartir información recogida de forma ilícita sobre los refugiados rohingya con el gobierno de Myanmar y sin el debido consentimiento. La información compartida no solo contenía datos biométricos, también acerca de la composición familiar, los parientes en el extranjero y su lugar de origen. Ante el temor de represalias por parte del gobierno de Myanmar, algunos se escondieron.
Targeted identification of persecuted peoples has long been a tactic of genocidal regimes. But now that data is digitized, meaning it is faster to access, quicker to scale and more readily accessible. This was a failure on a multitude of fronts: institutional, governance, moral.
La identificación selectiva de los pueblos perseguidos ha sido durante mucho tiempo una táctica de los regímenes genocidas. Pero ahora los datos están digitalizados, por lo que son de fácil acceso, se escalan más rápidamente, y su disponibilidad es mayor. Así que todo esto fue un fracaso en multitud de frentes: institucional, gubernamental y moral.
I have spent 15 years of my career working in humanitarian aid. From Rwanda to Afghanistan. What is humanitarian aid, you might ask? In its simplest terms, it's the provision of emergency care to those that need it the most at desperate times. Post-disaster, during a crisis. Food, water, shelter. I have worked within very large humanitarian organizations, whether that's leading multicountry global programs to designing drone innovations for disaster management across small island states. I have sat with communities in the most fragile of contexts, where conversations about the future are the first ones they've ever had. And I have designed global strategies to prepare humanitarian organizations for these same futures. And the one thing I can say is that humanitarians, we have embraced digitalization at an incredible speed over the last decade, moving from tents and water cans, which we still use, by the way, to AI, big data, drones, biometrics. These might seem relevant, logical, needed, even sexy to technology enthusiasts. But what it actually is, is the deployment of untested technologies on vulnerable populations without appropriate consent. And this gives me pause. I pause because the agonies we are facing today as a global humanity didn't just happen overnight. They happened as a result of our shared history of colonialism and humanitarian technology innovations are inherently colonial, often designed for and in the good of groups of people seen as outside of technology themselves, and often not legitimately recognized as being able to provide for their own solutions.
Llevo 15 años trabajando en el sector de la ayuda humanitaria. De Ruanda a Afganistán. ¿Qué es la ayuda humanitaria?, quizás se pregunten. Dicho simplemente, consiste en proporcionar cuidados de emergencia a quienes más lo necesitan en momentos críticos, tras una catástrofe o durante una crisis, donde faltará comida, agua y refugio. He trabajado en organizaciones humanitarias muy grandes, ya sea liderando programas multinacionales a nivel mundial o diseñando mejoras en los drones para la gestión de desastres en pequeños estados insulares. Me he sentado con comunidades en los contextos más frágiles, donde nunca antes habían hablado sobre su futuro. Y he diseñado estrategias mundiales para que las organizaciones humanitarias se preparen para tales escenarios futuros. Y lo único que puedo decir es que el personal humanitario ha ido adoptando la digitalización a una velocidad increíble durante la última década, pasando de las tiendas de campaña y las cantimploras, que todavía usamos, por cierto, a la AI, los macrodatos, los drones y la biometría. Todo esto puede parecer relevante, lógico, necesario e incluso atractivo para los entusiastas de la tecnología. Pero en el fondo es un despliegue de tecnologías no testadas en poblaciones vulnerables y sin el consentimiento apropiado. Y esto me hace detenerme. Detenerme porque las penurias que sufrimos hoy en día a nivel de toda la humanidad no han aparecido de la noche a la mañana. Son el resultado de una historia compartida de colonialismo, donde las novedades tecnológicas son inherentemente coloniales, pues a menudo están diseñadas para y por el bien de pueblos que se encuentran fuera del entorno tecnológico, o que no están legítimamente considerados como capaces de proveer sus propias soluciones.
And so, as a humanitarian myself, I ask this question: in our quest to do good in the world, how can we ensure that we do not lock people into future harm, future indebtedness and future inequity as a result of these actions? It is why I now study the ethics of humanitarian tech innovation. And this isn't just an intellectually curious pursuit. It's a deeply personal one. Driven by the belief that it is often people that look like me, that come from the communities I come from, historically excluded and marginalized, that are often spoken on behalf of and denied voice in terms of the choices available to us for our future. As I stand here on the shoulders of all those that have come before me and in obligation for all of those that will come after me to say to you that good intentions alone do not prevent harm, and good intentions alone can cause harm.
Y como parte del personal humanitario, planteo esta pregunta: En nuestra misión de hacer el bien en el mundo, ¿cómo podemos asegurarnos de no abocar a las personas a daños futuros, al endeudamiento y la inequidad como resultado de nuestras acciones? Es por eso que ahora estudio la ética de la innovación tecnológica humanitaria. Y no solo por curiosidad intelectual, tengo motivos profundamente personales. Me muevo impulsada por la creencia de que a menudo es gente como yo, proveniente de las mismas comunidades que yo, que ha sido históricamente excluida y marginada, donde otros hablan por ellos y que no tienen voz ni voto en cuanto a las opciones disponibles para su futuro. Mientras cabalgo a hombros de aquellos que me han precedido y tengo una responsabilidad ante aquellos que vendrán después de mí afirmo que las buenas intenciones por sí solas no previenen el daño, y además pueden causarlo.
I'm often asked, what do I see ahead of us in this next 21st century? And if I had to sum it up: of deep uncertainty, a dying planet, distrust, pain. And in times of great volatility, we as human beings, we yearn for a balm. And digital futures are exactly that, a balm. We look at it in all of its possibility as if it could soothe all that ails us, like a logical inevitability.
A menudo me preguntan qué anticipo que ocurrirá durante el actual siglo XXI. Y en resumen lo que digo es: una gran incertidumbre, un planeta agonizante, desconfianza y dolor. En tiempos de gran volatilidad, los seres humanos anhelamos un bálsamo. Y el futuro digital es exactamente eso, un bálsamo. Consideramos su oferta de posibilidades como si pudiera calmar todos los males, con una inevitabilidad lógica.
In recent years, reports have started to flag the new types of risks that are emerging about technology innovations. One of this is around how data collected on vulnerable individuals can actually be used against them as retaliation, posing greater risk not just against them, but against their families, against their community. We saw these risks become a truth with the Rohingya. And very, very recently, in August 2021, as Afghanistan fell to the Taliban, it also came to light that biometric data collected on Afghans by the US military and the Afghan government and used by a variety of actors were now in the hands of the Taliban. Journalists' houses were searched. Afghans desperately raced against time to erase their digital history online. Technologies of empowerment then become technologies of disempowerment. It is because these technologies are designed on a certain set of societal assumptions, embedded in market and then filtered through capitalist considerations. But technologies created in one context and then parachuted into another will always fail because it is based on assumptions of how people lead their lives. And whilst here, you and I may be relatively comfortable providing a fingertip scan to perhaps go to the movies, we cannot extrapolate that out to the level of safety one would feel while standing in line, having to give up that little bit of data about themselves in order to access food rations. Humanitarians assume that technology will liberate humanity, but without any due consideration of issues of power, exploitation and harm that can occur for this to happen. Instead, we rush to solutionizing, a form of magical thinking that assumes that just by deploying shiny solutions, we can solve the problem in front of us without any real analysis of underlying realities.
En los últimos años, los informes han comenzado a señalar los nuevos tipos de riesgo, fruto de las innovaciones tecnológicas. Uno de ellos es que los datos recopilados acerca de las personas vulnerables pueden usarse en su contra como represalia, representando un riesgo mayor no solo contra ellos, también contra sus familias y su comunidad. Esta realidad ya la constatamos con los rohingya. Y muy recientemente, en agosto de 2021, cuando Afganistán cayó bajo los talibanes, salió a la luz que los datos biométricos recopilados sobre los afganos por el ejército estadounidense y el gobierno afgano, y utilizados por una serie de actores, habían caído en manos de los talibanes. Registraron las casas de los periodistas. Los afganos lucharon contrarreloj para hacer desaparecer su historial digital. Y las tecnologías de empoderamiento pasan a ser de desempoderamiento. Es porque estas tecnologías están diseñadas en base a un cierto conjunto de supuestos sociales, se integran en el mercado y se filtran según parámetros capitalistas. Pero las tecnologías creadas en un contexto y testadas en otro, siempre fallarán, porque se basan en suposiciones sobre los modos de vida. Y mientras a Uds. y a mí no nos incomoda pasar la huella por un escáner por ejemplo a la entrada de un cine, eso no es extrapolable al nivel de seguridad que alguien puede sentir mientras espera en una fila, debiendo desvelar una pequeña parte de sí mismo para poder acceder a las raciones de alimentos. El personal humanitario asume que la tecnología liberará a la humanidad, pero se olvidan de la debida consideración de las cuestiones de poder, la explotación y el daño que pueden sobrevenir para este fin. En cambio, nos lanzamos a buscar soluciones, en forma de pensamiento milagroso el cual asume que simplemente implementando soluciones brillantes, resolveremos el problema que tenemos enfrente, obviando cualquier análisis formal de las realidades subyacentes.
These are tools at the end of the day, and tools, like a chef's knife, in the hands of some, the creator of a beautiful meal, and in the hands of others, devastation. So how do we ensure that we do not design the inequities of our past into our digital futures? And I want to be clear about one thing. I'm not anti-tech. I am anti-dumb tech.
Son herramientas al fin y al cabo, herramientas, como un cuchillo de chef, que en manos de unos, elabora una deliciosa comida, y en manos de otros, genera devastación. Entonces, ¿cómo asegurarnos de que no estamos trasladando las desigualdades del pasado a nuestro futuro digital? Y quiero dejar clara una cosa. No estoy en contra de la tecnología, solo en contra de la que es para tontos.
(Laughter)
(Risas)
(Applause)
(Aplausos)
The limited imaginings of the few should not colonize the radical re-imaginings of the many.
La limitada imaginación de unos pocos no debería colonizar la rica imaginación innovadora de la mayoría.
So how then do we ensure that we design an ethical baseline, so that the liberation that this promises is not just for a privileged few, but for all of us? There are a few examples that can point to a way forward.
Entonces, ¿cómo nos aseguramos de diseñar una base ética, para que la liberación prometida no sea solo para unos pocos privilegiados, sino para todos nosotros? Hay algunos ejemplos que pueden señalar el camino a seguir.
I love the work of Indigenous AI that instead of drawing from Western values and philosophies, it draws from Indigenous protocols and values to embed into AI code. I also really love the work of Nia Tero, an Indigenous co-led organization that works with Indigenous communities to map their own well-being and territories as opposed to other people coming in to do it on their behalf. I've learned a lot from the Satellite Sentinel Project back in 2010, which is a slightly different example. The project started essentially to map atrocities through remote sensing technologies, satellites, in order to be able to predict and potentially prevent them. Now the project wound down after a few years for a variety of reasons, one of which being that it couldn’t actually generate action. But the second, and probably the most important, was that the team realized they were operating without an ethical net. And without ethical guidelines in place, it was a very wide open line of questioning about whether what they were doing was helpful or harmful. And so they decided to wind down before creating harm.
Me encanta el trabajo de la IA indígena que, en lugar de basarse en valores y filosofías occidentales, se basa en protocolos y valores indígenas y los implementa en el código de la IA. También me encanta el trabajo de Nia Tero, una organización indígena codirigida que trabaja con comunidades indígenas para que ellos mismos tracen su propio bienestar y su territorio, a diferencia de otras organizaciones que lo hacen directamente en su nombre. Aprendí mucho del proyecto Satellite Sentinel en 2010, que es un ejemplo ligeramente diferente. El proyecto comenzó esencialmente para registrar las atrocidades a través de tecnologías de teledetección y satélites, para así poder predecirlas y posiblemente prevenirlas. Pero el proyecto terminó tras varios años por una variedad de razones, una de los cuales era que en realidad no llevaba a la acción. Pero la segunda, y probablemente la más importante, era que el equipo se dio cuenta de que estaban operando sin una red ética. Y sin pautas éticas establecidas, se abría el cuestionamiento sobre si lo que estaban haciendo era útil o dañino. Y entonces decidieron ponerle fin para no arriesgarse a causar daño.
In the absence of legally binding ethical frameworks to guide our work, I have been working on a range of ethical principles to help inform humanitarian tech innovation, and I'd like to put forward a few of these here for you today.
En ausencia de marcos éticos legalmente vinculantes que guíen nuestro trabajo, me he estado centrando en una serie de principios éticos para ayudar al desarrollo de la innovación humanitaria, y hoy me gustaría presentarles algunos de ellos.
One: Ask. Which groups of humans will be harmed by this and when? Assess: Who does this solution actually benefit? Interrogate: Was appropriate consent obtained from the end users? Consider: What must we gracefully exit out of to be fit for these futures? And imagine: What future good might we foreclose if we implemented this action today?
Uno: Preguntar. ¿Qué grupos humanos se verán perjudicados por esto y cuándo? Evaluar: ¿A quién beneficia realmente esta solución? Averiguar: ¿Se obtuvo el consentimiento apropiado de los usuarios finales? Considerar: ¿A qué debemos renunciar para adaptarnos a un determinado futuro? E imaginar: ¿Qué bien futuro podríamos recuperar si implementáramos tal acción hoy?
We are accountable for the futures that we create. We cannot absolve ourselves of the responsibilities and accountabilities of our actions if our actions actually cause harm to those that we purport to protect and serve. Another world is absolutely, radically possible.
Somos responsables de los futuros que creamos. No podemos desentendernos de la responsabilidad y de la autoría de nuestras acciones, si nuestras acciones están causando daño a aquellos a quienes pretendemos proteger y servir. Otro mundo es absoluta y radicalmente posible.
Thank you.
Gracias.
(Applause)
(Aplausos)