قالت عالمة الاجتماع، زينب توفكتشي، ذات مرة إن التاريخ مليء بأمثلة جمة من الأذى الناجم عن أصحاب القوة الكبيرة الذين يؤمنون بذلك فقط لأنهم يشعرون بأن نياتهم حسنة، على نحو ما من شأنه ألّا يحدثوا أذى.
Sociologist Zeynep Tufekci once said that history is full of massive examples of harm caused by people with great power who felt that just because they felt themselves to have good intentions, that they could not cause harm.
في العام 2017، بدأ اللاجئون الروهينغا في الهروب من ماينمار إلى بنغلاديش بعد الحملة عليهم من القوة العسكرية في ماينمار وهو ما دعته الأمم المتحدة بالإبادة الجماعية. حين بدأوا يتوافدون على المعسكرات، كان عليهم أن يسجلوا من أجل حزمة من الخدمات. كان منها التسجيل بدعم حكومي من أجل بطاقة الهوية الرقمية (البيومترية). لقد كانت إلزامية تمامًا دون أن يعطوا الخيار لها. في 2021، قالت منظمة هيومن رايتس ووتش أن وكالات الإغاثة الدولية تشارك معلومات جمعت بطريقة غير شرعية عن اللاجئين الروهينغا مع حكومة ماينمار دون موافقة منهم. لم تحتوِ المعلومات عناصر الهوية فقط. إنما حَوَت معلومات عن العائلة، والأقارب المستقرين في الخارج في الأمكان التي ترعرعروا فيها. وانتشر الخوف من الانتقام وسط ممارسات حكومة ماينمار، فقد اختفى البعض.
In 2017, Rohingya refugees started to flee Myanmar into Bangladesh due to a crackdown by the Myanmar military, an act that the UN subsequently called of genocidal intent. As they started to arrive into camps, they had to register for a range of services. One of this was to register for a government-backed digital biometric identification card. They weren't actually given the option to opt out. In 2021, Human Rights Watch accused international humanitarian agencies of sharing improperly collected information about Rohingya refugees with the Myanmar government without appropriate consent. The information shared didn't just contain biometrics. It contained information about family makeup, relatives overseas, where they were originally from. Sparking fears of retaliation by the Myanmar government, some went into hiding.
إن استهداف الهوية للفئات المضطهدة لطالما كان دأب أنظمة الإبادة الجماعية. لكن الآن، باتت البيانات مرقمنة بما يعني إمكانية أسرع للمعالجة، وتقدير أسرع، ووفرة أكبر في إمكانية الوصول لها. لقد شكّل هذا فشلًا على أكثر من صعيد: المبادئ الأساسية، الحوكمة، الأخلاق.
Targeted identification of persecuted peoples has long been a tactic of genocidal regimes. But now that data is digitized, meaning it is faster to access, quicker to scale and more readily accessible. This was a failure on a multitude of fronts: institutional, governance, moral.
لقد قضيت أكثر من 15 سنة في مساري الوظيفي عاملةً في مجال المساعدات الإنسانية. من روندا إلى أفغانستان. أي نوع من الإغاثة الإنسانية، ربما تسألون عنه؟ في معانيه البسيطة، إنه تقديم العناية العاجلة إلى أولئك الذين في حاجةٍ إليها عندما تتقطع بهم السبل. ما بعد كارثة، أو في خلال أزمة. المأكل، والمشرب، والمأوى. لقد عملت عبر كثير جدًا من المنظمات الإنسانية بما فيها تلك التي تقود برامج عالمية عابرة للدول لتصميم مسيّرات مبتكرة خصيصًا لإدارة الكوارث عبر الدول التي تتشكل من جزر صغيرة. لقد تواجدت بين مجتمعات في ظروف حرجة للغاية، حيث يكون الكلام حول المستقبل هو الشغل الشاغل والدائم لها. ولقد صممت خططًا عالمية لتجهيز المنظمات الإنسانية لمآلات مثل هذه. وما يمكن أن أقوله أن المساعدات الإنسانية التي يجري رقمنتها بإيمان وثيق بسرعة مذهلة على مدار العقد الأخير، وتتخلل المخيمات وزجاجات المياه، التي ما نزال نستخدمها، على أي حال، وصولا إلى الذكاء الاصطناعي، وتقنية البيانات الضخمة، والمسيرات، وبصمة الهوية. ويبدو هذا منطقيًا وواقعيًا ووثيق الصلة، وحتى المحفزات الجنسانية والتقنية. لكن ما الذي يعنيه حقيقةً، نشر تقنيات غير مختبرة على شعوب هشة من دون قبول مناسب منها. وهذا دفعني إلى التوقف. لقد توقفت لأن النزاعات التي نواجهها اليوم كعالم إنساني لم تنشب بين عشية وضحاها. لكنها نشبت كنتيجة لتاريخنا الاستعماري المشترك وكذلك فإن مبتكراتنا التقنية الإغاثية هي استعمارية المصدر، رغم أنها صُممت من أجل الإغاثة، وهي بيد مجموعات خيّرة من الناس وينظر إليهم على أنهم غير تقنيين، ولا يُستهدَفون بطريقة غير شرعية باعتبار أنهم قادرون على إعطاء الحلول.
I have spent 15 years of my career working in humanitarian aid. From Rwanda to Afghanistan. What is humanitarian aid, you might ask? In its simplest terms, it's the provision of emergency care to those that need it the most at desperate times. Post-disaster, during a crisis. Food, water, shelter. I have worked within very large humanitarian organizations, whether that's leading multicountry global programs to designing drone innovations for disaster management across small island states. I have sat with communities in the most fragile of contexts, where conversations about the future are the first ones they've ever had. And I have designed global strategies to prepare humanitarian organizations for these same futures. And the one thing I can say is that humanitarians, we have embraced digitalization at an incredible speed over the last decade, moving from tents and water cans, which we still use, by the way, to AI, big data, drones, biometrics. These might seem relevant, logical, needed, even sexy to technology enthusiasts. But what it actually is, is the deployment of untested technologies on vulnerable populations without appropriate consent. And this gives me pause. I pause because the agonies we are facing today as a global humanity didn't just happen overnight. They happened as a result of our shared history of colonialism and humanitarian technology innovations are inherently colonial, often designed for and in the good of groups of people seen as outside of technology themselves, and often not legitimately recognized as being able to provide for their own solutions.
وباعتبار أنني إغاثية، سألت نفسي هذا السؤال: في مسعانا لفعل الخير في العالم، كيف لنا أن نتأكد أننا لا نُلقي بأناس إلى مصير مؤذٍ مصير مثقل بالأعباء وشرير؛ كأثر لمثل تلك الأفعال؟ وهو ما دعاني إلى دراسة المبادئ الأخلاقية في تقنيات الإغاثة. إن ذلك ليس مسعًى نظريًا فقط. إنه هدف شخصي عميق. دافعه الإيمان بأن أولئك الناس هم مثلي تمامًا، جاؤوا من ذات المجتمعات التي أنتمي إليها، ولكن جرى الفصل بيننا بمرور التاريخ، هم الذين غالبًا ما نتحدث بالنيابة عنهم ونكتم أصواتهم بدعوى أن علينا تحديد خيارات مستقبلهم. أتواجد اليوم بينكم على هذا النصب بينما هناك من حضر قبلي وبالتزام إلى أولئك الذين سيحضرون بعدي أن أقول إليكم إن النيات الحسنة وحدها لا تدفع الأذى، بل إن النيات الحسنة وحدها من شأنها جلب الضرر.
And so, as a humanitarian myself, I ask this question: in our quest to do good in the world, how can we ensure that we do not lock people into future harm, future indebtedness and future inequity as a result of these actions? It is why I now study the ethics of humanitarian tech innovation. And this isn't just an intellectually curious pursuit. It's a deeply personal one. Driven by the belief that it is often people that look like me, that come from the communities I come from, historically excluded and marginalized, that are often spoken on behalf of and denied voice in terms of the choices available to us for our future. As I stand here on the shoulders of all those that have come before me and in obligation for all of those that will come after me to say to you that good intentions alone do not prevent harm, and good intentions alone can cause harm.
غالبًا ما أتساءل، ماذا نواجه في هذا القرن الحادي والعشرين؟ ولو أن عليَّ أن أكثِف ذلك بالقول: وبشك عميق، كوكب يموت، عدم ثقة، ألم. وإننا في أوقات التقلبات العاصفة، فإن طبيعتنا كبشر، تطوق إلى مسكّن. ومآلات المستقل الرقمي هي بالضبط كذلك، مجرد مسكنات. إننا نبحث في كل احتمالاته كما لو كان من شأنه تلطيف الآلام وكحتمية منطقية.
I'm often asked, what do I see ahead of us in this next 21st century? And if I had to sum it up: of deep uncertainty, a dying planet, distrust, pain. And in times of great volatility, we as human beings, we yearn for a balm. And digital futures are exactly that, a balm. We look at it in all of its possibility as if it could soothe all that ails us, like a logical inevitability.
في السنين الأخيرة، عملت التقارير على إبراز أنواع جديدة من المخاطر الناجمة عن المبتكرات التقنية. واحد منها يدور حول كيف أن تجميع بيانات الأشخاص غير المحصنين
In recent years, reports have started to flag the new types of risks that are emerging about technology innovations. One of this is around how data collected on vulnerable individuals
من شأنه أن يستخدم ضدهم انتقامًا منهم . بما يخلق مخاطر جمّة ليس فقط لهم، ولكن لذويهم أيضًا، ولمجتمعهم كذلك. لقد شاهدنا هذه المخاطر كحقيقة واجهت الروهينغا. وخلال هذه الآونة، في آب/أغسطس 2021، بينما تسقط أفغانستان بيد طالبان، برز خبر تجميع الهوية الرقمية للأفغان من قبل القوات الأمريكية، ومن قبل الحكومة الأفغانية وجرى استخدامها بواسطة لاعبين شتى بينما هي الآن بيد طالبان. لقد جرى كشف ذلك من خلال الصحافة. وقد هرع الأفغان كل على حدة إلى مسح الذاكرة الرقمية على شبكة الإنترنت. لقد كانت تقنيات للتمكين والتقوية ثم صارت تقنيات مسببة للضعف. وسبب ذلك أن هذه التقنيات إنما صُممت بناء على مفترضات مجتمعية واقعية وقد جرى دمجها في السوق ومن ثم جرى تقسيمها على أساس محددات رأسمالية. لقد انتجت التقنيات في سياق واحد ثم تماهت في سياق آخر سوف يفشل دائمًا لأنه يتأسس على فرضيات تتعلق بكيفية عيش الناس. وبينما نحن هنا، أنا وأنت، قد يكون من المريح نسبيًا عند إجراء مسح البصمة لدخول السينما لمشاهدة أفلام، بينما لا يمكننا مقارنة ذلك بمستوى الأمان الذي يشعر المرؤ به عند اصطفافه في الطابور، مضطرًا لأن يتنازل عن بعض من بياناته من أجل الحصول على حصة من الطعام. لقد افترض الإغاثيون أن التقنية ستحرر البشرية، لكن دون أن يأخذوا في اعتبارهم قضايا السلطة، والاستغلال، وإلحاق الأذى التي يمكن أن تحدث. في المقابل، فقد هرعنا لتوفير حل سحري الذي يفترض أن من شأن نشر الحلول البرّاقة، معالجة المشكلة التي تواجهنا دون أي تحليل واقعي لأيٍ من الحقائق البارزة.
can actually be used against them as retaliation, posing greater risk not just against them, but against their families, against their community. We saw these risks become a truth with the Rohingya. And very, very recently, in August 2021, as Afghanistan fell to the Taliban, it also came to light that biometric data collected on Afghans by the US military and the Afghan government and used by a variety of actors were now in the hands of the Taliban. Journalists' houses were searched. Afghans desperately raced against time to erase their digital history online. Technologies of empowerment then become technologies of disempowerment. It is because these technologies are designed on a certain set of societal assumptions, embedded in market and then filtered through capitalist considerations. But technologies created in one context and then parachuted into another will always fail because it is based on assumptions of how people lead their lives. And whilst here, you and I may be relatively comfortable providing a fingertip scan to perhaps go to the movies, we cannot extrapolate that out to the level of safety one would feel while standing in line, having to give up that little bit of data about themselves in order to access food rations. Humanitarians assume that technology will liberate humanity, but without any due consideration of issues of power, exploitation and harm that can occur for this to happen. Instead, we rush to solutionizing, a form of magical thinking that assumes that just by deploying shiny solutions, we can solve the problem in front of us without any real analysis of underlying realities.
هذه أدوات نهاية اليوم، أدواتُ كما سكّين في يد طاهٍ، أداة في يد معدّ وجبة جميلة، وفي يد البعض الآخر، هي أداة للتدمير. ولذا، كيف لنا أن نحول دون تصميم الظلم الذي تعرضنا له في الماضي ليكون ضمن مآلات مستقبلنا الرقمي؟ وهنا أريد أن أكون واضحة في الحديث عن شيء واحد. أنا لست ضد التقنية. أنا لست بغباء أن أكون ضد التقنية.
These are tools at the end of the day, and tools, like a chef's knife, in the hands of some, the creator of a beautiful meal, and in the hands of others, devastation. So how do we ensure that we do not design the inequities of our past into our digital futures? And I want to be clear about one thing. I'm not anti-tech. I am anti-dumb tech.
(ضحك)
(Laughter)
(تصفيق)
(Applause)
لا ينبغي أن يستولى الخيال المحدود للقلة على الخيال الطبيعي للأكثرية.
The limited imaginings of the few should not colonize the radical re-imaginings of the many.
وعليه، كيف لنا أن نضمن تصميم قاعدة أخلاقية، ليكون التحرر غير مقصور على فئة قليلة من الناس، بل يكون لنا جميعًا. هنالك عدد من الأمثلة، بمقدورها أن تمضي بنا قدمًا.
So how then do we ensure that we design an ethical baseline, so that the liberation that this promises is not just for a privileged few, but for all of us? There are a few examples that can point to a way forward.
أنا أفضل العمل الطبيعي للذكاء الاصطناعي عن ذلك المبرمَج على أسس القيم والفلسفة الغربية، ذلك الذي يُستلهَم من قيم وسلوكيات السكان الأصليين ليدمج في شفرات الذكاء الاصطناعي. وأحب أيضًا نشاط “نايا تيرو،” وهي منظمة مشتركة من السكان الأصليين وتعمل مع مجتمعاتهم لرسم خريطة لرفاهيتهم وأقاليمهم على عكس الآخرين الذين يأتون للقيام بذلك بالنيابة عنهم. ولقد تعلمت كثيرًا من مشروع “ساتالايت سينتنل” في 2010، الذي عبّر عن مثال آخر مختلف. وهو المشروع الذي جرى تكريسه لرسم خريطة الفظائع من خلال تقنيات الاستشعار عن بعد، التي تعمل بالأقمار الصناعية، للتنبؤ بها ومن ثم إمكانية الحيلولة دون حدوثها. الآن انتهت أعمال المشروع بعد عدة سنوات وذلك لأسباب عدة، واحد من هذه الأسباب، لم يكُن عدم تحقيق فعل. ولكن السبب الثاني، وهو الأهم، تمثّل في أن فريق العمل كان يدير العمليات دون قاعدة أخلاقية. وبدون قواعد أخلاقية في مكان العمل، يكون هناك مجال عريض للتساؤل عما إذا كان ما يقومون به نافعًا أم ضارًا. ولذلك قرروا أن ينهوا العمل فبل التسبب في إلحاق الأذى.
I love the work of Indigenous AI that instead of drawing from Western values and philosophies, it draws from Indigenous protocols and values to embed into AI code. I also really love the work of Nia Tero, an Indigenous co-led organization that works with Indigenous communities to map their own well-being and territories as opposed to other people coming in to do it on their behalf. I've learned a lot from the Satellite Sentinel Project back in 2010, which is a slightly different example. The project started essentially to map atrocities through remote sensing technologies, satellites, in order to be able to predict and potentially prevent them. Now the project wound down after a few years for a variety of reasons, one of which being that it couldn’t actually generate action. But the second, and probably the most important, was that the team realized they were operating without an ethical net. And without ethical guidelines in place, it was a very wide open line of questioning about whether what they were doing was helpful or harmful. And so they decided to wind down before creating harm.
وفي غياب الربط بإطارات عمل أخلاقية؛ لتوجيه أعمالنا، عكفت على وضع طيف واسع من المبادئ الأخلاقية للمساعدة في إرشاد تقنية العمل الإنساني، وأودُ أن أطرح أمامكم بعضًا منها.
In the absence of legally binding ethical frameworks to guide our work, I have been working on a range of ethical principles to help inform humanitarian tech innovation, and I'd like to put forward a few of these here for you today.
رقم واحد: اسأل: أي مجموعة من البشر سيلحقها الأذى جراء ذلك، ومتى؟ قيِّم: من سينتفع حقًا من وراء هذا الحال؟ حَلِل: هل سنحصل على موافقة مناسبة من آخِر مستخدمين؟ رتّب الأولويات: ماذا علينا أن نحصل من نتائج ممتازة لتنسجم مع هذه المآلات من المستقبل؟ ثم تخيّل: أي مستقبل جيد ننتظره لو أننا قمنا بذلك اليوم؟
One: Ask. Which groups of humans will be harmed by this and when? Assess: Who does this solution actually benefit? Interrogate: Was appropriate consent obtained from the end users? Consider: What must we gracefully exit out of to be fit for these futures? And imagine: What future good might we foreclose if we implemented this action today?
إننا مسؤولون عن مآلات المستقبل التي نصنعها الآن. وليس بمقدورنا التحلل من مسؤولياتنا وما يتوجب علينا القيام به إذا كانت أفعالنا تتسبب في أذى لإولئك الذين نتوهّم أننا نحميهم ونساعدهم. إن عالمًا محافظًا على طابعه الأصيل لأمر ممكن تحقيقه.
We are accountable for the futures that we create. We cannot absolve ourselves of the responsibilities and accountabilities of our actions if our actions actually cause harm to those that we purport to protect and serve. Another world is absolutely, radically possible.
شكرًا لكم.
Thank you.
(تصفيق)
(Applause)