مرحبا أُدعى (جوي)، أَنظُم الشعر على الحاسوب في مهمة لردع قوة ناشئة غير مرئية، قوة أسميتها "النظرة المشفرَّة،" مصطلح أطلقه عن تحيز الخوارزمية. تحيز الخوارزمية مثل تحيز البشر يؤدي إلى الإجحاف. برغم ذلك، الخوارزميات مثل الفيروسات يتفشى فيها التحيز على مستوى واسع بخطى سريعة. تحيز الخوارزمية قد يُفضِي إلى وقوع حوادث إقصائية و ممارسات تمييزية. دعوني أوضح ما أعنيه. (فيديو): أهلا بالكاميرا. لدي وجه. هل ترون وجهي؟ وجه بلا نظارات؟ تستطيع رؤية وجهها. ماذا عن وجهي؟ لدي قناع. هل ترى قناعي؟ إذن كيف حدث هذا؟ لمَ أجلس أمام حاسوب أضع قناعًا أبيض، أحاول أن تكتشفني كاميرا ويب زهيدة؟ حسنا عندما لا أقاوم النظرة المشفرة بصفتي شاعرة أستخدم التشفير، أنا طالبة دراسات عليا في إم آي تي ميديا لاب، و هناك لدي الفرصة للعمل على جميع أنواع المشروعات الغريبة، بما في ذلك ( أسباير ميرور)، مشروع قمت به لأرسم أقنعة رقْمية على انعكاسي. لذا في الصباح إذا أردت الشعور بالقوة، أستطيع أن أضع قناع أسد. إذا أردت أن أرفع معنوياتي، قد أحصل على اقتباس. لذا استخدمت برمجة موسعة للتعرف على الوجه لبناء النظام، لكني وجدت أنه من الصعب اختباره مالم أضع قناعًا. لسوء الحظ واجهتني هذه المسألة من قبل. عندما كنت طالبة في جامعة جورجيا التقنية أدرس علوم الحاسب، اعتدت العمل على الروبوتات الاجتماعية، و إحدى مهامي كانت أن أجعل روبوت يلعب بيكابو (لعبة الاختفاء)، لعبة بسيطة لتناوب الأدوار حيث يغطي الشخص وجهه عن شريكه ثم يكشفه قائلا، "بيكابو!" المشكلة أن هذه اللعبة لا تعمل حقيقةً إذا لم أستطع رؤيتك، و روبوتي لا يستطيع رؤيتي. لكني استعنت بوجه زميلتي بالسكن لكي أنهي المشروع، وقدمت المَهًمّة، ووجدت أن شخصا آخر قد حل هذه المشكلة. ليس بعد وقت طويل حينها، كنت في هونغ كونغ لأجل مسابقة في ريادة الأعمال. قرر المنظمون أن يأخذوا المشاركين في جولة للشركات الناشئة المحلية. إحدى هذه الشركات كان لديها روبوت اجتماعي، و قرروا استخدام عرض توضيحي. عمل العرض التوضيحي مع الجميع حتى جاء دوري، ربما تستطيع تخيل الأمر. لم يتعرف على وجهي. سألت المطورين عما يحدث، واتضح أننا استخدمنا نفس البرمجة العامة للتعرف على الوجه. جبت نصف العالم، لأعلم أن تحيز الخوارزمية يستطيع الانتقال بسرعة قدر ما يأخذه الوقت لتحميل بعض الملفات من شبكة الانترنت. إذن ما الذي يحدث؟ لم لا يتعرف على وجهي؟ حسنا، علينا أن ننظر إلى كيفية تفعيل حاسة البصر عند الآلات. يستخدم البصر الحاسوبي تقنيات خاصة بتعلم الآلة للقيام بالتعرف على الوجه. إذن يتفعل هذا بإنشاء جهاز تدريب مزود بأمثلة للأوجه. هذا وجه. هذا وجه. هذا ليس بوجه. وبمرور الوقت، يتعلم الحاسوب كيف يتعرف على وجوه أخرى. برغم ذلك، إذا لم تكن أجهزة التدريب متنوعة، ووجد وجه يختلف كثيرا عن النمط القائم سيكون أصعب في التعرف عليه، الأمر الذي حدث معي. لكن لا تقلقوا -- هناك أخبار جيدة. أجهزة التدريب لا تحقق إنجازًا من لاشيء. نستطيع بالفعل أن ننشئهم. إذن هناك فرصة لإنتاج أجهزة تدريب تمسح الطيف الكامل التي تعكس صورا تُثري الإنسانية أكثر. الآن قد رأيتم في أمثلتي كيف أن الروبوتات الاجتماعية كشفت لي الإقصاء المنتهج في تحيز الخوارزمية. لكن قد يؤدي تحيز الخوارزمية إلى الممارسات التمييزية أيضا. عبر الولايات المتحدة، بدأت أقسام الشرطة في استخدام برمجة التعرف على الوجه كسلاح لمكافحة الجريمة. نشرت كلية حقوق جورج تاون تقريراً يظهر أن بالغاً من كل اثنين في الولايات المتحدة -- حوالى 117 مليون نسمة -- توجد بصمة وجهه في شبكات التعرف على الوجه. تتمكن أقسام الشرطة حالياً من تفحص هذه الشبكات بطريقة غير منظمة، باستخدام خوارزميات لم يراع فيها الدقة. حتى الآن لم يثبَت فشل التعرف على الوجه، ويظل تصنيف الوجوه تحدياً مستمراً. قد تكون رأيت هذا في فيسبوك. أضحك كثيرا أنا وأصدقائي عندما نرى الآخرين غير مصنَّفين في صورنا. لكن عدم تحديد مجرماً مشتبهاً به ليس أمراً مضحكاً، ولا انتهاكاً للحريات المدنية. التعلم الآلي يستخدم في التعرف على الوجه، لكنه أيضا يتجاوز حدود رؤية الحاسوب. في كتابها، "أسلحة الدمار الحسابيّ،" تحدثت عالمة البيانات (كاثي أونيل) عن هذه الأسلحة الصاعدة -- الخوارزميات الرائجة والغامضة والمدمرة التي تُستخدم بتزايد في اتخاذ القرارات التي تؤثر على نواحي أكثر في حياتنا. إذن من يُوظَّف أو يُطرَد؟ هل تحصل على ذاك القرض؟ هل تحصل على التأمين؟ هل قُبلت بالكلية التي أردتها؟ هل يدفع الجميع نفس السعرعن نفس المنتج الذي اشتُرِي من نفس المنصة؟ بدأ مسؤولو تطبيق القانون في استخدام التعلم الآلي لغرض الفاعلية في حفظ الأمن. بعض القضاة يحددون درجات الخطر باستخدام الآلة لمعرفة طول المدة التي سيقضيها الفرد في السجن. بالتالي علينا أن نفكر مليًّا في هذه القرارات. هل هي عادلة؟ و لقد رأينا أن تحيز الخوارزمية لا يؤدي بالضرورة إلى نتائج عادلة دائما. ما الذي يمكن فعله حيال هذا؟ حسنا، نستطيع البدء في إنتاج تشفير أكثر تضميناً و نوظف ممارسات تشفير شاملة. إن الناس هم من يبادروا. لذا من يقوم بالتشفير له أهمية. هل ننتج مجموعات للطيف الكامل بها أفراد متنوعين من يستطيع فحص النقاط غير المرئية لبعضهم البعض؟ على الصعيد الفني، يوجد أهمية لكيفية التشفير. هل نصنّع بعَدْل بينما نطور النظام؟ و في النهاية لمً نقوم بالتشفير. لقد استخدمنا أدوات للإعداد الحاسوبي لكشف الثروة الهائلة. لدينا الآن الفرصة لكشف جودة أكبر إذا جعلنا من التغير الاجتماعي أولوية و ليس كتفكير مؤجَّل. و هذه الركائز الثلاثة التي ستشعل حركة التشفير. من يشفر له أهمية، كيف نشفر مهم ولمِاذا نشفر مهم أيضا.
Hello, I'm Joy, a poet of code, on a mission to stop an unseen force that's rising, a force that I called "the coded gaze," my term for algorithmic bias. Algorithmic bias, like human bias, results in unfairness. However, algorithms, like viruses, can spread bias on a massive scale at a rapid pace. Algorithmic bias can also lead to exclusionary experiences and discriminatory practices. Let me show you what I mean. (Video) Joy Buolamwini: Hi, camera. I've got a face. Can you see my face? No-glasses face? You can see her face. What about my face? I've got a mask. Can you see my mask? Joy Buolamwini: So how did this happen? Why am I sitting in front of a computer in a white mask, trying to be detected by a cheap webcam? Well, when I'm not fighting the coded gaze as a poet of code, I'm a graduate student at the MIT Media Lab, and there I have the opportunity to work on all sorts of whimsical projects, including the Aspire Mirror, a project I did so I could project digital masks onto my reflection. So in the morning, if I wanted to feel powerful, I could put on a lion. If I wanted to be uplifted, I might have a quote. So I used generic facial recognition software to build the system, but found it was really hard to test it unless I wore a white mask. Unfortunately, I've run into this issue before. When I was an undergraduate at Georgia Tech studying computer science, I used to work on social robots, and one of my tasks was to get a robot to play peek-a-boo, a simple turn-taking game where partners cover their face and then uncover it saying, "Peek-a-boo!" The problem is, peek-a-boo doesn't really work if I can't see you, and my robot couldn't see me. But I borrowed my roommate's face to get the project done, submitted the assignment, and figured, you know what, somebody else will solve this problem. Not too long after, I was in Hong Kong for an entrepreneurship competition. The organizers decided to take participants on a tour of local start-ups. One of the start-ups had a social robot, and they decided to do a demo. The demo worked on everybody until it got to me, and you can probably guess it. It couldn't detect my face. I asked the developers what was going on, and it turned out we had used the same generic facial recognition software. Halfway around the world, I learned that algorithmic bias can travel as quickly as it takes to download some files off of the internet. So what's going on? Why isn't my face being detected? Well, we have to look at how we give machines sight. Computer vision uses machine learning techniques to do facial recognition. So how this works is, you create a training set with examples of faces. This is a face. This is a face. This is not a face. And over time, you can teach a computer how to recognize other faces. However, if the training sets aren't really that diverse, any face that deviates too much from the established norm will be harder to detect, which is what was happening to me. But don't worry -- there's some good news. Training sets don't just materialize out of nowhere. We actually can create them. So there's an opportunity to create full-spectrum training sets that reflect a richer portrait of humanity. Now you've seen in my examples how social robots was how I found out about exclusion with algorithmic bias. But algorithmic bias can also lead to discriminatory practices. Across the US, police departments are starting to use facial recognition software in their crime-fighting arsenal. Georgetown Law published a report showing that one in two adults in the US -- that's 117 million people -- have their faces in facial recognition networks. Police departments can currently look at these networks unregulated, using algorithms that have not been audited for accuracy. Yet we know facial recognition is not fail proof, and labeling faces consistently remains a challenge. You might have seen this on Facebook. My friends and I laugh all the time when we see other people mislabeled in our photos. But misidentifying a suspected criminal is no laughing matter, nor is breaching civil liberties. Machine learning is being used for facial recognition, but it's also extending beyond the realm of computer vision. In her book, "Weapons of Math Destruction," data scientist Cathy O'Neil talks about the rising new WMDs -- widespread, mysterious and destructive algorithms that are increasingly being used to make decisions that impact more aspects of our lives. So who gets hired or fired? Do you get that loan? Do you get insurance? Are you admitted into the college you wanted to get into? Do you and I pay the same price for the same product purchased on the same platform? Law enforcement is also starting to use machine learning for predictive policing. Some judges use machine-generated risk scores to determine how long an individual is going to spend in prison. So we really have to think about these decisions. Are they fair? And we've seen that algorithmic bias doesn't necessarily always lead to fair outcomes. So what can we do about it? Well, we can start thinking about how we create more inclusive code and employ inclusive coding practices. It really starts with people. So who codes matters. Are we creating full-spectrum teams with diverse individuals who can check each other's blind spots? On the technical side, how we code matters. Are we factoring in fairness as we're developing systems? And finally, why we code matters. We've used tools of computational creation to unlock immense wealth. We now have the opportunity to unlock even greater equality if we make social change a priority and not an afterthought. And so these are the three tenets that will make up the "incoding" movement. Who codes matters, how we code matters and why we code matters.
إذن لنتحول للتشفير نستطيع البدء بالتفكير في بناء منصات تستطيع تحديد التحيز بواسطة جمع خبرات الناس مثل تلك التي شاركتها، أيضا التدقيق في البرمجة الحالية. نستطيع أيضا إنشاء أدوات تدريب شاملة أكثر. تخيل حملة بعنوان" سيلفي للتضمين" حيث نستطيع جميعا مساعدة المطورين لاختبار و إنتاج أجهزة تدريب أكثر شمولية. و نستطيع التفكير بطريقة أكثر وعياً تجاه التأثير الاجتماعي للتكنولوجيا التي نطورها. لكي نفعل حركة التشفير، أطللقت رابطة باسم العدالة الخوارزمية، حيث يستطيع كل من يهتم بالعدل أن يكافح ضد النظرة المشفرة. يمكنكم التبليغ عن التحيز على موقع codedgaze.com وتطالب بالتدقيق وتصبح مُختبِراً و تنضم للمحادثة الدائرة، على وسْم #codegaze. لذا أدعوكم للانضمام إليّ في إيجاد عالم حيث تعمل فيه التكنولوجيا من أجل الجميع، ليس البعض منا فحسب، عالم حيث نقدّر التضمين و نركز على التغير الاجتماعي. شكرا لكم. (تصفيق) لكن لدي سؤال واحد: هل ستنضمون إلي في الكفاح؟ (ضحك) (تصفيق)
So to go towards incoding, we can start thinking about building platforms that can identify bias by collecting people's experiences like the ones I shared, but also auditing existing software. We can also start to create more inclusive training sets. Imagine a "Selfies for Inclusion" campaign where you and I can help developers test and create more inclusive training sets. And we can also start thinking more conscientiously about the social impact of the technology that we're developing. To get the incoding movement started, I've launched the Algorithmic Justice League, where anyone who cares about fairness can help fight the coded gaze. On codedgaze.com, you can report bias, request audits, become a tester and join the ongoing conversation, #codedgaze. So I invite you to join me in creating a world where technology works for all of us, not just some of us, a world where we value inclusion and center social change. Thank you. (Applause) But I have one question: Will you join me in the fight? (Laughter) (Applause)