Hello, I'm Joy, a poet of code, on a mission to stop an unseen force that's rising, a force that I called "the coded gaze," my term for algorithmic bias.
سلام ، من جوی هستم ، شاعر کد، در یک ماموریت برای متوقف کردن یک نیروی دیده نشده در حال ظهور، نیرویی که من آن را "نگاه رمزی" صدا می کنم اصطلاح من برای تبعیض الگوریتمی.
Algorithmic bias, like human bias, results in unfairness. However, algorithms, like viruses, can spread bias on a massive scale at a rapid pace. Algorithmic bias can also lead to exclusionary experiences and discriminatory practices. Let me show you what I mean.
تبعیض الگوریتمی، مانند تبعیض انسانی باعث نابرابری میشود. با این حال،الگوریتم ها، مانند ویروس ها می تونن در ابعاد عظیم و سرعت زیادی، تبعیض رو گسترش یابند تبعیض الگوریتمی همچنین میتونه باعث تجربیات انحصاری و اعمال تبعیض آمیز بشه. بذارین منظورمو بهتون نشون بدم.
(Video) Joy Buolamwini: Hi, camera. I've got a face. Can you see my face? No-glasses face? You can see her face. What about my face? I've got a mask. Can you see my mask?
[فیلم] جوی: سلام دوربین. من یک صورت دارم. میتونی صورتمو ببینی صورت بدون عینکم رو؟ تو میتونی صورتشو ببینی. صورت من رو چطور؟ من یک ماسک دارم. می تونی ماسک من رو ببینی؟
Joy Buolamwini: So how did this happen? Why am I sitting in front of a computer in a white mask, trying to be detected by a cheap webcam? Well, when I'm not fighting the coded gaze as a poet of code, I'm a graduate student at the MIT Media Lab, and there I have the opportunity to work on all sorts of whimsical projects, including the Aspire Mirror, a project I did so I could project digital masks onto my reflection. So in the morning, if I wanted to feel powerful, I could put on a lion. If I wanted to be uplifted, I might have a quote. So I used generic facial recognition software to build the system, but found it was really hard to test it unless I wore a white mask.
پس چطور این اتفاق افتاد؟ چرا من روبه روی یک کامپیوتر نشستم به همراه یک ماسک سفید و تلاش می کنم تا به وسیله یک وب کم ارزان قیمت شناخته شوم؟ خب وقتی که من با "نگاه رمزی" مبارزه نمی کنم به عنوان یک شاعر کد، من یک دانشجوی تحصیلات تکمیلی در آزمایشگاه رسانه MIT هستم من آنجا فرصت دارم تا روی انواع پروژه های جالب و خیالبافانه کار کنم مثل آینه آرزو پروژه ای که می تواند روی تصویر من ماسک بگذارد پس در صبح، اگر من بخوام احساس قدرت کنم، میتونم ماسک یک شیر رو بذارم. یا اگر بخواهم با روحیه باشم می توانم یک نقل قول ببینم. بنابراین از یک دستگاه تشخیص چهره استفاده کردم تا این سیستم رو بسازم، ولی فهمیدم که واقعا بدون ماسک سفید امکان تست این سیستم وجود نداره.
Unfortunately, I've run into this issue before. When I was an undergraduate at Georgia Tech studying computer science, I used to work on social robots, and one of my tasks was to get a robot to play peek-a-boo, a simple turn-taking game where partners cover their face and then uncover it saying, "Peek-a-boo!" The problem is, peek-a-boo doesn't really work if I can't see you, and my robot couldn't see me. But I borrowed my roommate's face to get the project done, submitted the assignment, and figured, you know what, somebody else will solve this problem.
متاسفانه قبلاً هم به این مشکل برخورد کرده بودم وقتی که در دانشگاه Gerogia Tech دانشجوی کارشناسی رشته علوم کامپیوتر بودم، روی رباتهای اجتماعی کار میکردم، و یکی از وظایفم این بود که به ربات بازی peek-a-boo رو یاد بدم یک بازی نوبتی ساده (مثل دالّی کردن) که تو اون به نوبت هرکی صورتشو میپوشونه و بعد پوشش رو بر میداره و میگه "peek-a-boo" مشکل اینه که، این بازی اگر من نتونم ببینمتون فایده نداره و ربات من نمیتونست من رو ببینه. ولی من صورت هم اتاقیم رو قرض گرفتم تا پروژم رو انجام بدم تمرین رو انجام دادم، و فهمیدم که، میدونی چیه؟ یکی دیگه این مشکل رو حل خواهد کرد.
Not too long after, I was in Hong Kong for an entrepreneurship competition. The organizers decided to take participants on a tour of local start-ups. One of the start-ups had a social robot, and they decided to do a demo. The demo worked on everybody until it got to me, and you can probably guess it. It couldn't detect my face. I asked the developers what was going on, and it turned out we had used the same generic facial recognition software. Halfway around the world, I learned that algorithmic bias can travel as quickly as it takes to download some files off of the internet.
مدت کوتاهی بعد از این ماجرا، من برای یک مسابقه کارآفرینی در هنگ کنگ بودم. برگزارکنندگان تصیمیم گرفتن که شرکت کننده ها رو به یک تور بازدید از استارتاپ های محلی ببرن یکی از استارتاپها یک ربات اجتماعی داشت، و تصمیم گرفتن که یک دمو برگزار کنن. دمو روی همه کار کرد تا اینکه نوبت من شد و احتمالا میتونین حدس بزنین. که ربات نتونست صورت من رو تشخیص بده. من از توسعهدهندگان ربات پرسیدم جریان چیه و معلوم شد که همون نرمافزار تشخیص چهرهای رو استفاده میکردن که ما میکردیم. اون طرف دنیا، من یاد گرفتم که تبعیض الگوریتمی میتونه خیلی سریع سفر کنه به سرعت دانلود چندتا فایل از اینترنت.
So what's going on? Why isn't my face being detected? Well, we have to look at how we give machines sight. Computer vision uses machine learning techniques to do facial recognition. So how this works is, you create a training set with examples of faces. This is a face. This is a face. This is not a face. And over time, you can teach a computer how to recognize other faces. However, if the training sets aren't really that diverse, any face that deviates too much from the established norm will be harder to detect, which is what was happening to me.
حالا جریان چیه؟ چرا صورت من تشخیص داده نشد؟ باید ببینیم که ما چطوری به ماشینها توانایی دیدن میدیم. بینایی کامپیوتر برای تشخیص چهره از تکنیکهای یادگیری ماشین استفاده میکنه روش کارش اینطوریه که یک مجموعه داده آموزشی از نمونه صورت ها درست میکنید. این یک صورته. این یک صورته. این صورت نیست. و به مرور زمان، میتونین به کامپیوتر یاد بدین که چطوری صورت هارو تشخیص بده. اما اگه مجموعه داده آموزشی واقعا متنوع نباشه. هر چهرهای که خیلی با معیار فرق کنه، تشخیصش سخت تر میشه که این برای من هم پیش اومد.
But don't worry -- there's some good news. Training sets don't just materialize out of nowhere. We actually can create them. So there's an opportunity to create full-spectrum training sets that reflect a richer portrait of humanity.
ولی نگران نباشین خبرهای خوبی برای شنیدن هستن مجموعه داده آموزشی همینطوری از ناکجا آباد نمیان. در واقع ما میسازیمشون. پس این فرصت برای ساخت مجموعه داده آموزشی متنوع و فراگیر وجود داره. که تصویر غنیتری از انسانیت رو نشون بدن.
Now you've seen in my examples how social robots was how I found out about exclusion with algorithmic bias. But algorithmic bias can also lead to discriminatory practices. Across the US, police departments are starting to use facial recognition software in their crime-fighting arsenal. Georgetown Law published a report showing that one in two adults in the US -- that's 117 million people -- have their faces in facial recognition networks. Police departments can currently look at these networks unregulated, using algorithms that have not been audited for accuracy. Yet we know facial recognition is not fail proof, and labeling faces consistently remains a challenge. You might have seen this on Facebook. My friends and I laugh all the time when we see other people mislabeled in our photos. But misidentifying a suspected criminal is no laughing matter, nor is breaching civil liberties.
شما در مثالهای من دیدین که چجوری رباتهای اجتماعی باعث کشف من درباره محرومیت به وسیله تبعیض الگوریتمی شدن. ولی تبعیض الگوریتمی میتونه باعث رفتارهای تبعیضآمیز بشه در سراسر ایالات متحده دپارتمانهای پلیس شروع به استفاده از نرمافزار تشخیص چهره کردن. و اون رو به تجهیزاتشون در جنگ با جرم اضافه کردن. Georgetown Law گزارشی رو منتشر کرده که نشون میده، در ایالت متحده از هر دو نفر یک نفر چیزی حدود ۱۱۷ میلیون نفر تصاویرشون در شبکههای تشخیص چهره قرار داره پلیس بدون نظارت مراجع مربوطه میتونه به این شبکهها نگاه کنه اونم با استفاده از الگوریتمهایی که صحتشون تایید نشده. با این وجود میدونیم که تشخیص چهره، عاری از خطا نیست و مشخص کردن چهرهها همیشه یک چالش باقی خواهد ماند. شاید شما اینو تو فیسبوک دیده باشین. من و دوستام همیشه ازینکه بقیه اشتباه تو عکسهامون مشخص شدن خندمون میگیره. ولی تشخیص اشتباه یک مظنون جنایی اصلا چیز خنده داری نیست. نقض آزادیهای مدنی هم همینطور.
Machine learning is being used for facial recognition, but it's also extending beyond the realm of computer vision. In her book, "Weapons of Math Destruction," data scientist Cathy O'Neil talks about the rising new WMDs -- widespread, mysterious and destructive algorithms that are increasingly being used to make decisions that impact more aspects of our lives. So who gets hired or fired? Do you get that loan? Do you get insurance? Are you admitted into the college you wanted to get into? Do you and I pay the same price for the same product purchased on the same platform?
برای تشخیص چهره، از یادگیری ماشین داره استفاده میشه ولی یادگیری ماشین فراتر از محدوده بینایی ماشین هست. در کتاب "سلاحهای ریاضی مخرب" Cathy O'Neil که یک داده شناس هست، درباره ظهور این سلاحهای جدید صحبت میکنه الگوریتمهایی مرموز، فراگیر و مخرب که به طور روز افزون در حال استفاده شدن در تصمیم گیریها هستند. و روی جنبه های بیشتری از زندگیهای ما تاثیر میذارن. مثلا کی استخدام شه کی اخراج؟ فلان وام رو بگیرین؟ بیمه بشین؟ در دانشگاهی که میخواهین برین پذیرفته شین؟ من و شما یک کالا رو از یک مکان با یک قیمت بخریم؟
Law enforcement is also starting to use machine learning for predictive policing. Some judges use machine-generated risk scores to determine how long an individual is going to spend in prison. So we really have to think about these decisions. Are they fair? And we've seen that algorithmic bias doesn't necessarily always lead to fair outcomes.
مجریان قانونی هم شروع به استفاده از یادگیری ماشین برای محافظت پیشگیرانه کرده اند. برخی از قاضی ها از مقدار ریسک محاسبه شده توسط ماشین برای مشخص کردن اینکه یک فرد چقدر در زندان باشد، استفاده میکنند. پس ما باید خیلی جدی درباره این تصمیمات فکر کنیم. آیا منصفانه هستن؟ و ما تبعیض الگوریتمی رو دیده ایم که لزوماً باعث نتایج منصفانه نمیشن.
So what can we do about it? Well, we can start thinking about how we create more inclusive code and employ inclusive coding practices. It really starts with people. So who codes matters. Are we creating full-spectrum teams with diverse individuals who can check each other's blind spots? On the technical side, how we code matters. Are we factoring in fairness as we're developing systems? And finally, why we code matters. We've used tools of computational creation to unlock immense wealth. We now have the opportunity to unlock even greater equality if we make social change a priority and not an afterthought. And so these are the three tenets that will make up the "incoding" movement. Who codes matters, how we code matters and why we code matters.
خب ما چه کار میتونیم بکنیم؟ ما میتونیم شروع کنیم به فکر کردن درباره ساختن کدهای غیر انحصاری تر و رفتارهای غیر انحصاری رو برای کد زدن استفاده کنیم. همه چی واقعاً از آدمها شروع میشه. اینکه چه کسی کُد میزنه مهمه. آیا ما داریم تیم هایی با طیف مختلفی از افراد درست میکنیم؟ که بتونن نقاط ضعف همدیگه رو بررسی کنن؟ در سمت تکنیکال، اینکه چطوری کد میزنیم مهمه آیا وقتی که یک سیستم رو توسعه میدیم برامون برابری یک شاخص هست؟ و در پایان، اینکه چرا کد میزنیم مهمه. ما از ابزارهای کامپیوتری برای بدست آوردن ثروت زیادی استفاده کرده ایم. حالا این فرصت رو داریم که حتی برابری بیشتری هم بدست بیاریم. به شرط اینکه تغییر اجتماعی رو یک اولویت بذاریم و به عنوان نه چیزی که حالا بعدا بهش فکر میکنیم پس برای جنبش "کد غیرانحصاری" این سه اصل رو داریم: اینکه کی کد میزنه مهمه، اینکه چطوری کد میزنیم مهمه و اینکه چرا کد میزنیم هم مهمه.
So to go towards incoding, we can start thinking about building platforms that can identify bias by collecting people's experiences like the ones I shared, but also auditing existing software. We can also start to create more inclusive training sets. Imagine a "Selfies for Inclusion" campaign where you and I can help developers test and create more inclusive training sets. And we can also start thinking more conscientiously about the social impact of the technology that we're developing.
پس برای اینکه به این سمت بریم، میتونیم شروع کنیم به فکر کردن درباره ساختن پلتفرمهایی که تبعیض رو تشخیص میدن استفاده از تجربیات افراد، مثل اونایی که من به اشتراک گذاشتم و البته نظارت و بازرسی بر نرم افزارها. همچنین میتونیم شروع کنیم به ساختن مجموعه دادههای آموزشی غیرانحصاری تر. کمپین "سلفی برای باهم بودن" رو تصور کنید که من و شما میتونیم به برنامهنویسها کمک کنیم تا مجموعه دادههای غیرانحصاریتری بسازن و تست کنن و میتونیم با وجدان بیشتری شروع به فکر کردن کنیم درباره مسائلی مثل تاثیر اجتماعی تکنولوژی که خودمون توسعش میدیم.
To get the incoding movement started, I've launched the Algorithmic Justice League, where anyone who cares about fairness can help fight the coded gaze. On codedgaze.com, you can report bias, request audits, become a tester and join the ongoing conversation, #codedgaze.
برای شروع این جنبش، من لیگ عدالت الگوریتمی رو راه اندازی کردم که هرکس که به برابری اهمیت میده میتونه برای مبارزه با نگاه رمزی مبارزه کنه شما میتونین در سایت codedgaze.com تبعیض ها رو گزارش بدین، درخواست بررسی کنین، یک تست کننده بشین و به گفتگو در جریان بپیوندید. codedgaze#
So I invite you to join me in creating a world where technology works for all of us, not just some of us, a world where we value inclusion and center social change.
من شما رو دعوت میکنم که به من ملحق شین برای ساخت جهانی که در آن، تکنولوژی برای همهی ما، نه فقط بعضیها کار کنه. جهانی که به غیر انحصاری بودن ارزش میدیم و تغییرات اجتماعی مورد توجهمون هست.
Thank you.
خیلی ممنون.
(Applause)
(تشویق حاضرین)
But I have one question: Will you join me in the fight?
ولی من یک سوال ازتون دارم: آیا به من در این مبارزه میپیوندید؟
(Laughter)
(خنده حاضرین)
(Applause)
(تشویق حاضرین)