Hello, I'm Joy, a poet of code, on a mission to stop an unseen force that's rising, a force that I called "the coded gaze," my term for algorithmic bias.
שלום, שמי ג׳וי, ואני משוררת של קוד, במשימה לעצור כח בלתי נראה שנמצא בעליה, כח שקראתי לו ״בהייה קודית״, ההגדרה שלי להטייה אלגוריתמית.
Algorithmic bias, like human bias, results in unfairness. However, algorithms, like viruses, can spread bias on a massive scale at a rapid pace. Algorithmic bias can also lead to exclusionary experiences and discriminatory practices. Let me show you what I mean.
הטייה אלגוריתמית, בדומה להטייה אנושית, גורמת לחוסר הוגנות. אבל אלגוריתמים, כמו וירוסים, יכולים להפיץ את ההטייה בצורה נרחבת ובקצב גבוה. הטייה אלגוריתמית יכולה להוביל לחוויות פסילה ולפרקטיקות מפלות. בואו ואראה לכם למה אני מתכוונת.
(Video) Joy Buolamwini: Hi, camera. I've got a face. Can you see my face? No-glasses face? You can see her face. What about my face? I've got a mask. Can you see my mask?
שלום מצלמה, יש לי פנים. את מזהה את הפנים שלי? אולי בלי משקפיים? את רואה את הפנים שלה. מה לגבי הפנים שלי? יש לי מסכה. את רואה אותה?
Joy Buolamwini: So how did this happen? Why am I sitting in front of a computer in a white mask, trying to be detected by a cheap webcam? Well, when I'm not fighting the coded gaze as a poet of code, I'm a graduate student at the MIT Media Lab, and there I have the opportunity to work on all sorts of whimsical projects, including the Aspire Mirror, a project I did so I could project digital masks onto my reflection. So in the morning, if I wanted to feel powerful, I could put on a lion. If I wanted to be uplifted, I might have a quote. So I used generic facial recognition software to build the system, but found it was really hard to test it unless I wore a white mask.
אז איך זה קרה? למה אני יושבת לפני המחשב במסכה לבנה, מנסה להיות מזוהה על ידי מצלמת רשת זולה? ובכן, כשאני לא נלחמת בבהייה הקודית כמשוררת של קוד, אני סטודנטית לתואר שני במעבדת המדיה של MIT, ושם יש לי הזדמנות לעבוד על כל מיני פרוייקטים גחמניים, כולל ״המראה המעצימה״, פרוייקט שעשיתי כדי לשים מסכה דיגיטלית על ההשתקפות שלי. כך שבבוקר, אם רציתי להרגיש עוצמתית, יכולתי לשים מסיכה של אריה. אם רציתי להיות מעודדת, יכולתי לשים ציטוט. ובכן, השתמשתי בתוכנת זיהוי פנים כללית כדי לבנות את המערכת, אבל גיליתי שקשה לבדוק את המערכת בלי שאלבש מסיכה לבנה.
Unfortunately, I've run into this issue before. When I was an undergraduate at Georgia Tech studying computer science, I used to work on social robots, and one of my tasks was to get a robot to play peek-a-boo, a simple turn-taking game where partners cover their face and then uncover it saying, "Peek-a-boo!" The problem is, peek-a-boo doesn't really work if I can't see you, and my robot couldn't see me. But I borrowed my roommate's face to get the project done, submitted the assignment, and figured, you know what, somebody else will solve this problem.
לרוע המזל, נתקלתי בבעיה זו גם בעבר. כשלמדתי לתואר ראשון במדעי המחשב במכון הטכנולוגי בג׳ורג׳יה, עבדתי על ״רובוטים חברתיים״, ואחת מהמשימות היתה ללמד רובוט לשחק מחבואים (Peek-a-boo), משחק פשוט מבוסס תורות שבו השחקנים מכסים את פניהם, וכשהם מגלים אותם הם אומרים ״Peek-a-boo״! הבעייה היא שהמשחק לא עובד אם אי אפשר לראות אותך. והרובוט שלי לא יכל לראות אותי. אבל השאלתי את פניה של השותפה לדירה שלי כדי להשלים את הפרוייקט, הגשתי את המשימה, והנחתי שמישהו אחר כבר יפתור את הבעייה הזאת.
Not too long after, I was in Hong Kong for an entrepreneurship competition. The organizers decided to take participants on a tour of local start-ups. One of the start-ups had a social robot, and they decided to do a demo. The demo worked on everybody until it got to me, and you can probably guess it. It couldn't detect my face. I asked the developers what was going on, and it turned out we had used the same generic facial recognition software. Halfway around the world, I learned that algorithmic bias can travel as quickly as it takes to download some files off of the internet.
כעבור זמן לא רב, הייתי בהונג קונג כמשתתפת בתחרות יזמות. המארגנים החליטו לקחת את המשתתפים לסיור בין סטארטאפים מקומיים. באחד הסטארטאפים היה ״רובוט חברתי״, והם החליטו לערוך הדגמה. ההדגמה עבדה על כולם עד שהגיעו אלי, ואתם בטח כבר מנחשים, הרובוט לא הצליח לזהות את פניי. שאלתי את המפתחים למה זה קורה, ומסתבר שהם השתמשו באותה תוכנה כללית לזיהוי פנים. בצד השני של העולם, למדתי שהטייה אלגוריתמית יכולה לנוע באותה מהירות שלוקח להוריד כמה קבצים מהאינטרנט.
So what's going on? Why isn't my face being detected? Well, we have to look at how we give machines sight. Computer vision uses machine learning techniques to do facial recognition. So how this works is, you create a training set with examples of faces. This is a face. This is a face. This is not a face. And over time, you can teach a computer how to recognize other faces. However, if the training sets aren't really that diverse, any face that deviates too much from the established norm will be harder to detect, which is what was happening to me.
אז מה קורה פה? למה הפנים שלי לא מזוהות? ובכן, עלינו להבין כיצד אנו נותנים למכונות את היכולת לראות. ראייה ממוחשבת משתמשת בטכניקות של למידת מכונה כדי לבצע זיהוי פנים. הדרך בה זה עובד היא שאתה מכין קבוצת אימון של דוגמאות של פנים. אלו פנים. אלו פנים. אלו לא פנים. ואז, לאחר זמן מה, אתה יכול ללמד את המחשב לזהות פנים אחרות. אבל, אם קבוצות האימון אינן באמת מגוונות מספיק אז כל צורת פנים שסוטה יותר מדי מהנורמה תהיה קשה לזיהוי, וזה מה שקרה לי.
But don't worry -- there's some good news. Training sets don't just materialize out of nowhere. We actually can create them. So there's an opportunity to create full-spectrum training sets that reflect a richer portrait of humanity.
אבל אל דאגה - יש לי חדשות טובות. קבוצות אימון אינן נוצרות משום מקום. אנחנו למעשה יכולים ליצור אותן. כלומר יש לנו הזדמנות ליצור קבוצות אימון שמכסות את כל הספקטרום ומייצגות דיוקן עשיר יותר של האנושות.
Now you've seen in my examples how social robots was how I found out about exclusion with algorithmic bias. But algorithmic bias can also lead to discriminatory practices. Across the US, police departments are starting to use facial recognition software in their crime-fighting arsenal. Georgetown Law published a report showing that one in two adults in the US -- that's 117 million people -- have their faces in facial recognition networks. Police departments can currently look at these networks unregulated, using algorithms that have not been audited for accuracy. Yet we know facial recognition is not fail proof, and labeling faces consistently remains a challenge. You might have seen this on Facebook. My friends and I laugh all the time when we see other people mislabeled in our photos. But misidentifying a suspected criminal is no laughing matter, nor is breaching civil liberties.
כעת ראיתם בדוגמאות שהבאתי כיצד בעזרת רובוטים חברתיים גיליתי על הטייה אלגוריתמית שגורמת לפסילה. אבל הטייה אלגוריתמית יכולה להוביל גם לאפלייה. לאורך כל ארצות הברית מחלקות משטרה מתחילות להשתמש בתוכנה לזיהוי פנים כחלק מהאמצעים ללחימה פשע. האוניברסיטה ג'ורג'טאון לאו פרסמה דו״ח שהפנים של אחד מכל שני בוגרים בארה״ב - כלומר 117 מליון אנשים נמצאות ברשתות של זיהוי פנים. מחלקות משטרה משתמשות כיום ברשתות אלו בצורה לא מוסדרת, ומשתמשות באלגוריתמים שדיוקם לא מוודא. ועדיין, אנו יודעים שזיהוי פנים אינו חף מטעויות, ותיוג פנים בעקביות נשאר אתגר. אולי ראיתם זאת בפייסבוק. חבריי ואני צוחקים כל הזמן כשאנו רואים אנשים אחרים מתוייגים בטעות בתמונות שלנו. אבל זיהוי מוטעה של חשוד בפשע אינו נושא לצחוק, כמו גם פריצת זכויות אזרח.
Machine learning is being used for facial recognition, but it's also extending beyond the realm of computer vision. In her book, "Weapons of Math Destruction," data scientist Cathy O'Neil talks about the rising new WMDs -- widespread, mysterious and destructive algorithms that are increasingly being used to make decisions that impact more aspects of our lives. So who gets hired or fired? Do you get that loan? Do you get insurance? Are you admitted into the college you wanted to get into? Do you and I pay the same price for the same product purchased on the same platform?
לימוד מכונה נמצא בשימוש של זיהוי פנים, אך זה גם מתרחב מעבר לתחום של ראייה ממוחשבת. בספרה ״נשקים של השמדה מתמטית״, מדענית הנתונים קאת׳י אוניל מדברת על העלייה של אלגוריתמים מסוג WMDs - אלגוריתמים נפוצים, מסתוריים והרסניים שנמצאים בשימוש גובר למטרת קבלת החלטות שמשפיעות על עוד ועוד היבטים של חיינו. מי מתקבל לעבודה ומי מפוטר? האם תקבל את ההלוואה? האם תקבל את הביטוח? האם אתה מתקבל לקולג׳ שרצית? האם אתה ואני משלמים אותו מחיר עבור אותו מוצר שנקנה באותה פלטפורמה?
Law enforcement is also starting to use machine learning for predictive policing. Some judges use machine-generated risk scores to determine how long an individual is going to spend in prison. So we really have to think about these decisions. Are they fair? And we've seen that algorithmic bias doesn't necessarily always lead to fair outcomes.
יחידות לאכיפת החוק גם מתחילות להשתמש בלימוד מכונה עבור שיטור תחזיתי. יש שופטים שמשתמשים בציוני סיכון שהופקו ע״י מכונה כדי להחליט כמה זמן אדם יבלה בכלא. לכן עלינו לחשוב באמת על החלטות אלו. האם הן הוגנות? וכבר ראינו שהטייה אלגורימית לא בהכרח מביאה לתוצאות הוגנות.
So what can we do about it? Well, we can start thinking about how we create more inclusive code and employ inclusive coding practices. It really starts with people. So who codes matters. Are we creating full-spectrum teams with diverse individuals who can check each other's blind spots? On the technical side, how we code matters. Are we factoring in fairness as we're developing systems? And finally, why we code matters. We've used tools of computational creation to unlock immense wealth. We now have the opportunity to unlock even greater equality if we make social change a priority and not an afterthought. And so these are the three tenets that will make up the "incoding" movement. Who codes matters, how we code matters and why we code matters.
אז מה ניתן לעשות בקשר לזה? ובכן, אנחנו יכולים להתחיל לחשוב איך ניצור קוד יותר מכליל ולממש שיטות קידוד מכלילות. זה באמת מתחיל באנשים. כך שזה משנה מי מקודד. האם אנחנו בונים צוותים מכל הספקטרום עם אנשים שונים? שיכולים לבדוק את האזורים המתים של האחרים? בצד הטכני, איך אנחנו מקודדים משנה גם. האם אנחנו משקללים גם הוגנות כשאנו מפתחים מערכות? ולבסוף, למה אנחנו מקודדים גם משנה. השתמשנו בכלים ממוחשבים לפתוח עושר עצום. יש לנו הזדמנות כעת לפתוח אפילו יותר שוויון אם ניתן עדיפות לשינוי חברתי ולא רק לאחר מעשה. וכך אלו שלושת העיקרים של תנועת ״הקוד המכליל״. מי שמקודד משנה, איך מקודדים משנה ולמה אנחנו מקודדים משנה.
So to go towards incoding, we can start thinking about building platforms that can identify bias by collecting people's experiences like the ones I shared, but also auditing existing software. We can also start to create more inclusive training sets. Imagine a "Selfies for Inclusion" campaign where you and I can help developers test and create more inclusive training sets. And we can also start thinking more conscientiously about the social impact of the technology that we're developing.
כדי להתקדם לעבר הקוד המכליל אנחנו יכולים להתחיל לחשוב על בניית פלטפורמות שיכולות לזהות הטייה על ידי איסוף חוויות מאנשים, כפי שאני שיתפתי, אך גם על ידי ביקורת של תוכנה קיימת. אנו יכולים גם ליצור קבוצות אימון שלמות יותר. דמיינו קמפיין ״סלפי לשלמות״ שבו אתם ואני יכולים לעזור למפתחים לבדוק וליצור קבוצות אימון שלמות יותר. אנו יכולים גם להתחיל לחשוב בצורה מודעת יותר על ההשפעה החברתית של הטכנולוגיה אותה אנו מפתחים.
To get the incoding movement started, I've launched the Algorithmic Justice League, where anyone who cares about fairness can help fight the coded gaze. On codedgaze.com, you can report bias, request audits, become a tester and join the ongoing conversation, #codedgaze.
כדי להתחיל את תנועת ״הקוד המכליל״, השקתי את הליגה לצדק אלגוריתמי, שבה כל אחד שאכפת לו מצדק יכול להילחם בבהייה קודית. באתר codedgaze.com אתם יכולים לדווח על הטייה, לבקש ביקורת, להיות בודק ולהצטרף לשיחה על הנושא, #codegaze.
So I invite you to join me in creating a world where technology works for all of us, not just some of us, a world where we value inclusion and center social change.
אז אני מזמינה אתכם להצטרף אלי ביצירת עולם שבו הטכנולוגיה עובדת עבור כולנו, לא רק עבור חלקינו, עולם שבו אנו מעריכים שלמות ומתרכזים בשינוי חברתי.
Thank you.
תודה לכם.
(Applause)
(מחיאות כפיים)
But I have one question: Will you join me in the fight?
יש לי רק שאלה אחת: תצטרפו אלי למאבק?
(Laughter)
(צחוק)
(Applause)
(מחיאות כפיים)