So, I started my first job as a computer programmer in my very first year of college -- basically, as a teenager.
התחלתי את עבודתי הראשונה כמתכנתת מחשבים בשנתי הראשונה בקולג' - כשהייתי נערה מתבגרת.
Soon after I started working, writing software in a company, a manager who worked at the company came down to where I was, and he whispered to me, "Can he tell if I'm lying?" There was nobody else in the room.
זמן קצר לאחר שהתחלתי לעבוד, לכתוב תוכנות בחברה, מנהל שעבד בחברה נכנס לחדר בו הייתי, ולחש אליי, "האם הוא יכול לדעת אם אני משקר?" לא היה אף אחד נוסף בחדר.
"Can who tell if you're lying? And why are we whispering?"
"מי יכול לדעת אם אתה משקר? ולמה אנחנו לוחשים?"
The manager pointed at the computer in the room. "Can he tell if I'm lying?" Well, that manager was having an affair with the receptionist.
המנהל הצביע על המחשב בחדר. "האם הוא יכול לדעת אם אני משקר?" טוב, המנהל הזה ניהל רומן עם פקידת הקבלה.
(Laughter)
(צחוק)
And I was still a teenager. So I whisper-shouted back to him, "Yes, the computer can tell if you're lying."
ואני הייתי עדיין נערה מתבגרת. אז לחשתי-צעקתי אליו בחזרה, "כן, המחשב יכול לדעת אם אתה משקר."
(Laughter)
(צחוק)
Well, I laughed, but actually, the laugh's on me. Nowadays, there are computational systems that can suss out emotional states and even lying from processing human faces. Advertisers and even governments are very interested.
טוב, צחקתי, אבל בעצם, הבדיחה היא על חשבוני. בימינו, קיימות מערכות ממוחשבות שיכולות לקלוט מצבים רגשיים ואפילו שקר באמצעות עיבוד פרצופים אנושיים. מפרסמים ואפילו ממשלות מאד מתעניינות בזה.
I had become a computer programmer because I was one of those kids crazy about math and science. But somewhere along the line I'd learned about nuclear weapons, and I'd gotten really concerned with the ethics of science. I was troubled. However, because of family circumstances, I also needed to start working as soon as possible. So I thought to myself, hey, let me pick a technical field where I can get a job easily and where I don't have to deal with any troublesome questions of ethics. So I picked computers.
אני נהייתי מתכנתת מחשבים כי הייתי מהילדים האלה שמשוגעים על מתמטיקה ומדעים. אבל איפשהו במהלך הדרך למדתי על נשק גרעיני, והתחלתי להיות מאוד מודאגת בעניין האתיקה של המדע. הייתי מוטרדת. עם זאת, בגלל נסיבות משפחתיות, נאלצתי להתחיל לעבוד מוקדם ככל האפשר. אז חשבתי לעצמי, אני אבחר בתחום טכני בו אמצא עבודה בקלות ולא אצטרך להתעסק בשאלות אתיות מטרידות. אז בחרתי במחשבים.
(Laughter)
(צחוק)
Well, ha, ha, ha! All the laughs are on me. Nowadays, computer scientists are building platforms that control what a billion people see every day. They're developing cars that could decide who to run over. They're even building machines, weapons, that might kill human beings in war. It's ethics all the way down.
טוב, חה, חה, חה! כל הצחוק הוא על חשבוני. בימינו, מדעני מחשבים בונים פלטפורמות אשר שולטות במה שמיליארד אנשים יצפו בכל יום. הם מפתחים מכוניות שיכולות להחליט את מי לדרוס. הם אפילו בונים מכונות, כלי נשק, שיכולים להרוג בני אדם במלחמה. מדובר באתיקה לאורך כל הדרך.
Machine intelligence is here. We're now using computation to make all sort of decisions, but also new kinds of decisions. We're asking questions to computation that have no single right answers, that are subjective and open-ended and value-laden.
הבינה המלאכותית כבר כאן. אנו משתמשים כעת במחשוב כדי לקבל כל מיני החלטות. אבל גם החלטות מסוגים חדשים. אנחנו שואלים את המחשוב שאלות שיש להן יותר מתשובה נכונה אחת, שהן סוביקטיביות שאלות פתוחות ובעלות מטען ערכי.
We're asking questions like, "Who should the company hire?" "Which update from which friend should you be shown?" "Which convict is more likely to reoffend?" "Which news item or movie should be recommended to people?"
אנו שואלים שאלות כמו, "את מי צריכה החברה להעסיק?" "איזה עדכון מאיזה חבר אנחנו צריכים להראות?" "מיהו האסיר שסביר יותר שיפשע שוב?" "על איזה אייטם חדשותי או סרט כדאי להמליץ לאנשים?"
Look, yes, we've been using computers for a while, but this is different. This is a historical twist, because we cannot anchor computation for such subjective decisions the way we can anchor computation for flying airplanes, building bridges, going to the moon. Are airplanes safer? Did the bridge sway and fall? There, we have agreed-upon, fairly clear benchmarks, and we have laws of nature to guide us. We have no such anchors and benchmarks for decisions in messy human affairs.
תראו, כן, אנחנו משתמשים במחשבים כבר זמן רב, אבל זה שונה. זהו טוויסט היסטורי, כיוון שאנחנו לא יכולים להיעזר במחשוב בשאלות סובייקטיביות כאלו כפי שאנו נעזרים במחשוב להטסת מטוסים, לבניית גשרים, להגיע לירח. האם מטוסים בטוחים יותר? האם הגשר התנדנד ונפל? בדברים האלו הסכמנו על אמות מידה ברורות למדי, ויש לנו את חוקי הטבע שמדריכים אותנו. אין לנו עוגנים ואמות מידה כאלו עבור החלטות בעניינים אנושיים מסובכים.
To make things more complicated, our software is getting more powerful, but it's also getting less transparent and more complex. Recently, in the past decade, complex algorithms have made great strides. They can recognize human faces. They can decipher handwriting. They can detect credit card fraud and block spam and they can translate between languages. They can detect tumors in medical imaging. They can beat humans in chess and Go.
כדי לסבך את העניין עוד יותר, התוכנה שלנו הולכת ונעשית חזקה יותר, אבל היא גם נעשית פחות שקופה ויותר מורכבת. לאחרונה, בעשור החולף, אלגוריתמים מורכבים התקדמו מאד. הם יכולים לזהות פרצופים אנושיים. הם יכולים לפענח כתב יד. הם יכולים לזהות הונאת כרטיסי אשראי ולחסום דואר זבל והם יכולים לתרגם משפה לשפה. הם יכולים לזהות גידולים בהדמיה רפואית. הם יכולים לנצח בני אדם במשחקי שח-מט וגו.
Much of this progress comes from a method called "machine learning." Machine learning is different than traditional programming, where you give the computer detailed, exact, painstaking instructions. It's more like you take the system and you feed it lots of data, including unstructured data, like the kind we generate in our digital lives. And the system learns by churning through this data. And also, crucially, these systems don't operate under a single-answer logic. They don't produce a simple answer; it's more probabilistic: "This one is probably more like what you're looking for."
הרבה מההתקדמות הזו היא הודות לשיטה שנקראת "לימוד מכונה". לימוד מכונה הוא שונה מתכנות מסורתי, בו נותנים למחשב הוראות מפורטות, מדויקות, מדוקדקות. זה יותר כמו שמכניסים למערכת הרבה נתונים, כולל נתונים לא מובנים, כמו אלה שאנו מייצרים בחיינו הדיגיטליים. והמערכת לומדת, על-ידי ערבול כל הנתונים הללו. כמו כן, באופן מכריע, המערכות הללו לא פועלות על פי ההיגיון של תשובה-אחת. הן לא מייצרות תשובה פשוטה; זה יותר הסתברותי: "זו כנראה יותר מתאימה למה שאתה מחפש."
Now, the upside is: this method is really powerful. The head of Google's AI systems called it, "the unreasonable effectiveness of data." The downside is, we don't really understand what the system learned. In fact, that's its power. This is less like giving instructions to a computer; it's more like training a puppy-machine-creature we don't really understand or control. So this is our problem. It's a problem when this artificial intelligence system gets things wrong. It's also a problem when it gets things right, because we don't even know which is which when it's a subjective problem. We don't know what this thing is thinking.
היתרון הוא: השיטה הזו ממש חזקה. המנהל של מערכת AI של גוגל קרא לזה, "היעילות חסרת ההיגיון של נתונים." החיסרון הוא, שאנחנו לא באמת מבינים מה המערכת למדה. בעצם, זה הכוח שלה. זה פחות כמו לתת הוראות למחשב; זה יותר כמו לאמן יצור שהוא גור-מכונה שאנחנו לא באמת מבינים ושולטים בו. אז זו הבעיה שלנו. זו בעיה כאשר הבינה המלאכותית הזו טועה. זו גם בעיה כאשר היא אינה טועה, מכיוון שאנו לא יודעים מהו מה כאשר הבעיה היא סוביקטיבית. איננו יודעים מה הדבר הזה חושב.
So, consider a hiring algorithm -- a system used to hire people, using machine-learning systems. Such a system would have been trained on previous employees' data and instructed to find and hire people like the existing high performers in the company. Sounds good. I once attended a conference that brought together human resources managers and executives, high-level people, using such systems in hiring. They were super excited. They thought that this would make hiring more objective, less biased, and give women and minorities a better shot against biased human managers.
אז, חישבו על אלגוריתם של העסקת עובדים - מערכת שרגילה להעסיק אנשים, משתמשת במערכות לימוד-מכונה. מערכת כזו הייתה מאומנת על נתוני העסקה קודמים וניתנת לה הנחייה למצוא ולהעסיק אנשים בעלי ביצועים טובים כמו אלה שכבר נמצאים בחברה. נשמע טוב. פעם השתתפתי בכנס אשר חיבר יחד מנהלי משאבי אנוש, אנשים ברמה גבוהה, המשתמשים במערכות כאלה להעסקת עובדים. הם מאד התלהבו. הם חשבו שזה יהפוך את תהליך ההעסקה לאובייקטיבי יותר, פחות מוטה, ויעניק לנשים ומיעוטים סיכוי גבוה יותר כנגד מנהלים אנושיים משוחדים.
And look -- human hiring is biased. I know. I mean, in one of my early jobs as a programmer, my immediate manager would sometimes come down to where I was really early in the morning or really late in the afternoon, and she'd say, "Zeynep, let's go to lunch!" I'd be puzzled by the weird timing. It's 4pm. Lunch? I was broke, so free lunch. I always went. I later realized what was happening. My immediate managers had not confessed to their higher-ups that the programmer they hired for a serious job was a teen girl who wore jeans and sneakers to work. I was doing a good job, I just looked wrong and was the wrong age and gender.
ותראו - העסקה על-ידי בני-אדם היא משוחדת. אני יודעת. באחד ממקומות העבודה המוקדמים שלי כמתכנתת, המנהלת הישירה שלי הייתה באה לפעמים למקום בו הייתי ממש מוקדם בבוקר או ממש מאוחר אחר הצהריים, ואמרה לי, "זיינב, בואי נלך לאכול ארוחת צהרים!" הייתי מבולבלת מהתזמון המוזר. עכשיו 4 אחר הצהריים. ארוחת צהריים? הייתי מרוששת, אז ארוחת חינם. תמיד הלכתי. מאוחר יותר הבנתי מה קרה. מנהליי הישירים לא הודו בפני הממונים עליהם שהמתכנתת שהם העסיקו בתפקיד רציני היא נערה מתבגרת שבאה לעבודה בג'ינס וסניקרס. עשיתי עבודה טובה, רק לא נראיתי נכון והייתי בגיל ובמגדר הלא נכונים.
So hiring in a gender- and race-blind way certainly sounds good to me. But with these systems, it is more complicated, and here's why: Currently, computational systems can infer all sorts of things about you from your digital crumbs, even if you have not disclosed those things. They can infer your sexual orientation, your personality traits, your political leanings. They have predictive power with high levels of accuracy. Remember -- for things you haven't even disclosed. This is inference.
אז העסקת עובדים באופן עיוור למגדר וגזע בהחלט נשמע לי טוב. אבל עם המערכות האלו, זה יותר מורכב, וזו הסיבה: כעת, מערכות ממוחשבות יכולות להסיק כל מיני דברים עליכם מהפירורים הדיגיטליים שלכם, אפילו אם לא גילית את הדברים האלה. הם יכולות להסיק לגבי האוריינטציה המינית שלכם, תכונות האופי שלכם, הנטייה הפוליטית שלכם. יש להן יכולת ניבוי עם רמות דיוק גבוהות. זכרו - אפילו לגבי דברים שלא גיליתם. זוהי הסקה.
I have a friend who developed such computational systems to predict the likelihood of clinical or postpartum depression from social media data. The results are impressive. Her system can predict the likelihood of depression months before the onset of any symptoms -- months before. No symptoms, there's prediction. She hopes it will be used for early intervention. Great! But now put this in the context of hiring.
יש לי חברה שפיתחה מערכות ממוחשבות שיכולות לנבא את הסיכון לדיכאון קליני או דיכאון אחרי לידה מנתונים של מדיה חברתית. התוצאות הן מרשימות. המערכת שלה יכולה לנבא את הסיכון ללקות בדיכאון חודשים לפני הופעת סימפטומים כלשהם - חודשים לפני. אין סימפטומים, יש ניבוי. היא מקווה שישתמשו בזה להתערבות מוקדמת. נהדר! אבל עכשיו שימו את זה בהקשר של העסקה.
So at this human resources managers conference, I approached a high-level manager in a very large company, and I said to her, "Look, what if, unbeknownst to you, your system is weeding out people with high future likelihood of depression? They're not depressed now, just maybe in the future, more likely. What if it's weeding out women more likely to be pregnant in the next year or two but aren't pregnant now? What if it's hiring aggressive people because that's your workplace culture?" You can't tell this by looking at gender breakdowns. Those may be balanced. And since this is machine learning, not traditional coding, there is no variable there labeled "higher risk of depression," "higher risk of pregnancy," "aggressive guy scale." Not only do you not know what your system is selecting on, you don't even know where to begin to look. It's a black box. It has predictive power, but you don't understand it.
אז בכנס הזה של מנהלי משאבי אנוש, פניתי אל מנהלת בכירה בחברה גדולה מאד, ואמרתי לה, "תראי, מה אם, ללא ידיעתך, "המערכת שלך מנפה החוצה אנשים עם סיכון עתידי גבוה ללקות בדיכאון? "הם לא מדוכאים כעת, רק אולי בעתיד, בסיכון גבוה יותר. "מה אם היא מנפה החוצה נשים שסיכוייהן גדולים יותר להרות "בשנה או שנתיים הקרובות אך אינן בהריון כעת? "מה אם המערכת מעסיקה אנשים אגרסיביים מכיוון שזו התרבות בסביבת העבודה שלך?" אתם לא יכולים לדעת את זה על-ידי חלוקה למגדרים. אלו יכולים להיות מאוזנים. ומאחר וזאת למידת מכונה, לא שיטת קידוד מסורתית, אין שם משתנה שמוגדר "סיכון מוגבר לדיכאון", "סיכון מוגבר להריון," "סולם של אגרסיביות". לא רק שאינכם יודעים לפי מה המערכת שלכם בוחרת, אתם אפילו לא יודעים איפה להתחיל לחפש. זוהי קופסה שחורה. יש לה יכולת ניבוי, אבל אתם לא מבינים אותה.
"What safeguards," I asked, "do you have to make sure that your black box isn't doing something shady?" She looked at me as if I had just stepped on 10 puppy tails.
"אילו אמצעי ביטחון," שאלתי, "יש לך "להבטיח שהקופסה השחורה שלך לא עושה משהו מפוקפק?" היא הסתכלה עלי כאילו שדרכתי על 10 זנבות של כלבלבים.
(Laughter)
(צחוק)
She stared at me and she said, "I don't want to hear another word about this." And she turned around and walked away. Mind you -- she wasn't rude. It was clearly: what I don't know isn't my problem, go away, death stare.
היא נעצה בי מבט ואמרה, "אני לא רוצה לשמוע מילה נוספת על זה." והיא הסתובבה והלכה משם. שימו לב - היא לא הייתה גסת רוח. זה היה בבירור: מה שאני לא יודעת הוא לא הבעיה שלי, לכי מכאן, מבט מקפיא.
(Laughter)
(צחוק)
Look, such a system may even be less biased than human managers in some ways. And it could make monetary sense. But it could also lead to a steady but stealthy shutting out of the job market of people with higher risk of depression. Is this the kind of society we want to build, without even knowing we've done this, because we turned decision-making to machines we don't totally understand?
תראו, מערכת כזו יכולה אפילו להיות פחות מוטה מאשר מנהלים אנושיים באופנים מסוימים. והיא יכולה להיות הגיונית מבחינה כלכלית. אבל היא גם יכולה להוביל לסגירה מתמשכת וחמקנית של שוק העבודה בפני אנשים עם סיכון גבוה ללקות בדיכאון. האם זו החברה שאנחנו רוצים לבנות, מבלי שנדע אפילו שאנחנו עושים זאת, בגלל שהשארנו את קבלת ההחלטות בידי מכונות שאנחנו לא מבינים עד הסוף?
Another problem is this: these systems are often trained on data generated by our actions, human imprints. Well, they could just be reflecting our biases, and these systems could be picking up on our biases and amplifying them and showing them back to us, while we're telling ourselves, "We're just doing objective, neutral computation."
בעיה נוספת היא זו: המערכות האלו לעיתים קרובות מכוונות לנתונים המיוצרים על ידי הפעולות שלנו, חותם אנושי. אם כך, הן יכולות פשוט לשקף את ההעדפות שלנו. והמערכות האלו יכולות להיטפל להעדפות שלנו ולהגביר אותן ולשקף לנו אותן בחזרה, בזמן שאנחנו אומרים לעצמנו, "אנחנו עוסקים במחשוב אובייקטיבי וניטרלי."
Researchers found that on Google, women are less likely than men to be shown job ads for high-paying jobs. And searching for African-American names is more likely to bring up ads suggesting criminal history, even when there is none. Such hidden biases and black-box algorithms that researchers uncover sometimes but sometimes we don't know, can have life-altering consequences.
חוקרים מצאו שבגוגל, לנשים יש סיכוי נמוך יותר מאשר לגברים לקבל מודעות דרושים לתפקידים עם שכר גבוה. וחיפוש של שמות אפריקנים-אמריקנים יעלה בסיכוי גבוה יותר פרסומות המרמזות על עבר פלילי, אפילו כאשר אין כזה. להטיות חבויות כאלה ואלגוריתמים של קופסא שחורה שחוקרים מגלים לפעמים אבל לפעמים איננו יודעים עליהם, יכולות להיות השלכות משנות חיים.
In Wisconsin, a defendant was sentenced to six years in prison for evading the police. You may not know this, but algorithms are increasingly used in parole and sentencing decisions. He wanted to know: How is this score calculated? It's a commercial black box. The company refused to have its algorithm be challenged in open court. But ProPublica, an investigative nonprofit, audited that very algorithm with what public data they could find, and found that its outcomes were biased and its predictive power was dismal, barely better than chance, and it was wrongly labeling black defendants as future criminals at twice the rate of white defendants.
בוויסקונסין, נאשם נשפט לשש שנים בכלא על התחמקות מהמשטרה. יכול להיות שאתם לא יודעים זאת, אך השימוש באלגוריתמים הולך וגובר בהחלטות על ענישה וחנינה. הוא רצה לדעת: איך המספר הזה חושב? זו היא קופסה שחורה מסחרית. החברה סירבה לאפשר לאתגר את האלגוריתם שלה באולם בית המשפט אבל פרו-פבליקה, חברת חקירות ללא מטרות רווח, בדקה את האלגוריתם הזה עם כל הנתונים הציבוריים שיכלו למצוא, וגילו שהתוצאות היו מוטות וכוח הניבוי שלו היה מפחיד, בקושי יותר טוב ממזל, והוא הגדיר באופן מוטעה נאשם שחור כפושע עתידי בשיעור כפול מאשר נאשם לבן.
So, consider this case: This woman was late picking up her godsister from a school in Broward County, Florida, running down the street with a friend of hers. They spotted an unlocked kid's bike and a scooter on a porch and foolishly jumped on it. As they were speeding off, a woman came out and said, "Hey! That's my kid's bike!" They dropped it, they walked away, but they were arrested.
אז, בחנו את המקרה הבא: האישה הזו איחרה לאסוף את אחותה החורגת מבית ספר במחוז ברווארד, בפלורידה, והיא רצה ברחוב עם חברתה. הן הבחינו באופני ילדים ובקורקינט שהיו לא קשורים במרפסת ובטיפשות קפצו עליהם. בעוד הן דוהרות, אישה הגיחה ואמרה, " הי, אלו האופניים של הילד שלי!" הן זרקו אותם, הן הלכו משם, אבל הן נעצרו.
She was wrong, she was foolish, but she was also just 18. She had a couple of juvenile misdemeanors. Meanwhile, that man had been arrested for shoplifting in Home Depot -- 85 dollars' worth of stuff, a similar petty crime. But he had two prior armed robbery convictions. But the algorithm scored her as high risk, and not him. Two years later, ProPublica found that she had not reoffended. It was just hard to get a job for her with her record. He, on the other hand, did reoffend and is now serving an eight-year prison term for a later crime. Clearly, we need to audit our black boxes and not have them have this kind of unchecked power.
היא טעתה, היא עשתה שטות, אבל היא גם הייתה רק בת 18. היו לה שתי עברות נעורים קודמות. בינתיים, האיש הזה נעצר על גניבה מחנות בהום דיפו - דברים בשווי של 85 דולר, פשע חסר חשיבות דומה. אבל היו לו שתי הרשעות קודמות על שוד מזויין. אבל האלגוריתם חישב אותה בסיכון גבוה, ולא אותו. שנתיים לאחר מכן, פרו-פבליקה מצאה שהיא לא פשעה שוב. רק היה לה קשה למצוא עבודה עם העבר שלה. הוא, לעומת זאת, כן פשע שוב וכעת הוא מרצה עונש של שמונה שנות מאסר בגלל פשע מאוחר יותר. בברור, עלינו לבקר את הקופסאות השחורות שלנו ולא לאפשר להן סוג כזה של כוח בלתי בדוק.
(Applause)
(מחיאות כפיים)
Audits are great and important, but they don't solve all our problems. Take Facebook's powerful news feed algorithm -- you know, the one that ranks everything and decides what to show you from all the friends and pages you follow. Should you be shown another baby picture?
ביקורות הן נהדרות וחשובות אך הן לא פותרות את כל בעיותינו. קחו למשל את האלגוריתם החזק של הפיד החדשותי של פייסבוק - אתם יודעים, זה שמדרג כל דבר ומחליט מה להראות לכם מכל החברים והדפים שאחריהם אתם עוקבים. האם צריך להראות לכם תמונה אחרת של תינוק?
(Laughter)
(צחוק)
A sullen note from an acquaintance? An important but difficult news item? There's no right answer. Facebook optimizes for engagement on the site: likes, shares, comments.
הערה זועפת מאיזה מכר? פריט חדשותי חשוב אך קשה לצפייה? אין כאן תשובה נכונה. פייסבוק מְיַטֶב לצורך מעורבות באתר: לייקים, שיתופים, תגובות.
In August of 2014, protests broke out in Ferguson, Missouri, after the killing of an African-American teenager by a white police officer, under murky circumstances. The news of the protests was all over my algorithmically unfiltered Twitter feed, but nowhere on my Facebook. Was it my Facebook friends? I disabled Facebook's algorithm, which is hard because Facebook keeps wanting to make you come under the algorithm's control, and saw that my friends were talking about it. It's just that the algorithm wasn't showing it to me. I researched this and found this was a widespread problem.
באוגוסט 2014, פרצה מחאה בפרגוסון, מיזורי לאחר הריגתו של נער אפריקני-אמריקני על-ידי שוטר לבן, בנסיבות חשודות. החדשות בנוגע למחאה הופיעו בגדול בדף הטוויטר שלי שהוא ללא סינון אלגוריתמי, אך לא הופיעו כלל בדף הפייסבוק שלי. האם היו אלה חבריי בפייסבוק? ניטרלתי את האלגוריתם של הפייסבוק, דבר שקשה לעשות כי פייסבוק רוצה שתהיו כל הזמן תחת שליטת האלגוריתם, וראיתי שחבריי דיברו על זה. רק שהאלגוריתם לא הראה לי את זה. בדקתי את זה ומצאתי שזו הייתה בעיה נרחבת.
The story of Ferguson wasn't algorithm-friendly. It's not "likable." Who's going to click on "like?" It's not even easy to comment on. Without likes and comments, the algorithm was likely showing it to even fewer people, so we didn't get to see this. Instead, that week, Facebook's algorithm highlighted this, which is the ALS Ice Bucket Challenge. Worthy cause; dump ice water, donate to charity, fine. But it was super algorithm-friendly. The machine made this decision for us. A very important but difficult conversation might have been smothered, had Facebook been the only channel.
הסיפור מפרגוסון לא היה ידידותי לאלגוריתם. הוא לא "אהוב". מי יסמן לזה "לייק"? אפילו לא קל להגיב עליו. ללא לייקים ותגובות, סביר שהאלגוריתם הראה אותו אפילו לפחות אנשים, אז לא זכינו לראות את זה. במקומו, באותו שבוע, האלגוריתם של פייסבוק הדגיש את זה, זהו אתגר דלי הקרח של ALS. מטרה טובה; שפוך דלי קרח, תרום כסף, יופי. אבל הוא היה ידידותי ביותר לאלגוריתם. המכונה קיבלה את ההחלטה הזו עבורנו. שיחה חשובה מאד אך קשה אולי הייתה מושתקת, אם פייסבוק היה הערוץ היחיד.
Now, finally, these systems can also be wrong in ways that don't resemble human systems. Do you guys remember Watson, IBM's machine-intelligence system that wiped the floor with human contestants on Jeopardy? It was a great player. But then, for Final Jeopardy, Watson was asked this question: "Its largest airport is named for a World War II hero, its second-largest for a World War II battle."
כעת, לבסוף, המערכות האלה גם יכולות לטעות בצורות שאינן דומות למערכות אנושיות. האם אתם זוכרים את ווטסון, מערכת הבינה המלאכותית של IBM שטאטאה את הרצפה עם מתחרה אנושי במשחק "סכנה"? הוא היה שחקן נהדר. אבל אז, במשימה האחרונה, ווטסון נשאל את השאלה הבאה: "שמו של שדה התעופה הכי גדול שלו נקרא ע"ש גיבור מלחמת העולם ה-2, השני הכי גדול על שם קרב במלחמת העולם ה-II."
(Hums Final Jeopardy music)
(מזמזת את הנעימה של השלב הסופי במשחק)
Chicago. The two humans got it right. Watson, on the other hand, answered "Toronto" -- for a US city category! The impressive system also made an error that a human would never make, a second-grader wouldn't make.
שיקגו. שני האנשים ענו נכון. ווטסון, לעומת זאת, ענה "טורונטו" - בקטגוריה של ערים בארצות הברית! המערכת המרשימה גם עשתה טעות שבן אנוש לעולם לא היה עושה, שתלמיד כיתה ב' לא היה עושה.
Our machine intelligence can fail in ways that don't fit error patterns of humans, in ways we won't expect and be prepared for. It'd be lousy not to get a job one is qualified for, but it would triple suck if it was because of stack overflow in some subroutine.
הבינה המלאכותית שלנו יכולה להכשל בדרכים שאינן תואמות לדפוסי טעויות אנושיות, בדרכים שאנו לא מצפים להן ולא מוכנים להן. זה יהיה מחורבן לא לקבל עבודה שאתה מוכשר אליה, אבל זה יעצבן פי שלוש אם זה יהיה בגלל גלישת מחסנית באיזו פונקציה תכנותית.
(Laughter)
(צחוק)
In May of 2010, a flash crash on Wall Street fueled by a feedback loop in Wall Street's "sell" algorithm wiped a trillion dollars of value in 36 minutes. I don't even want to think what "error" means in the context of lethal autonomous weapons.
במאי 2010, התרסקות בזק בוול סטריט שהתגברה עקב תגובה חוזרת ונשנית של אלגוריתם ה"מכירה" של וול סטריט מחקה ערך של טריליון דולר ב- 36 דקות. אני אפילו לא רוצה לחשוב מה המשמעות של "טעות" בהקשר של נשק קטלני אוטונומי.
So yes, humans have always made biases. Decision makers and gatekeepers, in courts, in news, in war ... they make mistakes; but that's exactly my point. We cannot escape these difficult questions. We cannot outsource our responsibilities to machines.
אז כן, אנשים מאז ומתמיד עשו הטיות. מקבלי החלטות ושומרי הסף, בבתי משפט, בחדשות, במלחמה... הם עושים טעויות: אבל זו בדיוק הטענה שלי. אנחנו לא יכולים לברוח מהשאלות הקשות הללו. איננו יכולים להעביר את האחריות שלנו למכונות.
(Applause)
(מחיאות כפים)
Artificial intelligence does not give us a "Get out of ethics free" card.
הבינה המלאכותית לא נותנת לנו אישור להשתחרר מהאתיקה.
Data scientist Fred Benenson calls this math-washing. We need the opposite. We need to cultivate algorithm suspicion, scrutiny and investigation. We need to make sure we have algorithmic accountability, auditing and meaningful transparency. We need to accept that bringing math and computation to messy, value-laden human affairs does not bring objectivity; rather, the complexity of human affairs invades the algorithms. Yes, we can and we should use computation to help us make better decisions. But we have to own up to our moral responsibility to judgment, and use algorithms within that framework, not as a means to abdicate and outsource our responsibilities to one another as human to human.
מדען הנתונים פרד בנסון מכנה זאת "שטיפה-מתמטית". אנחנו זקוקים לדבר ההפוך. עלינו לפתח אלגוריתם לחשדנות, בחינה מדוקדקת וחקירה. עלינו להבטיח שיש לנו נטילת אחריות אלגוריתמית, ביקורות ושקיפות משמעותית. עלינו לקבל שהכנסת מתמטיקה ומחשוב אל עניינים אנושיים מסובכים, עמוסי ערך לא מביאה אוביקטיביות; אלא, המורכבות של עניינים אנושיים חודרת אל האלגוריתמים. כן, אנו יכולים וצריכים להשתמש במחשוב כדי לעזור לנו לקבל החלטות טובות יותר. אך עלינו לקחת בעלות על האחריות המוסרית והשיפוטיות שלנו, ולהשתמש באלגוריתמים במסגרת הזו, לא כאמצעי להתפטר או להעביר את האחריות שלנו מאחד לשני כמו מאדם לאדם.
Machine intelligence is here. That means we must hold on ever tighter to human values and human ethics.
הבינה המלאכותית כבר כאן. זה אומר שעלינו לשמור יותר מאי פעם על ערכים אנושיים ואתיקה אנושית.
Thank you.
תודה רבה.
(Applause)
(מחיאות כפיים)