لقد بدأت عملي الأول كمبرمجة كمبيوتر في أول سنة جامعة لي-- بشكل أساسي، كمراهقة.
So, I started my first job as a computer programmer in my very first year of college -- basically, as a teenager.
بعدما بدأت العمل بوقت قصير، بكتابة البرمجيات في الشركة، آتى مدير في الشركة إلى حيث كنت أعمل، و همس لي، "هل يستطيع أن يُخبر فيما إذا كنتُ أكذب؟" لم يكن هناك أحد آخر في الغرفة.
Soon after I started working, writing software in a company, a manager who worked at the company came down to where I was, and he whispered to me, "Can he tell if I'm lying?" There was nobody else in the room.
"من الذي سيُخبرإذا كنتَ تكذب؟ ولماذا نحن نهمس؟"
"Can who tell if you're lying? And why are we whispering?"
أشار المدير إلى الكمبيوترالموجود في الغرفة. "هل يستطيع أن يُخبر فيما إذا كنتُ أكذب؟" حسناً، المدير كان على علاقة مع موظفة الاستقبال.
The manager pointed at the computer in the room. "Can he tell if I'm lying?" Well, that manager was having an affair with the receptionist.
(ضحك)
(Laughter)
وكنت لا أزال مراهقة. ولذالك همست له بصوت مرتفع، "نعم الكمبيوتر يستطيع أن يُخبر فيما إذا كنتَ تكذب."
And I was still a teenager. So I whisper-shouted back to him, "Yes, the computer can tell if you're lying."
(ضحك)
(Laughter)
حسنا، لقد ضحكت، ولكن في الحقيقة ضحكت على نفسي. هذه الأيام، يوجد هنالك أنظمة حسابية من الممكن أن نعمل عليها على الحالات العاطفية وحتى الكذب من معالجة وجوه الناس. العاملون في مجال الإعلان وحتى الحكومات مهتمون جداً.
Well, I laughed, but actually, the laugh's on me. Nowadays, there are computational systems that can suss out emotional states and even lying from processing human faces. Advertisers and even governments are very interested.
لقد أصبحت مبرمجة كمبيوتر لأنني كنت واحدة من أولئك الأطفال المحبين للرياضيات والعلوم. ولكن في مكان ما من هذا الطريق تعلمت عن الأسلحة النووية، وأنا حقاً قلقة حول أخلاقيات العلم. كنت مضطربة. على أية حال، بسبب ظروف العائلة، أنا أيضاً بحاجة أن أبدأ العمل بأسرع ما يمكن. لذلك فكرت بنفسي، مهلاً، أدخلي في المجال التقني حيث أستطيع أن أحصل على عمل بسهولة وحيث ليس علي أن أتعامل مع أسئلة أخلاقية مزعجة. لذلك اخترت الحواسيب.
I had become a computer programmer because I was one of those kids crazy about math and science. But somewhere along the line I'd learned about nuclear weapons, and I'd gotten really concerned with the ethics of science. I was troubled. However, because of family circumstances, I also needed to start working as soon as possible. So I thought to myself, hey, let me pick a technical field where I can get a job easily and where I don't have to deal with any troublesome questions of ethics. So I picked computers.
(ضحك)
(Laughter)
حسناً، ها، ها، ها! كل الضحك علي. هذه الأيام، علماء الحاسوب يقومون بصياغة البرامج والتي تتحكم بما يستطيع أن يشاهده مليار شخص كل يوم. إنهم يطورون السيارات التي ممكن أن تقرر مَن تجاوز السرعة. إنهم حتى يبنون الألات و الأسلحة، التي يُمكن أن تقتل الإنسان في الحرب. إنها الأخلاق دائماً في النطاق.
Well, ha, ha, ha! All the laughs are on me. Nowadays, computer scientists are building platforms that control what a billion people see every day. They're developing cars that could decide who to run over. They're even building machines, weapons, that might kill human beings in war. It's ethics all the way down.
ذكاء الألة يكون هنا. نحن نستخدم الألة لنتخذ كل أنواع القرارات، ولكن ايضاً الأنواع الجديدة من القرارات. نحن نسأل الحاسب أسئلة ليس له إجابات صحيحة منفردة والتي تكون غير موضوعية مفتوحة وذات قيمة.
Machine intelligence is here. We're now using computation to make all sort of decisions, but also new kinds of decisions. We're asking questions to computation that have no single right answers, that are subjective and open-ended and value-laden.
نحن نسأل أسئلة مثل، "من الذي يجب على الشركة توظيفه؟" "أي تحديث ومن أي صديق يجب أن تُشاهد؟" "أي إنتهاك من المرجح أن يُعاد إدانته؟" "أي الأخبار أو الأفلام يجب أن يوصى بها إلى الناس؟"
We're asking questions like, "Who should the company hire?" "Which update from which friend should you be shown?" "Which convict is more likely to reoffend?" "Which news item or movie should be recommended to people?"
انظر، نعم، نحن نستخدم الحاسوب منذ فترة، ولكن هذا مُختلف. هذا تطور تاريخي، لأننا لا نستطيع أن نُركّز الحساب من أجل هكذا قرارات شخصية الطريقة التي نستطيع أن نُركّز الحساب لأجل تحليق الطائرات، بناء الجسور، الذهاب إلى القمر هل الطائرات أكثر أماناً؟ هل الجسر تأرجح وانهار؟ هناك، نحن اتفقنا عليه، معيار واضح ألى حد ما، ونحن لدينا قوانين طبيعية لتُرشِدنا. ليس لدينا هكذا مرتكز أو معيار للقرارات في العلاقات الإنسانية الفوضوية.
Look, yes, we've been using computers for a while, but this is different. This is a historical twist, because we cannot anchor computation for such subjective decisions the way we can anchor computation for flying airplanes, building bridges, going to the moon. Are airplanes safer? Did the bridge sway and fall? There, we have agreed-upon, fairly clear benchmarks, and we have laws of nature to guide us. We have no such anchors and benchmarks for decisions in messy human affairs.
لنجعل الأشياء أكثر تعقيداً، برمجياتُنا أصبحت أكثر قوة، ولكنها أصبحت أيضاً أقل شفافية وأكثر تعقيداً. مؤخراً، في العقد الماضي، الخوارزميات المعقدة صنعت خطوات عظيمة. تستطيع أن تُميز الوجوه البشرية. تستطيع أن تحل شيفرة خط اليد. تستطيع أن تكشف تزوير البطاقة الإتمانية وتمنع البريد المزعج وتستطيع الترجمة بين اللغات. تستطيع أن تكشف الأمراض في التصوير الطبي. تستطيع أن تتغلب على الإنسان في الشطرنج.
To make things more complicated, our software is getting more powerful, but it's also getting less transparent and more complex. Recently, in the past decade, complex algorithms have made great strides. They can recognize human faces. They can decipher handwriting. They can detect credit card fraud and block spam and they can translate between languages. They can detect tumors in medical imaging. They can beat humans in chess and Go.
معظم هذا التقدم يأتي من اسلوب يُدعى"تعلم الآلة." تعلم الآلة يختلف عن البرمجة التقليدية، حيث تُعطي الحاسوب تعليمات دقيقة ومضبوطة ومُفصلة. إنه مثل أن تأخذ النظام وتُلقمه الكثير من البيانات، بما في ذلك البيانات الغير منظمة، مثل النوع الذي أنتجناه في حياتنا الرقمية. والنظام المتعلم من خلال الخوض بهذه البيانات. و أيضاً، بشكل حاسم، هذه الأنظمة لا تعمل تحت منطق الإجابة الفريدة. إنها لا تُنتج إجابة بسيطة؛ إنها أكثر إحتمالية: "من المحتمل أن يكون هذا الشيء هو ما تبحث عنه."
Much of this progress comes from a method called "machine learning." Machine learning is different than traditional programming, where you give the computer detailed, exact, painstaking instructions. It's more like you take the system and you feed it lots of data, including unstructured data, like the kind we generate in our digital lives. And the system learns by churning through this data. And also, crucially, these systems don't operate under a single-answer logic. They don't produce a simple answer; it's more probabilistic: "This one is probably more like what you're looking for."
الآن، الجزء الجيد هو: هذه الطريقة حقاً قوية. رئيس أنظمة غوغل دعاه، "الفاعلية الغير منطقية للبيانات." الجانب السلبي هو، لا نستطيع أن نفهم ماذا يُعلم النظام تماماً. في الحقيقة، تلك قوته. هذا بدرجة أقل مثل إعطاء التعليمات للحاسوب؛ إنه بالأكثر مثل تدريب مخلوق آلي مغرور لا نستطيع حقاً أن نفهمه أو نتحكم به. لذلك هذه هي مُشكلتنا. إنها مشكلة عندما يصنع نظام الذكاء الإصطناعي هذا أشياء خاطئة. إنها أيضاً مُشكلة عندما نحصل على الأشياء الصحيحة، لأننا لا نعرف حتى متى تكون مشكلة غير موضوعية. نحن لا نعلم ماذا يُفكر هذه الشيء.
Now, the upside is: this method is really powerful. The head of Google's AI systems called it, "the unreasonable effectiveness of data." The downside is, we don't really understand what the system learned. In fact, that's its power. This is less like giving instructions to a computer; it's more like training a puppy-machine-creature we don't really understand or control. So this is our problem. It's a problem when this artificial intelligence system gets things wrong. It's also a problem when it gets things right, because we don't even know which is which when it's a subjective problem. We don't know what this thing is thinking.
لذلك، تأمل خوارزمية التوظيف-- نظام يستعمل لتوظيف الناس، باستعمال أنظمة تعلّم الآلة. هكذا نظام قد تم تمرينه على بيانات العاملين السابقة وأَعطي تعليمات ليجد ويوظف الناس مثل الموجودين في الشركة من ذوي الكفاءات العالية. يبدو جيداً. حضرت إجتماعاً ذات مرة مع مدراء الموارد البشرية والمدراء التنفيذيين، أشخاص على مستوى عال، وباستخدام هكذا أنظمة في التوظيف. كانوا متحمسين بشكل كبير. اعتقدوا أن هذا سيجعل التوظيف أكثر موضوعية وأقل تحيز، وإعطاء النساء والأقليات محاولة أفضل ضد تحيز مدراء الموارد البشرية.
So, consider a hiring algorithm -- a system used to hire people, using machine-learning systems. Such a system would have been trained on previous employees' data and instructed to find and hire people like the existing high performers in the company. Sounds good. I once attended a conference that brought together human resources managers and executives, high-level people, using such systems in hiring. They were super excited. They thought that this would make hiring more objective, less biased, and give women and minorities a better shot against biased human managers.
انظر-- التوظيف البشري متحيز. أنا أعلم. أعني، في أحد أعمالي المبكرة كمبرمجة، مديرتي المباشرة كانت تأتي أحياناً إلي حيث كُنت أعمل باكراً في الصباح أو متأخرة بعد الظهر، وكانت تقول، "زينب، دعينا نذهب ألى الغداء!" وأكون في حيرة من التوقيت الغريب. إنه الساعة الرابعة بعد الظهر. الغداء؟ كُنت مُفلسة، وكذلك الغداء مجاني. كنت دائماً أذهب. فيما بعد أدركت ماذا كان يحدث. مُدرائي المباشرين لم يخبروا المدراء في المستوى الأعلى إن المبرمج الذي وظفوه في العمل المُهم كانت فتاة شابة والتي ترتدي الجنز والأحذية الرياضية في العمل. كُنت أعمل عملاً جيداً، فقط مظهري كان خاطئاً لقد كان العمر الخطأ والجنس الخطأ.
And look -- human hiring is biased. I know. I mean, in one of my early jobs as a programmer, my immediate manager would sometimes come down to where I was really early in the morning or really late in the afternoon, and she'd say, "Zeynep, let's go to lunch!" I'd be puzzled by the weird timing. It's 4pm. Lunch? I was broke, so free lunch. I always went. I later realized what was happening. My immediate managers had not confessed to their higher-ups that the programmer they hired for a serious job was a teen girl who wore jeans and sneakers to work. I was doing a good job, I just looked wrong and was the wrong age and gender.
لذلك التوظيف بطريقة الجنس والعرق العمياء بالتأكيد تبدو جيدة بالنسبة لي. ولكن مع هذه الأنظمة، إنه أكثر تعقيداً، والسبب: حالياً، الأنظمة الحسابية تستطيع أن تستدل على كل الأشياء حولك من أجزائك الرقمية الصغيرة، حتى لو أنك لم تكشف هذه الأشياء. تستطيع أن تكشف توجهك الجنسي، ميزاتك الشخصية، ميولك السياسية. لديها قوة تنبئية بمستوى عالي من الدقة. تذّكر- حتى بالنسبة للأشياء التي لم تكشفها. هذا هو الاستدلال.
So hiring in a gender- and race-blind way certainly sounds good to me. But with these systems, it is more complicated, and here's why: Currently, computational systems can infer all sorts of things about you from your digital crumbs, even if you have not disclosed those things. They can infer your sexual orientation, your personality traits, your political leanings. They have predictive power with high levels of accuracy. Remember -- for things you haven't even disclosed. This is inference.
لدي صديق والذي طور هكذا أنظمة حسابية ليتنبأ باحتمالية الإكتئاب المرضي أو الإكتئاب ما بعد الولادة من بيانات وسائل الإعلام. النتائج كانت مؤثرة. نظامها يستطيع التنبؤ باحتمالية الإكتئاب أشهر قبل بداية أي أعراض -- أشهر قبل. لا أعراض، يوجد هنا تنبؤ. تأمل أنه سيستعمل للتدخل المُبكر. عظيم! لكن الآن ضع هذا في حالة التوظيف.
I have a friend who developed such computational systems to predict the likelihood of clinical or postpartum depression from social media data. The results are impressive. Her system can predict the likelihood of depression months before the onset of any symptoms -- months before. No symptoms, there's prediction. She hopes it will be used for early intervention. Great! But now put this in the context of hiring.
لذلك في مؤتمر مدراء الموارد البشرية هذا، اقتربت من مدير في المستوى الأعلى في شركة كبيرة جداً، وقُلت لها،" انظري، ماذا لو، غير معروف لك، أن نظامك يُزيل الأشخاص ذوي الاحتمالية المستقبلية الكبيرة من الإكتئاب؟ إنهم غير مكتئبين الآن، ربما فقط في المستقبل، أكثر احتمالية. ماذا لو يُزل النساء الأكثر احتمالية لأن يكونوا حوامل في السنة المقبلة أوالسنتين ولكن غير حوامل الآن؟ ماذا لو يوظف الناس العدائيين لأن ذلك هو ثقافة مكان عملك؟" لا تستطيع أن تحكي هذا بالنظر إلى التقسيم من حيث الجنس. هؤلاء ربما يكونوا متوازنيين. وبما أن هذا تعّلم الآلة، وليس تدوين تقليدي، لا يوجد هنا متغير يوجد اسمه "خطر أعلى من الإكتئاب،" "خطر أعلى من الحمل،" "مقياس شخص عدواني." ليس فقط أنك لا تعلم ما يختار نظامك، أنت لا تعلم أيضاً أين يجب أن تبدأ النظر. إنه صندوق أسود. إنه يملك قوة تنبؤية، لكنك لا تفهمها.
So at this human resources managers conference, I approached a high-level manager in a very large company, and I said to her, "Look, what if, unbeknownst to you, your system is weeding out people with high future likelihood of depression? They're not depressed now, just maybe in the future, more likely. What if it's weeding out women more likely to be pregnant in the next year or two but aren't pregnant now? What if it's hiring aggressive people because that's your workplace culture?" You can't tell this by looking at gender breakdowns. Those may be balanced. And since this is machine learning, not traditional coding, there is no variable there labeled "higher risk of depression," "higher risk of pregnancy," "aggressive guy scale." Not only do you not know what your system is selecting on, you don't even know where to begin to look. It's a black box. It has predictive power, but you don't understand it.
سألتها "ما إجراءات الوقاية"، ستملكين لتتأكد أن صندوقك الأسود لا يعمل أي شيء مضلل؟" نظرت ألي كما لو أنني ضربتها بعشرة ذيول جِراء.
"What safeguards," I asked, "do you have to make sure that your black box isn't doing something shady?" She looked at me as if I had just stepped on 10 puppy tails.
(ضحك)
(Laughter)
حدقت إلي وقالت، " أنا لا أريد أن أسمع كلمة أخرى حول هذا." و دارت نفسها وذهبت بعيداً. إنتبهوا-- لم تكن وقحة. إنه كان واضحاً: الذي لا أعرفه ليس مشكلتي، اذهب بعيداً، الموت يُحدق.
She stared at me and she said, "I don't want to hear another word about this." And she turned around and walked away. Mind you -- she wasn't rude. It was clearly: what I don't know isn't my problem, go away, death stare.
(ضحك)
(Laughter)
انظر، هكذا نظام ربما يكون أقل تحيزاً مِن المدراء البشر في بعض الطرق. ويمكن أن يصنع إدراك عملي. ولكنه ممكن أن يقود أيضاً إلى الثبات ولكن إغلاق خفي لسوق العمل للناس بمستوى عالي من الإكتئاب. هل هذا هو النوع من المجتمع الذي نريد أن نبنيه، بدون حتى أن نعلم أننا فعلنا هذا، لأننا حولّنا اتخاذ القرارات إلى ألات لا نفهمها تماماً؟
Look, such a system may even be less biased than human managers in some ways. And it could make monetary sense. But it could also lead to a steady but stealthy shutting out of the job market of people with higher risk of depression. Is this the kind of society we want to build, without even knowing we've done this, because we turned decision-making to machines we don't totally understand?
مشكلة أخرى وهي كالتالي: هذه الأنظمة غالباً ما تكون دُربت على البيانات أُنتجت من أعمالنا، بصمات الإنسان. حسناً، ربما هُن فقط يعكسن تحيزنا، وهذه الأنظمة ربما قد تختار تحيزنا وتبالغ فيه وتعود لترينا اياه بينما نحن نُخبر أنفسنا، "نحن فقط نفعل الهدف، الحساب الحيادي."
Another problem is this: these systems are often trained on data generated by our actions, human imprints. Well, they could just be reflecting our biases, and these systems could be picking up on our biases and amplifying them and showing them back to us, while we're telling ourselves, "We're just doing objective, neutral computation."
الباحثون وجدوا ذلك على غوغل، النساء أقل احتمالية من الرجال لإعلانات العمل بالنسبة للأعمال بالدخل العالي. والبحث في الأسماء الأميريكية الإفريقية أكثراحتمالية ليجلب إعلانات مُقترحة تاريخ جنائي، حتى عندما لا توجد. هكذا تحيز مخفي وخوارزميات الصندوق الأسود والتي لا يُغطيها الباحثون أحياناً ولكن أحياناً لا نعلم، يُمكن أن يكون لديها عواقب تغيير مدى الحياة.
Researchers found that on Google, women are less likely than men to be shown job ads for high-paying jobs. And searching for African-American names is more likely to bring up ads suggesting criminal history, even when there is none. Such hidden biases and black-box algorithms that researchers uncover sometimes but sometimes we don't know, can have life-altering consequences.
في ويسكونسن، حُكم على المدعى عليه ست سنوات في السجن لأجل تجاهل الشرطة. ربما لا تعلم هذا، لكن الخوارزميات وبازدياد تُستعمل في اطلاق السراح وقرارات اصدار الأحكام. هو أراد أن يعرف: كيف تُحسب هذه النتيجة؟ إنه صندوق أسود تجاري. رفضت الشركة لأن تكون خوارزميتها مُعترض عليها في المحكمة المفتوحة. ولكن شركة التحقيق بروبابليكا الغير ربحية، دققت الخوارزمية مع البيانات العامة التي استطاعوا إيجادها، ووجدوا أن المُخرجات كانت مُتحيزة وقوته التنبؤية كانت مُحزنة، بالكاد أفضل من الفرصة، وكان من الخطأ تصنيف المُدعى عليهم السود كمجرمي المستقبل كضِعف المُدعى عليهم البيض.
In Wisconsin, a defendant was sentenced to six years in prison for evading the police. You may not know this, but algorithms are increasingly used in parole and sentencing decisions. He wanted to know: How is this score calculated? It's a commercial black box. The company refused to have its algorithm be challenged in open court. But ProPublica, an investigative nonprofit, audited that very algorithm with what public data they could find, and found that its outcomes were biased and its predictive power was dismal, barely better than chance, and it was wrongly labeling black defendants as future criminals at twice the rate of white defendants.
لذا، تأمل هذه الحالة : هذه المرأة كانت مُتأخرة لتقل أختها من المدرسة في بلدة بروارد، فلوريدا، توقفت في الشارع مع صديقتها. واكتشفوا دراجة طفل غير مُقفلة ودراجة على الرواق وبكل حماقة قفزوا عليها. بينما كانوا يستعجلون، ظهرت امرأة وقالت، "مرحبا! تلك دراجة طفلي!" فقاموا بتركها ومشوا بعيداً، ولكنهم كانوا قد أُعتقلوا.
So, consider this case: This woman was late picking up her godsister from a school in Broward County, Florida, running down the street with a friend of hers. They spotted an unlocked kid's bike and a scooter on a porch and foolishly jumped on it. As they were speeding off, a woman came out and said, "Hey! That's my kid's bike!" They dropped it, they walked away, but they were arrested.
كانت مُخطئة، كانت حمقى، ولكنها كانت بعمر 18 سنة أيضاً. لديها العديد من المخالفات الصبيانية. في الوقت نفسه، ذلك الرجل كان قد أُعتقل للسرقة مخزن المنزل -- ما قيمته 85 دولار من الأغراض، جريمة سخيفة مُشابهة. ولكن كان لديه جُرمي سطو مُسلح سابقين. ولكن الخوارزمية سجلت المرأة كخطر كبير ولم تُسجله. بعد سنتين، وجدت شركة بروبابليكا أن المرأة لم تكن قد ارتكبت مُخالفة. كان من الصعب عليها فقط أن تحصل على عمل بسبب سجلها. هو، في الجهة المقابلة، ارتكب مخالفة وهو يخدم الآن فترة ثماني سنوات سجن بسبب جريمة لاحقة. بكل وضوح، نحن بحاجة إلى تدقيق صناديقنا السود وأن لا يكون لديها هذا النوع من القوة الغير مفحوصة.
She was wrong, she was foolish, but she was also just 18. She had a couple of juvenile misdemeanors. Meanwhile, that man had been arrested for shoplifting in Home Depot -- 85 dollars' worth of stuff, a similar petty crime. But he had two prior armed robbery convictions. But the algorithm scored her as high risk, and not him. Two years later, ProPublica found that she had not reoffended. It was just hard to get a job for her with her record. He, on the other hand, did reoffend and is now serving an eight-year prison term for a later crime. Clearly, we need to audit our black boxes and not have them have this kind of unchecked power.
(تصفيق)
(Applause)
تدقيق الحسابات عظيم وهام، ولكنهن لا يحللن كل مشاكلنا. خذ قوة أخبار فيس بوك لُقمت بالخوارزمية -- أنت تعلم، الشخص الذي صنف كل شيء ويقرر ما يُظهر لك من كل الأصدقاء والصفحات التي تُتابعها. هل يجب أن ترى صورة طفل آخر؟
Audits are great and important, but they don't solve all our problems. Take Facebook's powerful news feed algorithm -- you know, the one that ranks everything and decides what to show you from all the friends and pages you follow. Should you be shown another baby picture?
(ضحك)
(Laughter)
ملاحظة مُتجهمة من شخص معروف؟ الأخبار المُهمة ولكنها عويصة؟ لا يوجد هنا أي اجابة صحيحة. يبحث فيس بوك عن أفضل الحلول للتشابك على الموقع: اعجابات، مشاركات، تعليقات.
A sullen note from an acquaintance? An important but difficult news item? There's no right answer. Facebook optimizes for engagement on the site: likes, shares, comments.
في شهرآب من 2014، اندلعت الاحتجاجات في فيرغوسن، مُقاطعة ميسوري، بعد مقتل مراهق أميريكي-افريقي من قبل ضابط شرطة أبيض، في ظروف غامضة. الأخبار عن الاحتجاجات كانت قد انتهت خوارزميتي الحسابية لم تُصفي تلقيم تويتر، ولكن هنا على الفيس بوك خاصتي. هل كانوا أصدقاء حسابي الفيس بوك؟ عَطلتُ خوارزمية فيس بوك الحسابية، حيث إنه صعب، لأن فيس بوك دائماً يُريد أن يجعلك تبقى تحت سيطرة الخوارزمية، وشاهدت أصدقائي كانوا يتكلمون عنه. أنه فقط أن الخوارزمية لم تكن تُظهره لي. بحثت حول هذا ووجدت أن هذا كان مُشكلة واسعة الانتشار.
In August of 2014, protests broke out in Ferguson, Missouri, after the killing of an African-American teenager by a white police officer, under murky circumstances. The news of the protests was all over my algorithmically unfiltered Twitter feed, but nowhere on my Facebook. Was it my Facebook friends? I disabled Facebook's algorithm, which is hard because Facebook keeps wanting to make you come under the algorithm's control, and saw that my friends were talking about it. It's just that the algorithm wasn't showing it to me. I researched this and found this was a widespread problem.
قصة فيرغوسن لم تكن ضمن نظام الخوارزمية بشكل ودّي. إنه ليس"جدير بالمحبة." مَن سيضغط على "اعجاب؟" إنه حتى ليس من السهل أن تُعلق عليه. من دون الاعجابات والتعليقات، الخوارزمية كانت من المحتمل أن تظهره لعدد أقل من الناس، لذلك نحن لا نُريد أن نرى هذا. بدلاً من، ذلك الاسبوع، خوارزمية فيس بوك ألقت الضوء على هذا، حيث إنه تحدي الدلو الجليدي ALS. سبب قيّم؛ الماء الجليدي المفرغ، صُنع المعروف، جميل. ولكنها كانت خوارزمية صديقة بامتياز. الآلة صنعت هذا القرار من أجلنا. محادثة مهمة جداً ولكنها صعبة ربما تكون قد غُطت بكثافة، ربما كان فيس بوك القناة الوحيدة.
The story of Ferguson wasn't algorithm-friendly. It's not "likable." Who's going to click on "like?" It's not even easy to comment on. Without likes and comments, the algorithm was likely showing it to even fewer people, so we didn't get to see this. Instead, that week, Facebook's algorithm highlighted this, which is the ALS Ice Bucket Challenge. Worthy cause; dump ice water, donate to charity, fine. But it was super algorithm-friendly. The machine made this decision for us. A very important but difficult conversation might have been smothered, had Facebook been the only channel.
الآن،وأخيراً، هذه الأنظمة يمكن أيضاً أن تكون مخطئة في الطُرق التي لا تُماثل الأنظمة الانسانية. هل تتذكرون واتسون، نظام الذكاء الآلي لشركة IBM والذي أزال الإرباك مع المتنافسين البشر على لعبة Jeopardy؟ كان لاعب عظيم. ولكن فيما بعد، بالنسبة للعبة الأخيرة، سُأل واتسون هذا السؤال: "مطاره الأكبر سُمي لبطل الحرب العالمية الثانية، ثاني أكبر مطار لمعركة الحرب العالمية الثانية."
Now, finally, these systems can also be wrong in ways that don't resemble human systems. Do you guys remember Watson, IBM's machine-intelligence system that wiped the floor with human contestants on Jeopardy? It was a great player. But then, for Final Jeopardy, Watson was asked this question: "Its largest airport is named for a World War II hero, its second-largest for a World War II battle."
(دندنة لموسيقا اللعبة الأخيرة)
(Hums Final Jeopardy music)
شيكاغو. الشخصين أجابوا بشكل صحيح. واتسون، على الجهة المقابلة، أجاب "تورونتو"-- عوضاً عن تصنيف مدينة أمريكية! النظام المُثير للاعجاب أيضاً يصنع أخطاء التي لا يُمكن أن يصنعها الإنسان، الصنف الثاني سوف لن يصنعها.
Chicago. The two humans got it right. Watson, on the other hand, answered "Toronto" -- for a US city category! The impressive system also made an error that a human would never make, a second-grader wouldn't make.
ذكاء ألتُنا الصناعي يُمكن أن يفشل في الطرق التي لا تناسب نماذج خطأ الانسان في الطرق التي لا نتوقعها ونكون مُحضرين لها. سيكون من الحقارة أن لا يحصل الشخص على عمل يكون مؤهل له، لكن سيكون استيعاب ثلاثي إذا كان بسبب فائض مُكدس في بعض الروتين الفعلي.
Our machine intelligence can fail in ways that don't fit error patterns of humans, in ways we won't expect and be prepared for. It'd be lousy not to get a job one is qualified for, but it would triple suck if it was because of stack overflow in some subroutine.
(ضحك)
(Laughter)
في شهر شهر مايو/أيارعام 2010، الإنهيار السريع في وول ستريت المُغذى بحلقة ردود الفعل في خوارزمية "البيع" الحسابية في وول ستريت أزال ما قيمته ترليليون دولار في 36 دقيقة. أنا لا أريد حتى أن أعتقد ما يعني"الخطأ" في سياق الأسلحة المستقلة المُهلكة.
In May of 2010, a flash crash on Wall Street fueled by a feedback loop in Wall Street's "sell" algorithm wiped a trillion dollars of value in 36 minutes. I don't even want to think what "error" means in the context of lethal autonomous weapons.
لذا نعم، الناس دائماً يصنعون التحيز. صانعوا القرارات و حارسوا البوابات، في المحاكم، في الأخبار، في الحرب... هم يصنعون الأخطاء؛ ولكن تلك فكرتي بالضبط. نحن لا نستطيع الهرب من هذه الأسئلة الصعبة. نحن لا نستطيع التعهد بمسؤلياتنا إلى الآلات.
So yes, humans have always made biases. Decision makers and gatekeepers, in courts, in news, in war ... they make mistakes; but that's exactly my point. We cannot escape these difficult questions. We cannot outsource our responsibilities to machines.
(تصفيق)
(Applause)
الذكاء الاصطناعي لا يعطينا بطاقة "الخروج من الأخلاق بحرية".
Artificial intelligence does not give us a "Get out of ethics free" card.
عالم البيانات فريد بيننسون يدعو هذا غسيل الرياضيات. نحن نحتاج العكس. نريد أن نصقل التشكيك حول الخوارزمية، الفحص الدقيق و الاستقصاء. نريد أن نتأكد أنه لدينا مسؤلية حول ما يتعلق بالخوارزمية. التدقيق، الشفافية ذات المعنى. نريد أن نقبل أن نجلب الرياضيات والحساب للأشياء الفوضوية، العلاقات الانسانية المحملة بالقيمة لا تجلب الموضوعية؛ بالأحرى، العلاقات الانسانية المعقدة تنتهك الخوارزميات. نعم، نحن نستطيع ويجب علينا أن نستخدم الحساب ليساعدنا على اتخاذ قرارات أفضل. ولكن يجب علينا أن نعترف بمسؤليتنا الاخلاقية في الحكم، وأن نستخدم الخوارزميات ضمن اطار العمل ذلك، ليس بمعنى أن نتنازل و نتعهد بمسؤلياتنا لشخص آخر مثلاً إنسان لإنسان.
Data scientist Fred Benenson calls this math-washing. We need the opposite. We need to cultivate algorithm suspicion, scrutiny and investigation. We need to make sure we have algorithmic accountability, auditing and meaningful transparency. We need to accept that bringing math and computation to messy, value-laden human affairs does not bring objectivity; rather, the complexity of human affairs invades the algorithms. Yes, we can and we should use computation to help us make better decisions. But we have to own up to our moral responsibility to judgment, and use algorithms within that framework, not as a means to abdicate and outsource our responsibilities to one another as human to human.
الذكاء الآلي هنا. والذي يعني أنه يجب علينا ننتظر بشكل محكم أكثر من أي وقت مضى للقيم الانسانية والأخلاق الانسانية.
Machine intelligence is here. That means we must hold on ever tighter to human values and human ethics.
شكراً لكم.
Thank you.
(تصفيق)
(Applause)