So, I started my first job as a computer programmer in my very first year of college -- basically, as a teenager.
خب، من اولین شغلم را به عنوان یک برنامه نویس کامپیوتر شروع کردم در اولین سال کالجم در واقع، به عنوان یک نوجوان
Soon after I started working, writing software in a company, a manager who worked at the company came down to where I was, and he whispered to me, "Can he tell if I'm lying?" There was nobody else in the room.
درست پس از شروع به کار در یک شزکت به عنوان برنامهنویس کامپیوتر ، یک مدیر که در همان جا کار میکرد نزد من آمد، و با صدای آرام به من گفت: "او می تونه بگه اگه من دروغ بگم؟" در اتاق هیچ کسی وجود نداشت.
"Can who tell if you're lying? And why are we whispering?"
"کسی میتونه بگه اگه تو دروغ میگی؟ و چرا ما در حال پچ پچ کردن هستیم؟"
The manager pointed at the computer in the room. "Can he tell if I'm lying?" Well, that manager was having an affair with the receptionist.
مدیر کامپیوتر در اتاق را نشان داد. "او میتونه بگه اگه من دروغ بگم؟" خب، آن مدیر رابطه نامشروع با منشیاش داشت.
(Laughter)
(خنده حاضرین)
And I was still a teenager. So I whisper-shouted back to him, "Yes, the computer can tell if you're lying."
و من هم هنوز یک نوجوان بودم سپس من با صدای بلندی گفتم: "بله، کامپیوتر می تونه بگه اگه تو دروغ بگی"
(Laughter)
(خنده حاضرین)
Well, I laughed, but actually, the laugh's on me. Nowadays, there are computational systems that can suss out emotional states and even lying from processing human faces. Advertisers and even governments are very interested.
خب، من خندیدم، ولی در واقع، خنده به خودم امروزه، سامانههای محاسباتی وجود دارد که حالت احساسی و حتی دروغ رو از طریق تحلیل صورت انسان می تونه بفهمه تبلیغ کنندهها و حتی دولتها خیلی جالبند.
I had become a computer programmer because I was one of those kids crazy about math and science. But somewhere along the line I'd learned about nuclear weapons, and I'd gotten really concerned with the ethics of science. I was troubled. However, because of family circumstances, I also needed to start working as soon as possible. So I thought to myself, hey, let me pick a technical field where I can get a job easily and where I don't have to deal with any troublesome questions of ethics. So I picked computers.
من یه برنامه نویس کامپیوتر شده بودم زیرا من یکی از آن بچههای دیوانه ریاضی و علم بودم اما در مسیر زندگی من در مورد سلاحهای هستهای چیزهایی یادگرفتم، و واقعا در مورد اخلاق علمی نگران شدم. من وحشت زده بودم به هر حال، به دلیل موقعیت خانوادهام نیاز داشتم تا در اسرع وقت- کارم را شروع کنم خُب با خودم فکر کردم بگذار تا یک رشته تکنیکی را بردارم که شغل راحتی باشه و من با هیچ پرسش سخت اخلاقی مواجه نشوم؟ پس کامپیوترها را انتخاب کردم.
(Laughter)
(خنده حاضرین)
Well, ha, ha, ha! All the laughs are on me. Nowadays, computer scientists are building platforms that control what a billion people see every day. They're developing cars that could decide who to run over. They're even building machines, weapons, that might kill human beings in war. It's ethics all the way down.
خب، ها، ها، ها! همه خندهها برای من هستند. امروزه، دانشمندان کامپیوتر در حال ساخت یک سیستم عامل هستند که آنچه یک میلیارد آدم هر روز میبینند روکنترل میکنه آنها خودروهایی را ساختند که میتوانند تصمیم بگیرند که چه کسی زیر بگیرند. آن ها حتی در حال ساخت ماشینهایی هستند، تسلیحاتی که ممکنه آدم ها رو در جنگ بکشه. همه اینها سقوط اخلاق است.
Machine intelligence is here. We're now using computation to make all sort of decisions, but also new kinds of decisions. We're asking questions to computation that have no single right answers, that are subjective and open-ended and value-laden.
هوشمندی ماشین اینجاست. ما در حال استفاده از محاسباتی هستیم که همه تصمیمات ما را مرتب میکنه، همچنین نوعهای مختلف تصمیمها را مرتب میکند. ما سوالاتی را می پرسیم هستیم که هیچ جواب معین درستی ندارند، آنها ذهنی هستند و بدون جواب معین و پر محتوا هستند.
We're asking questions like, "Who should the company hire?" "Which update from which friend should you be shown?" "Which convict is more likely to reoffend?" "Which news item or movie should be recommended to people?"
ما پرسشهایی شبیه اینها را میپرسیم: «شرکت کی باید استخدام کند؟» «بکدام بروزرسانی از کدام دوست باید نشان داده شود؟» «کدام متهم بیشتر شبیه خلافکارهاست؟» «کدام بخش خبرها یا فیلم باید به مردم توصیه بشه؟»
Look, yes, we've been using computers for a while, but this is different. This is a historical twist, because we cannot anchor computation for such subjective decisions the way we can anchor computation for flying airplanes, building bridges, going to the moon. Are airplanes safer? Did the bridge sway and fall? There, we have agreed-upon, fairly clear benchmarks, and we have laws of nature to guide us. We have no such anchors and benchmarks for decisions in messy human affairs.
ببیند، بله، ما مدتهاست است که در حال استفاده از کامپیوترها هستیم اما این بار فرق داره. این یک چرخش تاریخی است، زیرا ما نمیتوانیم محاسبات را برای تصمیمهای ذهنی نگه داریم مانند روش محاسباتی برای پرواز هواپیما، ساخت پلها و به ماه رفتن. آیا هواپیماها امن هستند؟ آیا این پل فرو میریزد؟ این چنین است، ما منصفانه و براساس معیارهای روشن توافق کردیم و ما قوانین طبیعت را برای راهنمایی داریم ما چیزی شبیه مجری ها و معیارها برای تصمیم گیری درکارهای انسان آشفته نداریم.
To make things more complicated, our software is getting more powerful, but it's also getting less transparent and more complex. Recently, in the past decade, complex algorithms have made great strides. They can recognize human faces. They can decipher handwriting. They can detect credit card fraud and block spam and they can translate between languages. They can detect tumors in medical imaging. They can beat humans in chess and Go.
برای انجام کارهای پیچیدهتر، تا نرم افزارهای ما بیشتر قدرتمند میشوند، اما این می تواند کمتر شفاف و بیشتر پیچیده باشد. اخیرا، در دهه گذشته الگوریتم های پیچیده با گامهای بلندی ساخته شدهاند. آنها میتوانند صورت انسان را بازشناسایی کنند. آنها میتوانند دست خط را تشخیص بدهند. آنها میتوانند تقلب در کارت اعتباری را کشف کنند و اسپمها را مسدود کنند و آنها میتوانند زبانها را ترجمه کنند، می توانند تومورها را در تصاویر پزشکی کشف کنند. آنها میتوانند در بازیهای شطرنج و گو از آدمها ببرند.
Much of this progress comes from a method called "machine learning." Machine learning is different than traditional programming, where you give the computer detailed, exact, painstaking instructions. It's more like you take the system and you feed it lots of data, including unstructured data, like the kind we generate in our digital lives. And the system learns by churning through this data. And also, crucially, these systems don't operate under a single-answer logic. They don't produce a simple answer; it's more probabilistic: "This one is probably more like what you're looking for."
بیشتر این پیشرفتها از روشی به نام "یادگیری ماشین" آمدهاند. یادگیری ماشین با برنامه نویسی سنتی متفاوت هست، که به کامپیوتر جزئیات دقیق دستورات پر زحمت را میدهید. این بیشتر شبیه اینه که شما یک سیستم گرفتهاید و اطلاعات زیادی به آن میخورانید شامل اطلاعات بدون ساختار، مانند اطلاعاتی که ما در زندگی دیجیتال خود تولید میکنیم. و سیستمی که بوسیله گردش در بین اطلاعات یاد میگیرد. و همچنین بحرانی آن سیستمهایی که زیر یک پاسخ سیگنال منطقی عمل نمی کنند آن ها یک پاسخ ساده تولید نمی کنند این ها بیشتر "احتمال" هستند "این یک احتمالی است که بیشتر شبیه آنچه شما دنبال آن هستید "
Now, the upside is: this method is really powerful. The head of Google's AI systems called it, "the unreasonable effectiveness of data." The downside is, we don't really understand what the system learned. In fact, that's its power. This is less like giving instructions to a computer; it's more like training a puppy-machine-creature we don't really understand or control. So this is our problem. It's a problem when this artificial intelligence system gets things wrong. It's also a problem when it gets things right, because we don't even know which is which when it's a subjective problem. We don't know what this thing is thinking.
حالا، بالاتر این است که: این شیوه واقعا قدرتمند است. رییس سیستمهای هوش مصنوعی (AI) گوگل این را نام گذاری کرد: "اثر غیر منطقی اطلاعات" قسمت بدترش این است که: ما واقعا نمیفهمیم سیستم چه یاد میگیرد. در حقیقت این قدرت آن است. این کمتر شبیهِ دادنِ دستورالعمل به کامپیوتر است، این بیشتر شبیه یاد دادن به یک توله ماشین زندهاست ما واقعا نمیفهمیم و کنترل نمیکنیم. خب این مشکل ماست. این یک مشکل است وقتی که سیستم هوش مصنوعی چیزها را اشتباه یاد میگیرد. این همچنین یک مشکل است وقتی که این چیزها را درست یاد میگیرد، زیرا ما حتی نمی دانیم کدام به کدام است وقتی که این یک مشکل درونی است. ما نمیدانیم در حال فکر کردن به چه چیزی است
So, consider a hiring algorithm -- a system used to hire people, using machine-learning systems. Such a system would have been trained on previous employees' data and instructed to find and hire people like the existing high performers in the company. Sounds good. I once attended a conference that brought together human resources managers and executives, high-level people, using such systems in hiring. They were super excited. They thought that this would make hiring more objective, less biased, and give women and minorities a better shot against biased human managers.
یک الگوریتم استخدام را فرض کنید-- یک سیستمی که مردم را با استفاده از سیستم یادگیری ماشین استخدام می کند. مانند یک سیستمی که بر اساس اطلاعات کارمندان قبلی آموزش دیده شده است و دستور دارد که پیدا کند و استخدام کند مردمی که بهروری بالایی در شرکت دارند. به نظر خوب میاد. من یک بار در کنفرانسی حضور داشتم که مدیران منابع انسانی و مدیران اجرایی دور هم جمع شده بودند، افراد رده بالای شرکتها که از این سیستمهای برای استخدام استفاده می کردند. آنها خیلی هیجان زده بودند آنها فکر می کردند که این استخدام را بیشتر هدفمند و کمتر مغروضانه خواهند بود، و به خانم ها و اقلیت یک شانس بهتری میدهد بر خلاف غرضورزی مدیران منابع انسانی
And look -- human hiring is biased. I know. I mean, in one of my early jobs as a programmer, my immediate manager would sometimes come down to where I was really early in the morning or really late in the afternoon, and she'd say, "Zeynep, let's go to lunch!" I'd be puzzled by the weird timing. It's 4pm. Lunch? I was broke, so free lunch. I always went. I later realized what was happening. My immediate managers had not confessed to their higher-ups that the programmer they hired for a serious job was a teen girl who wore jeans and sneakers to work. I was doing a good job, I just looked wrong and was the wrong age and gender.
ببینید-- استخدام افراد غرض ورزانه است. من میدانم. منظورم اینه، در اولین شغل من به عنوان برنامه نویس مدیر بخش من گاهی اوقات در اول صبح یا آخر عصر پیش من میآمد و میگفت: "زینب بیا بریم ناهار" من به خاطر زمانهای عجیب گیج میشدم الان ساعت ۴ است، ناهار؟ من شکست میخوردم من همیشه برای ناهار مجانی میرفتم بعدها فهمیدم که چه اتفاقی میافتاد مدیران بالایی من در انتخابشان برای استخدام یک دختر نوجوان که کفش کتانی و جین در محل کار میپوشید برای انجام یک کار جدی اشتباه نکرده بودند. من خوب کار میکردم، اما به نظرمیآمد که من مناسب نیستم سن و جنسیتم نیز اشتباه بود.
So hiring in a gender- and race-blind way certainly sounds good to me. But with these systems, it is more complicated, and here's why: Currently, computational systems can infer all sorts of things about you from your digital crumbs, even if you have not disclosed those things. They can infer your sexual orientation, your personality traits, your political leanings. They have predictive power with high levels of accuracy. Remember -- for things you haven't even disclosed. This is inference.
خُب نادیده گرفتن شدن جنسیت و نژاد من قطعا چیزی خوبی برای من بود. اما با این سیستم ها بغرنجتر و پیچیدهتر شده و دلیلیش اینجاست: اخیرا، سیستمهای محاسبهگر میتوانند به همه چیزهای شما از طریق خرده اطلاعات دیجیتالی شما پیببرند، حتی اگر شما آن چیزها را فاش نکرده باشید. آنها به گرایشهای جنسیتان ، ویژگیهای شخصیتان، دانستههای سیاسیتان پیببرند. آنها قدرت پیش بینی با صحت بالایی را دارند. به یاد داشته باشید، برای چیزهایی که شما حتی آنها را فاش نکردهاید نتیجه گیری و استنتاج است.
I have a friend who developed such computational systems to predict the likelihood of clinical or postpartum depression from social media data. The results are impressive. Her system can predict the likelihood of depression months before the onset of any symptoms -- months before. No symptoms, there's prediction. She hopes it will be used for early intervention. Great! But now put this in the context of hiring.
من یک دوستی دارم که سیستم های محاسبه گری را توسعه میدهد تا شانس افسردگی بالینی یا بعد از وضع حمل را پیش بینی کند با استفاده از اطلاعات رسانه های اجتماعی نتیجه ها هیجان انگیز هستند. سیستمش احتمال افسردگی را میتوان ماههای قبل از شروع علائم بیماری را پیشبینی کند-- ماههای قبل. هیچ علامتی از بیماری نیست، ولی پیش بینی میشود. او امیدوار است بزودی این را برای مداخلات (روانشناسی) استفاده کند . عالیه. اما حالا این در فضای استخدام قرار دهید.
So at this human resources managers conference, I approached a high-level manager in a very large company, and I said to her, "Look, what if, unbeknownst to you, your system is weeding out people with high future likelihood of depression? They're not depressed now, just maybe in the future, more likely. What if it's weeding out women more likely to be pregnant in the next year or two but aren't pregnant now? What if it's hiring aggressive people because that's your workplace culture?" You can't tell this by looking at gender breakdowns. Those may be balanced. And since this is machine learning, not traditional coding, there is no variable there labeled "higher risk of depression," "higher risk of pregnancy," "aggressive guy scale." Not only do you not know what your system is selecting on, you don't even know where to begin to look. It's a black box. It has predictive power, but you don't understand it.
بنابراین در این کنفرانس منبع مدیران انسانی من به یک مدیر سطح بالا در یک شرکت بزرگ نزدیک شدم و به او گفتم: "ببین، چه میشد اگر من برای تو فردی ناشناخته میشدم؟" آیا سیستم تو در حال حذف مردم با احتمال بالای افسردگی در آینده، است ؟ آن ها الان افسرده نیستند، فقط شاید در آینده به احتمال زیاد دچار افسردگی شوند. یا اگر زنانی که احتمال دارد در یکی دو سال آینده باردار شوند ولی الان حامله نیستد را کنار گذارده شوند؟ اگر این افراد پرخاشکر را استخدام شوند زیرا آن فرهنگ محیط کاریت است تو با استفاده از نگاه کردن به تقسیم بندی جنسبت نمی توانی بگویی آن ها ممکنه متعادل باشند. و چون این یادگیری ماشین است و برنامه نویسی سنتی نیست هیچ متغیری وجود ندارد که "بیشترین خطر افسردگی " نام گذاری شود "بیشترین خطر حاملگی" "مقیاس پرخاشگری مردان" نه تنها نمی دانست چگونه سیستم شما، انتخاب می کنه شما حتی نمی دانی که در کجا جستجو میکند این یک جعبه سیاه است. این قدرت پیش گویی دارد اما شما این را نمیفهمی
"What safeguards," I asked, "do you have to make sure that your black box isn't doing something shady?" She looked at me as if I had just stepped on 10 puppy tails.
من پرسسیدم"حفاظت چیست؟" « آیا باید مطمئن شوی که جعبه سیاه تان کار مشکوکی انجام نمیدهد؟» او به من به نگاه کرد مثل اینکه من پا روی دُم ده تا توله گذاشتم!
(Laughter)
(خنده حاضرین)
She stared at me and she said, "I don't want to hear another word about this." And she turned around and walked away. Mind you -- she wasn't rude. It was clearly: what I don't know isn't my problem, go away, death stare.
او به من خیره شد و گفت: «نمیخوام کلمه دیگری در این باره بشنوم» و او برگشت و قدم زنان دور شد. به خاطر داشته باشید او بیادب نبود. کاملا روشن بود با نگاهش میگفت: نمیدونم، این مشکل من نیست، برو.
(Laughter)
(خنده حاضرین)
Look, such a system may even be less biased than human managers in some ways. And it could make monetary sense. But it could also lead to a steady but stealthy shutting out of the job market of people with higher risk of depression. Is this the kind of society we want to build, without even knowing we've done this, because we turned decision-making to machines we don't totally understand?
نگاه کنید، یک سیستم ممکن است حتی کمتر جانبدارانه باشد تا مدیران انسانی در همان زمینه. و این میتونه یک حس مالی ایجاد کنه اما این میتونه منجر بشه به یک یکنواختی اما یواشکی بستن بازار کار مردم که با ریسک بالای افسردگی همراه هستند. آیا این نوع اجتماعی است که ما میخواهیم بسازیم؟ بدون حتی دانستن اینکه ما این را انجام دادیم زیرا ما ساختن تصمیم را تبدیل کردیم به ماشین که ما سرانجامش را نمیفهمیم
Another problem is this: these systems are often trained on data generated by our actions, human imprints. Well, they could just be reflecting our biases, and these systems could be picking up on our biases and amplifying them and showing them back to us, while we're telling ourselves, "We're just doing objective, neutral computation."
و مسئله دیگر این است: این سیستم ها اغلب روی اطلاعات تولید شده توسط کارهای ما آموزش داده میشوند، آثار به جای مانده از انسان. خب، آنها فقط میتوانند تمایلات ما را منعکس کنند، و این سیستمهای میتوانند تمایلات ما را انتخاب کنند و آن را تقویت کرده و آن را دوباره به ما نشان دهند، در حالی که به خودمان میگویم، «ما فقط در حال بررسی هستیم.»
Researchers found that on Google, women are less likely than men to be shown job ads for high-paying jobs. And searching for African-American names is more likely to bring up ads suggesting criminal history, even when there is none. Such hidden biases and black-box algorithms that researchers uncover sometimes but sometimes we don't know, can have life-altering consequences.
محققان در شرکت گوگل دریافتند، زنان نسبت به مردان احتمال کمتری دارد که برای مشاغل با حقوق بالاتر قدام کنند. و نامهای آفریقایی-آمریکایی را که جستجو کنید احتمال بیشتر دارد که پیشینه جرم نشان دهد، حتی وقتی که واقعا جرمی وجود ندارد. مانند تمایلات پنهان و الگوریتم جعبه سیاه که گاهی محققات آن را تحت پوشش قرار نمی دهند و ما از آن گاهی اطلاع نداریم. که می توانیم پرآمدهایی زندگی داشته باشد.
In Wisconsin, a defendant was sentenced to six years in prison for evading the police. You may not know this, but algorithms are increasingly used in parole and sentencing decisions. He wanted to know: How is this score calculated? It's a commercial black box. The company refused to have its algorithm be challenged in open court. But ProPublica, an investigative nonprofit, audited that very algorithm with what public data they could find, and found that its outcomes were biased and its predictive power was dismal, barely better than chance, and it was wrongly labeling black defendants as future criminals at twice the rate of white defendants.
در ویسکانسین یک متهم به شش سال زندان محکوم شد برای فرار از پلیس. شما ممکنه این را ندانید، اما الگوریتم به طور افزایندهای در آزادی مشروط و صدور حکم در حال استفاده هستند او می خواهد بداند: چگونه این نمره محاسبه می شود؟ این یک جعبه سیاه تجاری است شرکت درخواست اینکه الگوریتم در دادگاه به چالش کشیده بشود را رد کرد. اما پروپابلیکا، یک موسسه تحقیقاتی غیرانتفاعی خیلی از الگوریتم ها را با اطلاعات عمومی ای که آن ها میتوانند پیدا کنند بررسی میکنند. و دریافتند که این یک نتیجه از تمایلات بوده و این قدرت پیشبینی اشتباه، نه فقظ شانسی( بلکه به عمد) و به طور اشتباه متهمان سیاه را به عنوان مجرمان آینده دوبرابر نرخ مجرمان سفید برچست گذاری کرده بود.
So, consider this case: This woman was late picking up her godsister from a school in Broward County, Florida, running down the street with a friend of hers. They spotted an unlocked kid's bike and a scooter on a porch and foolishly jumped on it. As they were speeding off, a woman came out and said, "Hey! That's my kid's bike!" They dropped it, they walked away, but they were arrested.
خب، به این مورد دقت کنید: این خانم برای برداشتن دخترخواندهاش دیر رسید از یک مدرسه در بروارد ایالت فلوریدا، با دوستش از خیابان می دوید. آن ها یک دوچرخه بچه و یک اسکوتر روی ایوان که قفل نشده بود را نشان دادند و احمقانه روی آن پرید وقتی آنها در حال سرعت گرفتن بودند یک زن آمد و گفت هی! این دوچرخه بچه من است آن ها دوچرخه را رها کردن و دور شدند ولی آن ها دستگیر شدند
She was wrong, she was foolish, but she was also just 18. She had a couple of juvenile misdemeanors. Meanwhile, that man had been arrested for shoplifting in Home Depot -- 85 dollars' worth of stuff, a similar petty crime. But he had two prior armed robbery convictions. But the algorithm scored her as high risk, and not him. Two years later, ProPublica found that she had not reoffended. It was just hard to get a job for her with her record. He, on the other hand, did reoffend and is now serving an eight-year prison term for a later crime. Clearly, we need to audit our black boxes and not have them have this kind of unchecked power.
او اشتباه کرد و او احمق بود ولی او تنها ۱۸ سال داشت او یک تعدادی جرمهای کوچک داشت. ضمنا، آن مرد برای سرقت از فروشگاه هوم دیپو دستگیر شده بود-- ۸۵ دلار، که ارزشش به اندازه جرم کوچک بود. اما او محکومیت دو سرقت مسلحانه داشت. اما الگوریتم احتمال بالای جرم برای این زن نشان میداد، و نه برای این مرد. دو سال بعد، پروپابلیکا یافت که این نباید در حبس باشد. و با سایقهای را که داشت برای او پیدا کردن شغل مشگل بود. از طرف دیگر این مرد زندانی شد و برای گناه گذشتهاش برای هشت سال زندانی خواهد بود. روشن است، ما نیاز داریم تا جعبه سیاهمان را بازبینی و بررسی کنیم و نه آن ها را، بلکه این نوع قدرت چک نشده را حسابرسی کنیم
(Applause)
(تشویق حضار)
Audits are great and important, but they don't solve all our problems. Take Facebook's powerful news feed algorithm -- you know, the one that ranks everything and decides what to show you from all the friends and pages you follow. Should you be shown another baby picture?
بررسی و باربینی خوب و مهم است اما آنها تمام مشکلات ما را حل نمی کنند. الگوریتم قدرت خبری فیسبوک را در نظر بگیرید. میدانید، کسی که همه چیز را رتبه بندی میکند و تصمیم میگیرد که چه به شما نشان دهد از همه دوستان و همه صفحههایی که شما دنبال میکنید. باید به شما عکس بچهی دیگه را نشان دهد؟
(Laughter)
(خنده)
A sullen note from an acquaintance? An important but difficult news item? There's no right answer. Facebook optimizes for engagement on the site: likes, shares, comments.
یک یادداشت عبوس از یک آشنا؟ یک خبر مهم اما قسمتهای سختش؟ هیچ جواب درستی وجود ندارد. فیس بوک برای مشغولیت بیشتر در سایت بهینه شده : لایک، اشتراگ گذاری، کامنت
In August of 2014, protests broke out in Ferguson, Missouri, after the killing of an African-American teenager by a white police officer, under murky circumstances. The news of the protests was all over my algorithmically unfiltered Twitter feed, but nowhere on my Facebook. Was it my Facebook friends? I disabled Facebook's algorithm, which is hard because Facebook keeps wanting to make you come under the algorithm's control, and saw that my friends were talking about it. It's just that the algorithm wasn't showing it to me. I researched this and found this was a widespread problem.
در آگوست ۲۰۱۴ در شهر فرگوست ایالت میسوری معترضان بعد از کشتن یک نوجوان آفریقایی- آمریکایی به وسیله یک پلیس سفید پوست زیر رویداد مبهم شورش کردند، خبرهای معترضان در همه جا بود الگورتیم من فیدهای تویتر را فیلتر نکرد اما در فیس بوکم هیچ جا باز نبود. آیا اینها دوستان فیسبوکی من بودند؟ من الگوریتم فیسبوکم را غیر فعال کردم، که سخت بود زیرا فیسبوک خواسته های شما را حفظ میکند تا شما را زیر کنترل الگوریتم ها نگه دارد، و می بینید که دوستان من در حال صحبت کردن درباره این حادثه بودند. این فقط الگوریتمی بود که این را به من نشان من داد. من تحقیق کردم و فهمیدم که این یه مشکل شایع بود
The story of Ferguson wasn't algorithm-friendly. It's not "likable." Who's going to click on "like?" It's not even easy to comment on. Without likes and comments, the algorithm was likely showing it to even fewer people, so we didn't get to see this. Instead, that week, Facebook's algorithm highlighted this, which is the ALS Ice Bucket Challenge. Worthy cause; dump ice water, donate to charity, fine. But it was super algorithm-friendly. The machine made this decision for us. A very important but difficult conversation might have been smothered, had Facebook been the only channel.
حادثه فرگوست یک الگوریتم دوستانه نبود. دوست داشتنی نبود چه کسی می خواد تا روی "like" کلیک کنید؟ این حتی ساده نیست تا کامنتی روی آن قرار دهید. بدون "like" و کامنت احتمالا الگوریتم برای افراد کمتری را نشان داده میشد، بنابراین ما نتوانستیم این را ببینیم در عوض، آن هفته، الگوریتم فیس بوک این را برجسته کرده بود: این چالش سطل آب یخ است. علت ارزش، خالی کردن آب یخ، کمک به موسسه خیریه خوب است اما این الگوریتم دوستانه عالی بود. که ماشین این تصمیم را برای ما گرفت. و خیلی مهم است اما گفتگوی سختی است ممکن است خفه شده باشد. آیا فیسبوک فقط یک کانال داشت؟
Now, finally, these systems can also be wrong in ways that don't resemble human systems. Do you guys remember Watson, IBM's machine-intelligence system that wiped the floor with human contestants on Jeopardy? It was a great player. But then, for Final Jeopardy, Watson was asked this question: "Its largest airport is named for a World War II hero, its second-largest for a World War II battle."
خُب، این سیستم ها میتوانند اشتباه باشند در راه هایی که شباهت به سیستم انسانی ندارد. آیا شما واتسون، سیستم ماشین هوشمند آی بی ام که با انسان مسابقه جوپرتری را داد را به خاطر دارید؟ واتسون بازیگر خوبی در مسابقه بود. اما در آخرین جوپرتی، از واتسون پرسیده شد «آیا بزرگترین فرودگاه که برای یک قهرمان جنگ جهانی دوم نام گذاری شد" این دومین فرودگاه بزرگ برای مبارزه جنگ جهانی دوم نامگذاری شد.»
(Hums Final Jeopardy music)
(...)
Chicago. The two humans got it right. Watson, on the other hand, answered "Toronto" -- for a US city category! The impressive system also made an error that a human would never make, a second-grader wouldn't make.
شیکاگو. دو فرد درست جواب دادند واتسون در طرف دیگر پاسخ داد «تورنتو»-- برای یک شهر آمریکایی! سیستم موثر همچنین یک اشتباه کرد که یک فرد هیچ وقت این اشتباه را نخواهد کرد، حتی یک کلاس دومی.
Our machine intelligence can fail in ways that don't fit error patterns of humans, in ways we won't expect and be prepared for. It'd be lousy not to get a job one is qualified for, but it would triple suck if it was because of stack overflow in some subroutine.
ماشین هوشمند ما میتواند شکست بخورد در جاهایی که نمی تواند الگوی خطای انسان ها را متناسب کند در جاهایی که ما انتظار و آمادگی برای آن نخواهیم داشت این نکبت بار خواهد بود که کسی که واجد شرایط هست شفلی را نگیرد، اما سه برابر آن بدتر اینکه به دلیل خرده رفتارها در روال عادی زندگی فرد آن شغل را نگیرد.
(Laughter)
(خنده حضار)
In May of 2010, a flash crash on Wall Street fueled by a feedback loop in Wall Street's "sell" algorithm wiped a trillion dollars of value in 36 minutes. I don't even want to think what "error" means in the context of lethal autonomous weapons.
در ماه می ۲۰۱۰، یک خرابی کوتاه مدت ناشی از یک حلقه فیدبک تقویت شد در وال استریت در الگوریتم« فروش» وال استریت یک تریلیون دلار ارزش را در ۳۶ دقیقه از بین برد. من حتی نمیخوام در مورد معنیهای «خطا» در زمینه سلاح های کشنده خودکار فکر کنم.
So yes, humans have always made biases. Decision makers and gatekeepers, in courts, in news, in war ... they make mistakes; but that's exactly my point. We cannot escape these difficult questions. We cannot outsource our responsibilities to machines.
خب بله، انسانها همیشه تمایلات را میسازند. تصمیم گیرندهها و دربانها در دادگاه ها و در خبر ها و در جنگ... آنها اشتباه می کنند، اما این دقیقا نکته مورد نظر من است. ما نمی توانیم از این سوالهای مشگل فرارکنیم. ما نمیتوانیم مسئولیت هایمان را در قبال ماشین ها نادیده بگیریم.
(Applause)
(تشویق)
Artificial intelligence does not give us a "Get out of ethics free" card.
هوش مصنوعی نمیتواند به ما یک کارت «خارج شدن از اخلاق به صورت رایگان» بدهد
Data scientist Fred Benenson calls this math-washing. We need the opposite. We need to cultivate algorithm suspicion, scrutiny and investigation. We need to make sure we have algorithmic accountability, auditing and meaningful transparency. We need to accept that bringing math and computation to messy, value-laden human affairs does not bring objectivity; rather, the complexity of human affairs invades the algorithms. Yes, we can and we should use computation to help us make better decisions. But we have to own up to our moral responsibility to judgment, and use algorithms within that framework, not as a means to abdicate and outsource our responsibilities to one another as human to human.
دانشمند اطلاعات، فرد بنسون این را "شستشوی ریاضی" مینامد ما به این تضاد نیاز داریم. ما نیاز داریم تا یک الگوریتم بد گمانی را با بررسی دقیق و موشکافانه رشد دهیم. ما نیاز داریم تا مطمئن باشیم که مسولیت الگوریتمی داریم، حسابرسی و شفافیت معنایی نیاز داریم. ما نیاز داریم تا قبول کنیم که آورده های ریاضی و محاسباتی برای ارزش انباشته و به هم ریخته و امور انسانی عینیت ندارد. بلکه ، پیچیدگی امور انسانی به الگوریتم ها حتما غلبه میکند. بله ما می توانیم و ما باید از محاسبات استفاده کنیم تا برای داشتن تصمیمات بهتر به خودمان کمک کنیم اما ما اعتراف میکنیم به مسئولیت اخلاقی و قضاوت و استفااه از الگورتیم هایی با آن چارچوب نه به عنوان وسیله ای برای کناره گیری و واگذاری مسئولیت هایمان به یک انسان دیگر.
Machine intelligence is here. That means we must hold on ever tighter to human values and human ethics.
هوش مصنوعی اینجاست. این بدان معناست که ما باید محکمتر ارزشها و اخلاق انسانی را نگه داریم.
Thank you.
متشکرم
(Applause)
(تشویق)