Algorithms are everywhere. They sort and separate the winners from the losers. The winners get the job or a good credit card offer. The losers don't even get an interview or they pay more for insurance. We're being scored with secret formulas that we don't understand that often don't have systems of appeal. That begs the question: What if the algorithms are wrong?
الگوریتمها همه جا هستند. آنها برندهها و بازندهها را ردهبندی کرده و از هم جدا میکنند برندهها استخدام میشوند یا یک پیشنهاد خوب مالی میگیرند. اما بازندهها حتی مصاحبه هم نمیشوند یا هزینه بیشتری برای بیمه میپردازند. ما با فرمولهای مرموزی سنجیده میشویم که درکشان نمیکنیم. که معمولاً سیستمی برای تجدید نظر ندارند. این سوالی را بر میانگیزد: اگر الگوریتمها اشتباه کنند چطور؟
To build an algorithm you need two things: you need data, what happened in the past, and a definition of success, the thing you're looking for and often hoping for. You train an algorithm by looking, figuring out. The algorithm figures out what is associated with success. What situation leads to success?
برای ایجاد یک الگوریتم دو چیز نیاز دارید: داده، چیزی که در گذشته اتفاق افتاده، و تعریفی برای موفقیت، چیزی که به دنبال آن هستید و معمولاً انتظارش را دارید. شما به الگوریتم با دیدن و درک کردن آموزش میدهید. الگوریتم درک میکند که چه چیزهایی با موفقیت ارتباط دارند. چه موقعیتی به موفقیت منتهی میشود؟
Actually, everyone uses algorithms. They just don't formalize them in written code. Let me give you an example. I use an algorithm every day to make a meal for my family. The data I use is the ingredients in my kitchen, the time I have, the ambition I have, and I curate that data. I don't count those little packages of ramen noodles as food.
در واقع، همه از الگوریتمها استفاده میکنند. فقط آنها را به صورت کد نمینویسند بگذارید مثالی بزنم. من هر روز از یک الگوریتم برای پخت غذای خانوادهام استفاده میکنم. دادههایی که استفاده میکنم شامل مواد موجود در آشپزخانهام، زمانی که دارم، و هدفی که دارم میشود. و من این دادهها را مدیریت میکنم. من آن بستههای کوچک نودل رامن را غذا به حساب نمیآورم.
(Laughter)
(خنده حضار)
My definition of success is: a meal is successful if my kids eat vegetables. It's very different from if my youngest son were in charge. He'd say success is if he gets to eat lots of Nutella. But I get to choose success. I am in charge. My opinion matters. That's the first rule of algorithms.
تعریف من از موفقیت این است: یک غذا موفق است اگر فرزندانم سبزیجات بخورند. این خیلی متفاوت میشد اگر پسر بزرگترم مسئول بود. از نظر او موفقیت این است که بتواند زیاد نوتلا بخورد. ولی منم که موفقیت را انتخاب میکنم. من مسئولم. نظر من است که اهمیت دارد. این اولین قانون الگوریتمهاست.
Algorithms are opinions embedded in code. It's really different from what you think most people think of algorithms. They think algorithms are objective and true and scientific. That's a marketing trick. It's also a marketing trick to intimidate you with algorithms, to make you trust and fear algorithms because you trust and fear mathematics. A lot can go wrong when we put blind faith in big data.
الگوریتمها سلایقی هستند که در قالب کد ارائه میشوند. این با چیزی که بیشتر مردم در مورد الگوریتمها فکر میکنند تفاوت دارد. آنها فکر میکنند که الگوریتمها عینی، درست و علمی هستند. این یک حقهٔ بازاریابی است. این هم یک حقهٔ بازاریابی است که شما را با الگوریتمها بترسانند، که شما را وادار به اعتماد به الگوریتمها و ترس از آنها کنند به دلیل ترس و اعتماد شما به ریاضیات. باور کورکورانه به کلاندادهها میتواند عواقب نادرستی داشته باشد.
This is Kiri Soares. She's a high school principal in Brooklyn. In 2011, she told me her teachers were being scored with a complex, secret algorithm called the "value-added model." I told her, "Well, figure out what the formula is, show it to me. I'm going to explain it to you." She said, "Well, I tried to get the formula, but my Department of Education contact told me it was math and I wouldn't understand it."
این کیری سورس است. او مدیر یک دبیرستان در بروکلین است. در سال ۲۰۱۱، او به من گفت معلمهای مدرسهاش با یک الگوریتم مرموز و پیچیده امتیازبندی میشوند که نام آن «مدل ارزش افزوده» است. من به او گفتم، «خب، فرمول را پیدا کن و به من نشان بده من آن را برایت توضیح میدهم». او گفت: «من سعی کردم که فرمول را بدست بیاورم، اما رابط ادارهی آموزش به من گفت که ریاضیات است و من آن را درک نخواهم کرد.»
It gets worse. The New York Post filed a Freedom of Information Act request, got all the teachers' names and all their scores and they published them as an act of teacher-shaming. When I tried to get the formulas, the source code, through the same means, I was told I couldn't. I was denied. I later found out that nobody in New York City had access to that formula. No one understood it. Then someone really smart got involved, Gary Rubinstein. He found 665 teachers from that New York Post data that actually had two scores. That could happen if they were teaching seventh grade math and eighth grade math. He decided to plot them. Each dot represents a teacher.
بدتر هم میشود. روزنامه «نیویورک پست» درخواستی مربوط به «سند آزادی اطلاعات» منتشر کرد، نام تمام معلمها و تمام نمراتشان را به دست آورد و برای خجالتزده کردن معلمان آنها را منتشر کرد. وقتی من خواستم فرمولها و کد را از همین طریق ببینم، به من گفتند نمیتوانم. از این کار منع شدم. بعداً فهمیدم که هیچکس در شهر نیویورک به آن فرمول دسترسی نداشت. هیچکس آن را نمیفهمید. بعداً یک فرد واقعاً باهوش به نام «گری روبنشتاین» درگیر این موضوع شد. او ۶۶۵ معلم که در دادههای نیویورک پست بودند را یافت که هر یک، دو نمره داشتند. اگر یک معلم در دو کلاس هفتم و هشتم تدریس کند ممکن است این اتفاق رخ دهد. او تصمیم گرفت این دادهها را ترسیم کند. هر نقطه نشاندهندهی یک معلم است.
(Laughter)
(خندهی حضار)
What is that?
این چیست؟
(Laughter)
(خندهی حضار)
That should never have been used for individual assessment. It's almost a random number generator.
هرگز نباید برای ارزیابی افراد مورد استفاده قرار میگرفت. تقریباً یک تولیدکنندهی اعداد تصادفی است.
(Applause)
(تشوق حضار)
But it was. This is Sarah Wysocki. She got fired, along with 205 other teachers, from the Washington, DC school district, even though she had great recommendations from her principal and the parents of her kids.
اما استفاده شد. این سارا ویساکی است. او به همراه ۲۰۵ معلم دیگر از ناحیهی مدارس واشنگتون دیسی اخراج شد. علیرغم اینکه توصیهنامههای خیلی خوبی از طرف مدیر و خانوادههای شاگردانش داشت.
I know what a lot of you guys are thinking, especially the data scientists, the AI experts here. You're thinking, "Well, I would never make an algorithm that inconsistent." But algorithms can go wrong, even have deeply destructive effects with good intentions. And whereas an airplane that's designed badly crashes to the earth and everyone sees it, an algorithm designed badly can go on for a long time, silently wreaking havoc.
میدانم بسیاری از شما چه فکر میکنید، خصوصاً دانشمندان داده، و خبرگان هوش مصنوعی. شما فکر میکنید، «من هرگز الگوریتمی به این ناسازگاری نخواهم ساخت». اما الگوریتمها میتوانند اشتباه کنند، حتی آثار مخرب عمیقی داشته باشند، در صورتی که نیتشان خیر بوده است. برخلاف هواپیمایی که بد طراحی شده است و سقوط میکند و همه آن را میبینند، الگوریتمی که بد طراحی شده باشد ممکن است مدت زیادی به صورت خاموش تخریب کند.
This is Roger Ailes.
این راجر ایلز است.
(Laughter)
(خندهی حضار)
He founded Fox News in 1996. More than 20 women complained about sexual harassment. They said they weren't allowed to succeed at Fox News. He was ousted last year, but we've seen recently that the problems have persisted. That begs the question: What should Fox News do to turn over another leaf?
او در سال ۱۹۹۶ فاکس نیوز را تأسیس کرد. بیش از ۲۰ زن از آزار جنسی شکایت کردند. آنها میگفتند که اجازه موفقیت در فاکس نیوز را ندارند. او سال گذشته برکنار شد، اما اخیراً دیده شده که مشکلات باقی ماندهاند. این مسئله این سؤال را برمیانگیزد: فاکس نیوز باید چه کند تا بهبود یابد؟
Well, what if they replaced their hiring process with a machine-learning algorithm? That sounds good, right? Think about it. The data, what would the data be? A reasonable choice would be the last 21 years of applications to Fox News. Reasonable. What about the definition of success? Reasonable choice would be, well, who is successful at Fox News? I guess someone who, say, stayed there for four years and was promoted at least once. Sounds reasonable. And then the algorithm would be trained. It would be trained to look for people to learn what led to success, what kind of applications historically led to success by that definition. Now think about what would happen if we applied that to a current pool of applicants. It would filter out women because they do not look like people who were successful in the past.
خب، چطور است فرایند استخدم را با یک الگوریتم یادگیری ماشین جایگزین کنیم؟ به نظر خوب میآید، نه؟ به آن فکر کنید. داده، دادهها چه خواهند بود؟ یک انتخاب منطقی سابقه درخواستهای استخدام در ۲۱ سال گذشتهی فاکس نیوز است. منطقی است. تعریف موفقیت چطور؟ یک انتخاب منطقی این است که، چه کسی در فاکس نیوز موفق است؟ به نظرم کسی که مثلاً، چهار سال در آنجا مانده باشد و حداقل یک بار ارتقاء گرفته باشد. به نظرم منطقی است. سپس الگوریتم را آموزش میدهیم. الگوریتم آموزش داده میشود که بگردد و بفهمد چه چیزی منجر به موفقیت شده است. بر اساس این تعریف که چه جور درخواستهایی در گذشته منجر به موفقیت شدهاند؟ حالا به این فکر کنید که اگر الگوریتم را روی درخواستهای فعلی اجرا کنیم چه خواهد شد؟ زنها حذف میشوند چون شبیه افرادی که در گذشته موفق بودهاند به نظر نمیرسند.
Algorithms don't make things fair if you just blithely, blindly apply algorithms. They don't make things fair. They repeat our past practices, our patterns. They automate the status quo. That would be great if we had a perfect world, but we don't. And I'll add that most companies don't have embarrassing lawsuits, but the data scientists in those companies are told to follow the data, to focus on accuracy. Think about what that means. Because we all have bias, it means they could be codifying sexism or any other kind of bigotry.
الگوریتمها چیزی را عادلانه نمیکنند اگر آنها را خوشبینانه و کورکورانه به کار ببرید. چیزی را عادلانه نمیکنند. آنها تجربیات و الگوهای گذشتهی ما را تکرار میکنند. وضعیت موجود را خودکارسازی میکنند. اگر دنیای ما بینقص بود، این عالی بود، اما اینطور نیست. و اضافه میکنم که اکثر شرکتها دادخواستهای شرمآوری ندارند، اما به دانشمندان داده در این شرکتها گفته میشود که دادهها را دنبال کنند، و روی دقت تمرکز کنند. به این فکر کنید که این به چه معنی است. چون ما همه تعصباتی داریم، یعنی ممکن است تبعیض جنسی یا هر نوع تعصب دیگر را به کد تبدیل کنیم.
Thought experiment, because I like them: an entirely segregated society -- racially segregated, all towns, all neighborhoods and where we send the police only to the minority neighborhoods to look for crime. The arrest data would be very biased. What if, on top of that, we found the data scientists and paid the data scientists to predict where the next crime would occur? Minority neighborhood. Or to predict who the next criminal would be? A minority. The data scientists would brag about how great and how accurate their model would be, and they'd be right.
یک آزمایش فکری، چون آن را دوست دارم: یک جامعه کاملاً تفکیکشده -- تفکیکشدهی نژادی، در تمام شهرها، تمام محلهها و پلیسها را برای تشخیص جرم فقط به محلهی اقلیتها میفرستیم. دادههای دستگیریها خیلی تبعیضآمیز خواهد بود. چه خوا هد شد اگر علاوه بر این، تعدادی دانشمند داده بیابیم و به آنها پول بدهیم تا محل وقوع جرایم بعدی را پیشبینی کنند؟ محلهی اقلیتها. و یا پیشبینی کنند مجرمِ بعدی که خواهد بود؟ یک [فردِ] اقلیت. دانشمندان داده به عظمت و دقتِ مدلِشان افتخار خواهند کرد، و حق دارند.
Now, reality isn't that drastic, but we do have severe segregations in many cities and towns, and we have plenty of evidence of biased policing and justice system data. And we actually do predict hotspots, places where crimes will occur. And we do predict, in fact, the individual criminality, the criminality of individuals. The news organization ProPublica recently looked into one of those "recidivism risk" algorithms, as they're called, being used in Florida during sentencing by judges. Bernard, on the left, the black man, was scored a 10 out of 10. Dylan, on the right, 3 out of 10. 10 out of 10, high risk. 3 out of 10, low risk. They were both brought in for drug possession. They both had records, but Dylan had a felony but Bernard didn't. This matters, because the higher score you are, the more likely you're being given a longer sentence.
آیا این جدی نیست؟ اما ما این تفکیکهای شدید را در بسیاری شهرهای بزرگ و کوچک داریم، و شواهدی زیادی از تعصبات پلیسی و دادههای سیستم قضایی، در دست داریم. و در واقع نقاط کانونی را پیشبینی میکنیم، مکانهایی که جرم در آن رخ خواهد داد. در حقیقت، جنایتکاری فردی را پیشبینی میکنیم. میزان جنایتکاری افراد را. سازمان خبری پروپابلیکا به یکی از الگوریتمهای به ظاهر [تشخیصدهندهی] «ریسک تکرار جرم» نگاهی انداخته است. که در فلوریدا حین صدور رأی قضات استفاده میشود. برنابرد، در سمت چپ، مرد سیاهپوست، امتیاز ۱۰ از ۱۰ گرفته بود. دیلان، در سمت راست، ۳ از ۱۰. ۱۰ از ۱۰، ریسک زیاد. ۳ از ۱۰، ریسک کم. هر دوی آنها به خاطر حمل مواد مخدر دستگیر شده بودند. هر دوی آنها سابقهدار بودند، اما دیلان سابقهی تبهکاری داشت ولی برنارد نداشت. این مسئله به این خاطر اهمیت دارد که هر چه امتیاز شما بالاتر باشد، احتمال اینکه محکومیت طولانیتری بگیرید افزایش مییابد.
What's going on? Data laundering. It's a process by which technologists hide ugly truths inside black box algorithms and call them objective; call them meritocratic. When they're secret, important and destructive, I've coined a term for these algorithms: "weapons of math destruction."
قضیه چیست؟ دادهشویی. فرایندی که طی آن فناوریگرایان حقایق زشت را در جعبههای سیاه پنهان میکنند. و آن را «عینی» میخوانند؛ آنرا «شایستهسالاری» خطاب میکنند. در حالی که این الگوریتمها مخفی، مهم و ویرانگر هستند، من برای آنها نامی در نظر گرفتهام: «سلاح کشتار ریاضی.»
(Laughter)
(خنده حضار)
(Applause)
(تشویق حضار)
They're everywhere, and it's not a mistake. These are private companies building private algorithms for private ends. Even the ones I talked about for teachers and the public police, those were built by private companies and sold to the government institutions. They call it their "secret sauce" -- that's why they can't tell us about it. It's also private power. They are profiting for wielding the authority of the inscrutable. Now you might think, since all this stuff is private and there's competition, maybe the free market will solve this problem. It won't. There's a lot of money to be made in unfairness.
اینها همه جا هستند، و این یک اشتباه نیست. این شرکتهای خصوصی الگوریتمهایی خصوصی برای اهداف شخصی میسازند. حتی همانهایی که دربارهشان صحبت کردم برای معلمان و پلیس عمومی، آنها هم توسط شرکتهای خصوصی ساخته شده بودند و به مؤسسات دولتی فروخته شده بودند. به آن «سس مخصوص» خودشان میگویند برای همین نمیتوانند دربارهی آن به ما توضیح دهند. قدرت خصوصی هم هست. آنها به خاطر داشتن حق محرمانگی سود میبرند. ممکن است فکر کنید، چون این چیزها خصوصی هستند و رقابت وجود دارد، شاید بازار آزاد این مسئله را حل کند. اینطور نخواهد شد. پول زیادی از بیعدالتی به دست میآید.
Also, we're not economic rational agents. We all are biased. We're all racist and bigoted in ways that we wish we weren't, in ways that we don't even know. We know this, though, in aggregate, because sociologists have consistently demonstrated this with these experiments they build, where they send a bunch of applications to jobs out, equally qualified but some have white-sounding names and some have black-sounding names, and it's always disappointing, the results -- always.
علاوه بر این، ما عاملهای اقتصادیِ منطقیای نیستیم. همهی ما تعصباتی داریم. ما همه نژادپرست و متعصبیم به طرقی که دوست داشتیم نباشیم، به طرقی که حتی نمیدانیم. هر چند در مجموع این را میدانیم چون جامعهشناسان مدام این را با آزمایشهایی که میکنند، ثابت کردهاند. آنها تعدادی درخواست استخدام را ارسال میکنند که به یک اندازه واجد شرایطند اما برخی نامهای سفیدپوستی و برخی نامهای سیاهپوستی دارند، و نتیجه همواره ناامیدکننده است، همیشه.
So we are the ones that are biased, and we are injecting those biases into the algorithms by choosing what data to collect, like I chose not to think about ramen noodles -- I decided it was irrelevant. But by trusting the data that's actually picking up on past practices and by choosing the definition of success, how can we expect the algorithms to emerge unscathed? We can't. We have to check them. We have to check them for fairness.
بنابراین این ما هستیم که تعصب داریم، و این تعصبات را با دادههایی که جمعآوری میکنیم به الگوریتمها تزریق میکنیم. مثلاً من تصمیمی گرفتم به ریمن نودل فکر نکنم به نظرم نامربوط بود. اما با اعتماد به دادههایی که از تجربیات گذشته یاد میگیرند و با انتخاب تعریف موفقیت، چطور میتوانیم از الگوریتمها انتظار داشته باشیم جان سالم به در ببرند؟ نمیتوانیم. باید آنها را بررسی کنیم. باید عدالت را در آنها بررسی کنیم.
The good news is, we can check them for fairness. Algorithms can be interrogated, and they will tell us the truth every time. And we can fix them. We can make them better. I call this an algorithmic audit, and I'll walk you through it.
خبر خوب اینکه، میتوانیم عدالت را در آنان بررسی کنیم. میتوان الگوریتمها را بازجویی کرد. و آنها هر بار به ما حقیقت را خواهند گفت. و میتوانیم آنها را درست کنیم. میتوانیم آنها را بهتر کنیم. من به این حسابرسی الگوریتمی میگویم، و آن را به شما توضیح میدهم.
First, data integrity check. For the recidivism risk algorithm I talked about, a data integrity check would mean we'd have to come to terms with the fact that in the US, whites and blacks smoke pot at the same rate but blacks are far more likely to be arrested -- four or five times more likely, depending on the area. What is that bias looking like in other crime categories, and how do we account for it?
نخست، بررسی درستی دادهها. برای الگوریتم ریسک تکرار جنایت که دربارهاش صحبت کردم، بررسی درستی داده به این معنی است که باید با این حقیقت کنار بیاییم که در ایالات متحده، سیاهپوستان و سفیدپوستان به میزان یکسانی گُل میکشند اما سیاهپوستان به مراتب بیشتر دستگیر میشوند چهار تا پنچ برابر بیشتر وابسته به منطقه. این تعصب در سایر ردههای جرم چطور است، و چطور آن را در نظر بگیریم؟
Second, we should think about the definition of success, audit that. Remember -- with the hiring algorithm? We talked about it. Someone who stays for four years and is promoted once? Well, that is a successful employee, but it's also an employee that is supported by their culture. That said, also it can be quite biased. We need to separate those two things. We should look to the blind orchestra audition as an example. That's where the people auditioning are behind a sheet. What I want to think about there is the people who are listening have decided what's important and they've decided what's not important, and they're not getting distracted by that. When the blind orchestra auditions started, the number of women in orchestras went up by a factor of five.
دوم، باید دربارهی تعریف موفقیت فکر کنیم، آن را حسابرسی کنیم. الگوریتم استخدام را به خاطر دارید؟ دربارهی آن صحبت کردیم. فردی که چهارسال بماند و یک بار ارتقاء گرفته باشد؟ خب، این یک کارمند موفق است. اما علاوه بر این کارمندی است که در فرهنگش مورد حمایت قرار گرفته است. بنابراین، آن هم میتواند متعصبانه باشد. باید این دو را از هم جدا کنیم. برای مثال باید به مصاحبهی ارکستر ناپیدا بنگریم. در این مصاحبه افراد مصاحبهگر در پسِ یک پرده هستند. آنچه میخواهم به آن فکر کنم این است که افرادی که گوش میدهند متوجه شدهاند چه چیزی مهم است و چه چیزی مهم نیست، و به خاطر آن حواسشان پرت نمیشود. زمانی که مصاحبهی ارکستر ناپیدا شروع شد، تعداد زنان در ارکسترها پنچ برابر شد.
Next, we have to consider accuracy. This is where the value-added model for teachers would fail immediately. No algorithm is perfect, of course, so we have to consider the errors of every algorithm. How often are there errors, and for whom does this model fail? What is the cost of that failure?
سپس، باید دقت را در نظر بگیریم. اینجاست که مدل ارزش افزوده برای معلمان بلافاصله در هم میشکند. البته هیچ الگوریتمی بینقص نیست، بنابراین باید خطای تمام الگوریتمها را در نظر بگیریم. این خطاها تا چه حد پر تکرارند، و این مدل برای چه کسانی بد عمل میکند؟ هزینهی این خطا چقدر است؟
And finally, we have to consider the long-term effects of algorithms, the feedback loops that are engendering. That sounds abstract, but imagine if Facebook engineers had considered that before they decided to show us only things that our friends had posted.
و در نهایت، باید آثار بلند مدت الگوریتمها را در نظر بگیریم. حلقههای بازخوردی که تشدید کنندهاند. به نظر انتزاعی میرسد، اما تصور کنید اگر مهندسان فیسبوک پیش از آنکه تصمیم بگیرند فقط چیزهایی را به ما نشان بدهند که دوستانمان فرستادهاند،
I have two more messages, one for the data scientists out there.
این مسئله را در نظر نگرفته بودند.
Data scientists: we should not be the arbiters of truth. We should be translators of ethical discussions that happen in larger society.
دو پیام دیگر هم دارم، یکی برای دانشمندان داده. دانشمندان داده: ما نباید داوران حقیقت باشیم. ما باید مترجمان گفتگوهای اخلاقی باشیم که در جامعهی بزرگتر رخ میدهد.
(Applause)
(تشویق حضار)
And the rest of you, the non-data scientists: this is not a math test. This is a political fight. We need to demand accountability for our algorithmic overlords.
و بقیهی شما، کسانی که دانشمند داده نیستند: این یک امتحان ریاضی نیست. این یک جنگ سیاسی است. ما باید مسئولیتپذیری را از اربابانِ الگوریتمیمان مطالبه کنیم.
(Applause)
(تشویق حضار)
The era of blind faith in big data must end.
عصر ایمان کورکورانه به دادههای عظیم باید پایان بیابد.
Thank you very much.
خیلی متشکرم.
(Applause)
(تشویق حضار)