So, I started my first job as a computer programmer in my very first year of college -- basically, as a teenager.
ดิฉันเริ่มทำงานครั้งแรก เป็นคอมพิวเตอร์ โปรแกรมเมอร์ ในปีแรกที่เรียนมหาวิทยาลัย ตั้งแต่ยังวัยรุ่น
Soon after I started working, writing software in a company, a manager who worked at the company came down to where I was, and he whispered to me, "Can he tell if I'm lying?" There was nobody else in the room.
เริ่มทำงานเขียนโปรแกรม ให้บริษัทได้ไม่นาน ผู้จัดการคนหนึ่งในบริษัทนั้น มาหาดิฉัน แล้วกระซิบถามว่า "มันจับโกหกผมได้หรือเปล่า?" ตอนนั้น ไม่มีคนอื่นอยู่ในห้องอีก
"Can who tell if you're lying? And why are we whispering?"
"ใครที่ไหนจับโกหกคุณได้เหรอ? แล้วเราจะกระซิบกันทำไม?"
The manager pointed at the computer in the room. "Can he tell if I'm lying?" Well, that manager was having an affair with the receptionist.
ผู้จัดการก็ชี้ ไปที่คอมพิวเตอร์ "มันจับโกหกผมได้หรือเปล่า?" พอดีว่า ผู้จัดการคนนั้น เป็นชู้อยู่กับพนักงานต้อนรับ
(Laughter)
(เสียงหัวเราะ)
And I was still a teenager. So I whisper-shouted back to him, "Yes, the computer can tell if you're lying."
ตอนนั้น ฉันยังเป็นแค่วัยรุ่น ฉันเลยกระซิบดัง ๆ กลับไปว่า "ใช่ ๆ คอมพิวเตอร์มันจับโกหกได้ค่ะ"
(Laughter)
(เสียงหัวเราะ)
Well, I laughed, but actually, the laugh's on me. Nowadays, there are computational systems that can suss out emotional states and even lying from processing human faces. Advertisers and even governments are very interested.
ดิฉันอำไปขำ ๆ แต่ตอนนี้ ดิฉันกลับขำไม่ออกเสียเอง ปัจจุบัน มีระบบคอมพิวเตอร์ ที่สามารถตรวจจับอารมณ์ หรือกระทั่งคำโกหกได้ โดยการประมวลผลใบหน้ามนุษย์ ทั้งบริษัทโฆษณาและรัฐบาล ต่างก็สนใจอย่างมาก
I had become a computer programmer because I was one of those kids crazy about math and science. But somewhere along the line I'd learned about nuclear weapons, and I'd gotten really concerned with the ethics of science. I was troubled. However, because of family circumstances, I also needed to start working as soon as possible. So I thought to myself, hey, let me pick a technical field where I can get a job easily and where I don't have to deal with any troublesome questions of ethics. So I picked computers.
ดิฉันทำอาชีพคอมพิวเตอร์ โปรแกรมเมอร์ เพราะตอนเป็นเด็ก ดิฉันชอบคณิตศาสตร์ และวิทยาศาสตร์มาก ๆ แต่พอโตขึ้น ดิฉันก็ได้รู้เรื่องอาวุธนิวเคลียร์ ซึ่งทำให้ดิฉันไม่สบายใจเรื่อง จริยธรรมทางวิทยาศาสตร์เอามาก ๆ ดิฉันรู้สึกไม่ดีเลย อย่างไรก็ตาม ด้วยความจำเป็นของครอบครัว ดิฉันต้องรีบหางานทำให้เร็วที่สุดให้ได้ด้วย ดิฉันเลยคิดว่า เอาอาชีพเชิงเทคนิค แบบที่ดิฉันจะได้งานง่าย ๆ และก็ไม่ต้องมาปวดหัวกับ ปัญหาจริยธรรมอะไรก็แล้วกัน ดิฉันเลยเลือกคอมพิวเตอร์
(Laughter)
(เสียงหัวเราะ)
Well, ha, ha, ha! All the laughs are on me. Nowadays, computer scientists are building platforms that control what a billion people see every day. They're developing cars that could decide who to run over. They're even building machines, weapons, that might kill human beings in war. It's ethics all the way down.
ฮ่า ฮ่า ฮ่า ดิฉันนี่เองกลับขำไม่ออก ปัจจุบัน นักวิทยาศาสตร์คอมพิวเตอร์ กำลังสร้างแพลตฟอร์ม ที่ควบคุมสื่อซึ่งประชากร เป็นพันล้านคนดูอยู่ทุกวัน พวกเขากำลังสร้างรถ ที่จะตัดสินใจว่าใครที่จะวิ่งชนได้ พวกเขาสร้างแม้กระทั่งเครื่องจักร และอาวุธ ที่คร่าชีวิตมนุษย์ในสงครามได้ สิ่งเหล่านี้ ล้วนเกี่ยวกับจริยธรรม
Machine intelligence is here. We're now using computation to make all sort of decisions, but also new kinds of decisions. We're asking questions to computation that have no single right answers, that are subjective and open-ended and value-laden.
เครื่องจักร มีสติปัญญาแล้ว เราใช้คอมพิวเตอร์คำนวณ เพื่อตัดสินใจเรื่องสารพัดอย่าง รวมถึงการตัดสินใจรูปแบบใหม่ ๆ ด้วย เราเริ่มใช้คอมพิวเตอร์ เพื่อตอบคำถามที่ไม่มีคำตอบตายตัว คำถามอัตนัย ปลายเปิด และต้องใช้มุมมองในการตอบ
We're asking questions like, "Who should the company hire?" "Which update from which friend should you be shown?" "Which convict is more likely to reoffend?" "Which news item or movie should be recommended to people?"
คำถามอย่างเช่น "บริษัทควรจ้างใครดี" "ควรแสดงอัพเดตของเฟรนด์คนไหนดี" "นักโทษคนไหนมีแนวโน้มทำผิดซ้ำอีก" "ควรแนะนำข่าวหรือหนังเรื่องอะไรให้คนดูดี"
Look, yes, we've been using computers for a while, but this is different. This is a historical twist, because we cannot anchor computation for such subjective decisions the way we can anchor computation for flying airplanes, building bridges, going to the moon. Are airplanes safer? Did the bridge sway and fall? There, we have agreed-upon, fairly clear benchmarks, and we have laws of nature to guide us. We have no such anchors and benchmarks for decisions in messy human affairs.
ใช่ค่ะ เราใช้คอมพิวเตอร์กันมาระยะนึงแล้ว แต่นี่ไม่เหมือนแต่ก่อน นี่คือจุดพลิกผันครั้งประวัติศาสตร์ เพราะเป็นไปไม่ได้ ที่เราจะใช้คอมพิวเตอร์ มาช่วยแก้ปัญหาเชิงอัตวิสัย แบบเดียวกับที่ใช้ช่วยสร้างเครื่องบิน สร้างสะพาน หรือไปดวงจันทร์ เครื่องบินปลอดภัยขึ้นมั้ย สะพานจะแกว่งหรือพังมั้ย เรื่องแบบนี้ เรามีจุดตรวจสอบ ที่จับต้อง เห็นตรงกันได้ และเรามีกฎธรรมชาติช่วยนำทางให้ แต่เราไม่มีหมุดหมายหรือจุดตรวจสอบเช่นนั้น สำหรับการตัดสิน เรื่องธุระที่ยุ่งเหยิงของมนุษย์
To make things more complicated, our software is getting more powerful, but it's also getting less transparent and more complex. Recently, in the past decade, complex algorithms have made great strides. They can recognize human faces. They can decipher handwriting. They can detect credit card fraud and block spam and they can translate between languages. They can detect tumors in medical imaging. They can beat humans in chess and Go.
เรื่องยิ่งยุ่งยากขึ้นอีก เมื่อซอฟท์แวร์ของเราทรงพลังขึ้น แต่ขณะเดียวกัน ก็โปร่งใสลดลง และซับซ้อนมากขึ้น ในทศวรรษที่ผ่านมา อัลกอริธึ่มระดับซับซ้อน ก้าวล้ำรุดหน้าอย่างยิ่ง พวกมันตรวจจับใบหน้ามนุษย์ได้ แกะลายมือได้ ตรวจหาการโกงบัตรเครดิต และบล็อกสแปมได้ แปลภาษาได้หลากหลาย ค้นหาเนื้องอกผ่านระบบฉายภาพได้ เล่นหมากรุกและโกะชนะมนุษย์ได้
Much of this progress comes from a method called "machine learning." Machine learning is different than traditional programming, where you give the computer detailed, exact, painstaking instructions. It's more like you take the system and you feed it lots of data, including unstructured data, like the kind we generate in our digital lives. And the system learns by churning through this data. And also, crucially, these systems don't operate under a single-answer logic. They don't produce a simple answer; it's more probabilistic: "This one is probably more like what you're looking for."
ความล้ำหน้าเหล่านี้เกิดจากกระบวนการ "แมคชีน เลิร์นนิ่ง" (Machine Learning) แมคชีน เลิร์นนิ่ง ต่างจาก การเขียนโปรแกรมทั่วไป ที่คุณเขียนคำสั่งป้อนคอมพิวเตอร์ อย่างละเอียด เจาะจง และรัดกุม กรณีนี้ เป็นเหมือนการป้อนข้อมูลจำนวนมาก เข้าสู่ระบบ ซึ่งรวมถึงข้อมูลที่ไม่มีโครงสร้าง แบบที่เกิดขึ้น เวลาเล่นอินเทอร์เนต จากนั้น ระบบจะเรียนรู้ โดยประมวลย่อยข้อมูลเหล่านั้น และที่สำคัญ ระบบพวกนี้ไม่ได้ทำงาน โดยใช้ชุดตรรกะที่ให้คำตอบตายตัว พวกมันจะไม่สร้างคำตอบแบบพื้น ๆ แต่เป็นคำตอบที่อิงความน่าจะเป็น "คำตอบนี้น่าจะเป็นสิ่งที่คุณมองหาอยู่"
Now, the upside is: this method is really powerful. The head of Google's AI systems called it, "the unreasonable effectiveness of data." The downside is, we don't really understand what the system learned. In fact, that's its power. This is less like giving instructions to a computer; it's more like training a puppy-machine-creature we don't really understand or control. So this is our problem. It's a problem when this artificial intelligence system gets things wrong. It's also a problem when it gets things right, because we don't even know which is which when it's a subjective problem. We don't know what this thing is thinking.
ซึ่งมีด้านดีคือ วิธีการนี้ทรงพลังเอามาก ๆ หัวหน้าระบบเอไอของกูเกิ้ลเรียกมันว่า "ประสิทธิผลอย่างไม่น่าเชื่อของดาต้า" แต่ด้าบลบก็คือ เรายังไม่เข้าใจเลยว่า อะไรคือสิ่งที่ระบบเรียนรู้ ซึ่งนี่เองคือจุดเด่นของมัน นี่ไม่ใช่การป้อนคำสั่งให้คอมพิวเตอร์ แต่เป็นเหมือนการฝึกลูกหมา ที่เผอิญเป็นคอมพิวเตอร์ เราไม่ได้เข้าใจหรือควบคุมอะไรมันได้เลย นี่เองคือปัญหาของเรา จะเกิดปัญหาขึ้น เมื่อระบบเอไอ พวกนี้ตีความข้อมูลผิด และจะเกิดปัญหาเช่นกัน แม้เมื่อมันตีความถูก เพราะเราไม่รู้ด้วยซ้ำว่าอะไรผิดหรือถูก เมื่อพูดถึงปัญหาแบบอัตนัย เราไม่รู้ว่าเจ้าสิ่งนี้คิดอะไรอยู่กันแน่
So, consider a hiring algorithm -- a system used to hire people, using machine-learning systems. Such a system would have been trained on previous employees' data and instructed to find and hire people like the existing high performers in the company. Sounds good. I once attended a conference that brought together human resources managers and executives, high-level people, using such systems in hiring. They were super excited. They thought that this would make hiring more objective, less biased, and give women and minorities a better shot against biased human managers.
สมมติว่ามีอัลกอริธึ่มสำหรับจ้างพนักงาน ระบบที่ตัดสินใจจ้างพนักงาน โดยใช้วิธีแมคชีน เลิร์นนิ่ง ระบบเช่นนี้ จะถูกฝึกผ่านการป้อนข้อมูล พนักงานที่เคยจ้างในอดีต และถูกสั่งให้ค้นหาและว่าจ้าง คนที่มีคุณสมบัติเหมือนพนักงาน ระดับเยี่ยมที่มีอยู่ในปัจจุบัน ฟังดูดี ครั้งหนึ่ง ดิฉันเข้าประชุม งานเสวนาที่รวมเอา ผู้จัดการและผู้บริหารด้านทรัพยากรมนุษย์ คนระดับสูง ๆ ที่ใช้ระบบแบบนี้ไว้จ้างงาน พวกเขาตื่นเต้นมาก ๆ พวกเขาคิดว่า ระบบจะทำให้การจ้างงาน ตรงตามข้อเท็จจริงมากขึ้น มีอคติน้อยลง ทำให้ผู้หญิงและคนกลุ่มน้อย มีโอกาสได้จ้างดีขึ้น เมื่อเทียบกับใช้คนจ้างที่อาจมีอคติ
And look -- human hiring is biased. I know. I mean, in one of my early jobs as a programmer, my immediate manager would sometimes come down to where I was really early in the morning or really late in the afternoon, and she'd say, "Zeynep, let's go to lunch!" I'd be puzzled by the weird timing. It's 4pm. Lunch? I was broke, so free lunch. I always went. I later realized what was happening. My immediate managers had not confessed to their higher-ups that the programmer they hired for a serious job was a teen girl who wore jeans and sneakers to work. I was doing a good job, I just looked wrong and was the wrong age and gender.
การจ้างงานโดยใช้มนุษย์นั้นมีอคติค่ะ ฉันรู้ดี ช่วงที่ฉันเป็นโปรแกรมเมอร์ใหม่ ๆ บางครั้ง หัวหน้าของฉัน จะมาหาฉัน ตอนเช้ามาก ๆ หรือไม่ก็ ตอนบ่ายมาก ๆ เธอบอกว่า "เซย์เน็ป ไปกินข้าวเที่ยงกัน!" พอดูเวลา ฉันก็จะงง บ่าย 4 ข้าวเที่ยงเหรอ? ตอนนั้น ฉันไม่มีเงิน ฉะนั้น ข้าวเที่ยงฟรี ฉันพร้อมเสมอ ต่อมา ดิฉันถึงเข้าใจเบื้องหลัง หัวหน้าของฉันไม่ได้ บอกผู้ใหญ่ตามตรงว่า โปรแกรมเมอร์ที่พวกเขาจ้าง มานั้น เป็นแค่วัยรุ่นผู้หญิง ที่ใส่กางเกงยีนส์ รองเท้าผ้าใบมาทำงาน ดิฉันทำผลงานดี แต่รูปลักษณ์นั้นไม่ผ่าน ไม่ผ่านทั้งอายุ และเพศ
So hiring in a gender- and race-blind way certainly sounds good to me. But with these systems, it is more complicated, and here's why: Currently, computational systems can infer all sorts of things about you from your digital crumbs, even if you have not disclosed those things. They can infer your sexual orientation, your personality traits, your political leanings. They have predictive power with high levels of accuracy. Remember -- for things you haven't even disclosed. This is inference.
แน่นอนว่า การจ้างงานโดย ไม่คำนึงถึงเพศ และเชื้อชาติ ถูกใจฉันแน่นอน แต่ถ้าเราใช้ระบบนี้ จะมีเรื่องยุ่งยากเพิ่มขึ้นค่ะ เพราะในปัจจุบันระบบคอมพิวเตอร์ สามารถคาดเดาเรื่องของคุณได้สารพัด จากร่องรอยทางดิจิตอลของคุณ ถึงแม้คุณจะไม่เปิดเผย ข้อมูลเหล่านั้นเลยก็ตาม พวกมันคาดเดาได้ ทั้งรสนิยมทางเพศของคุณ บุคลิกนิสัย แนวโน้มทางการเมือง พวกมันสามารถทำนายได้ ด้วยความแม่นยำสูง อย่าลืมค่ะ นี่แค่เรื่อง ที่คุณไม่ได้เปิดเผยเสียด้วยซ้ำ เป็นแค่การคาดเดา
I have a friend who developed such computational systems to predict the likelihood of clinical or postpartum depression from social media data. The results are impressive. Her system can predict the likelihood of depression months before the onset of any symptoms -- months before. No symptoms, there's prediction. She hopes it will be used for early intervention. Great! But now put this in the context of hiring.
ดิฉันมีเพื่อนที่พัฒนา ระบบคอมพิวเตอร์แบบนี้ เพื่อทำนายความน่าจะเป็น ของการเป็นโรคซึมเศร้ารุนแรงหรือหลังคลอดลูก โดยใช้ข้อมูลโซเชียลมีเดีย ผลที่ได้ น่าประทับใจมาก ระบบของเธอสามารถทำนาย แนวโน้มการเป็นโรคซึมเศร้า ได้ล่วงหน้าหลายเดือนก่อนเกิดอาการขึ้นจริง รู้ล่วงหน้าหลายเดือน ยังไม่มีอาการ แต่เป็นแค่การทำนาย เธอหวังว่าจะใช้ระบบนี้ เพื่อป้องกันโรคแต่เนิ่น ๆ ดีค่ะ! ทีนี้ ลองเอาเรื่องนี้มาคิดกับการจ้างคน
So at this human resources managers conference, I approached a high-level manager in a very large company, and I said to her, "Look, what if, unbeknownst to you, your system is weeding out people with high future likelihood of depression? They're not depressed now, just maybe in the future, more likely. What if it's weeding out women more likely to be pregnant in the next year or two but aren't pregnant now? What if it's hiring aggressive people because that's your workplace culture?" You can't tell this by looking at gender breakdowns. Those may be balanced. And since this is machine learning, not traditional coding, there is no variable there labeled "higher risk of depression," "higher risk of pregnancy," "aggressive guy scale." Not only do you not know what your system is selecting on, you don't even know where to begin to look. It's a black box. It has predictive power, but you don't understand it.
ที่งานประชุมของผู้จัดการทรัพยากรมนุษย์ งานนี้ ดิฉันพูดคุยกับผู้บริหารระดับสูง ของบริษัทใหญ่ยักษ์แห่งหนึ่ง ดิฉันถามเธอว่า "สมมติว่า โดยที่คุณไม่ล่วงรู้" ระบบคัดคนที่มีแนวโน้ม เป็นโรคซึมเศร้าในอนาคตสูงออกไป ไม่ใช่ว่าซึมเศร้าตอนนี้นะ แค่อาจจะซึมเศร้าในอนาคต ถ้ามันคัดผู้หญิงที่มีแนวโน้มสูง ว่าจะตั้งครรภ์ ในอีกปีสองปี แต่ไม่ได้ตั้งครรภ์ตอนนี้ออกไปล่ะ สมมติว่า มันจ้างคนบุคลิกก้าวร้าว เพราะว่ามันเป็นวัฒนธรรมองค์กรของคุณล่ะ เรื่องเหล่านี้ คุณดูไม่ออก โดยใช้แค่เพศจำแนก มันอาจเหมือน ๆ กันก็ได้ และเพราะว่านี่เป็น แมคชีน เลิร์นนิ่ง ไม่ใช่การโปรแกรมแบบปกติ จึงไม่มีตัวแปรที่ระบุว่า "ความเสี่ยงซึมเศร้าสูง" "ความเสี่ยงตั้งครรภ์สูง" "ระดับความก้าวร้าวสูง" คุณไม่เพียงไม่รู้ว่า ระบบเลือกอะไรมา คุณไม่รู้ด้วยซ้ำ ว่าจะเริ่มหาจากตรงไหนดี มันเหมือนกล่องดำ มันสามารถทำนายได้ แต่เราไม่อาจเข้าใจมันได้
"What safeguards," I asked, "do you have to make sure that your black box isn't doing something shady?" She looked at me as if I had just stepped on 10 puppy tails.
ฉันถาม "คุณจะใช้วิธีป้องกันใด เพื่อให้แน่ใจว่า กล่องดำของคุณ ไม่ทำอะไรนอกลู่นอกทาง เธอมองดิฉันกลับเหมือนดิฉันกำลัง เหยียบหางลูกหมาอยู่ 10 ตัว
(Laughter)
(เสียงหัวเราะ)
She stared at me and she said, "I don't want to hear another word about this." And she turned around and walked away. Mind you -- she wasn't rude. It was clearly: what I don't know isn't my problem, go away, death stare.
เธอจ้องดิฉันกลับ และพูดว่า "อย่ามาพูดอะไรแบบนี้ ให้ฉันฟังอีกนะคะ" แล้วเธอก็หันหน้า เดินหนีไป เธอไม่ได้หยาบคายหรอกค่ะ แค่ว่า อะไรที่ฉันไม่รู้ ไม่ใช่ปัญหาของฉัน ไปไกล ๆ ไล่ด้วยสายตา
(Laughter)
(เสียงหัวเราะ)
Look, such a system may even be less biased than human managers in some ways. And it could make monetary sense. But it could also lead to a steady but stealthy shutting out of the job market of people with higher risk of depression. Is this the kind of society we want to build, without even knowing we've done this, because we turned decision-making to machines we don't totally understand?
ระบบแบบนั้น อาจมีอคติน้อยกว่า ผู้จัดการมนุษย์ในบางด้าน และอาจคุ้มค่าทางการเงินด้วยก็จริง แต่ก็อาจเป็นต้นเหตุ ที่ค่อย ๆ นำไปสู่การกีดกัน คนที่มีแนวโน้มซึมเศร้า ออกจากตลาดแรงงานไปเลย โดยเราไม่รู้ตัว นี่คือสังคมแบบที่เราอยาก สร้างขึ้น โดยที่เราไม่รู้ตัว เพราะเราให้การตัดสินใจ อยู่ในมือของเครื่องกลที่เราเอง ก็ไม่เข้าใจอย่างถ่องแท้อย่างนั้นหรือ
Another problem is this: these systems are often trained on data generated by our actions, human imprints. Well, they could just be reflecting our biases, and these systems could be picking up on our biases and amplifying them and showing them back to us, while we're telling ourselves, "We're just doing objective, neutral computation."
อีกปัญหาหนึ่งคือ ระบบเหล่านี้ มักถูกฝึกฝน โดยใช้ข้อมูลที่เกิดจากพฤติกรรมของเรา พฤติกรรมของมนุษย์ ฉะนั้น มันอาจรับเอาอคติของเรา แล้วก็หยิบอคติเหล่านั้นออกมา ขยายให้รุนแรงขึ้น แล้วก็แสดงผลกลับมาให้เราดู ขณะที่เราพร่ำบอกตัวเองว่า "เรากำลังคำนวณอย่างเป็นกลาง ตามข้อเท็จจริง"
Researchers found that on Google, women are less likely than men to be shown job ads for high-paying jobs. And searching for African-American names is more likely to bring up ads suggesting criminal history, even when there is none. Such hidden biases and black-box algorithms that researchers uncover sometimes but sometimes we don't know, can have life-altering consequences.
นักวิจัยพบว่าบนกูเกิ้ล โฆษณางานรายได้สูงมีแนวโน้มจะแสดง ให้ผู้หญิงเห็นน้อยกว่าให้ผู้ชาย และถ้าเราเสิร์ชหาชื่อคนแอฟริกัน-อเมริกัน ก็มีแนวโน้มที่โฆษณาซึ่งเกี่ยวข้อง กับประวัติอาชญากรรมจะแสดงขึ้นมา แม้ว่าคนนั้น จะไม่มีประวัติเลยก็ตาม อคติซ่อนเร้น และอัลกอริธึ่มกล่องดำแบบนี้เอง ซึ่งบางครั้ง นักวิจัยก็เผอิญค้นพบ แต่บางครั้งก็ไม่อาจรู้ได้ ที่อาจสร้างผลกระทบ ถึงขั้นเปลี่ยนชีวิตคนได้
In Wisconsin, a defendant was sentenced to six years in prison for evading the police. You may not know this, but algorithms are increasingly used in parole and sentencing decisions. He wanted to know: How is this score calculated? It's a commercial black box. The company refused to have its algorithm be challenged in open court. But ProPublica, an investigative nonprofit, audited that very algorithm with what public data they could find, and found that its outcomes were biased and its predictive power was dismal, barely better than chance, and it was wrongly labeling black defendants as future criminals at twice the rate of white defendants.
ในวิสคอนซิน ผู้ต้องหาคนหนึ่ง ถูกตัดสินจำคุกหกปี ข้อหาหลบหนีตำรวจ เรื่องนี้คุณอาจไม่รู้ แต่เราให้อัลกอริธึ่มตัดสินใจเรื่อง การสั่งทัณฑ์บนหรือจำคุกมากขึ้นเรื่อย ๆ ผู้ต้องหาคนนั้นอยากรู้ว่า คะแนนนี้มีวิธีคำนวณอย่างไร อัลกอริธึ่มนีี้เป็นของบริษัทแสวงกำไร บริษัทนั้นปฎิเสธที่จะให้ ศาลไต่สวนอัลกอริธึ่มของตนเอง แต่ โพรพับลิก้า (ProPublica) หน่วยงานสืบสวนไม่หวังกำไร ตรวจสอบอัลกอริธึ่มนั้น โดยใช้ข้อมูลสาธารณะเท่าที่หาได้ และพบว่า ผลลัพธ์ที่ได้มีอคติอยู่ ความสามารถในการทำนายย่ำแย่ ดีกว่าเดาสุ่มแค่นิดเดียว มันให้ผลลัพธ์ที่ผิดพลาดว่า ผู้ต้องหาผิวดำมีแนวโน้มเป็นอาชญากรในอนาคต สูงเป็นสองเท่าของผู้ต้องหาผิวขาว
So, consider this case: This woman was late picking up her godsister from a school in Broward County, Florida, running down the street with a friend of hers. They spotted an unlocked kid's bike and a scooter on a porch and foolishly jumped on it. As they were speeding off, a woman came out and said, "Hey! That's my kid's bike!" They dropped it, they walked away, but they were arrested.
ลองดูอีกคดีหนึ่ง ผู้หญิงคนนี้ ไปรับน้องสาวบุญธรรม กลับจากโรงเรียน ในบรอเวิร์ด เคาน์ตี้ ฟลอริด้า สายกว่าเวลา เธอกับเพื่อน ๆ วิ่งกันไปตามถนน แล้วเจอจักรยานเด็ก และสกูตเตอร์วางทิ้งไว้ แล้วก็เอามาใช้อย่างไม่คิด ขณะที่กำลังจะปั่นจักรยานไป ผู้หญิงคนหนึ่งก็ออกมาตะโกนว่า "เฮ้ นั่นของลูกฉันนะ" พวกเธอเลยทิ้งจักรยาน รีบเดินหนี แล้วก็ถูกจับกุม
She was wrong, she was foolish, but she was also just 18. She had a couple of juvenile misdemeanors. Meanwhile, that man had been arrested for shoplifting in Home Depot -- 85 dollars' worth of stuff, a similar petty crime. But he had two prior armed robbery convictions. But the algorithm scored her as high risk, and not him. Two years later, ProPublica found that she had not reoffended. It was just hard to get a job for her with her record. He, on the other hand, did reoffend and is now serving an eight-year prison term for a later crime. Clearly, we need to audit our black boxes and not have them have this kind of unchecked power.
เธอผิดจริง เธอโง่เขลา แต่เธอก็อายุแค่ 18 ด้วย เธอเคยถูกจับด้วยข้อหาเล็ก ๆ น้อย ๆ มาก่อน ส่วนผู้ชายคนนั้น ถูกจับกุม ข้อหาขโมยของในโฮมดีโป้ มูลค่า 85 ดอลลาร์ เป็นอาชญากรรมเล็ก ๆ น้อย ๆ เช่นกัน แต่เขามีประวัติกรรโชคทรัพย์ มาแล้วถึงสองครั้ง แต่อัลกอริธึ่มกลับให้คะแนน ความเสี่ยงเธอสูง ไม่ใช่เขา สองปีต่อมา โปรพับลิก้า พบว่า เธอไม่ได้กระทำผิดซ้ำอีก แต่ด้วยประวัติของเธอ ทำให้เธอหางานทำได้ยาก แต่ผู้ชายนั้น กลับทำความผิดซ้ำ และตอนนี้ ต้องโทษจำคุกแปดปี จากการทำผิดหนหลัง ฉะนั้น เราต้องตรวจสอบกล่องดำของเรา และไม่ปล่อยให้มันมีอำนาจโดย ไม่มีการถ่วงดุลเช่นนี้
(Applause)
(เสียงปรบมือ)
Audits are great and important, but they don't solve all our problems. Take Facebook's powerful news feed algorithm -- you know, the one that ranks everything and decides what to show you from all the friends and pages you follow. Should you be shown another baby picture?
การตรวจสอบเป็นเรื่องที่ดีและสำคัญ แต่ก็ไม่ได้แก้ปัญหาได้ทุกเรื่อง ลองดูฟีดข่าวทรงอิทธิพล ของเฟซบุ้กเป็นตัวอย่าง อันที่จัดลำดับข่าวสารทุกอย่าง แล้วตัดสินใจว่าจะโชว์อะไรให้คุณดู โดยดูจากเพื่อนและเพจที่คุณติดตามนี่แหละ จะโชว์อะไรดีล่ะ รูปเด็กเล็ก
(Laughter)
(เสียงหัวเราะ)
A sullen note from an acquaintance? An important but difficult news item? There's no right answer. Facebook optimizes for engagement on the site: likes, shares, comments.
หรือโน้ตขึงขังที่คนรู้จักเขียน หรือจะเป็นข่าวชิ้นสำคัญแต่อ่านยาก ไม่มีคำตอบผิดถูก เฟซบุ้กให้ความสำคัญกับ การมีปฏิสัมพันธ์ต่อคอนเทนต์ ไลค์ แชร์ คอมเมนต์
In August of 2014, protests broke out in Ferguson, Missouri, after the killing of an African-American teenager by a white police officer, under murky circumstances. The news of the protests was all over my algorithmically unfiltered Twitter feed, but nowhere on my Facebook. Was it my Facebook friends? I disabled Facebook's algorithm, which is hard because Facebook keeps wanting to make you come under the algorithm's control, and saw that my friends were talking about it. It's just that the algorithm wasn't showing it to me. I researched this and found this was a widespread problem.
ในเดือนสิงหาคม ค.ศ. 2014 เกิดการประท้วงที่ เฟอร์กูสัน รัฐมิสซูรี่ หลังจากเหตุการณ์ที่ตำรวจผิวขาว ฆ่าวัยรุ่นแอฟริกันอเมริกันตาย ในสภาพการณ์ที่ีน่าสงสัย ข่าวการประท้วงผุดเต็มฟีด บนหน้าทวิตเตอร์ ที่ไม่มีอัลกอริธึ่มคัดกรองของดิฉัน แต่หาไม่เจอบนเฟซบุ้กเลย เพราะเพื่อนบนเฟซบุ้กของฉันหรือ? ดิฉันบล็อกอัลกอริธึ่มของเฟซบุ้กเสีย ซึ่งทำได้ยาก เพราะเฟซบุ้ก จะยืนกรานแต่ให้คุณ อยู่ใต้บงการของอัลกอริธึ่ม แล้วก็พบว่า เพื่อน ๆ ของฉัน ต่างก็พูดถึงเรื่องนี้ แต่อัลกอริธึ่มมันไม่ยอม โชว์ให้ดิฉันดู ฉันค้นคว้าเรื่องนี้ต่อ และพบว่านี่เป็นปัญหาในวงกว้าง
The story of Ferguson wasn't algorithm-friendly. It's not "likable." Who's going to click on "like?" It's not even easy to comment on. Without likes and comments, the algorithm was likely showing it to even fewer people, so we didn't get to see this. Instead, that week, Facebook's algorithm highlighted this, which is the ALS Ice Bucket Challenge. Worthy cause; dump ice water, donate to charity, fine. But it was super algorithm-friendly. The machine made this decision for us. A very important but difficult conversation might have been smothered, had Facebook been the only channel.
ข่าวเฟอร์กูสัน ไม่เป็นมิตรกับอัลกอริธึ่ม เพราะมัน "ไม่มีคนไลค์" ใครจะไปกดไลค์ล่ะ ขนาดคอมเมนต์ยังยากเลย เมื่อไม่มีไลค์ หรือคอมเมนต์ อัลกอริธึ่มจึงมีแนวโน้ม จะโชว์ให้คนดูน้อยลงไปอีก เราเลยไม่เห็นข่าวนี้เลย แต่ในสัปดาห์นั้น สิ่งที่อัลกอริธึ่มของเฟซบุ้กให้ความสำคัญ คือ การท้าราดน้ำแข็งสู้โรค ALS จุดประสงค์ดี มีการราดน้ำแข็ง ได้บริจาคช่วยคน ดีค่ะ แต่ข่าวนี้ อัลกอริธึ่มก็จะชอบมาก ๆ ไปเลย เครื่องจักรตัดสินใจเรื่องแบบนี้ให้พวกเรา การสนทนาประเด็นยาก ๆ แต่สำคัญมาก ๆ แบบนี้ อาจถูกกำจัดออก หากมีเฟซบุ้กเป็นสื่อเพียงช่องทางเดียว
Now, finally, these systems can also be wrong in ways that don't resemble human systems. Do you guys remember Watson, IBM's machine-intelligence system that wiped the floor with human contestants on Jeopardy? It was a great player. But then, for Final Jeopardy, Watson was asked this question: "Its largest airport is named for a World War II hero, its second-largest for a World War II battle."
และท้ายที่สุด ระบบพวกนี้ ก็อาจผิดพลาด ในแบบที่ต่างจากระบบของมนุษย์ไปเลยก็ได้ พวกคุณคงรู้จักวัตสัน ระบบสมองประดิษฐ์ของ IBM ที่เอาชนะคู่แข่งมนุษย์ แบบขาดลอยในรายการเจพเปอร์ดี้ มันเล่นเกมเก่งมาก แต่ในเจพเปอร์ดี้รอบสุดท้าย วัตสันต้องตอบคำถามนี้ค่ะ "สนามบินที่ใหญ่ที่สุดของมัน ตั้งชื่อตามวีรบุรุษสงครามโลกครั้งที่ 2 และเป็นสมรภูมิใหญ่เป็นที่สอง ในสงครามโลกครั้งที่ 2"
(Hums Final Jeopardy music)
(ฮัมดนตรีรายการเจพเปอร์ดี้รอบสุดท้าย)
Chicago. The two humans got it right. Watson, on the other hand, answered "Toronto" -- for a US city category! The impressive system also made an error that a human would never make, a second-grader wouldn't make.
ชิคาโก้ค่ะ มนุษย์สองคนตอบถูกต้อง แต่วัตสัน ตอบว่า "โตรอนโต้" ทั้งที่คำถามเป็นหมวด เมืองในสหรัฐฯ! ระบบที่เก่งกาจ ยังรู้จักพลาดพลั้ง ในเรื่องที่มนุษย์ทั่วไป หรือกระทั้งเด็กประถมไม่มีทางพลาด
Our machine intelligence can fail in ways that don't fit error patterns of humans, in ways we won't expect and be prepared for. It'd be lousy not to get a job one is qualified for, but it would triple suck if it was because of stack overflow in some subroutine.
สมองประดิษฐ์อาจทำผิดพลาดได้ ด้วยพฤติการณ์คนละแบบกับของมนุษย์ ในรูปแบบที่เราจะคาดไม่ถึง และไม่ได้เตรียมรับมือ การไม่ได้งานทั้งที่คุณ มีคุณสมบัติพร้อมก็แย่อยู่แล้ว แต่คงแย่สุด ๆ ถ้าไม่ได้งาน เพราะแค่เกิด สแต็ค โอเวอร์โฟลว์ ในซับรูทีนบางตัว
(Laughter)
(เสียงหัวเราะ)
In May of 2010, a flash crash on Wall Street fueled by a feedback loop in Wall Street's "sell" algorithm wiped a trillion dollars of value in 36 minutes. I don't even want to think what "error" means in the context of lethal autonomous weapons.
เมื่อเดือนพฤษภาคม 2010 ตลาดหุ้นวอลล์สตรีท เกิดล่มกระทันหัน เนื่องจากลูปป้อนกลับ ในอัลกอริธึ่มของวอลล์สตรีท ทำให้เงินในตลาดหายไป กว่าหนึ่งล้านล้านดอลลาร์ใน 36 นาที ดิฉันไม่อยากคิดเลยว่า "ข้อบกพร่อง" จะเป็นแบบไหน ถ้าเกิดเปลี่ยนเป็น อาวุธอันตรายแบบอัตโนมัติแทน
So yes, humans have always made biases. Decision makers and gatekeepers, in courts, in news, in war ... they make mistakes; but that's exactly my point. We cannot escape these difficult questions. We cannot outsource our responsibilities to machines.
มนุษย์ล้วนมีอคติกันทั้งนั้น ทั้งผู้ตัดสินใจ และผู้ดูแลกฎ ทั้งในศาล ในข่าว และในสงคราม พวกเขาผิดพลาดได้ทั้งนั้น แต่นั่นแหละ คือประเด็นของดิฉัน เราหลบเลี่ยงคำถามยาก ๆ แบบนี้ไม่ได้ เราจะถ่ายโอนความรับผิดชอบ ของเราเองนี้ไปให้คอมพิวเตอร์ไม่ได้
(Applause)
(เสียงปรบมือ)
Artificial intelligence does not give us a "Get out of ethics free" card.
ปัญญาประดิษฐ์ ไม่ได้ทำให้เรา เป็นอิสระจากปัญหาเชิงจริยธรรม
Data scientist Fred Benenson calls this math-washing. We need the opposite. We need to cultivate algorithm suspicion, scrutiny and investigation. We need to make sure we have algorithmic accountability, auditing and meaningful transparency. We need to accept that bringing math and computation to messy, value-laden human affairs does not bring objectivity; rather, the complexity of human affairs invades the algorithms. Yes, we can and we should use computation to help us make better decisions. But we have to own up to our moral responsibility to judgment, and use algorithms within that framework, not as a means to abdicate and outsource our responsibilities to one another as human to human.
นักวิทยาศาสตร์ข้อมูล เฟรด เบเนนสัน เรียกเรื่องนี้ว่า แม็ธวอชชิ่ง (math-washing) เราต้องทำตรงกันข้าม เราต้องส่งเสริมการสีบสวน ตรวจตรา ตั้งข้อสงสัยในอัลกอริธึ่ม เราต้องมั่นใจได้ว่าอัลกอริธึ่มที่ใช้ สามารถตรวจสอบย้อนกลับได้ ออดิทได้ และมีความโปร่งใสอย่างเป็นรูปธรรม เราต้องยอมรับว่า การเอาคณิตศาสตร์และคอมพิวเตอร์ มาใช้แก้ปัญหาของมนุษย์ที่กำกวม และแฝงความเชื่อทางสังคม ไม่ได้ทำให้เกิดความเที่ยงตรง อย่างภววิสัย แต่ความซับซ้อนของปัญหามนุษย์ จะเล่นงานอัลกอริธึ่มแทน จริงค่ะ คอมพิวเตอร์นั้น เราใช้ได้ และควรใช้ด้วย เพื่อให้เราตัดสินใจได้ดีขึ้น แต่เราต้องไม่ลืมความรับผิดชอบทางศีลธรรม ในการตัดสินใจนั้น แล้วใช้อัลกอริธึ่มภายในขอบเขตนั้น ไม่ใช่เพื่อปลดเปลื้อง หรือถ่ายโอน ความรับผิดชอบของเรา ที่มีต่อผู้อื่น ในฐานะมนุษย์ด้วยกัน
Machine intelligence is here. That means we must hold on ever tighter to human values and human ethics.
เรามีสมองประดิษฐ์ไว้ใช้แล้ว นั่นหมายความว่า เรายิ่งต้องยึดมั่น ในค่านิยมของมนุษย์ และจริยธรรมของมนุษย์
Thank you.
ขอบคุณค่ะ
(Applause)
(เสียงปรบมือ)