So, I started my first job as a computer programmer in my very first year of college -- basically, as a teenager.
Vì thế, tôi đã có công việc đầu tiên của mình là một lập trình viên máy tính ngay trong những năm học đại học đầu tiên về cơ bản, khi vẫn là một thiếu niên
Soon after I started working, writing software in a company, a manager who worked at the company came down to where I was, and he whispered to me, "Can he tell if I'm lying?" There was nobody else in the room.
Không lâu sau khi tôi bắt đầu công việc, trong lúc đang viết phần mềm cho công ty, thì người quản lý ở đó tiến đến chỗ tôi và thì thầm vào tai tôi "Hắn có phát hiện nếu tôi nói dối không?" Không có một ai khác trong phòng cả.
"Can who tell if you're lying? And why are we whispering?"
"Ai có thể nhận ra anh đang nói dối?" "Và tại sao ta phải nói thầm?"
The manager pointed at the computer in the room. "Can he tell if I'm lying?" Well, that manager was having an affair with the receptionist.
Ông quản lý chỉ tay vào chiếc máy tính trong phòng. "Hắn có phát hiện nếu tôi nói dối không?" Vâng, ông quản lý này đang ngoại tình với cô tiếp tân.
(Laughter)
( Cười)
And I was still a teenager. So I whisper-shouted back to him, "Yes, the computer can tell if you're lying."
Và tôi vẫn chỉ là một đứa oắt con. nên tôi nói thầm lại với anh ta, " Có chứ, nó biết khi nào ông nói dối đấy."
(Laughter)
(Cười)
Well, I laughed, but actually, the laugh's on me. Nowadays, there are computational systems that can suss out emotional states and even lying from processing human faces. Advertisers and even governments are very interested.
Vâng, tôi cười nhưng thực ra là cười bản thân. Ngày nay, có những hệ thống máy tính có thể nhận diện trạng thái cảm xúc, ngay cả việc nói dối thông qua phân tích nhân diện. Các nhà quảng cáo và thậm chí cả chính quyền rất hứng thú với điều này.
I had become a computer programmer because I was one of those kids crazy about math and science. But somewhere along the line I'd learned about nuclear weapons, and I'd gotten really concerned with the ethics of science. I was troubled. However, because of family circumstances, I also needed to start working as soon as possible. So I thought to myself, hey, let me pick a technical field where I can get a job easily and where I don't have to deal with any troublesome questions of ethics. So I picked computers.
Tôi đã trở thành 1 lập trình viên vì tôi từng là đứa trẻ say mê Toán và Khoa học. Nhưng khoảng thời gian đó, tôi cũng học về vũ khí hạt nhân. và tôi trở nên rất quan ngại về vấn đề đạo đức của khoa học. Tôi đã rất bối rối. Tuy nhiên, do hoàn cảnh gia đình, tôi cần phải bắt đầu làm việc càng sớm càng tốt. Vì vậy nên tôi nói với bản thân, này, hãy chọn một ngành kỹ thuật giúp tôi có thể dễ dàng kiếm việc mà lại không phải quan tâm đến những câu hỏi đạo đức phiền phức. Vì vậy nên tôi chọn máy tính.
(Laughter)
(Cười lớn)
Well, ha, ha, ha! All the laughs are on me. Nowadays, computer scientists are building platforms that control what a billion people see every day. They're developing cars that could decide who to run over. They're even building machines, weapons, that might kill human beings in war. It's ethics all the way down.
Vậy đấy! haha Tôi cười vì chính mình! Ngày nay, các nhà khoa học máy tính xây dựng hệ điều hành có thể điều khiển thứ mà một tỉ người xem hằng ngày. Họ đang phát triển những chiếc xe có thể tự quyết định nó sẽ cán qua ai. Họ thậm chí còn đang tạo ra nhiều máy móc, vũ khí, có thể tiêu diệt loài người trong chiến tranh. Chung quy lại đều liên quan tới đạo đức
Machine intelligence is here. We're now using computation to make all sort of decisions, but also new kinds of decisions. We're asking questions to computation that have no single right answers, that are subjective and open-ended and value-laden.
Trí tuệ nhân tạo là đây. Ta không chỉ sử dụng những thuật toán để đưa ra mọi quyết định mà còn cả những chuyện chưa từng xảy ra Ta đưa cho máy móc những câu hỏi không có một đáp án đúng nào cả, những câu hỏi chủ quan những câu hỏi mở và mang tính giả định.
We're asking questions like, "Who should the company hire?" "Which update from which friend should you be shown?" "Which convict is more likely to reoffend?" "Which news item or movie should be recommended to people?"
Chúng ta hỏi những câu hỏi như, "Công ty nên thuê ai?" "Những gì bạn nên được biết từ bạn bè?" "Phạm nhân nào có khả năng tái phạm cao?" "Dòng tin hay bộ phim nào nên được đề xuất cho mọi người?"
Look, yes, we've been using computers for a while, but this is different. This is a historical twist, because we cannot anchor computation for such subjective decisions the way we can anchor computation for flying airplanes, building bridges, going to the moon. Are airplanes safer? Did the bridge sway and fall? There, we have agreed-upon, fairly clear benchmarks, and we have laws of nature to guide us. We have no such anchors and benchmarks for decisions in messy human affairs.
Nhìn xem, đúng, chúng ta đã sử dụng máy tính một thời gian dài, nhưng lần này thì khác. Đây là một bước ngoặt lịch sử, vì ta không thể trông cậy vào sự tính toán cho các quyết định chủ quan thế này như cái cách chúng ta dựa vào nó để lái máy bay, xây cầu, để đi lên mặt trăng. Máy bay liệu có an toàn hơn? Cây cầu có lắc lư và sập không? Thế đấy, chúng ta đều có một chuẩn mực thống nhất và khá rõ ràng, và ta có những quy luật của tự nhiên hướng dẫn. Chúng ta không hề có những điểm tựa hay tiêu chuẩn như vậy cho các quyết định về những vấn đề phức tạp của con người.
To make things more complicated, our software is getting more powerful, but it's also getting less transparent and more complex. Recently, in the past decade, complex algorithms have made great strides. They can recognize human faces. They can decipher handwriting. They can detect credit card fraud and block spam and they can translate between languages. They can detect tumors in medical imaging. They can beat humans in chess and Go.
Để làm vấn đề phức tạp hơn, phần mềm của ta ngày càng trở nên hùng mạnh, nhưng nó đồng thời trở nên khó hiểu và phức tạp hơn. Gần đây, trong thập kỷ gần đây, các thuật toán phức tạp đã đạt được những bước tiến lớn. Chúng có thể nhận diện khuôn mặt người. Chúng có thể giải mã được chữ viết tay. Chúng có thể nhận biết thẻ tín dụng giả và chặn tin rác và chúng có thể phiên dịch ngôn ngữ. Chúng có thể phát hiện khối u trong phim chụp y khoa. Chúng đánh bại con người trong cờ vua và Go.
Much of this progress comes from a method called "machine learning." Machine learning is different than traditional programming, where you give the computer detailed, exact, painstaking instructions. It's more like you take the system and you feed it lots of data, including unstructured data, like the kind we generate in our digital lives. And the system learns by churning through this data. And also, crucially, these systems don't operate under a single-answer logic. They don't produce a simple answer; it's more probabilistic: "This one is probably more like what you're looking for."
Đa phần những tiến bộ này đến từ phương pháp "máy tính tự học" Máy tính tự học khác với lập trình truyền thống, ở chỗ bạn đưa ra những hướng dẫn cụ thể, chính xác, kỹ lưỡng cho máy tính. Đúng hơn là bạn cho một đống dữ liệu vào hệ thống, bao gồm dữ liệu chưa được sắp xếp, như loại chúng ta tạo ra trong thế giới số Và hệ thống học bằng cách lướt qua các dữ liệu này. Và quan trọng hơn, những hệ thống này không hoạt động dựa trên logic một-câu-trả-lời-duy-nhất. Chúng không cho ra câu trả lời đơn giản mà có tính xác suất hơn "Cái này có nhiều khả năng là cái bạn đang muốn tìm."
Now, the upside is: this method is really powerful. The head of Google's AI systems called it, "the unreasonable effectiveness of data." The downside is, we don't really understand what the system learned. In fact, that's its power. This is less like giving instructions to a computer; it's more like training a puppy-machine-creature we don't really understand or control. So this is our problem. It's a problem when this artificial intelligence system gets things wrong. It's also a problem when it gets things right, because we don't even know which is which when it's a subjective problem. We don't know what this thing is thinking.
Lợi thế ở đây là: biện pháp này rất hiệu quả. Trưởng hệ thống Al của Google gọi nó là, "sự hiệu quả bất hợp lý của dữ liệu." Bất lợi ở đây là, ta không thật sự hiểu cái mà hệ thống học được. Thực tế, đó là sức mạnh của nó. Cái này khác với việc đưa ra hướng dẫn cho máy tính; Nó giống hơn với việc huấn luyện một loại chó cưng bằng máy mà chúng ta không thật sự hiểu hay kiểm soát. Vậy nên đó là vấn đề của ta. Nó là vấn đề khi mà hệ thống trí tuệ nhân tạo hiểu sai sự việc. Nó cũng là vấn đề khi nó hiểu đúng sự việc, bởi vì chúng ta không thể phân biệt được khi nó là một vấn đề chủ quan. Chúng ta không biết được vật này đang nghĩ gì.
So, consider a hiring algorithm -- a system used to hire people, using machine-learning systems. Such a system would have been trained on previous employees' data and instructed to find and hire people like the existing high performers in the company. Sounds good. I once attended a conference that brought together human resources managers and executives, high-level people, using such systems in hiring. They were super excited. They thought that this would make hiring more objective, less biased, and give women and minorities a better shot against biased human managers.
Thử xem xét một thuật toán thuê -- một hệ thống dùng để thuê nhân viên, dựa vào hệ thống máy móc tự học. Một hệ thống như vậy sẽ được đào tạo dựa trên dự liệu của nhân viên cũ và được hướng dẫn để tìm và thuê những người tương tự với nhân viên xuất sắc hiện có ở công ty. Nghe có vẻ tốt đấy. Tôi từng tham dự một hội nghị bao gồm quản lý nhân sự và các lãnh đạo, những nhân vật cấp cao, dùng hệ thống như vậy khi thuê Họ cực kỳ phấn khích về việc đó. Họ nghĩ rằng hệ thống này sẽ giúp việc thuê người khách quan và ít thiên vị hơn, và cho phụ nữ và người thiểu số một cơ hội tốt hơn chống lại những người quản lý thiên vị.
And look -- human hiring is biased. I know. I mean, in one of my early jobs as a programmer, my immediate manager would sometimes come down to where I was really early in the morning or really late in the afternoon, and she'd say, "Zeynep, let's go to lunch!" I'd be puzzled by the weird timing. It's 4pm. Lunch? I was broke, so free lunch. I always went. I later realized what was happening. My immediate managers had not confessed to their higher-ups that the programmer they hired for a serious job was a teen girl who wore jeans and sneakers to work. I was doing a good job, I just looked wrong and was the wrong age and gender.
Đúng là người thuê người thường có sự thiên vị. Tôi biết vậy. Trong những việc đầu tiên của tôi với vai trò lập trình viên, quản lý trực tiếp của tôi thỉnh thoảng sẽ đến chỗ tôi rất sớm vào buổi sáng hoặc rất muộn vào buổi chiều, để nói, "Zeynep, cùng đi ăn trưa nào!" Tôi bị bối rối bởi giờ giấc thất thường. Bây giờ là 4g chiều mà ăn trưa ư? Tôi thì thiếu tiền, mà bữa trưa miễn phí. Cho nên tôi luôn đi Sau đó tôi nhận ra chuyện gì đang diễn ra. Những quản lý trực tiếp của tôi chưa hề thông báo với cấp trên rằng lập trình viên họ thuê cho việc quan trọng là một thiếu nữ mặc quần jeans và đi giày thể thao đi làm. Tôi làm tốt việc, chỉ ăn mặc không đúng và sai độ tuổi và giới tính.
So hiring in a gender- and race-blind way certainly sounds good to me. But with these systems, it is more complicated, and here's why: Currently, computational systems can infer all sorts of things about you from your digital crumbs, even if you have not disclosed those things. They can infer your sexual orientation, your personality traits, your political leanings. They have predictive power with high levels of accuracy. Remember -- for things you haven't even disclosed. This is inference.
Cho nên việc tuyển chọn không dựa theo giới tính và sắc tộc rõ ràng tốt cho tôi. Nhưng với những hệ thống này, nó phức tạp hơn, và đây là lý do: Bây giờ, hệ thống tính toán có thể đưa ra đủ mọi loại kết luận vể bạn dựa trên những vết tích số của bạn, ngay cả khi bạn không hề tiết lộ những việc đó. Chúng có thể đưa ra kết luận về xu hướng tình dục của bạn, tính cách bạn, quan điểm chính trị của bạn. Chúng có sức mạnh dự đoán với sự chuẩn xác cao. Nhớ rằng - ngay cả những việc bạn không hề tiết lộ. Đây chỉ mới là việc suy luận
I have a friend who developed such computational systems to predict the likelihood of clinical or postpartum depression from social media data. The results are impressive. Her system can predict the likelihood of depression months before the onset of any symptoms -- months before. No symptoms, there's prediction. She hopes it will be used for early intervention. Great! But now put this in the context of hiring.
Tôi có một người bạn thiết kế những hệ thống tính toán như vậy để dự đoán khả năng mắc bệnh trầm cảm lâm sàng hoặc hậu thai sản từ những dự liệu truyền thông xã hội. Kết quả thật đáng ấn tượng. Hệ thống của cô ấy có thể dự đoán được khả năng mắc trầm cảm hàng tháng trước khi các triệu chứng xuất hiện -- hàng tháng trước. Không hề có triệu chứng, nhưng lại có dự đoán. Cô mong rằng nó được sử dụng cho việc can thiệp sớm. Tuyệt vời! Nhưng giờ đặt nó vào viễn cảnh tuyển chọn.
So at this human resources managers conference, I approached a high-level manager in a very large company, and I said to her, "Look, what if, unbeknownst to you, your system is weeding out people with high future likelihood of depression? They're not depressed now, just maybe in the future, more likely. What if it's weeding out women more likely to be pregnant in the next year or two but aren't pregnant now? What if it's hiring aggressive people because that's your workplace culture?" You can't tell this by looking at gender breakdowns. Those may be balanced. And since this is machine learning, not traditional coding, there is no variable there labeled "higher risk of depression," "higher risk of pregnancy," "aggressive guy scale." Not only do you not know what your system is selecting on, you don't even know where to begin to look. It's a black box. It has predictive power, but you don't understand it.
Ở buổi họp quản lý nhân sự này, tôi tiếp cận một quản lý cấp cao của một công ty lớn, và nói rằng, "Này, nếu như, ngoài sự hiểu biết của bạn, hệ thống của bạn đang gạt bỏ người có thể bị trầm cảm cao trong tương lai? Hiện tại họ không hề bị trầm cảm, chỉ là trong tương lai có khả năng. Nếu như hệ thống loại bỏ những phụ nữ có khả năng mang thai trong một vài năm tới nhưng hiện không mang thai? Nếu nó chọn những người có tính hung hăng vì đó là bản chất làm việc ở đây?" Bạn không thể thấy điều này qua việc xem tỉ lệ giới tính Điều đó có thể được cân bằng. Và vì đây là máy móc tự học, chứ không phải mã hóa truyền thống, không hề có một biến số nào có tên "có khả năng trầm cảm cao", "có khả năng mang thai cao", "tính cách hung hăng". Bạn không chỉ không biết hệ thống của bạn lựa chọn dựa trên tiêu chí gì, bạn còn không biết phải bắt đầu tìm từ đâu. Nó là một hộp đen. Nó có khả năng tiên đoán, nhưng bạn không hiểu nó.
"What safeguards," I asked, "do you have to make sure that your black box isn't doing something shady?" She looked at me as if I had just stepped on 10 puppy tails.
Tôi hỏi cô, "Bạn có chốt an toàn nào để đảm bảo rằng hộp đen của bạn không làm gì mờ ám?" Cô ấy nhìn tôi như thể tôi vừa đạp lên 10 cái đuôi chó.
(Laughter)
(Cười lớn)
She stared at me and she said, "I don't want to hear another word about this." And she turned around and walked away. Mind you -- she wasn't rude. It was clearly: what I don't know isn't my problem, go away, death stare.
Cô nhìn tôi chằm chằm và nói, "Tôi không muốn nghe thêm một từ nào về vấn đề này nữa." Và cô ấy bỏ đi. Cho bạn biết- cô ấy không thô lỗ Rõ ràng rằng: điều tôi không biết không phải là vấn đề của tôi, đi đi, ánh nhìn chết người.
(Laughter)
(Cười lớn)
Look, such a system may even be less biased than human managers in some ways. And it could make monetary sense. But it could also lead to a steady but stealthy shutting out of the job market of people with higher risk of depression. Is this the kind of society we want to build, without even knowing we've done this, because we turned decision-making to machines we don't totally understand?
Một hệ thống như vậy có thể ít thiên vị hơn những người quản lý theo cách nào đó. Và nó có khả năng ra quyết định tài chính. Nhưng nó cũng có thể dẫn đến một thị trường việc làm ổn định nhưng lén lút cô lập những người có khả năng trầm cảm cao. Liệu đây có phải là xã hội mà chúng ta muốn gầy dựng, khi mà chúng ta còn thậm chí không biết chúng ta làm vậy, bởi vì chúng ta phó thác việc ra quyết định cho những cỗ máy mà chính chúng ta cũng không hiểu rõ?
Another problem is this: these systems are often trained on data generated by our actions, human imprints. Well, they could just be reflecting our biases, and these systems could be picking up on our biases and amplifying them and showing them back to us, while we're telling ourselves, "We're just doing objective, neutral computation."
Một vấn đề khác là: những hệ thống này được huấn luyện dựa trên những dữ liệu lấy từ các hành động của chúng ta, dấu ấn của con người. Chúng có thể phản ánh những thiên vị của chúng ta, và những hệ thống này có thể bắt nhịp những thiên vị của chúng ta và phóng đại chúng và thể hiện chúng lại cho chúng ta, trong khi chúng ta lại tự bảo bản thân, "Chúng ta đang tính toán một cách trung lập, khách quan."
Researchers found that on Google, women are less likely than men to be shown job ads for high-paying jobs. And searching for African-American names is more likely to bring up ads suggesting criminal history, even when there is none. Such hidden biases and black-box algorithms that researchers uncover sometimes but sometimes we don't know, can have life-altering consequences.
Các nhà nghiên cứu tìm ra rằng trên Google, phụ nữ ít được cho thấy những thông cáo việc làm lương cao hơn đàn ông. Và các tìm kiếm tên của người Mỹ gốc Phi sẽ dễ dẫn đến những cảnh báo tiền án tội phạm hơn, ngay cả khi người đó không hề phạm tội. Những thiên vị tiềm ẩn và những thuật toán hộp-đen như vậy được các nhà nghiên cứu thỉnh thoảng tìm ra nhưng thỉnh thoảng chúng ta không hề biết, có thể có các hậu quả nặng nề.
In Wisconsin, a defendant was sentenced to six years in prison for evading the police. You may not know this, but algorithms are increasingly used in parole and sentencing decisions. He wanted to know: How is this score calculated? It's a commercial black box. The company refused to have its algorithm be challenged in open court. But ProPublica, an investigative nonprofit, audited that very algorithm with what public data they could find, and found that its outcomes were biased and its predictive power was dismal, barely better than chance, and it was wrongly labeling black defendants as future criminals at twice the rate of white defendants.
Ở Wisconsin, một bị cáo bị kết án sáu năm tù vì trốn tránh cảnh sát. Bạn có thể không biết rằng, các thuật toán ngày càng được sử dụng trong việc ân xá và kết án nhiều hơn. Ông ta muốn biết: Kết quả này được tính toán như thế nào? Nó là một hộp đen thương hiệu. Công ty từ chối để cho thuật toán của mình bị chất vấn ở các phiên tòa mở. Nhưng ProPublica, một tổ chức điều tra phi lợi nhuận, đã kiểm tra chính thuật toán họ dùng để tra cứu các dữ liệu công cộng, và nhận ra rằng các kết quả của chúng rất thiên vị và khả năng dự đoán của nó rất ảm đạm, chẳng hơn đoán mò bao nhiêu, và nó kết luận sai các bị cáo da đen có thể thành phạm nhân tương lai nhiều gấp đôi bị cáo da trắng.
So, consider this case: This woman was late picking up her godsister from a school in Broward County, Florida, running down the street with a friend of hers. They spotted an unlocked kid's bike and a scooter on a porch and foolishly jumped on it. As they were speeding off, a woman came out and said, "Hey! That's my kid's bike!" They dropped it, they walked away, but they were arrested.
Thử nhìn vào vụ án này: Người phụ nữ này đón chị đỡ đầu của bà trễ từ một trường ở quận Broward, Florida, chạy xuống phố với một người bạn của bà. Họ nhìn thấy một chiếc xe đạp trẻ em không khóa và một chiếc xe máy trên hiên nhà và họ nghịch ngợm nhảy lên nó. Trong khi họ đang tăng tốc, một người phụ nữ chạy ra và la lên rằng, "Hey, đó là xe đạp của con tôi!" Họ quăng chiếc xe lại, chạy đi, nhưng họ bị bắt.
She was wrong, she was foolish, but she was also just 18. She had a couple of juvenile misdemeanors. Meanwhile, that man had been arrested for shoplifting in Home Depot -- 85 dollars' worth of stuff, a similar petty crime. But he had two prior armed robbery convictions. But the algorithm scored her as high risk, and not him. Two years later, ProPublica found that she had not reoffended. It was just hard to get a job for her with her record. He, on the other hand, did reoffend and is now serving an eight-year prison term for a later crime. Clearly, we need to audit our black boxes and not have them have this kind of unchecked power.
Cô sai, cô ngu ngốc, nhưng cô vẫn chỉ mới 18 tuổi. Cô đã phạm một vài tội vị thành niên. Trong khi đó, một người đàn ông bị bắt vì trộm đồ ở Home Depot -- một mớ đồ trị giá $85, một tội ăn cắp vặt. Nhưng ông có hai tiền án cướp có vũ khí. Nhưng thuật toán lại chấm điểm cô ấy có khả năng phạm tội cao hơn ông ta. Hai năm sau, ProPublica nhận thấy rằng cô ấy không hề tái phạm. Nhưng cô ấy chỉ khó kiếm được việc làm với tiền án như v6a5y. Ngược lại, ông ta tái phậm và hiện đang bị ở tù tám năm cho tội ác sau này. Rõ ràng, chúng ta cần kiểm tra các hộp đen của chúng ta và không để chúng có những sức mạnh không kiểm soát này.
(Applause)
(Vỗ tay)
Audits are great and important, but they don't solve all our problems. Take Facebook's powerful news feed algorithm -- you know, the one that ranks everything and decides what to show you from all the friends and pages you follow. Should you be shown another baby picture?
Kiểm tra rất tuyệt vời và quan trọng, nhưng chúng không giải quyết hết các vấn đề của chúng ta. Ví dụ như thuật toán trang chủ hùng mạnh của Facebook -- bạn biết đấy, cái đánh giá mọi thứ và quyết định sẽ cho bạn xem cái gì từ bạn bè và những trang bạn theo dõi. Liệu bạn có nên được cho xem thêm một bức ảnh trẻ con nữa?
(Laughter)
(Cười lớn)
A sullen note from an acquaintance? An important but difficult news item? There's no right answer. Facebook optimizes for engagement on the site: likes, shares, comments.
Một thông điệp u tối từ một người quen? Một mẩu tin quan trọng nhưng phức tạp? Không hề có câu trả lời đúng nào. Facebook tối đa hóa các tương tác trên trang chủ: thích, chia sẻ, bình luận.
In August of 2014, protests broke out in Ferguson, Missouri, after the killing of an African-American teenager by a white police officer, under murky circumstances. The news of the protests was all over my algorithmically unfiltered Twitter feed, but nowhere on my Facebook. Was it my Facebook friends? I disabled Facebook's algorithm, which is hard because Facebook keeps wanting to make you come under the algorithm's control, and saw that my friends were talking about it. It's just that the algorithm wasn't showing it to me. I researched this and found this was a widespread problem.
Vào tháng 8/2014, biểu tình diễn ra ở Ferguson, Missouri, sau vụ thảm sát một thiếu niên Mỹ Phi bởi một cảnh sát da trắng, dưới điều kiện mờ ám. Tin tức về các buổi biểu tình tràn ngập trên trang chủ Twitter không được thanh lọc bởi thuật toán, nhưng không hề hiện ra trên Facebook của tôi. Liệu đó có phải do các bạn trên Facebook của tôi? Tôi tắt thuật toán của Facebook, và rất khó để làm vậy vì Facebook luôn muốn bạn ở dưới sự kiểm soát của thuật toán, và thấy rằng bạn bè tôi đang nói về vấn đề đó. Chỉ là do thuật toán không cho tôi thấy điều đó. Tôi đi tìm hiểu và phát hiện ra rằng đây là một vấn đề phổ biến.
The story of Ferguson wasn't algorithm-friendly. It's not "likable." Who's going to click on "like?" It's not even easy to comment on. Without likes and comments, the algorithm was likely showing it to even fewer people, so we didn't get to see this. Instead, that week, Facebook's algorithm highlighted this, which is the ALS Ice Bucket Challenge. Worthy cause; dump ice water, donate to charity, fine. But it was super algorithm-friendly. The machine made this decision for us. A very important but difficult conversation might have been smothered, had Facebook been the only channel.
Câu chuyện ở Ferguson không hề thân thiện với thuật toán. Nó không được "yêu thích". Ai sẽ bấm "thích"? Nó không hề đơn giản để bình luận. Thiếu các lượt yêu thích và bình luận, thuật toán lại hiển thị nó cho càng ít người, cho nên chúng ta không hề thấy nó. Thay vào đó, trong tuần đó, Thuật toán của Facebook lại làm nổi bật mẩu tin về ALS Thử Thách Chậu Đá. Một động cơ cao cả; đổ chậu nước đá, quyên góp từ thiện, tốt thôi. Nhưng nó rất được thuật toán yêu thích. Cỗ máy đưa ra quyết định này cho chúng ta. Một cuộc hội thoại quan trọng nhưng khó khăn có thể vừa bị giết chết, nếu như Facebook là cổng thông tin duy nhất.
Now, finally, these systems can also be wrong in ways that don't resemble human systems. Do you guys remember Watson, IBM's machine-intelligence system that wiped the floor with human contestants on Jeopardy? It was a great player. But then, for Final Jeopardy, Watson was asked this question: "Its largest airport is named for a World War II hero, its second-largest for a World War II battle."
Cuối cùng, các hệ thống này có thể phạm lỗi theo nhiều cách không giống gì hệ thống con người. Quý vị còn nhớ Watson, hệ thống máy móc thông minh của IBM quét sạch các người thi con người trong trò Jeopardy? Nó là một người chơi tuyệt vời. Nhưng ở màn cuối của Jeopardy, khi được hỏi: "Sân bay lớn nhất của thành phố này được đặt tên theo một anh hùng Thế Chiến II, sân bay lớn nhì được đặt tên theo một trận đánh trong Thế Chiến II."
(Hums Final Jeopardy music)
(Nhạc nền Jeopardy)
Chicago. The two humans got it right. Watson, on the other hand, answered "Toronto" -- for a US city category! The impressive system also made an error that a human would never make, a second-grader wouldn't make.
Chicago. Hai người chơi con người đoán đúng. Ngược lại, Watson lại trả lời "Toronto" -- cho một phân mục thành phố Mỹ! Một hệ thống ấn tượng phạm một lỗi mà không một con người nào sẽ mắc phải, ngay cả một học sinh cấp 2.
Our machine intelligence can fail in ways that don't fit error patterns of humans, in ways we won't expect and be prepared for. It'd be lousy not to get a job one is qualified for, but it would triple suck if it was because of stack overflow in some subroutine.
Cỗ máy thông minh của chúng ta đã thất bại theo nhiều cách không hề giống con người, theo những cách chúng ta không ngờ tới và không chuẩn bị cho. Sẽ thật tệ nếu như một người không được nhận vào một công việc mà họ đủ tiêu chuẩn, nhưng nó sẽ còn tệ gấp ba lần nếu như lý do là vì sự tắc nghẽn thông tin trong một thủ tục phụ nào đó.
(Laughter)
(Cười lớn)
In May of 2010, a flash crash on Wall Street fueled by a feedback loop in Wall Street's "sell" algorithm wiped a trillion dollars of value in 36 minutes. I don't even want to think what "error" means in the context of lethal autonomous weapons.
Vào tháng 5/2010, một khủng hoảng nhỏ ở Wall Street xảy ra do hệ thống phản hồi trong thuật toán "bán" của Wall Street làm bốc hơi một trị giá 1000 tỉ đô trong 36 phút. Tôi không hề muốn nghĩ đến "lỗi" đó là gì khi nói đến các vũ khí tự phát nguy hiểm.
So yes, humans have always made biases. Decision makers and gatekeepers, in courts, in news, in war ... they make mistakes; but that's exactly my point. We cannot escape these difficult questions. We cannot outsource our responsibilities to machines.
Cho nên vâng, con người luôn thiên vị. Các người đưa ra quyết định và những người gác cổng, trong tòa án, trên báo chí, trong chiến tranh,... họ phạm sai lầm; nhưng đó chính xác là điều tôi muốn nói. Chúng ta không thể trốn tránh những câu hỏi khó. Chúng ta không thể phó thác trách nhiệm của chúng ta cho máy móc.
(Applause)
(Vỗ tay)
Artificial intelligence does not give us a "Get out of ethics free" card.
Trí tuệ nhân tạo không cho chúng ta một thẻ "Trốn tránh đạo đức miễn phí"
Data scientist Fred Benenson calls this math-washing. We need the opposite. We need to cultivate algorithm suspicion, scrutiny and investigation. We need to make sure we have algorithmic accountability, auditing and meaningful transparency. We need to accept that bringing math and computation to messy, value-laden human affairs does not bring objectivity; rather, the complexity of human affairs invades the algorithms. Yes, we can and we should use computation to help us make better decisions. But we have to own up to our moral responsibility to judgment, and use algorithms within that framework, not as a means to abdicate and outsource our responsibilities to one another as human to human.
Nhà khoa học dữ liệu Fred Benenson gọi đây là tẩy rửa toán học. Chúng ta cần điều ngược lại. Chúng ta cần nuôi dưỡng các hoài nghi về các thuật toán, các khó khăn và điều tra. Chúng ta cần đảm bảo tính trung thực của các thuật toán, sự rõ ràng ý nghĩa và qua kiểm tra. Chúng ta cần chấp nhận rằng khi đem toán học và tính toán vào các vấn đề phức tạp, nhiều tầng giá trị của con người không hề đem đến tính khách quan; mà ngược lại, sự phức tạp của các vấn đề của con người xâm lấn các thuật toán. Vâng, chúng ta có thể và nên sử dụng tính toán để giúp chúng ta đưa ra các quyết định đúng đắn hơn. Nhưng chúng ta cần chịu trách nhiệm cho các quyết định mang tính đạo đức của chúng ta, và sử dụng thuật toán nội trong khuôn khổ đó, chứ không phải như một phương tiện để từ bỏ và phó thác trách nhiệm của chúng ta cho người khác giữa người với người.
Machine intelligence is here. That means we must hold on ever tighter to human values and human ethics.
Máy móc thông minh tồn tại ở đây. Điều đó có nghĩa là chúng ta cần .... hơn các giá trị nhân bản và đạo đức nhân văn.
Thank you.
Xin cám ơn.
(Applause)
(Vỗ tay)