Algorithms are everywhere. They sort and separate the winners from the losers. The winners get the job or a good credit card offer. The losers don't even get an interview or they pay more for insurance. We're being scored with secret formulas that we don't understand that often don't have systems of appeal. That begs the question: What if the algorithms are wrong?
Thuật toán hiện diện ở mọi nơi. Chúng sắp xếp và phân biệt người thắng kẻ thua. Người thắng có được công việc hay gói tín dụng ưu đãi. Kẻ thua thậm chí không được phỏng vấn hoặc trả nhiều tiền bảo hiểm hơn. Chúng ta bị đánh giá bởi các công thức bí mật mà ta không hiểu và thường không có hệ thống kháng cáo. Điều đó đặt ra câu hỏi: Điều gì sẽ xảy ra nếu thuật toán bị sai?
To build an algorithm you need two things: you need data, what happened in the past, and a definition of success, the thing you're looking for and often hoping for. You train an algorithm by looking, figuring out. The algorithm figures out what is associated with success. What situation leads to success?
Để tạo ra thuật toán, bạn cần hai thứ: dữ liệu, cái đã xảy ra trong quá khứ, và định nghĩa về thành công, cái bạn đang tìm kiếm và thường muốn có. Bạn huấn luyện một thuật toán qua tính toán. Thuật toán tính toán cái gì liên quan tới thành công. Trường hợp nào dẫn đến thành công?
Actually, everyone uses algorithms. They just don't formalize them in written code. Let me give you an example. I use an algorithm every day to make a meal for my family. The data I use is the ingredients in my kitchen, the time I have, the ambition I have, and I curate that data. I don't count those little packages of ramen noodles as food.
Thật ra, mọi người đều sử dụng thuật toán. Họ chỉ không chính thức hóa chúng bằng các câu lệnh. Để tôi cho bạn một ví dụ. Tôi dùng thuật toán mỗi ngày để nấu bữa cho gia đình. Dữ liệu tôi sử dụng là nguyên liệu trong nhà bếp, thời gian tôi có, tham vọng tôi có, và tôi sắp xếp những dữ liệu đó. Tôi không xem mấy gói mì ramen be bé là thức ăn.
(Laughter)
(Cười)
My definition of success is: a meal is successful if my kids eat vegetables. It's very different from if my youngest son were in charge. He'd say success is if he gets to eat lots of Nutella. But I get to choose success. I am in charge. My opinion matters. That's the first rule of algorithms.
Định nghĩa thành công của tôi là: một bữa ăn là thành công nếu con tôi ăn rau. Nhưng nếu con trai út tôi nấu bữa thì sẽ khác. Nó sẽ nói thành công là khi nó được ăn nhiều Nutella. Nhưng tôi được chọn thành công. Tôi nấu. Ý kiến của tôi có trọng lượng. Đó là quy tắc đầu tiên của thuật toán.
Algorithms are opinions embedded in code. It's really different from what you think most people think of algorithms. They think algorithms are objective and true and scientific. That's a marketing trick. It's also a marketing trick to intimidate you with algorithms, to make you trust and fear algorithms because you trust and fear mathematics. A lot can go wrong when we put blind faith in big data.
Thuật toán là ý kiến nhúng trong câu lệnh. Nó rất khác với suy nghĩ của hầu hết mọi người về thuật toán. Họ nghĩ thuật toán khách quan, chính xác và khoa học. Đó là một chiêu tiếp thị. Và cũng là chiêu tiếp thị để đe dọa bạn bằng những thuật toán, để làm bạn tin và sợ thuật toán bởi vì bạn tin và sợ toán học. Nhiều vấn đề có thể xảy ra nếu ta đặt niềm tin mù quáng vào dữ liệu lớn.
This is Kiri Soares. She's a high school principal in Brooklyn. In 2011, she told me her teachers were being scored with a complex, secret algorithm called the "value-added model." I told her, "Well, figure out what the formula is, show it to me. I'm going to explain it to you." She said, "Well, I tried to get the formula, but my Department of Education contact told me it was math and I wouldn't understand it."
Đây là Kiri Soares. Cô là hiệu trưởng Trung học Brooklyn. Năm 2011, cô kể với tôi giáo viên của cô bị chấm điểm bằng một thuật toán bí mật, phức tạp có tên là "mô hình giá trị gia tăng". Tôi bảo “Cứ tìm ra công thức rồi cho tôi xem. Tôi sẽ giải thích cho cô." Cô nói “Ồ, tôi đã cố gắng tìm ra công thức, nhưng người của tôi bên Sở Giáo dục nói đó là toán học và tôi sẽ không hiểu đâu".
It gets worse. The New York Post filed a Freedom of Information Act request, got all the teachers' names and all their scores and they published them as an act of teacher-shaming. When I tried to get the formulas, the source code, through the same means, I was told I couldn't. I was denied. I later found out that nobody in New York City had access to that formula. No one understood it. Then someone really smart got involved, Gary Rubinstein. He found 665 teachers from that New York Post data that actually had two scores. That could happen if they were teaching seventh grade math and eighth grade math. He decided to plot them. Each dot represents a teacher.
Mọi chuyện tệ hơn. Báo New York Post đã đệ đơn yêu cầu Đạo luật Tự do Thông tin, lấy được tên và điểm số của tất cả giáo viên và rồi cho đăng lên báo để chê bai giáo viên. Khi tôi cố lấy công thức, mã nguồn, bằng hình thức tương tự, họ bảo tôi không thể. Tôi bị từ chối. Sau đó tôi phát hiện không ai ở thành phố New York có quyền truy cập công thức đó. Không một ai hiểu được nó. Rồi một người rất thông minh nhập cuộc, Gaby Rubinstein. Ông ấy tìm ra 665 giáo viên từ dữ liệu của New York Post mà họ đều có hai điểm. Điều này xảy ra nếu họ đang dạy môn toán lớp 7 hoặc lớp 8. Ông ấy quyết định vẽ biểu đồ. Với mỗi dấu chấm đại diện cho một người.
(Laughter)
(Cười)
What is that?
Cái quái gì vậy?
(Laughter)
(Cười)
That should never have been used for individual assessment. It's almost a random number generator.
Chẳng nên dùng nó để đánh giá cá nhân. Nó gần hư là một bộ tạo số ngẫu nhiên.
(Applause)
(Vỗ tay)
But it was. This is Sarah Wysocki. She got fired, along with 205 other teachers, from the Washington, DC school district, even though she had great recommendations from her principal and the parents of her kids.
Nhưng đúng là thế thật. Đây là Sarah Wysocki. Cô ấy bị sa thải, cùng 205 thầy cô khác, khỏi trường quận Washington, DC, kể cả khi cô ấy được hiệu trưởng và phụ huynh đánh giá cao.
I know what a lot of you guys are thinking, especially the data scientists, the AI experts here. You're thinking, "Well, I would never make an algorithm that inconsistent." But algorithms can go wrong, even have deeply destructive effects with good intentions. And whereas an airplane that's designed badly crashes to the earth and everyone sees it, an algorithm designed badly can go on for a long time, silently wreaking havoc.
Tôi biết nhiều người đang nghĩ gì. nhất là các chuyên gia dữ liệu, và trí thông minh nhân tạo. Bạn đang nghĩ rằng, “Ồ, tôi không bao giờ tạo ra một thuật toán không phù hợp.” Nhưng thuật toán có thể sai, thậm chí tạo ra hậu quả nghiêm trọng dù có ý định ban đầu tốt đẹp. Nếu như một chiếc máy bay với thiết kế tồi lao xuống đất thì ai cũng rõ nguyên nhân, nhưng một thuật toán được thiết kế tồi có thể tồn tại rất lâu về sau, và lặng lẽ tàn phá.
This is Roger Ailes.
Đây là Roger Ailes.
(Laughter)
(Cười)
He founded Fox News in 1996. More than 20 women complained about sexual harassment. They said they weren't allowed to succeed at Fox News. He was ousted last year, but we've seen recently that the problems have persisted. That begs the question: What should Fox News do to turn over another leaf?
Ông thành lập Fox News năm 1996. Hơn 20 phụ nữ than phiền về việc bị quấy rối tình dục. Rằng họ không được cho phép để thành công tại Fox News. Ông ta bị lật đổ năm ngoái, nhưng gần đây ta vẫn thấy rằng vấn đề đó vẫn chưa biến mất. Điều này đặt ra câu hỏi: Liệu Fox News sẽ làm gì để cải thiện điều này?
Well, what if they replaced their hiring process with a machine-learning algorithm? That sounds good, right? Think about it. The data, what would the data be? A reasonable choice would be the last 21 years of applications to Fox News. Reasonable. What about the definition of success? Reasonable choice would be, well, who is successful at Fox News? I guess someone who, say, stayed there for four years and was promoted at least once. Sounds reasonable. And then the algorithm would be trained. It would be trained to look for people to learn what led to success, what kind of applications historically led to success by that definition. Now think about what would happen if we applied that to a current pool of applicants. It would filter out women because they do not look like people who were successful in the past.
Sẽ thế nào nếu họ thay thế quy trình tuyển dụng với một thuật toán từ học máy? Nghe có vẻ hay, nhỉ? Nghĩ về điều đó nào. Dữ liệu, chúng sẽ như thế nào? Sự lựa chọn hợp lý sẽ là đơn ứng tuyển trong suốt 21 năm qua của Fox News. Hợp lý. Vậy còn định nghĩa về thành công? Sự lựa chọn hợp lý sẽ là, người thành công ở Fox News? Tôi sẽ là đoán rằng ai đó, người đã làm việc được 3 đến 4 năm và có ít nhất một lần thăng chức. Nghe có vẻ hợp lý. Và rồi thuật toán được huấn luyện. Nó sẽ được luyện để tìm những ứng viên, học được điều gì mang lại thành công, loại ứng viên nào thường thành công theo định nghĩa được nêu. Giờ hãy nghĩ về điều sẽ xảy ra nếu ta áp dụng nó cho những ứng viên hiện tại. Thuật toán sẽ loại bỏ phụ nữ bởi vì họ không giống những người thành công trong quá khứ.
Algorithms don't make things fair if you just blithely, blindly apply algorithms. They don't make things fair. They repeat our past practices, our patterns. They automate the status quo. That would be great if we had a perfect world, but we don't. And I'll add that most companies don't have embarrassing lawsuits, but the data scientists in those companies are told to follow the data, to focus on accuracy. Think about what that means. Because we all have bias, it means they could be codifying sexism or any other kind of bigotry.
Thuật toán không làm mọi thứ trở nên công bằng nếu bạn chỉ chăm chăm, mù quáng áp dụng thuật toán. Nó không sự tạo công bằng cho mọi thứ. Nó chỉ lặp lại việc ta đã làm, những khuôn mẫu của ta. Nó tự động hóa các sự rập khuôn hiện tại. Điều đó thật tuyệt nếu ta có một thế giới hoàn hảo, nhưng thế giới không vậy. Và tôi nói thêm rằng hầu hết công ty không có các vụ kiện đáng xấu hổ, nhưng chuyên gia dữ liệu của họ thì được bảo rằng phải đi theo dữ liệu, để tập trung vào sự chính xác. Thử nghĩ xem nó nghĩa là gì. Vì ta đều có thành kiến, nghĩa là thuật toán có thể mã hoá sự phân biệt giới tính hay bất cứ sự phân biệt nào.
Thought experiment, because I like them: an entirely segregated society -- racially segregated, all towns, all neighborhoods and where we send the police only to the minority neighborhoods to look for crime. The arrest data would be very biased. What if, on top of that, we found the data scientists and paid the data scientists to predict where the next crime would occur? Minority neighborhood. Or to predict who the next criminal would be? A minority. The data scientists would brag about how great and how accurate their model would be, and they'd be right.
Thử nghiệm suy nghĩ, bởi vì tôi thích chúng: một xã hội hoàn toàn chia rẽ-- phân chia sắc tộc, tất cả thị trấn, tất cả khu dân cư và khi ta chỉ đưa cảnh sát đến những khu dân cư thiểu số để tìm kiếm tội phạm. Dữ liệu về các vụ bắt giữ sẽ rất sai lệch. Sẽ ra sao nếu ta nhờ đến các nhà khoa học dữ liệu và trả tiền để họ dự đoán vụ phạm tội tiếp theo sẽ xảy ra ở đâu? Khu dân cư thiểu số. Hay dự đoán người phạm tội tiếp theo là ai? Một người thiểu số. Các nhà khoa học dữ liệu sẽ khoe khoang về sự chính xác và ưu việt của mô hình của họ, và họ có thể đúng.
Now, reality isn't that drastic, but we do have severe segregations in many cities and towns, and we have plenty of evidence of biased policing and justice system data. And we actually do predict hotspots, places where crimes will occur. And we do predict, in fact, the individual criminality, the criminality of individuals. The news organization ProPublica recently looked into one of those "recidivism risk" algorithms, as they're called, being used in Florida during sentencing by judges. Bernard, on the left, the black man, was scored a 10 out of 10. Dylan, on the right, 3 out of 10. 10 out of 10, high risk. 3 out of 10, low risk. They were both brought in for drug possession. They both had records, but Dylan had a felony but Bernard didn't. This matters, because the higher score you are, the more likely you're being given a longer sentence.
Hiện thực không tàn khốc đến vậy nhưng ta vẫn có chia rẽ sâu sắc ở nhiều thành phố và thị trấn, và chúng ta cũng có nhiều bằng chứng về dữ liệu thiên vị trong hệ thống cảnh sát và luật pháp. Và chúng ta thật sự dự đoán các điểm nóng, các nơi tội ác sẽ diễn ra. Thực tế, ta dự đoán được khả năng phạm tội cá thể, khả năng phạm tội của mỗi người. Tổ chức thông tin ProPublica gần đây điều tra các thuật toán "nguy cơ tái phạm", như cách chúng được gọi, được sử dụng ở Florida khi thẩm phán phán quyết. Bernard, ở bên trái, một người da đen, được chấm 10 trên 10. Dylan, bên phải, 3 trên 10. 10 trên 10, nguy cơ cao. 3 trên 10, nguy cơ thấp. Họ đều bị bắt vì tàn trữ thuốc phiện. Họ đều có tiền án, nhưng Dylan có một trọng tội nhưng Bernard thì không. Điều này quan trọng, vì điểm bạn càng cao, bạn có nguy cơ phải ở tù lâu hơn.
What's going on? Data laundering. It's a process by which technologists hide ugly truths inside black box algorithms and call them objective; call them meritocratic. When they're secret, important and destructive, I've coined a term for these algorithms: "weapons of math destruction."
Điều gì đang xảy ra vậy? Rửa dữ liệu. Đây là quá trình mà các kỹ thuật viên che dấu sự thật xấu xa đằng sau chiếc hộp đen thuật toán và gọi nó là khách quan; và gọi nó là trọng tài năng. Khi nó bí ẩn, quan trọng và tàn phá, tôi đặt ra một thuật ngữ cho các thuật toán này: "vũ khí toán học huỷ diệt."
(Laughter)
(Cười)
(Applause)
(Vỗ tay)
They're everywhere, and it's not a mistake. These are private companies building private algorithms for private ends. Even the ones I talked about for teachers and the public police, those were built by private companies and sold to the government institutions. They call it their "secret sauce" -- that's why they can't tell us about it. It's also private power. They are profiting for wielding the authority of the inscrutable. Now you might think, since all this stuff is private and there's competition, maybe the free market will solve this problem. It won't. There's a lot of money to be made in unfairness.
Chúng ở khắp mọi nơi và đó là sự thật. Đó là các công ty tư tạo ra các thuật toán bí ẩn cho những mục đích riêng tư. Kể cả thuật toán tôi đề cập cho giáo viên và cảnh sát, chúng được tạo ra bởi các công ty tư và bán cho các tổ chức chính phủ. Họ gọi đó là "công thức bí mật" -- và đó là lý do họ không nói cho chúng ta. Nó cũng là quyền lực bí mật. Họ kiếm tiền bằng cách sử dụng sức mạnh của sự bí mật. Giờ bạn nghĩ là, vì những thứ này là riêng tư và có sự cạnh tranh, nền kinh tế tự do có thể giải quyết vấn đề này. Điều đó sẽ không xảy ra. Rất nhiều tiền được kiếm nhờ sự thiếu công bằng.
Also, we're not economic rational agents. We all are biased. We're all racist and bigoted in ways that we wish we weren't, in ways that we don't even know. We know this, though, in aggregate, because sociologists have consistently demonstrated this with these experiments they build, where they send a bunch of applications to jobs out, equally qualified but some have white-sounding names and some have black-sounding names, and it's always disappointing, the results -- always.
Hơn nữa, ta chẳng phải là các nhân tố kinh tế thuần lý trí Chúng ta đều thiên vị. Chúng ta đều phân biệt và thù ghét theo cách mà chúng ta không mong muốn, và theo cách chúng ta còn không biết. Tuy nhiên, chúng ta đều biết điều này, vì các nhà xã hội đã liên tục chứng minh điều này với những thí nghiệm họ tạo nên, khi họ gửi nhiều đơn xin việc ra, bằng cấp như nhau nhưng một số mang tên như người da trắng và vài cái tên như người da đen, và kết quả luôn luôn thất vọng -- luôn luôn.
So we are the ones that are biased, and we are injecting those biases into the algorithms by choosing what data to collect, like I chose not to think about ramen noodles -- I decided it was irrelevant. But by trusting the data that's actually picking up on past practices and by choosing the definition of success, how can we expect the algorithms to emerge unscathed? We can't. We have to check them. We have to check them for fairness.
Thế nên ta chính là người thiên vị, chúng ta đưa sự thiên vị này vào thuật toán bằng cách chọn dữ liệu nào để thu thập, như tôi chọn không suy nghĩ về mì ramen -- Tôi quyết định nó không liên quan. Nhưng tin vào những số liệu được thu thập từ quá khứ và chọn định nghĩa thành công, làm sao chúng ta hi vọng thuật toán sẽ hoàn toàn công bằng? Chúng ta không thể. Chúng ta phải kiểm tra chúng. Chúng ta phải kiểm tra để công bằng.
The good news is, we can check them for fairness. Algorithms can be interrogated, and they will tell us the truth every time. And we can fix them. We can make them better. I call this an algorithmic audit, and I'll walk you through it.
Và tin tốt là chúng ta có thể làm điều đó. Thuật toán có thể bị chất vấn, và chúng sẽ luôn nói sự thật. Và chúng ta có thể sửa và khiến chúng tốt hơn. Tôi gọi đó là thanh tra thuật toán, và tôi sẽ chỉ cho bạn.
First, data integrity check. For the recidivism risk algorithm I talked about, a data integrity check would mean we'd have to come to terms with the fact that in the US, whites and blacks smoke pot at the same rate but blacks are far more likely to be arrested -- four or five times more likely, depending on the area. What is that bias looking like in other crime categories, and how do we account for it?
Đầu tiên, kiểm tra toàn vẹn dữ liệu. Với thuật toán nguy cơ tái phạm tôi đã đề cập, kiểm tra toàn vẹn dữ liệu có nghĩa là chúng ta phải chấp nhận rằng ở Mỹ, người da đen và da trắng đều hút cần như nhau nhưng người da đen có khả năng bị bắt cao hơn -- bốn hay năm lần, tuỳ khu vực. Sự thiên vị đó ở các loại tội phạm khác biểu hiện thế nào, và chúng ta giải thích chúng ra sao?
Second, we should think about the definition of success, audit that. Remember -- with the hiring algorithm? We talked about it. Someone who stays for four years and is promoted once? Well, that is a successful employee, but it's also an employee that is supported by their culture. That said, also it can be quite biased. We need to separate those two things. We should look to the blind orchestra audition as an example. That's where the people auditioning are behind a sheet. What I want to think about there is the people who are listening have decided what's important and they've decided what's not important, and they're not getting distracted by that. When the blind orchestra auditions started, the number of women in orchestras went up by a factor of five.
Thứ hai, chúng ta nên nghĩ về định nghĩa thành công, kiểm tra nó. Hãy nhớ lại về thuật toán tuyển nhân sự. Người làm bốn năm và được lên chức một lần? Đó là nhân viên thành công, nhưng đó cũng là nhân viên được cổ vũ bởi nền văn hoá của họ. Điều đó cũng khá thiên vị. Chúng ta cần phân biệt hai điều. ta nên xem các buổi thử giọng mù như một ví dụ. Đó là khi người thử giọng ở phía sau tấm rèm. Điều tôi muốn là người nghe và quyết định điều gì quan trọng và không quan trọng, và họ không bị phân tâm bởi điều đó. Khi buổi thử giọng mù bắt đầu, số phụ nữ trong dàn nhạc tăng lên gấp năm lần.
Next, we have to consider accuracy. This is where the value-added model for teachers would fail immediately. No algorithm is perfect, of course, so we have to consider the errors of every algorithm. How often are there errors, and for whom does this model fail? What is the cost of that failure?
Tiếp theo, ta cần xem xét độ chính xác. Đây là lúc mô hình giá trị gia tăng về giáo viên lập tức thất bại. Không thuật toán nào là hoàn hảo, thế nên chúng ta cần quan tâm về sai sót của mỗi thuật toán. Các sai sót có thường xuyên không, và với đối tượng nào thì mô hình sẽ thất bại? Hậu quả của thất bại là gì?
And finally, we have to consider the long-term effects of algorithms, the feedback loops that are engendering. That sounds abstract, but imagine if Facebook engineers had considered that before they decided to show us only things that our friends had posted.
Và cuối cùng, chúng ta cần quan tâm ảnh hưởng lâu dài của thuật toán, các vòng phản hồi liên tục. Điều đó khá trừu tượng, nhưng tưởng tượng nếu nhân viên Facebook quan tâm điều đó trước khi họ quyết định chỉ cho ta thấy những thứ mà bạn bè chúng ta đăng.
I have two more messages, one for the data scientists out there. Data scientists: we should not be the arbiters of truth. We should be translators of ethical discussions that happen in larger society.
Tôi có hai thông điệp nữa, một cho các nhà khoa học dữ liệu. Các nhà khoa học dữ liệu: chúng ta không nên là trọng tài sự thật. Chúng ta nên là thông dịch viên cho những thảo luận về đạo đức trong xã hội ngày nay.
(Applause)
(Vỗ tay)
And the rest of you, the non-data scientists: this is not a math test. This is a political fight. We need to demand accountability for our algorithmic overlords.
Và người còn lại, không phải là nhà khoa học dữ liệu: đây không phải là bài kiểm tra toán. Đây là cuộc chiến chính trị. Ta cần yêu cầu giải trình về các thuật toán tối cao.
(Applause)
(Vỗ tay)
The era of blind faith in big data must end.
Thời đại của niềm tin mù quáng vào dữ liệu lớn cần dừng lại.
Thank you very much.
Xin cảm ơn rất nhiều.
(Applause)
(Vỗ tay)