Hello, I'm Joy, a poet of code, on a mission to stop an unseen force that's rising, a force that I called "the coded gaze," my term for algorithmic bias.
Xin chào, Tôi là Joy, một nhà thơ viết mã, đang thực hiện nhiệm vụ ngăn chặn một một lực lượng vô hình đang gia tăng, một lực lượng mà tôi gọi là "the coded gaze," là từ tôi nói về sự thiên vị thuật toán.
Algorithmic bias, like human bias, results in unfairness. However, algorithms, like viruses, can spread bias on a massive scale at a rapid pace. Algorithmic bias can also lead to exclusionary experiences and discriminatory practices. Let me show you what I mean.
Thiên vị thuật toán, giống như thiên vị con người, sẽ đưa đến sự bất công. Tuy nhiên, thuật toán, giống như virút, có thể phát tán sự thiên vị trên quy mô lớn với tốc độ nhanh chóng. Thiên vị thuật toán có thể dẫn đến nhiều trải nghiệm bị loại trừ ra và các hành vi phân biệt đối xử. Tôi sẽ cho các bạn thấy điều tôi muốn nói.
(Video) Joy Buolamwini: Hi, camera. I've got a face. Can you see my face? No-glasses face? You can see her face. What about my face? I've got a mask. Can you see my mask?
(Video) Joy: Chào camera. Tôi có một khuôn mặt. Bạn có thấy mặt tôi không? Khuôn mặt không đeo kính ấy? Bạn có thể thấy mặt cô ấy. Thế còn mặt của tôi? Tôi có một mặt nạ. Bạn có thấy mặt nạ của tôi không?
Joy Buolamwini: So how did this happen? Why am I sitting in front of a computer in a white mask, trying to be detected by a cheap webcam? Well, when I'm not fighting the coded gaze as a poet of code, I'm a graduate student at the MIT Media Lab, and there I have the opportunity to work on all sorts of whimsical projects, including the Aspire Mirror, a project I did so I could project digital masks onto my reflection. So in the morning, if I wanted to feel powerful, I could put on a lion. If I wanted to be uplifted, I might have a quote. So I used generic facial recognition software to build the system, but found it was really hard to test it unless I wore a white mask.
Joy Buolamwini: Việc này là thế nào? Tại sao tôi đang ngồi trước máy tính đeo mặt nạ trắng, cố dò khuôn mặt mình bằng một webcam rẽ tiền? Vâng, tôi không chống lại the coded gaze với vai trò một nhà thơ viết mã Tôi là sinh viên tốt nghiệp tại MIT Media Lab, và ở đó, tôi có cơ hội làm việc với mọi loại dự án kỳ quặc, bao gồm dự án Aspire Mirror, dự án này tôi đã thực hiện nên tôi có thể chiếu các mặt nạ số phản ánh tâm trạng tôi vào buổi sáng, nếu tôi muốn cảm thấy mạnh mẽ Tôi có thể đeo mặt nạ sư tử. Nếu tôi muốn được lên tinh thần, tôi có thể có một viện dẫn. Và tôi đã sử dụng một phần mềm nhận diện khuôn mặt thông dụng để xây dựng hệ thống, nhưng tôi nhận ra rằng rất khó để chạy thử nó trừ khi tôi đeo mặt nạ trắng
Unfortunately, I've run into this issue before. When I was an undergraduate at Georgia Tech studying computer science, I used to work on social robots, and one of my tasks was to get a robot to play peek-a-boo, a simple turn-taking game where partners cover their face and then uncover it saying, "Peek-a-boo!" The problem is, peek-a-boo doesn't really work if I can't see you, and my robot couldn't see me. But I borrowed my roommate's face to get the project done, submitted the assignment, and figured, you know what, somebody else will solve this problem.
Thật không may, trước đây tôi cũng đã gặp sự cố này. Khi tôi còn là sinh viên nghiên cứu khoa học máy tính ở Georgia Tech, tôi đã từng làm các robot xã hội, và một trong những công việc của tôi là cài đặt robot chơi trò "Ú òa", một trò chơi luân phiên đơn giản trong đó các người chơi che mặt lại và tháo mặt ra và nói "Ú òa!" Vấn đề là, tôi sẽ không Ú Òa nếu không nhìn thấy bạn, và robot của tôi đã không thấy tôi. Nhưng khi tôi mượn khuôn mặt của bạn cùng phòng để thực hiện dự án, nộp bài tập, và tham gia, bạn biết không, ai sẽ giải quyết vấn đề này.
Not too long after, I was in Hong Kong for an entrepreneurship competition. The organizers decided to take participants on a tour of local start-ups. One of the start-ups had a social robot, and they decided to do a demo. The demo worked on everybody until it got to me, and you can probably guess it. It couldn't detect my face. I asked the developers what was going on, and it turned out we had used the same generic facial recognition software. Halfway around the world, I learned that algorithmic bias can travel as quickly as it takes to download some files off of the internet.
Không lâu sau đó, Tôi đã đến Hong Kong để tham gia một cuộc thi làm doanh nhân. Các nhà tổ chức đã quyết định đưa những người tham gia đi tham quan các startup địa phương. Một trong các startup đó có một robot xã hội, và họ đã quyết định demo. Việc demo thực hiện với mọi người và khi đến lược tôi và bạn có lẽ cùng đoán được. Nó không nhận diện được khuôn mặt tôi. Tôi đã hỏi người phát triển nó chuyện gì xãy ra vậy, và hóa ra chúng tôi đã sử dụng cùng một phần mềm nhận diện khuôn mặt đó. Nữa vòng trái đất, Tôi đã học được rằng sự thiên vị thuật toán có thể di chuyển nhanh như việc tải một số file từ internet.
So what's going on? Why isn't my face being detected? Well, we have to look at how we give machines sight. Computer vision uses machine learning techniques to do facial recognition. So how this works is, you create a training set with examples of faces. This is a face. This is a face. This is not a face. And over time, you can teach a computer how to recognize other faces. However, if the training sets aren't really that diverse, any face that deviates too much from the established norm will be harder to detect, which is what was happening to me.
Vậy điều gì đang xãy ra? Tại sao khuôn mặt tôi không nhận ra được Vâng, chúng ta phải xem lại cách chúng ta cho máy tính nhìn. Thi giác máy tính sử dụng các công nghệ học máy để nhìn để nhận diện khuôn mặt. Và cách làm là, ta tạo ra một một tập huấn luyện với các ví dụ về khuôn mặt. Đây là khuôn mặt. Đây là khuôn mặt. Còn đây thì không. và qua thời gian, ta có thể dạy máy tính cách nhận ra các khuôn mặt khác. Tuy nhiên, nếu tập huấn luyện không đa dạng, bất kỳ khuôn mặt nào mà khác quá nhiều so với chuẩn đã thiết lập sẽ khó dò tìm hơn, đó chính là trường hợp xãy ra với tôi.
But don't worry -- there's some good news. Training sets don't just materialize out of nowhere. We actually can create them. So there's an opportunity to create full-spectrum training sets that reflect a richer portrait of humanity.
Nhưng đừng lo - có một vài tin tốt. Các tập huấn luyện không tồn tại ở cõi hư vô. Mà do chính chúng ta tạo ra. Do vậy chúng ta có cơ hội tạo ra các tập huấn luyện phủ kín các trường hợp và phản ánh một bức tranh đầy đủ hơn về con người.
Now you've seen in my examples how social robots was how I found out about exclusion with algorithmic bias. But algorithmic bias can also lead to discriminatory practices. Across the US, police departments are starting to use facial recognition software in their crime-fighting arsenal. Georgetown Law published a report showing that one in two adults in the US -- that's 117 million people -- have their faces in facial recognition networks. Police departments can currently look at these networks unregulated, using algorithms that have not been audited for accuracy. Yet we know facial recognition is not fail proof, and labeling faces consistently remains a challenge. You might have seen this on Facebook. My friends and I laugh all the time when we see other people mislabeled in our photos. But misidentifying a suspected criminal is no laughing matter, nor is breaching civil liberties.
Bây giờ bạn đã thấy trong các ví dụ của tôi các robot xã hội nó ra sao cách tôi đã tìm ra sự sai sót về thiên vị thuật toán. Nhưng sự thiên vị thuật toán có thể dẫn đến các hành vi phân biệt đối xử. Khắp nước Mỹ, các sở cảnh sát đang bắt đầu đưa phần mềm nhận dạng khuôn mặt vào kho vũ khí chống tội phạm của họ. Trường luật Georgetown công bố một báo cáo cho thấy 1/2 người lớn ở Mỹ -- có đến 117 triệu người -- có khuôn mặt trong các mạng lưới nhận dạng khuôn mặt. Hiện tại các sở cảnh sát có thể nhìn vào các mạng lưới không được kiểm soát này sử dụng các thuật toán không được kiểm tra để bảo đảm sự chính xác. Nhưng chúng ta biết nhận dạng khuôn mặt không phải là không có sai sót và đánh nhãn khuôn mặt một cách chắc chắn vẫn còn là một thách thức. Bạn có thể thấy điều này trên Facebook Tôi và các bạn tôi luôn cười khi thấy những người khác bị đánh nhãn sai trong các bức hình của chúng tôi. Nhưng nhận diện sai một nghi phạm không phải là một chuyện để cười, cũng không phải là vi phạm quyền tự do dân sự.
Machine learning is being used for facial recognition, but it's also extending beyond the realm of computer vision. In her book, "Weapons of Math Destruction," data scientist Cathy O'Neil talks about the rising new WMDs -- widespread, mysterious and destructive algorithms that are increasingly being used to make decisions that impact more aspects of our lives. So who gets hired or fired? Do you get that loan? Do you get insurance? Are you admitted into the college you wanted to get into? Do you and I pay the same price for the same product purchased on the same platform?
Công nghệ học máy đang được sử dụng để nhận diện khuôn mặt, nhưng nó cũng đang mở rộng vượt quá lĩnh vực thị giác máy tính. Trong cuốn sách "Vũ khí hủy diệt toán học" của cô Cathy O'Neil, một nhà khoa học dữ liệu, nói các loại WMD đang gia tăng -- các giải thuật hủy diệt, thần bí và phổ biến rộng rãi đang ngày càng được sử dụng để đưa ra quyết định mà ảnh hưởng đến nhiều lĩnh vực của cuộc sống. Vậy ai được tuyển dụng hoặc sa thải? Bạn có khoản vay đó? Bạn có bảo hiểm không? Bạn có được tiếp nhận vào trường đại học mà bạn muốn? Bạn và tôi có trả cùng giá cho cùng sản phẩm được mua trên cùng một nền tảng?
Law enforcement is also starting to use machine learning for predictive policing. Some judges use machine-generated risk scores to determine how long an individual is going to spend in prison. So we really have to think about these decisions. Are they fair? And we've seen that algorithmic bias doesn't necessarily always lead to fair outcomes.
Việc thực thi luật pháp cũng đang bắt đầu sử dụng công nghệ học máy để dự báo tình hình phạm pháp Một số thẩm phán sử dụng điểm số rủi ro do máy tạo ra để xác định một cá nhân sẽ đi tù trong bao lâu. Do vậy chúng ta phải nghĩ về những quyết định này. Chúng có công bằng? Và chúng ta đã thấy rằng sự thiên vị thuật toán không nhất thiết luôn cho ra kết quả công bằng
So what can we do about it? Well, we can start thinking about how we create more inclusive code and employ inclusive coding practices. It really starts with people. So who codes matters. Are we creating full-spectrum teams with diverse individuals who can check each other's blind spots? On the technical side, how we code matters. Are we factoring in fairness as we're developing systems? And finally, why we code matters. We've used tools of computational creation to unlock immense wealth. We now have the opportunity to unlock even greater equality if we make social change a priority and not an afterthought. And so these are the three tenets that will make up the "incoding" movement. Who codes matters, how we code matters and why we code matters.
Vậy ta có thể làm gì với chúng? Vâng, ta có thể bắt đầu nghĩ về cách tạo ra mã lệnh bao hàm nhiều hơn và sử dụng các hoạt động viết mã có tính bao hàm. Nó thực sự bắt đầu với con người. Vậy ai viết các mã lệnh đó. Có phải chúng ta đang tạo ra các nhóm đầy đủ với các cá nhân đa dạng những người có thể kiểm tra các điểm mù lẫn nhau? Về mặt kỹ thuật, chúng ta viết các mã lệnh đó như thế nào Chúng ta có đang tính đến yếu tố công bằng khi xây dựng hệ thống/ Và cuối cùng, tại sao chúng ta viết những mã lệnh đó. Chúng ta đã sử dụng các công cụ sáng tạo tính toán để mở khóa sự giàu có to lớn. Giờ đây chúng ta có cơ hội mở khóa sự bình đẳng to lớn hơn nếu chúng ta tạo ra sự thay đổi xã hội một sự ưu tiên và không suy nghĩ lại Và đây là 3 nguyên lý mà sẽ tạo nên phong trào "incoding". Ai viết mã lệnh đó, chúng ta viết mã lệnh đó ra sao và tại sao ta viết mã lệnh đó.
So to go towards incoding, we can start thinking about building platforms that can identify bias by collecting people's experiences like the ones I shared, but also auditing existing software. We can also start to create more inclusive training sets. Imagine a "Selfies for Inclusion" campaign where you and I can help developers test and create more inclusive training sets. And we can also start thinking more conscientiously about the social impact of the technology that we're developing.
Do đó để hướng đến sự viết mã tận tâm, ta có thể bắt đầu nghĩ về xây dựng các nền tảng mà có thể nhận diện sự thiên vị bằng cách tập hợp trải nghiệm của mọi người như tôi đã chia sẽ nhưng cũng kiểm tra các phần mềm hiện tại. Chúng ta cũng có thể bắt đầu tạo ra những tập huấn luyện bao hàm hơn Hãy tưởng tượng một chiến dịch "Tự sướng để hòa nhập" ở đó bạn và tôi có thể giúp các nhà phát triển kiểm thử và tạo ra các tập huấn luyện bao hàm hơn. Và chúng ta cũng bắt đầu suy nghĩ một cách tận tâm hơn về sự ảnh hưởng xã hội của công nghệ mà ta đang phát triển.
To get the incoding movement started, I've launched the Algorithmic Justice League, where anyone who cares about fairness can help fight the coded gaze. On codedgaze.com, you can report bias, request audits, become a tester and join the ongoing conversation, #codedgaze.
Để bắt đầu phong trào viết mã tận tâm Tôi đã khởi xướng Liên minh công lý thuật toán, ở đó bất cứ ai quan tâm đến sự công bằng đều có thể giúp chống lại the coded gaze. trên codedgaze.com, nơi bạn có thể báo cáo lại các thiên vị, đề nghị sự kiểm tra, trở thành người kiểm thử và tham gia vào các cuộc nói chuyện #codedgaze.
So I invite you to join me in creating a world where technology works for all of us, not just some of us, a world where we value inclusion and center social change.
Tôi mời bạn tham gia với tôi để tạo ra một thế giới ở đó công nghệ phục vụ cho tất cả chúng ta, không phải chỉ với một số người, một thế giới ở đó chúng ta đề cao sự hòa nhập và thay đổi xã hội làm trung tâm
Thank you.
Xin cảm ơn.
(Applause)
(Vỗ tay)
But I have one question: Will you join me in the fight?
Nhưng tôi còn một câu hỏi: Bạn có cùng tôi vào cuộc chiến này không?
(Laughter)
(Cười)
(Applause)
(Vỗ tay)