Hello, I'm Joy, a poet of code, on a mission to stop an unseen force that's rising, a force that I called "the coded gaze," my term for algorithmic bias.
こんにちは コードの詩人 ジョイです 私の使命は 強まりつつある 目に見えない力 「コード化された視線」 と私が呼ぶ― アルゴリズムにおける偏見を 阻止することです
Algorithmic bias, like human bias, results in unfairness. However, algorithms, like viruses, can spread bias on a massive scale at a rapid pace. Algorithmic bias can also lead to exclusionary experiences and discriminatory practices. Let me show you what I mean.
アルゴリズムも 人と同じで 偏見が入り込むと不公正な結果を生みます しかも アルゴリズムはウイルスのように 偏見をどんどん拡散してしまいます それも急速にです アルゴリズムの偏見は 排他的な扱いや 差別行為を生む恐れもあります 具体的にお見せしましょう
(Video) Joy Buolamwini: Hi, camera. I've got a face. Can you see my face? No-glasses face? You can see her face. What about my face? I've got a mask. Can you see my mask?
(ビデオ)ねえ カメラくん 私には顔があるわ 私の顔が見える? メガネを外した方がいいかな? この人の顔は見えるわね 私の顔はどう? お面をつけるわ このお面は見える?
Joy Buolamwini: So how did this happen? Why am I sitting in front of a computer in a white mask, trying to be detected by a cheap webcam? Well, when I'm not fighting the coded gaze as a poet of code, I'm a graduate student at the MIT Media Lab, and there I have the opportunity to work on all sorts of whimsical projects, including the Aspire Mirror, a project I did so I could project digital masks onto my reflection. So in the morning, if I wanted to feel powerful, I could put on a lion. If I wanted to be uplifted, I might have a quote. So I used generic facial recognition software to build the system, but found it was really hard to test it unless I wore a white mask.
(ジョイ)何が起きたのでしょう? 私が白い仮面をつけて コンピュータの前に座り 安いウェブカメラで検知されるか 試している理由は? コードの詩人として コード化された視線と 戦うとき以外の私は MITメディアラボの大学院生で ちょっと変わったプロジェクトに いろいろ関わっています その1つの 「Aspire Mirror(鼓舞する鏡)」は 鏡に映った自分の顔に デジタルの仮面を重ねるものです 朝起きてパワフルな気分に なりたければ ライオンの面をつけたり 気分を高めるために 何かを「引用」したりできます このとき 私は 一般的な顔認識ソフトを使い システムを組もうとしたのですが 白い仮面をつけないと テストすら難しいと気づきました
Unfortunately, I've run into this issue before. When I was an undergraduate at Georgia Tech studying computer science, I used to work on social robots, and one of my tasks was to get a robot to play peek-a-boo, a simple turn-taking game where partners cover their face and then uncover it saying, "Peek-a-boo!" The problem is, peek-a-boo doesn't really work if I can't see you, and my robot couldn't see me. But I borrowed my roommate's face to get the project done, submitted the assignment, and figured, you know what, somebody else will solve this problem.
実は この問題に悩まされたのは 初めてではありませんでした ジョージア工科大学で コンピュータ科学を学んでいたとき ソーシャルロボットを研究していて ロボット相手に 代わりばんこに 「いないいないばあ」をするという 課題がありました 顔を覆った手を 「ばあ!」のところで どけて顔を見せる遊びですね 相手の顔が見えないと 成立しないゲームですが ロボットは私の顔を 認識できませんでした 私はルームメイトの顔を借りて どうにか作業を終え 課題を提出しました そのときは このバグも誰かが 直してくれると思っていました
Not too long after, I was in Hong Kong for an entrepreneurship competition. The organizers decided to take participants on a tour of local start-ups. One of the start-ups had a social robot, and they decided to do a demo. The demo worked on everybody until it got to me, and you can probably guess it. It couldn't detect my face. I asked the developers what was going on, and it turned out we had used the same generic facial recognition software. Halfway around the world, I learned that algorithmic bias can travel as quickly as it takes to download some files off of the internet.
それから少しして 私は 起業コンテストに参加するため 香港に行きました 参加者たちは いくつかの地元の新興企業に 案内されました ある会社の製品は ソーシャルロボットで デモを見せてもらうことに なりました デモは成功し 私の番がやって来ます 結果はご想像のとおり 私の顔は検知されません 「どうなってるの?」 と開発者たちに尋ねたら 私と同じ顔認識ソフトを 使っていることが判明しました 世界を半周して分かったのは アルゴリズムの偏見が 広がるのはすごく早いことです ネットからダウンロードする 時間しかかかりません
So what's going on? Why isn't my face being detected? Well, we have to look at how we give machines sight. Computer vision uses machine learning techniques to do facial recognition. So how this works is, you create a training set with examples of faces. This is a face. This is a face. This is not a face. And over time, you can teach a computer how to recognize other faces. However, if the training sets aren't really that diverse, any face that deviates too much from the established norm will be harder to detect, which is what was happening to me.
どうなっているのか? なぜ私の顔は検知されないのか? 機械に視覚を持たせる仕組みを 考えてみましょう コンピュータビジョンでは 機械学習の技術を使って 顔を認識します 顔のサンプルを集めて トレーニングするのです これは顔 これは顔 これは顔じゃない やがてコンピュータは 顔を認識する方法を習得します でもトレーニング用のサンプルに あまり多様性がなかったら そこで確立された基準から 大きく外れた顔は 検知するのが難しくなります 私の場合はそれでした
But don't worry -- there's some good news. Training sets don't just materialize out of nowhere. We actually can create them. So there's an opportunity to create full-spectrum training sets that reflect a richer portrait of humanity.
でも大丈夫 希望の持てる面もあります 顔のサンプル集は ひとりでに できるわけではありません 私たちにだって作れます ですから 網羅的な トレーニング用のサンプルを作り さまざまな人間の姿形を しっかり反映させれば いいんです
Now you've seen in my examples how social robots was how I found out about exclusion with algorithmic bias. But algorithmic bias can also lead to discriminatory practices. Across the US, police departments are starting to use facial recognition software in their crime-fighting arsenal. Georgetown Law published a report showing that one in two adults in the US -- that's 117 million people -- have their faces in facial recognition networks. Police departments can currently look at these networks unregulated, using algorithms that have not been audited for accuracy. Yet we know facial recognition is not fail proof, and labeling faces consistently remains a challenge. You might have seen this on Facebook. My friends and I laugh all the time when we see other people mislabeled in our photos. But misidentifying a suspected criminal is no laughing matter, nor is breaching civil liberties.
私の例でお見せしたように ソーシャルロボットの振る舞いから アルゴリズムの偏見による 切り捨てが見つかりました この偏見は 差別行為にも つながりうるものです 米国では全国的に 警察が顔認識ソフトを使って 犯罪に対処し始めています ジョージタウン大学 ロースクールの報告によると 米国の成人2人に1人 1億1700万人の顔が 何らかの顔認識用のデータベースに 記録されています 警察は現在 制限なしに これらのシステムを参照できますが 使っているアルゴリズムの 正確さは検証されていません でも 顔認識は完璧でなく 顔と名前を一致させるのは なおも難しい課題です Facebookで こんな経験をしたことは? 写真の中の人が正しく認識されず おかしなタグが付いていて 私は いつも友達と大笑いしています でも 犯罪者と間違われたら 笑い事では済みません 市民の自由が侵された どころでもありません
Machine learning is being used for facial recognition, but it's also extending beyond the realm of computer vision. In her book, "Weapons of Math Destruction," data scientist Cathy O'Neil talks about the rising new WMDs -- widespread, mysterious and destructive algorithms that are increasingly being used to make decisions that impact more aspects of our lives. So who gets hired or fired? Do you get that loan? Do you get insurance? Are you admitted into the college you wanted to get into? Do you and I pay the same price for the same product purchased on the same platform?
機械学習は顔認識に 利用されるとともに コンピュータビジョンの 利用範囲を拡大しています データ・サイエンティストの キャシー・オニールは 『Weapons of Math Destruction (数学破壊兵器)』の中で 不可解で破壊的なアルゴリズムが 「数学破壊兵器」として台頭し ますます広く意思決定に 使われるようになり 私たちの暮らしの多くの場面に 影響を与えていると述べています 仕事の採用・不採用を分けるものは? ローンが組めるかどうか 保険に入れるかどうか 志望大学に入学できるかどうか 同じところで同じ製品を 購入するのなら 誰でも値段は同じかどうか といったことにもです
Law enforcement is also starting to use machine learning for predictive policing. Some judges use machine-generated risk scores to determine how long an individual is going to spend in prison. So we really have to think about these decisions. Are they fair? And we've seen that algorithmic bias doesn't necessarily always lead to fair outcomes.
警察は機械学習を 予測警備にも 使い始めています 裁判官の中には 機械が出したリスク評価をもとに 何年の懲役にすべきか 決める人もいます だから こうした判断について よく考えなければなりません 判断は公平なのでしょうか? すでに見た通り アルゴリズムの偏見により 出てくる結果は必ずしも 公平ではありません
So what can we do about it? Well, we can start thinking about how we create more inclusive code and employ inclusive coding practices. It really starts with people. So who codes matters. Are we creating full-spectrum teams with diverse individuals who can check each other's blind spots? On the technical side, how we code matters. Are we factoring in fairness as we're developing systems? And finally, why we code matters. We've used tools of computational creation to unlock immense wealth. We now have the opportunity to unlock even greater equality if we make social change a priority and not an afterthought. And so these are the three tenets that will make up the "incoding" movement. Who codes matters, how we code matters and why we code matters.
私たちに何ができるでしょう どうすれば より包括的なコードを作り それを実践していけるのか 考えることから始めましょう まずは人からです つまり コードを書く人が大事です 多様なメンバーで チームを構成し 互いの盲点を チェックできているか? 技術的な面では コードをどう作るかが重要です システム開発の要素に 公正さを組み込んでいるか? 最後に 何のために コードを書くかも重要です 私たちはコンピュータを使って 莫大な富を生み出してきましたが 今 より一層の平等も 生み出すことができるのです 社会の変革を 後付けでなく 優先事項とすれば良いのです このように「インコーディング」運動には 3つの柱があるわけです 誰がコードを書くかが重要 どのようにコードを書くかが重要 なぜコードを書くかが重要 なのです
So to go towards incoding, we can start thinking about building platforms that can identify bias by collecting people's experiences like the ones I shared, but also auditing existing software. We can also start to create more inclusive training sets. Imagine a "Selfies for Inclusion" campaign where you and I can help developers test and create more inclusive training sets. And we can also start thinking more conscientiously about the social impact of the technology that we're developing.
インコーディングに向けて まず手を付けるべきは 偏りを発見できる プラットフォームを作ること 私が紹介したような 経験を集積して 今あるソフトウェアの 点検もします トレーニング用サンプルにも もっと多様性を盛り込みましょう 「インクルージョンに向けた自撮り」 キャンペーンを展開して 多様性のあるサンプルを 開発者が作成しテストするのを 支援することもできます さらには 開発中の技術が 社会に与える影響について もっと注意深く 考えるようにしましょう
To get the incoding movement started, I've launched the Algorithmic Justice League, where anyone who cares about fairness can help fight the coded gaze. On codedgaze.com, you can report bias, request audits, become a tester and join the ongoing conversation, #codedgaze.
インコーディング運動を 始めるために 私は「Algorithmic Justice League」 を設立しました 公正さに関心がある人なら誰でも コード化された視線との戦いに参加できます 偏ったコードの通報や監査依頼 試験者の参加申し込みは codedgaze.comへ 話題の共有には #codedgazeを使ってください
So I invite you to join me in creating a world where technology works for all of us, not just some of us, a world where we value inclusion and center social change.
ぜひ皆さんに 参加してほしいんです テクノロジーが 一部の人でなく みんなの役に立つ― 世界を創りましょう インクルージョンを大事にし 自ら社会を変える そんな世界にしましょう
Thank you.
ありがとうございました
(Applause)
(拍手)
But I have one question: Will you join me in the fight?
でも ほんとに大丈夫? 本気で参加してくれますね?
(Laughter)
(笑)
(Applause)
(拍手)