How many decisions have been made about you today, or this week or this year, by artificial intelligence? I build AI for a living so, full disclosure, I'm kind of a nerd. And because I'm kind of a nerd, wherever some new news story comes out about artificial intelligence stealing all our jobs, or robots getting citizenship of an actual country, I'm the person my friends and followers message freaking out about the future.
Сколько решений в отношении вас было принято сегодня, на этой неделе или в этом году искусственным интеллектом? Я зарабатываю, создавая ИИ, так что, говоря откровенно, я ботан. И поскольку я ботан, когда появляется очередной новостной сюжет об искусственном интеллекте, ворующем наши рабочие места, или о роботах, получающих гражданство настоящей страны, мои друзья и подписчики именно меня засыпают сообщениями, полными переживаний о будущем.
We see this everywhere. This media panic that our robot overlords are taking over. We could blame Hollywood for that. But in reality, that's not the problem we should be focusing on. There is a more pressing danger, a bigger risk with AI, that we need to fix first. So we are back to this question: How many decisions have been made about you today by AI? And how many of these were based on your gender, your race or your background?
Мы наблюдаем это повсеместно. СМИ раздувают панику о восстании роботов. В этом можно обвинить Голливуд. Но на самом деле это не та проблема, на которой нам следует фокусироваться. Существует более серьёзный риск, на который нам следует обратить внимание при работе с ИИ. Итак, вернёмся к изначальному вопросу: сколько решений принял сегодня в отношении вас ИИ? И сколько из них были продиктованы вашим полом, расой или происхождением?
Algorithms are being used all the time to make decisions about who we are and what we want. Some of the women in this room will know what I'm talking about if you've been made to sit through those pregnancy test adverts on YouTube like 1,000 times. Or you've scrolled past adverts of fertility clinics on your Facebook feed. Or in my case, Indian marriage bureaus.
Алгоритмы используются повсеместно, для того чтобы определять, кто мы такие и чего мы хотим. Некоторые женщины в этом зале поймут, о чём я, если вам приходилось смотреть рекламу тестов на беременность на YouTube по 1000 раз на дню. Или когда вы натыкаетесь на рекламу клиник планирования семьи в ленте Facebook. Или в моём случае — индийские брачные бюро.
(Laughter)
(Смех)
But AI isn't just being used to make decisions about what products we want to buy or which show we want to binge watch next. I wonder how you'd feel about someone who thought things like this: "A black or Latino person is less likely than a white person to pay off their loan on time." "A person called John makes a better programmer than a person called Mary." "A black man is more likely to be a repeat offender than a white man." You're probably thinking, "Wow, that sounds like a pretty sexist, racist person," right? These are some real decisions that AI has made very recently, based on the biases it has learned from us, from the humans. AI is being used to help decide whether or not you get that job interview; how much you pay for your car insurance; how good your credit score is; and even what rating you get in your annual performance review. But these decisions are all being filtered through its assumptions about our identity, our race, our gender, our age. How is that happening?
Однако ИИ используется не просто для того, чтобы определить, какие товары мы хотим приобрести или за каким сериалом проведём бессонные ночи. Интересно, что бы вы подумали о человеке, который размышляет примерно так: «Афро- или латиноамериканец куда реже, чем белый, вовремя вносит платежи по кредиту». «Человек по имени Джон — более способный программист, чем та, кого зовут Мэри». «Афроамериканец чаще, чем белый оказывается рецидивистом». Вы наверняка сейчас думаете: «Ого, да это наверняка сексисты и расисты», верно? Всё это реальные заключения, сделанные о нас искусственным интеллектом и основанные на тех предрассудках, которым ИИ научился у нас, у людей. ИИ упрощает процесс принятия решений: пригласят ли вас на собеседование, сколько вам платить за страховку машины, как выглядит ваша кредитная история и даже то, как вы будете оценены на работе по итогам года. Но все эти решения проходят через фильтры предположений ИИ о том, кто мы, о наших расе, поле и возрасте. Как же всё это происходит?
Now, imagine an AI is helping a hiring manager find the next tech leader in the company. So far, the manager has been hiring mostly men. So the AI learns men are more likely to be programmers than women. And it's a very short leap from there to: men make better programmers than women. We have reinforced our own bias into the AI. And now, it's screening out female candidates. Hang on, if a human hiring manager did that, we'd be outraged, we wouldn't allow it. This kind of gender discrimination is not OK. And yet somehow, AI has become above the law, because a machine made the decision. That's not it.
Представьте, что ИИ помогает HR-менеджеру в поиске следующего технического лидера в компании. В прошлом этот менеджер чаще выбирал на должность мужчин. В итоге ИИ запоминает, что программистами чаще становятся мужчины, а не женщины. А отсюда рукой подать до вывода: мужчины более способные программисты, чем женщины. Таким образом, наши предрассудки укрепляются в ИИ. Как результат, ИИ отсеивает кандидатов-женщин. Но стойте, если бы так поступал человек, мы бы были возмущены и выступили против. Дискриминация по половому признаку — это предосудительно. И всё же каким-то образом решения ИИ находятся вне закона, так как они приняты машиной. Но это не так.
We are also reinforcing our bias in how we interact with AI. How often do you use a voice assistant like Siri, Alexa or even Cortana? They all have two things in common: one, they can never get my name right, and second, they are all female. They are designed to be our obedient servants, turning your lights on and off, ordering your shopping. You get male AIs too, but they tend to be more high-powered, like IBM Watson, making business decisions, Salesforce Einstein or ROSS, the robot lawyer. So poor robots, even they suffer from sexism in the workplace.
Мы также подкрепляем наши предрассудки тем, как именно мы взаимодействуем с ИИ. Как часто вы пользуетесь голосовыми помощниками Сири, Алексой или Кортаной? Все они имеют две общие черты: первая заключается в том, что они всегда неверно произносят моё имя, а вторая — все они женского пола. Они разработаны, чтобы послушно выполнять наши поручения, включать и выключать свет, делать онлайн-покупки. Существуют также системы ИИ мужского пола, но они обычно более авторитетны, к примеру, IBM Watson, принимающий решения в бизнес-сфере, или платформа Salesforce Einstein, или робот-адвокат ROSS. Таким образом, даже несчастные роботы страдают от сексизма на рабочем месте.
(Laughter)
(Смех)
Think about how these two things combine and affect a kid growing up in today's world around AI. So they're doing some research for a school project and they Google images of CEO. The algorithm shows them results of mostly men. And now, they Google personal assistant. As you can guess, it shows them mostly females. And then they want to put on some music, and maybe order some food, and now, they are barking orders at an obedient female voice assistant. Some of our brightest minds are creating this technology today. Technology that they could have created in any way they wanted. And yet, they have chosen to create it in the style of 1950s "Mad Man" secretary. Yay!
Задумайтесь, как оба этих факта вкупе оказывают влияние на детей, растущих в сегодняшнем мире в окружении ИИ. Например, они собирают данные для школьного проекта и гуглят фото генеральных директоров. Алгоритм выдаёт им в основном директоров-мужчин. А потом они гуглят личных помощников. Как вы можете догадаться, в этом поиске отображаются в основном женщины. А позже они захотят включить музыку или заказать поесть, и вот они уже раздают свои поручения помощнику с покорным женским голосом. Умнейшие люди планеты разрабатывают сейчас эти технологии. Технологии, которые они могли бы создать любыми, какими бы ни захотели. И всё же они решили сделать помощников в стиле секретарши 1950-х годов из фильма «Безумцы». Ура!
But OK, don't worry, this is not going to end with me telling you that we are all heading towards sexist, racist machines running the world. The good news about AI is that it is entirely within our control. We get to teach the right values, the right ethics to AI. So there are three things we can do. One, we can be aware of our own biases and the bias in machines around us. Two, we can make sure that diverse teams are building this technology. And three, we have to give it diverse experiences to learn from. I can talk about the first two from personal experience. When you work in technology and you don't look like a Mark Zuckerberg or Elon Musk, your life is a little bit difficult, your ability gets questioned.
Ладно, не волнуйтесь, я не собираюсь заканчивать выступление словами о том, что миром будут править сексистские, расистские машины. Хорошие новости об ИИ заключаются в том, что он находится под нашим контролем. Мы можем заложить в ИИ правильные моральные нормы и ценности. Мы можем сделать три вещи. Во-первых, мы можем начать отдавать себе отчёт о своих предрассудках и предрассудках машин вокруг нас. Во-вторых, мы должны создавать ИИ, привлекая непохожих друг на друга людей. И, в-третьих, мы должны предоставить ИИ обширную выборку данных для обучения. Я говорю о первых двух пунктах, основываясь на собственном опыте. Если вы работаете в сфере ИТ и не выглядите как какой-нибудь Марк Цукерберг или Илон Маск, вам немного сложнее, ваша компетенция постоянно подвергается сомнению.
Here's just one example. Like most developers, I often join online tech forums and share my knowledge to help others. And I've found, when I log on as myself, with my own photo, my own name, I tend to get questions or comments like this: "What makes you think you're qualified to talk about AI?" "What makes you think you know about machine learning?" So, as you do, I made a new profile, and this time, instead of my own picture, I chose a cat with a jet pack on it. And I chose a name that did not reveal my gender. You can probably guess where this is going, right? So, this time, I didn't get any of those patronizing comments about my ability and I was able to actually get some work done. And it sucks, guys. I've been building robots since I was 15, I have a few degrees in computer science, and yet, I had to hide my gender in order for my work to be taken seriously.
Приведу всего один пример. Как и большинство разработчиков, я часто бываю на техно-форумах и делюсь своими знаниями, чтобы помочь другим. И я заметила, что когда я размещаю настоящее фото и подписываюсь собственным именем, мне часто задают вопросы или пишут такие комментарии как: «Что заставляет вас думать, что вы можете рассуждать об ИИ?» «Почему вы так уверены, что знаете что-то о машинном обучении?» Поэтому, только не удивляйтесь, — я создала новый профиль и на этот раз вместо собственного фото я поставила кота с реактивным ранцем. А ещё я выбрала ник, по которому невозможно понять пол. Вы можете с лёгкостью догадаться, к чему я клоню, правда? В этот раз никто не оставлял комментариев, ставящих мою квалификацию под сомнение, и мне наконец удалось донести свои мысли. И это отстой, ребята. Я занимаюсь созданием роботов с 15 лет, получила несколько степеней в информатике, и мне всё равно приходится скрывать свой пол, чтобы к моей работе относились серьёзно.
So, what's going on here? Are men just better at technology than women? Another study found that when women coders on one platform hid their gender, like myself, their code was accepted four percent more than men. So this is not about the talent. This is about an elitism in AI that says a programmer needs to look like a certain person. What we really need to do to make AI better is bring people from all kinds of backgrounds. We need people who can write and tell stories to help us create personalities of AI. We need people who can solve problems. We need people who face different challenges and we need people who can tell us what are the real issues that need fixing and help us find ways that technology can actually fix it. Because, when people from diverse backgrounds come together, when we build things in the right way, the possibilities are limitless.
Так что же происходит? Неужели мужчины просто лучше разбираются в технологиях, чем женщины? Одно исследование выявило, что когда на одной из платформ женщины-кодеры, как я, скрывали свой пол, их работа признавалась успешной на 4% чаще, чем у их коллег мужчин. Так что дело не в таланте. Дело в неравноправии в сфере ИИ, где программист должен выглядеть определённым образом. На самом деле для усовершенствования сферы ИИ нужно вовлекать людей разного происхождения. Нам нужны люди, умеющие писать и рассказывать истории для помощи в создании личностей ИИ. Нам нужны те, кто способен решать задачи. Нам нужны люди, сталкивающиеся с различными трудностями, а так же люди, которые могут рассказать о реальных проблемах, требующих решений, и помочь нам создать технологии для поиска качественных решений. Ведь когда люди с разным жизненным опытом собираются вместе, когда мы двигаемся в верном направлении, наши возможности безграничны.
And that's what I want to end by talking to you about. Less racist robots, less machines that are going to take our jobs -- and more about what technology can actually achieve. So, yes, some of the energy in the world of AI, in the world of technology is going to be about what ads you see on your stream. But a lot of it is going towards making the world so much better. Think about a pregnant woman in the Democratic Republic of Congo, who has to walk 17 hours to her nearest rural prenatal clinic to get a checkup. What if she could get diagnosis on her phone, instead? Or think about what AI could do for those one in three women in South Africa who face domestic violence. If it wasn't safe to talk out loud, they could get an AI service to raise alarm, get financial and legal advice. These are all real examples of projects that people, including myself, are working on right now, using AI.
Я хочу исправить сложившуюся ситуацию и поэтому говорю меньше о том, что роботы-расисты и машины отнимут у нас рабочие места, и больше о том, чего мы действительно можем достичь. Конечно, часть энергии в мире ИИ, в мире технологий будет уходить на определение того, какие рекламные объявления вы увидите. Но существенная доля энергии направлена на то, чтобы сделать мир намного лучше. Представьте беременную женщину в Демократической Республике Конго, которой приходится идти 17 часов пешком до ближайшей сельской женской консультации для прохождения медосмотра. Что было бы, если бы она могла вместо этого получить диагноз по телефону? Или представьте, что мог бы сделать ИИ для женщин из Южной Африки, каждая третья из которых сталкивается с домашним насилием. Если им страшно сообщить об этом, они могли бы использовать ИИ для привлечения внимания, получить финансовую и юридическую помощь. Это примеры реальных проектов, над которыми мы сейчас работаем, используя технологии ИИ.
So, I'm sure in the next couple of days there will be yet another news story about the existential risk, robots taking over and coming for your jobs.
Я уверена, в ближайшие пару дней появится очередной новостной вброс об экзистенциальном риске, восстании машин и о том, что мы все скоро лишимся рабочих мест.
(Laughter)
(Смех)
And when something like that happens, I know I'll get the same messages worrying about the future. But I feel incredibly positive about this technology. This is our chance to remake the world into a much more equal place. But to do that, we need to build it the right way from the get go. We need people of different genders, races, sexualities and backgrounds. We need women to be the makers and not just the machines who do the makers' bidding. We need to think very carefully what we teach machines, what data we give them, so they don't just repeat our own past mistakes. So I hope I leave you thinking about two things. First, I hope you leave thinking about bias today. And that the next time you scroll past an advert that assumes you are interested in fertility clinics or online betting websites, that you think and remember that the same technology is assuming that a black man will reoffend. Or that a woman is more likely to be a personal assistant than a CEO. And I hope that reminds you that we need to do something about it.
Когда что-то подобное происходит, я знаю наперёд, что получу множество сообщений, полных переживаний о нашем будущем. Но я полностью поддерживаю использование технологий ИИ. Это наш шанс сделать мир местом, где равенство не будет пустым словом. Но для этого нам нужно делать всё правильно с самого начала. Нам нужны люди разного пола, рас, сексуальных ориентаций, происхождений. Нужно, чтобы женщины выступали творцами, а не просто машинами, которые выполняют поручения творцов. Нам нужно осторожно подходить к тому, какой логике мы обучаем системы, какими данными снабжаем их, чтобы они не повторяли наши былые ошибки. Я надеюсь, что оставлю вас с мыслями о двух вещах. Во-первых, я надеюсь, вы задумаетесь о бытующих в обществе предрассудках. И в следующий раз, когда вы увидите в ленте объявление, предполагающее, что вам интересны клиники планирования семьи или букмекер-сервисы онлайн, вы вспомните о том, что тот же алгоритм предполагает, что афроамериканец станет рецидивистом. Или что женщина скорее станет личным ассистентом, чем генеральным директором. И я надеюсь, вы вспомните, что со всем этим нам нужно что-то делать.
And second, I hope you think about the fact that you don't need to look a certain way or have a certain background in engineering or technology to create AI, which is going to be a phenomenal force for our future. You don't need to look like a Mark Zuckerberg, you can look like me. And it is up to all of us in this room to convince the governments and the corporations to build AI technology for everyone, including the edge cases. And for us all to get education about this phenomenal technology in the future. Because if we do that, then we've only just scratched the surface of what we can achieve with AI.
А во-вторых, надеюсь, вы задумаетесь о том, что вам не нужно выглядеть определённым образом или иметь специальную подготовку в области технологий, чтобы участвовать в создании ИИ, который станет движущей силой нашего будущего. Вам не нужно выглядеть, как Марк Цукерберг, вы можете выглядеть, как я. И от всех нас в этой комнате зависит, сможем ли мы убедить правительство и корпорации создавать ИИ для всех, включая редкие случаи. В наших интересах познать в будущем эту удивительную технологию, потому что, сделав это, мы откроем лишь малую толику того, чего можно достичь с помощью ИИ.
Thank you.
Спасибо.
(Applause)
(Аплодисменты)