How many decisions have been made about you today, or this week or this year, by artificial intelligence? I build AI for a living so, full disclosure, I'm kind of a nerd. And because I'm kind of a nerd, wherever some new news story comes out about artificial intelligence stealing all our jobs, or robots getting citizenship of an actual country, I'm the person my friends and followers message freaking out about the future.
Quantas decisões foram tomadas sobre você hoje ou nesta semana ou neste ano, pela inteligência artificial? Eu trabalho com IA então, declaradamente, sou meio nerd. E por ser meio nerd, seja qual for a novidade anunciada sobre inteligência artificial roubando os nossos empregos, ou robôs obtendo cidadania de um país, é para mim que meus amigos e seguidores enviam mensagens aterrorizados sobre o futuro.
We see this everywhere. This media panic that our robot overlords are taking over. We could blame Hollywood for that. But in reality, that's not the problem we should be focusing on. There is a more pressing danger, a bigger risk with AI, that we need to fix first. So we are back to this question: How many decisions have been made about you today by AI? And how many of these were based on your gender, your race or your background?
Vemos isso em todo lugar. Este pânico da mídia de que robôs estão assumindo tudo. Podemos culpar Hollywood por isso. Mas, na verdade, não é neste problema que devemos focar. Há um perigo mais urgente, um risco maior com a IA, que precisamos corrigir primeiro. Então, voltemos à questão: quantas decisões a IA tomou por você hoje? E quantas delas foram baseadas no seu gênero, raça ou histórico?
Algorithms are being used all the time to make decisions about who we are and what we want. Some of the women in this room will know what I'm talking about if you've been made to sit through those pregnancy test adverts on YouTube like 1,000 times. Or you've scrolled past adverts of fertility clinics on your Facebook feed. Or in my case, Indian marriage bureaus.
Algoritmos são usados o tempo todo para decidir sobre quem somos e o que queremos. Algumas mulheres aqui saberão sobre o que estou falando, se tiveram que assistir a propagandas de testes de gravidez no YouTube tipo umas mil vezes. Ou tiveram que percorrer anúncios de clínicas de fertilidade no feed do Facebook. No meu caso, agências de casamento indianas.
(Laughter)
(Risos)
But AI isn't just being used to make decisions about what products we want to buy or which show we want to binge watch next. I wonder how you'd feel about someone who thought things like this: "A black or Latino person is less likely than a white person to pay off their loan on time." "A person called John makes a better programmer than a person called Mary." "A black man is more likely to be a repeat offender than a white man." You're probably thinking, "Wow, that sounds like a pretty sexist, racist person," right? These are some real decisions that AI has made very recently, based on the biases it has learned from us, from the humans. AI is being used to help decide whether or not you get that job interview; how much you pay for your car insurance; how good your credit score is; and even what rating you get in your annual performance review. But these decisions are all being filtered through its assumptions about our identity, our race, our gender, our age. How is that happening?
Mas a IA não é utilizada apenas para decisões sobre quais produtos queremos comprar ou quais séries queremos fazer maratona. Eu pergunto como vocês se sentiriam sobre alguém que pense assim: "Uma pessoa negra ou latina é menos propensa a pagar seu empréstimo no prazo que uma pessoa branca". "Uma pessoa chamada João programa melhor que uma pessoa chamada Maria." "É mais provável que um homem negro seja um infrator reincidente que um branco." Provavelmente estão pensando: "Uau, parece uma pessoa bem sexista, racista", certo? Essas são algumas decisões reais que a IA tomou recentemente, baseada em preconceitos aprendidos conosco, com os humanos. A IA está sendo usada para decidir se você consegue a entrevista de emprego; quanto você paga pelo seguro de carro; quão boa é a sua pontuação de crédito; e até mesmo sua avaliação na análise de desempenho anual. Mas todas essas decisões estão sendo filtradas através de suposições baseadas em nossa identidade, raça, gênero, idade. Como isso está acontecendo?
Now, imagine an AI is helping a hiring manager find the next tech leader in the company. So far, the manager has been hiring mostly men. So the AI learns men are more likely to be programmers than women. And it's a very short leap from there to: men make better programmers than women. We have reinforced our own bias into the AI. And now, it's screening out female candidates. Hang on, if a human hiring manager did that, we'd be outraged, we wouldn't allow it. This kind of gender discrimination is not OK. And yet somehow, AI has become above the law, because a machine made the decision. That's not it.
Imagine uma IA ajudando um gerente de contratação a escolher um líder de tecnologia para a empresa. Até agora, o gerente tem contratado majoritariamente homens. Então a IA aprende que homens estão mais propensos a programar que as mulheres. E disso é um pulo para: homens programam melhor que mulheres. Nós reforçamos nossos próprios preconceitos na IA. E agora, ela está excluindo candidatas mulheres. Se um gerente de contratação humano fizesse isso, causaria indignação, não permitiríamos. Esse tipo de discriminação de gênero não está certa. E, de alguma maneira, a IA passou a estar acima da lei, porque uma máquina tomou a decisão. Não é só isso.
We are also reinforcing our bias in how we interact with AI. How often do you use a voice assistant like Siri, Alexa or even Cortana? They all have two things in common: one, they can never get my name right, and second, they are all female. They are designed to be our obedient servants, turning your lights on and off, ordering your shopping. You get male AIs too, but they tend to be more high-powered, like IBM Watson, making business decisions, Salesforce Einstein or ROSS, the robot lawyer. So poor robots, even they suffer from sexism in the workplace.
Nós também reforçamos nossos preconceitos na forma como interagimos com a IA. Quantas vezes você usa um assistente como Siri, Alexa ou Cortana? Eles têm duas coisas em comum: uma, nunca acertam meu nome, e segunda, são todas femininas. Elas são desenvolvidas para serem servas obedientes, acendem e apagam suas luzes, fazem suas compras. Há exemplos masculinos de IA também, mas tendem a ser mais poderosos, como o IBM Watson, que toma decisões de negócios, o Salesforce Einstein ou o ROSS, o robô advogado. Pobres robôs, até eles sofrem sexismo no trabalho.
(Laughter)
(Risos)
Think about how these two things combine and affect a kid growing up in today's world around AI. So they're doing some research for a school project and they Google images of CEO. The algorithm shows them results of mostly men. And now, they Google personal assistant. As you can guess, it shows them mostly females. And then they want to put on some music, and maybe order some food, and now, they are barking orders at an obedient female voice assistant. Some of our brightest minds are creating this technology today. Technology that they could have created in any way they wanted. And yet, they have chosen to create it in the style of 1950s "Mad Man" secretary. Yay!
Pensem em como essas duas coisas se combinam e afetam uma criança crescendo atualmente em um mundo cercado de IA. Ela faz alguma pesquisa para um projeto de escola e procura imagens de CEO. O resultado dos algoritmos mostra homens, basicamente. e agora, ela procura assistente pessoal. Como podem adivinhar, são mostradas mulheres na pesquisa. Então ela quer colocar uma música, e talvez pedir comida, e agora, ela dita ordens a uma assistente obediente com voz feminina. Algumas das mentes mais brilhantes estão criando essa tecnologia hoje. Tecnologia que pode ser criada da maneira que quiserem. Ainda assim, escolheram criá-la no estilo da secretária de "Mad Man" de 1950. Sim!
But OK, don't worry, this is not going to end with me telling you that we are all heading towards sexist, racist machines running the world. The good news about AI is that it is entirely within our control. We get to teach the right values, the right ethics to AI. So there are three things we can do. One, we can be aware of our own biases and the bias in machines around us. Two, we can make sure that diverse teams are building this technology. And three, we have to give it diverse experiences to learn from. I can talk about the first two from personal experience. When you work in technology and you don't look like a Mark Zuckerberg or Elon Musk, your life is a little bit difficult, your ability gets questioned.
Mas tudo bem, não se preocupe, não vou terminar dizendo a você que caminhamos para máquinas sexistas e racistas governando o mundo. A boa notícia sobre a IA é que ela está totalmente sob nosso controle. Conseguimos ensinar os valores e a ética correta para a IA. Então, há três coisas que podemos fazer. Um, ter consciência de nossos próprios preconceitos e os preconceitos das máquinas ao nosso redor. Dois, garantir diversidade nas equipes que construirão essas tecnologias. E três, dar a elas experiências diversas para aprender. Posso falar sobre as duas primeiras por experiência pessoal. Quando se trabalha em tecnologia e você não se parece com Mark Zuckerberg ou Elon Musk, sua vida fica um pouco difícil, suas habilidades são questionadas.
Here's just one example. Like most developers, I often join online tech forums and share my knowledge to help others. And I've found, when I log on as myself, with my own photo, my own name, I tend to get questions or comments like this: "What makes you think you're qualified to talk about AI?" "What makes you think you know about machine learning?" So, as you do, I made a new profile, and this time, instead of my own picture, I chose a cat with a jet pack on it. And I chose a name that did not reveal my gender. You can probably guess where this is going, right? So, this time, I didn't get any of those patronizing comments about my ability and I was able to actually get some work done. And it sucks, guys. I've been building robots since I was 15, I have a few degrees in computer science, and yet, I had to hide my gender in order for my work to be taken seriously.
Um exemplo. Como vários desenvolvedores, frequentemente acesso fóruns online e compartilho meu conhecimento para ajudar aos outros. Eu descobri que, quando entro como eu mesma, como minha foto, meu nome, costumo receber perguntas ou comentários como estes: "O que te faz pensar que é qualificada para falar sobre IA?" O que faz você achar que sabe algo sobre aprendizado de máquina?" Então, como vocês fariam, fiz um novo perfil, e desta vez, em vez da minha foto, escolhi a de um gato com propulsor a jato. E escolhi um nome que não revelava meu gênero. Vocês podem adivinhar onde isso vai parar, não? Desta vez, não tive nenhum comentário paternalista sobre minhas habilidades. e fui capaz de realmente fazer algum trabalho. E isso é uma droga, pessoal! Venho construindo robôs desde os 15 anos, tenho alguns diplomas em ciências da computação, e, ainda assim, tenho que esconder meu gênero, para que o meu trabalho seja levado a sério.
So, what's going on here? Are men just better at technology than women? Another study found that when women coders on one platform hid their gender, like myself, their code was accepted four percent more than men. So this is not about the talent. This is about an elitism in AI that says a programmer needs to look like a certain person. What we really need to do to make AI better is bring people from all kinds of backgrounds. We need people who can write and tell stories to help us create personalities of AI. We need people who can solve problems. We need people who face different challenges and we need people who can tell us what are the real issues that need fixing and help us find ways that technology can actually fix it. Because, when people from diverse backgrounds come together, when we build things in the right way, the possibilities are limitless.
Então, o que está acontecendo? Os homens são melhores que as mulheres em tecnologia? Outro estudo mostra que quando programadoras escondem seu gênero em uma plataforma, como eu, seus códigos são 4% mais aceitos que os dos homens. Então isso não é sobre talento. Isso é sobre um elitismo na IA que diz que um programador tem que ter uma certa aparência. O que precisamos fazer para melhorar a IA é trazer pessoas de todas as origens. Precisamos de pessoas que possam escrever histórias para ajudar a criar personalidades de IA. Precisamos de pessoas que resolvam problemas. Pessoas que encarem diferentes desafios, que nos digam quais são os problemas que precisam de soluções e que nos ajudem a encontrar maneiras de a tecnologia realmente corrigi-los. Porque, quando pessoas de diferentes origens se juntam, quando construímos as coisas do jeito certo, as possibilidades são ilimitadas.
And that's what I want to end by talking to you about. Less racist robots, less machines that are going to take our jobs -- and more about what technology can actually achieve. So, yes, some of the energy in the world of AI, in the world of technology is going to be about what ads you see on your stream. But a lot of it is going towards making the world so much better. Think about a pregnant woman in the Democratic Republic of Congo, who has to walk 17 hours to her nearest rural prenatal clinic to get a checkup. What if she could get diagnosis on her phone, instead? Or think about what AI could do for those one in three women in South Africa who face domestic violence. If it wasn't safe to talk out loud, they could get an AI service to raise alarm, get financial and legal advice. These are all real examples of projects that people, including myself, are working on right now, using AI.
E é com isso que quero concluir minha fala. Menos sobre robôs racistas e máquinas que roubarão nossos empregos e mais sobre o que a tecnologia pode realmente conseguir. Então, sim, alguma dessa energia no mundo da IA, no mundo da tecnologia será dirigida à publicidade que vocês veem na internet. Mas muito disso está tornando o mundo muito melhor. Pense sobre uma mulher grávida na República Democrática do Congo, que tem que andar 17 horas até a clínica pré-natal rural mais próxima para fazer um checkup. E se, em vez disso, ela pudesse obter um diagnóstico pelo telefone? Ou pense o que a IA poderia fazer pelos 33% das mulheres na África do Sul que sofrem violência doméstica. Se não for seguro falar em voz alta, elas poderiam usar a IA para soar o alarme, ter conselhos financeiros e legais. Esses são exemplos reais de projetos em que pessoas, incluindo eu mesma, estão trabalhando agora, usando IA.
So, I'm sure in the next couple of days there will be yet another news story about the existential risk, robots taking over and coming for your jobs.
Então, tenho certeza que, em alguns dias, haverá outra história na mídia sobre o risco existencial, robôs assumindo o comando e vindo tomar seu trabalho.
(Laughter)
(Risos)
And when something like that happens, I know I'll get the same messages worrying about the future. But I feel incredibly positive about this technology. This is our chance to remake the world into a much more equal place. But to do that, we need to build it the right way from the get go. We need people of different genders, races, sexualities and backgrounds. We need women to be the makers and not just the machines who do the makers' bidding. We need to think very carefully what we teach machines, what data we give them, so they don't just repeat our own past mistakes. So I hope I leave you thinking about two things. First, I hope you leave thinking about bias today. And that the next time you scroll past an advert that assumes you are interested in fertility clinics or online betting websites, that you think and remember that the same technology is assuming that a black man will reoffend. Or that a woman is more likely to be a personal assistant than a CEO. And I hope that reminds you that we need to do something about it.
Quando algo assim acontecer, receberei mensagens terríveis sobre o futuro. Mas me sinto incrivelmente positiva sobre esta tecnologia. Esta é nossa chance de fazer do mundo um lugar mais igualitário. Mas, para isso, precisamos construí-lo da maneira certa desde o início. Precisamos de pessoas de diferentes gêneros, raças, sexualidades e origens. Precisamos de mulheres que sejam as criadoras e não apenas de máquinas que sejam as assistentes. Precisamos pensar cuidadosamente no que ensinamos às máquinas, quais dados entregamos para elas, para que elas não repitam nossos erros. Espero que vocês pensem sobre duas coisas. A primeira, espero que saiam daqui pensando em preconceito. E, da próxima vez que passarem por um anúncio que assume que vocês se interessam por clínicas de fertilidade ou sites de apostas on-line, pensem e lembrem que essa mesma tecnologia está assumindo que um negro é um infrator reincidente. Ou que uma mulher se sai melhor como assistente do que como CEO. E espero que isso lembre a vocês que precisamos fazer algo a respeito.
And second, I hope you think about the fact that you don't need to look a certain way or have a certain background in engineering or technology to create AI, which is going to be a phenomenal force for our future. You don't need to look like a Mark Zuckerberg, you can look like me. And it is up to all of us in this room to convince the governments and the corporations to build AI technology for everyone, including the edge cases. And for us all to get education about this phenomenal technology in the future. Because if we do that, then we've only just scratched the surface of what we can achieve with AI.
E segundo, espero que pensem sobre o fato de que não precisam ter uma certa aparência ou uma certa formação em engenharia ou tecnologia para criar IA, que será um fenômeno em nosso futuro. Você não precisa se parecer com o Mark Zuckerberg, você pode se parecer comigo. E cabe a todos nós convencer os governantes e as corporações a criar tecnologia de IA para todos, incluindo as exceções. E para todos nós aprendermos sobre esta tecnologia fenomenal no futuro. Porque, se fizermos isso, será só o início do que faremos com a IA.
Thank you.
Obrigada.
(Applause)
(Aplausos)