How many decisions have been made about you today, or this week or this year, by artificial intelligence? I build AI for a living so, full disclosure, I'm kind of a nerd. And because I'm kind of a nerd, wherever some new news story comes out about artificial intelligence stealing all our jobs, or robots getting citizenship of an actual country, I'm the person my friends and followers message freaking out about the future.
Quante decisioni sono state prese per voi oggi, o questa settimana, o quest'anno, dalle intelligenze artificiali? Il mio lavoro è costruire IA. A dirla tutta sono una specie di nerd. Dato che sono una specie di nerd, ovunque esca una notizia sull'intelligenza artificiale che ci rubano il lavoro, o di robot che acquisiscono la cittadinanza in uno Stato, gli amici e le persone che mi seguono mi contattano perché hanno paura del futuro.
We see this everywhere. This media panic that our robot overlords are taking over. We could blame Hollywood for that. But in reality, that's not the problem we should be focusing on. There is a more pressing danger, a bigger risk with AI, that we need to fix first. So we are back to this question: How many decisions have been made about you today by AI? And how many of these were based on your gender, your race or your background?
Lo vediamo ovunque. La paura mediatica che i robot possano prendere il sopravvento. Possiamo incolpare Hollywood per questo. Ma in realtà, non è questo il problema sul quale dovremmo concentrarci. Esiste un problema più urgente, un rischio più grande con le IA, che dobbiamo prima definire. Torniamo quindi a questa domanda. Quante decisioni sono state prese per voi oggi dalle IA? Quante di queste sono basate sul vostro genere, razza e origine?
Algorithms are being used all the time to make decisions about who we are and what we want. Some of the women in this room will know what I'm talking about if you've been made to sit through those pregnancy test adverts on YouTube like 1,000 times. Or you've scrolled past adverts of fertility clinics on your Facebook feed. Or in my case, Indian marriage bureaus.
Gli algoritmi vengono usati costantemente per prendere decisioni su chi siamo e cosa vogliamo. Alcune donne in questa stanza sanno di cosa sto parlando, se hanno dovuto sorbirsi le pubblicità dei test di gravidanza su YouTube almeno 1000 volte. O vi siete imbattute nelle pubblicità sui centri della fertilità che appaiono su Facebook. O, come nel mio caso, agenzie matrimoniali indiane.
(Laughter)
(Risate)
But AI isn't just being used to make decisions about what products we want to buy or which show we want to binge watch next. I wonder how you'd feel about someone who thought things like this: "A black or Latino person is less likely than a white person to pay off their loan on time." "A person called John makes a better programmer than a person called Mary." "A black man is more likely to be a repeat offender than a white man." You're probably thinking, "Wow, that sounds like a pretty sexist, racist person," right? These are some real decisions that AI has made very recently, based on the biases it has learned from us, from the humans. AI is being used to help decide whether or not you get that job interview; how much you pay for your car insurance; how good your credit score is; and even what rating you get in your annual performance review. But these decisions are all being filtered through its assumptions about our identity, our race, our gender, our age. How is that happening?
Ma le IA non vengono usate solo per prendere decisioni sui prodotti che vogliamo comprare, o i programmi che vogliamo guardare. Mi chiedo cosa pensereste di qualcuno che ritiene che "I neri e i latini sono meno propensi a pagare il mutuo in tempo rispetto ai bianchi." "Una persona che si chiama John è un miglior programmatore rispetto a una che si chiama Mary." "È più probabile che sia un uomo nero ad essere recidivo rispetto a uno bianco." Starete pensando, "Sembra una persona piuttosto sessista e razzista." Vero? Queste sono alcune decisioni vere che le IA hanno preso recentemente. Si basano sui pregiudizi che hanno imparato da noi. Dagli esseri umani. Le IA vengono usate per aiutare a decidere se avere o no un colloquio di lavoro. Quanto pagare per l'assicurazione della macchina. Quanto sia buona l'affidabilità creditizia. Persino quale valutazione avrete sui risultati annuali. Ma queste decisioni vengono tutte filtrate attraverso deduzioni sulla nostra identità, razza, genere ed età. Come avviene tutto ciò?
Now, imagine an AI is helping a hiring manager find the next tech leader in the company. So far, the manager has been hiring mostly men. So the AI learns men are more likely to be programmers than women. And it's a very short leap from there to: men make better programmers than women. We have reinforced our own bias into the AI. And now, it's screening out female candidates. Hang on, if a human hiring manager did that, we'd be outraged, we wouldn't allow it. This kind of gender discrimination is not OK. And yet somehow, AI has become above the law, because a machine made the decision. That's not it.
Ora immaginate un'IA che aiuta un manager per le assunzioni a trovare il nuovo leader dell'azienda. Finora sono stati assunti soprattutto uomini. Le IA sanno che i programmatori sono per lo più uomini che donne. Da qui il passo è breve a pensare che gli uomini sono programmatori migliori. Abbiamo rinforzato i nostri pregiudizi nelle intelligenze artificiali. E ora queste scartano le candidature femminili. Ma attenzione, se fosse un manager umano a fare tutto questo, saremmo indignati, non lo permetteremmo. Questo tipo di discriminazione di genere non andrebbe bene. In qualche modo le IA si ergono al di sopra della legge perché una macchina ha preso la decisione. Non è solo questo.
We are also reinforcing our bias in how we interact with AI. How often do you use a voice assistant like Siri, Alexa or even Cortana? They all have two things in common: one, they can never get my name right, and second, they are all female. They are designed to be our obedient servants, turning your lights on and off, ordering your shopping. You get male AIs too, but they tend to be more high-powered, like IBM Watson, making business decisions, Salesforce Einstein or ROSS, the robot lawyer. So poor robots, even they suffer from sexism in the workplace.
Rafforziamo i nostri pregiudizi anche nel modo in cui interagiamo con le IA. Quante volte avete usato assistenti vocali come Siri, Alexa o Cortana? Hanno tutte due cose in comune. Uno, non sapranno mai pronunciare correttamente il mio nome. Due, sono tutte femminili. Sono state disegnate per essere serve obbedienti. Ti accendono e spengono le luci, ti ordinano la spesa. Ci sono anche IA maschili, ma generalmente sono più potenti. Come IBM Watson che prende decisioni d'affari. Salesforce Einstein o ROSS, l'avvocato robot. Poveri robot, anche loro subiscono sessismo sul posto di lavoro.
(Laughter)
(Risate)
Think about how these two things combine and affect a kid growing up in today's world around AI. So they're doing some research for a school project and they Google images of CEO. The algorithm shows them results of mostly men. And now, they Google personal assistant. As you can guess, it shows them mostly females. And then they want to put on some music, and maybe order some food, and now, they are barking orders at an obedient female voice assistant. Some of our brightest minds are creating this technology today. Technology that they could have created in any way they wanted. And yet, they have chosen to create it in the style of 1950s "Mad Man" secretary. Yay!
Pensate come queste due cose si combinano e influiscono sui bambini che crescono nel mondo d'oggi circondati da IA. Fanno ricerche per un progetto scolastico e cercano su Google immagini di un amministratore delegato. L'algoritmo mostrerà come risultati per lo più uomini. Cercano su Google assistente personale. Come potete immaginare mostrerà per lo più donne. Poi vogliono mettere della musica, o forse ordinare del cibo. Così gridano ordini a un'obbediente assistente vocale femminile. Alcune delle più brillanti menti stanno creando queste tecnologie oggi. Tecnologie che avrebbero potuto creare in qualsiasi modo. Eppure hanno scelto di crearle nello stile di una segretaria anni 50. Evvai!
But OK, don't worry, this is not going to end with me telling you that we are all heading towards sexist, racist machines running the world. The good news about AI is that it is entirely within our control. We get to teach the right values, the right ethics to AI. So there are three things we can do. One, we can be aware of our own biases and the bias in machines around us. Two, we can make sure that diverse teams are building this technology. And three, we have to give it diverse experiences to learn from. I can talk about the first two from personal experience. When you work in technology and you don't look like a Mark Zuckerberg or Elon Musk, your life is a little bit difficult, your ability gets questioned.
Ma ok, non preoccupatevi. Non finirà con io che vi dico che il mondo finirà per essere governato da macchine sessiste e razziste. La buona notizia riguardo le IA è che sono sotto il nostro controllo. Dobbiamo insegnare alle IA i valori giusti, la giusta etica. Ci sono tre cose che possiamo fare. Una, possiamo essere consapevoli dei nostri pregiudizi e dei pregiudizi delle macchine che ci cicrondano. Due, possiamo assicurarci che diversi gruppi costruiscano queste tecnologie. Tre, dobbiamo dare loro diverse esperienze da cui imparare. Posso parlarvi delle prime due per esperienza personale. Quando lavori nella tecnologia e non assomigli a Mark Zuckerberg o Elon Musk, la tua vita è un po' difficile, le tue abilità vengono messe in dubbio.
Here's just one example. Like most developers, I often join online tech forums and share my knowledge to help others. And I've found, when I log on as myself, with my own photo, my own name, I tend to get questions or comments like this: "What makes you think you're qualified to talk about AI?" "What makes you think you know about machine learning?" So, as you do, I made a new profile, and this time, instead of my own picture, I chose a cat with a jet pack on it. And I chose a name that did not reveal my gender. You can probably guess where this is going, right? So, this time, I didn't get any of those patronizing comments about my ability and I was able to actually get some work done. And it sucks, guys. I've been building robots since I was 15, I have a few degrees in computer science, and yet, I had to hide my gender in order for my work to be taken seriously.
Ecco un esempio. Come molti sviluppatori spesso partecipo a forum online sulla tecnologia e condivido il mio sapere per aiutare gli altri. Quello che ho trovato quando ho effettuato l'accesso con la mia foto e il mio nome, sono state domande e commenti come: "Cosa ti fa pensare di essere qualificata per parlare di IA?" "Cosa ti fa pensare di saperne di apprendimento delle macchine?" Così ho creato un nuovo profilo. Invece della mia foto, ho scelto quella di un gatto con un jet-pack. E ho scelto un nome che non rivelasse il mio genere. Potete immaginare cosa è accaduto, vero? Questa volta non ho avuto nessun commento che mettesse in dubbio le mie abilità. E sono stata in grado di concludere qualcosa. È terribile. Costruisco robot da quando avevo 15 anni. Ho delle lauree in scienze informatiche. Eppure devo nascondere il mio genere per far sì che il mio lavoro venga preso sul serio.
So, what's going on here? Are men just better at technology than women? Another study found that when women coders on one platform hid their gender, like myself, their code was accepted four percent more than men. So this is not about the talent. This is about an elitism in AI that says a programmer needs to look like a certain person. What we really need to do to make AI better is bring people from all kinds of backgrounds. We need people who can write and tell stories to help us create personalities of AI. We need people who can solve problems. We need people who face different challenges and we need people who can tell us what are the real issues that need fixing and help us find ways that technology can actually fix it. Because, when people from diverse backgrounds come together, when we build things in the right way, the possibilities are limitless.
Cosa sta succedendo? Gli uomini sono migliori nella tecnologia rispetto alle donne? Un altro studio ha scoperto che quando le programmatrici nascondono il loro genere su una piattaforma, il loro codice viene accettato il 4 per cento in più degli uomini. Quindi non è una questione di talento. È una questione di elitismo nelle IA secondo cui un programmatore deve assomigliare a una certa persona. Quello di cui abbiamo veramente bisogno per migliorare le IA è coinvolgere persone da tutti i tipi di contesto. Ci vogliono persone che sanno scrivere e raccontare storie, che creino le personalità delle IA. Ci vogliono persone che sanno risolvere problemi. Ci vogliono persone che affrontano sfide diverse. Ci vogliono persone che ci dicano quali problemi devono essere risolti e che ci aiutino a trovare il modo di risolverli con la tecnologia. Perché, quando persone da diversi contesti si uniscono, quando costruiamo cose nel modo giusto, ci sono infinite possibilità.
And that's what I want to end by talking to you about. Less racist robots, less machines that are going to take our jobs -- and more about what technology can actually achieve. So, yes, some of the energy in the world of AI, in the world of technology is going to be about what ads you see on your stream. But a lot of it is going towards making the world so much better. Think about a pregnant woman in the Democratic Republic of Congo, who has to walk 17 hours to her nearest rural prenatal clinic to get a checkup. What if she could get diagnosis on her phone, instead? Or think about what AI could do for those one in three women in South Africa who face domestic violence. If it wasn't safe to talk out loud, they could get an AI service to raise alarm, get financial and legal advice. These are all real examples of projects that people, including myself, are working on right now, using AI.
E questo è quello di cui vi voglio parlare per concludere. Non tanto di robot razzisti o macchine che ci stanno rubando il lavoro. Voglio parlavi di cosa la tecnologia può realizzare. Sì, alcune delle energie nel mondo delle IA, nel mondo della tecnologia, saranno spese per le pubblicità che vedete su Internet. Ma molte saranno indirizzate per migliorare il mondo. Pensate a una donna incinta nella Repubblica Democratica del Congo, che deve camminare 17 ore per raggiungere la clinica più vicina per fare un controllo. E se potesse ottenere una diagnosi sul suo telefono? O pensate a cosa potrebbero fare le IA a una donna su tre che in Sudafrica subisce violenza domestica. Se fosse pericoloso parlare ad alta voce, si potrebbe avere un'IA che dia l'allarme, che dia supporto legale e finanziario. Questi sono tutti esempi di progetti su cui alcune persone, tra cui io, stanno lavorando adesso usando le IA.
So, I'm sure in the next couple of days there will be yet another news story about the existential risk, robots taking over and coming for your jobs.
Sono sicura che nei prossimi giorni ci sarà un'altra storia nuova sui rischi esistenziali dei robot che vengono a rubarvi il lavoro.
(Laughter)
(Risate)
And when something like that happens, I know I'll get the same messages worrying about the future. But I feel incredibly positive about this technology. This is our chance to remake the world into a much more equal place. But to do that, we need to build it the right way from the get go. We need people of different genders, races, sexualities and backgrounds. We need women to be the makers and not just the machines who do the makers' bidding. We need to think very carefully what we teach machines, what data we give them, so they don't just repeat our own past mistakes. So I hope I leave you thinking about two things. First, I hope you leave thinking about bias today. And that the next time you scroll past an advert that assumes you are interested in fertility clinics or online betting websites, that you think and remember that the same technology is assuming that a black man will reoffend. Or that a woman is more likely to be a personal assistant than a CEO. And I hope that reminds you that we need to do something about it.
E quando questo avverrà, so che riceverò gli stessi messaggi preoccupati per il futuro. Ma mi sento incredibilmente positiva su questa tecnologia. È la nostra possibilità per rendere il mondo un posto più uguale. Ma per farlo dobbiamo ricostruirlo da capo nel modo giusto. Ci vogliono persone di diversi generi, razze, sessualità e contesti. Le donne devono essere creatrici, non solo macchine che eseguono gli ordini dei creatori. Dobbiamo pensare attentamente a cosa insegniamo alle macchine. Ai dati che forniamo loro. Così che non ripetano i nostri errori del passato. Spero di avervi lasciato due cose su cui pensare. Primo, spero che rifletterete sui pregiudizi. E che la prossima volta che incapperete in una pubblicità secondo cui siete interessati a cliniche della fertilità, o a siti di scommesse online, possiate pensare e ricordare che la stessa tecnologia ritiene che un uomo di colore sia recidivo. O che è più probabile che una donna sia assistente che amministratore delegato. E spero che vi ricordi che dobbiamo fare qualcosa a riguardo.
And second, I hope you think about the fact that you don't need to look a certain way or have a certain background in engineering or technology to create AI, which is going to be a phenomenal force for our future. You don't need to look like a Mark Zuckerberg, you can look like me. And it is up to all of us in this room to convince the governments and the corporations to build AI technology for everyone, including the edge cases. And for us all to get education about this phenomenal technology in the future. Because if we do that, then we've only just scratched the surface of what we can achieve with AI.
Secondo, spero che possiate pensare al fatto che non bisonga apparire in un certo modo, o avere un certo background nell'ingegneria o nella tecnologia per poter creare IA, che saranno delle forze fenomenali per il nostro futuro. Non dovete assomigliare a Mark Zuckerberg. Potete assomigliare a me. E spetta a tutti noi in questa sala convincere i governi e le aziende a costruire tecnologie per tutti. Incluso i casi limite. E a ricevere un'istruzione riguardo questa fenomenale tecnologia del futuro. Perché se facciamo questo, abbiamo solo grattato la superficie di quel che possiamo ottenere con le IA.
Thank you.
Grazie.
(Applause)
(Applausi)