So, I started my first job as a computer programmer in my very first year of college -- basically, as a teenager.
Meu primeiro emprego na vida foi como programadora de computador já no primeiro ano de faculdade, praticamente uma adolescente.
Soon after I started working, writing software in a company, a manager who worked at the company came down to where I was, and he whispered to me, "Can he tell if I'm lying?" There was nobody else in the room.
Logo que comecei a trabalhar, escrevendo software numa empresa, um gerente que trabalhava lá se aproximou de mim e começou a sussurrar: "Ele consegue dizer se estou mentindo?" Não havia mais ninguém na sala.
"Can who tell if you're lying? And why are we whispering?"
(Risos)
"Quem consegue dizer se você está mentindo? E por que estamos sussurrando?"
The manager pointed at the computer in the room. "Can he tell if I'm lying?" Well, that manager was having an affair with the receptionist.
O gerente apontou para o computador na sala. "Ele consegue dizer se estou mentindo?" Bem, aquele gerente estava tendo um caso com a recepcionista.
(Laughter)
(Risos)
And I was still a teenager. So I whisper-shouted back to him, "Yes, the computer can tell if you're lying."
E eu ainda era uma adolescente. Assim, gritei sussurrando de volta: "Sim, o computador sabe se você está mentindo".
(Laughter)
(Risos)
Well, I laughed, but actually, the laugh's on me. Nowadays, there are computational systems that can suss out emotional states and even lying from processing human faces. Advertisers and even governments are very interested.
Eu ri, mas, na verdade, estava rindo de mim mesma. Atualmente, há sistemas computacionais que conseguem perceber estados emocionais e até mentiras ao processar rostos humanos. Anunciantes e até governos estão muito interessados nisso.
I had become a computer programmer because I was one of those kids crazy about math and science. But somewhere along the line I'd learned about nuclear weapons, and I'd gotten really concerned with the ethics of science. I was troubled. However, because of family circumstances, I also needed to start working as soon as possible. So I thought to myself, hey, let me pick a technical field where I can get a job easily and where I don't have to deal with any troublesome questions of ethics. So I picked computers.
Tornei-me programadora de computador, pois era uma dessas crianças loucas por matemática e ciências. Mas, a uma certa altura, descobri as armas nucleares e passei a me preocupar com a ética da ciência. Aquilo me perturbou. No entanto, devido a circunstâncias familiares, eu também precisava começar a trabalhar o mais rápido possível. Assim, pensei comigo mesma: "Ei, vou escolher a área técnica, onde posso conseguir um emprego facilmente e não tenho de lidar com quaisquer questões éticas perturbadoras". Então escolhi os computadores.
(Laughter)
(Risos)
Well, ha, ha, ha! All the laughs are on me. Nowadays, computer scientists are building platforms that control what a billion people see every day. They're developing cars that could decide who to run over. They're even building machines, weapons, that might kill human beings in war. It's ethics all the way down.
Bem, ha, ha, ha! Eu virei a piada. Hoje, os cientistas da computação constroem plataformas que controlam o que um bilhão de pessoas veem todos os dias. Eles estão desenvolvendo carros que poderiam decidir quem atropelar. (Risos) Estão construindo até mesmo máquinas e armas que podem matar seres humanos na guerra. É ética o tempo todo.
Machine intelligence is here. We're now using computation to make all sort of decisions, but also new kinds of decisions. We're asking questions to computation that have no single right answers, that are subjective and open-ended and value-laden.
A inteligência de máquina chegou. Hoje em dia usamos a computação para tomar todo tipo de decisão, mas também novos tipos de decisão. Perguntamos aos computadores coisas que não têm apenas uma resposta correta, que são subjetivas, abertas e que envolvem julgamento de valor.
We're asking questions like, "Who should the company hire?" "Which update from which friend should you be shown?" "Which convict is more likely to reoffend?" "Which news item or movie should be recommended to people?"
Perguntamos coisas do tipo: "Quem a empresa deve contratar?" "Que atualização de qual amigo deve ser mostrada?" "Qual condenado tem mais chance de reincidir num crime?" "Quais notícias ou filmes devem ser recomendados às pessoas?"
Look, yes, we've been using computers for a while, but this is different. This is a historical twist, because we cannot anchor computation for such subjective decisions the way we can anchor computation for flying airplanes, building bridges, going to the moon. Are airplanes safer? Did the bridge sway and fall? There, we have agreed-upon, fairly clear benchmarks, and we have laws of nature to guide us. We have no such anchors and benchmarks for decisions in messy human affairs.
Sim, temos usado os computadores já faz um bom tempo, mas isso é diferente. Essa é uma virada histórica, pois não podemos confiar na computação para essas decisões subjetivas da mesma forma que podemos confiar na computação para pilotar aviões, construir pontes, ir à Lua. Os aviões estão mais seguros? A ponte balançou e caiu? Nesses casos, concordamos de forma bem clara com os parâmetros, e temos as leis da natureza como baliza. Nós não temos tais âncoras ou marcos para a tomada de decisões em negócios humanos confusos.
To make things more complicated, our software is getting more powerful, but it's also getting less transparent and more complex. Recently, in the past decade, complex algorithms have made great strides. They can recognize human faces. They can decipher handwriting. They can detect credit card fraud and block spam and they can translate between languages. They can detect tumors in medical imaging. They can beat humans in chess and Go.
Para complicar ainda mais as coisas, nosso software está ficando mais poderoso, mas também menos transparente e mais complexo. Recentemente, na década passada, algoritmos complexos deram passos enormes. Eles conseguem reconhecer rostos humanos. Eles conseguem decifrar caligrafia. Eles conseguem detectar fraude de cartão de crédito, bloquear spam, conseguem traduzir línguas e detectar tumores em exames de imagem. Conseguem vencer humanos em jogos de xadrez e Go.
Much of this progress comes from a method called "machine learning." Machine learning is different than traditional programming, where you give the computer detailed, exact, painstaking instructions. It's more like you take the system and you feed it lots of data, including unstructured data, like the kind we generate in our digital lives. And the system learns by churning through this data. And also, crucially, these systems don't operate under a single-answer logic. They don't produce a simple answer; it's more probabilistic: "This one is probably more like what you're looking for."
Muito desse progresso vem de um método chamado "aprendizado de máquina". O aprendizado de máquina é diferente da programação tradicional em que instruções detalhadas, exatas e meticulosas são dadas ao computador. É mais como pegar um sistema e alimentá-lo com montes de dados, incluindo dados não estruturados, como os que geramos em nossas vidas digitais. E o sistema aprende revirando esses dados. Além disso, fundamentalmente, esses sistemas não operam sob a lógica de uma resposta única. Eles não produzem uma resposta simples; é mais probabilidade: "É provável que isto aqui seja o que você está procurando".
Now, the upside is: this method is really powerful. The head of Google's AI systems called it, "the unreasonable effectiveness of data." The downside is, we don't really understand what the system learned. In fact, that's its power. This is less like giving instructions to a computer; it's more like training a puppy-machine-creature we don't really understand or control. So this is our problem. It's a problem when this artificial intelligence system gets things wrong. It's also a problem when it gets things right, because we don't even know which is which when it's a subjective problem. We don't know what this thing is thinking.
Bem, a vantagem é que esse método é realmente poderoso. O responsável pela IA do Google o chamou de "a eficácia irracional dos dados". O lado negativo é não sabermos realmente o que o sistema aprendeu. Na realidade, é aí que está seu poder. Isso tem pouco a ver com dar instruções a um computador; é mais como adestrar uma máquina-filhote que não controlamos ou conhecemos de verdade. (Risos) Então, este é o nosso problema. É um problema quando esse sistema de inteligência artificial entende as coisas errado. Também é um problema quando ele entende certo, pois não sabemos distinguir os dois quando se trata de um problema subjetivo. Não sabemos o que esta coisa está pensando.
So, consider a hiring algorithm -- a system used to hire people, using machine-learning systems. Such a system would have been trained on previous employees' data and instructed to find and hire people like the existing high performers in the company. Sounds good. I once attended a conference that brought together human resources managers and executives, high-level people, using such systems in hiring. They were super excited. They thought that this would make hiring more objective, less biased, and give women and minorities a better shot against biased human managers.
Por exemplo, vamos imaginar um algoritmo de contratação, um sistema usado para contratar pessoas, usando o aprendizado de máquina. Tal sistema teria sido treinado em dados prévios dos empregados e treinado para encontrar e contratar pessoas como os atuais empregados com alto desempenho na empresa. Parece uma coisa boa. Uma vez, fui a um seminário que reuniu gerentes e executivos da área de recursos humanos, pessoas de alto nível, usando tais sistemas para contratar. Eles estavam muito empolgados. Achavam que isso tornaria a contratação mais objetiva, menos parcial, e daria a mulheres e minorias uma melhor oportunidade versus gerentes humanos tendenciosos.
And look -- human hiring is biased. I know. I mean, in one of my early jobs as a programmer, my immediate manager would sometimes come down to where I was really early in the morning or really late in the afternoon, and she'd say, "Zeynep, let's go to lunch!" I'd be puzzled by the weird timing. It's 4pm. Lunch? I was broke, so free lunch. I always went. I later realized what was happening. My immediate managers had not confessed to their higher-ups that the programmer they hired for a serious job was a teen girl who wore jeans and sneakers to work. I was doing a good job, I just looked wrong and was the wrong age and gender.
Pois vejam: a contratação humana é tendenciosa. Sei bem disso. Quero dizer, num dos meus primeiros empregos como programadora, minha gerente imediata às vezes vinha ao meu setor bem cedinho pela manhã ou bem no final da tarde, e me chamava: "Zeynep, vamos almoçar!" Eu ficava atônita com o horário estranho. Eram quatro da tarde. Almoço? Eu não tinha grana, então, almoço grátis, eu sempre ia. Só mais tarde percebi o que estava acontecendo. Meus gerentes imediatos não tinham confessado a seus superiores que a programadora que tinham contratado para um emprego sério era uma adolescente que vinha trabalhar de jeans e tênis. Eu trabalhava direito, só parecia errada, e tinha a idade e o gênero errados.
So hiring in a gender- and race-blind way certainly sounds good to me. But with these systems, it is more complicated, and here's why: Currently, computational systems can infer all sorts of things about you from your digital crumbs, even if you have not disclosed those things. They can infer your sexual orientation, your personality traits, your political leanings. They have predictive power with high levels of accuracy. Remember -- for things you haven't even disclosed. This is inference.
Assim, contratar independente da raça e do gênero certamente me parece uma coisa boa. Mas, com esses sistemas, é mais complicado, e eis a razão: hoje, sistemas de computador podem inferir todo tipo de coisas sobre nós por meio de nossas pegadas digitais, mesmo coisas que não tivermos revelado. Eles podem inferir nossa orientação sexual, os traços de nossa personalidade, nossas tendências políticas. Eles têm poder preditivo com altos níveis de precisão. Vejam bem, para coisas que não revelamos: isso é inferência.
I have a friend who developed such computational systems to predict the likelihood of clinical or postpartum depression from social media data. The results are impressive. Her system can predict the likelihood of depression months before the onset of any symptoms -- months before. No symptoms, there's prediction. She hopes it will be used for early intervention. Great! But now put this in the context of hiring.
Tenho uma amiga que desenvolveu um sistema de computador para predizer a probabilidade de depressão clínica pós-parto com base em dados de mídia social. Os resultados são impressionantes. O sistema dela prevê a probabilidade de depressão meses antes do surgimento de quaisquer sintomas, meses antes. Mesmo sem sintomas, ele prevê. Ela espera que isso seja usado para intervenção precoce. Ótimo! Mas coloque isso no contexto da contratação.
So at this human resources managers conference, I approached a high-level manager in a very large company, and I said to her, "Look, what if, unbeknownst to you, your system is weeding out people with high future likelihood of depression? They're not depressed now, just maybe in the future, more likely. What if it's weeding out women more likely to be pregnant in the next year or two but aren't pregnant now? What if it's hiring aggressive people because that's your workplace culture?" You can't tell this by looking at gender breakdowns. Those may be balanced. And since this is machine learning, not traditional coding, there is no variable there labeled "higher risk of depression," "higher risk of pregnancy," "aggressive guy scale." Not only do you not know what your system is selecting on, you don't even know where to begin to look. It's a black box. It has predictive power, but you don't understand it.
Então, nesse seminário de gerentes de recursos humanos, eu me aproximei de uma gerente com alto cargo numa grande empresa, e perguntei a ela: "Olhe, e se, sem seu conhecimento, seu sistema estiver cortando pessoas com probabilidade de depressão futura? Elas não estão deprimidas agora, mas, no futuro, bem provavelmente. E se estiver cortando mulheres com maior probabilidade de engravidar dentro de um ou dois anos, mas que não estejam grávidas agora? E se contratar pessoas agressivas por causa da cultura da empresa? Não se pode saber isso com análises de gênero. Isso pode estar equacionado. E, como isso é aprendizado de máquina, não é codificação tradicional, não há uma variável chamada 'alto risco de depressão', 'maior risco de gravidez', 'pessoa altamente agressiva'. Não só você não sabe o que seu sistema está selecionando, como também não sabe onde começar a olhar. É uma caixa-preta. Ele tem poder preditivo, mas você não o entende.
"What safeguards," I asked, "do you have to make sure that your black box isn't doing something shady?" She looked at me as if I had just stepped on 10 puppy tails.
Que salvaguardas", perguntei, "você teria para se assegurar de que sua caixa-preta não está fazendo algo suspeito?" Ela olhou para mim como se eu tivesse pisado no rabo de dez cachorrinhos.
(Laughter)
(Risos)
She stared at me and she said, "I don't want to hear another word about this." And she turned around and walked away. Mind you -- she wasn't rude. It was clearly: what I don't know isn't my problem, go away, death stare.
Ela olhou bem pra mim e falou: "Eu não quero ouvir nem mais uma palavra sobre isso". E virou as costas e foi embora. Vejam bem, ela não foi rude. Era claramente:
(Laughter)
"O que eu não sei não é problema meu, vai embora, agourenta".
(Risos)
Look, such a system may even be less biased than human managers in some ways. And it could make monetary sense. But it could also lead to a steady but stealthy shutting out of the job market of people with higher risk of depression. Is this the kind of society we want to build, without even knowing we've done this, because we turned decision-making to machines we don't totally understand?
Vejam, tal sistema pode até ser menos tendencioso do que gerentes humanos de alguma forma. E poderia fazer sentido financeiramente. Mas também poderia levar a um constante mas sorrateiro fechamento do mercado de trabalho para pessoas com alto risco de depressão. É esse tipo de sociedade que queremos construir, sem nem sequer saber que fizemos isso, por termos dado às máquinas um poder de decisão que não entendemos totalmente?
Another problem is this: these systems are often trained on data generated by our actions, human imprints. Well, they could just be reflecting our biases, and these systems could be picking up on our biases and amplifying them and showing them back to us, while we're telling ourselves, "We're just doing objective, neutral computation."
Outro problema é o seguinte: esses sistemas normalmente são treinados com dados gerados pelas nossas ações, vestígios humanos. Bem, eles poderiam estar apenas refletindo nossas tendências, e esses sistemas poderiam estar pegando nossas tendências, amplificando-as e devolvendo-as para nós, enquanto dizemos a nós mesmos: "Estamos fazendo apenas computação objetiva e neutra".
Researchers found that on Google, women are less likely than men to be shown job ads for high-paying jobs. And searching for African-American names is more likely to bring up ads suggesting criminal history, even when there is none. Such hidden biases and black-box algorithms that researchers uncover sometimes but sometimes we don't know, can have life-altering consequences.
Pesquisadores descobriram que, no Google, são mostrados menos anúncios de empregos bem pagos às mulheres do que aos homens. E, numa pesquisa de nomes afro-americanos, é provável que nos sejam mostrados anúncios sugerindo história criminal, mesmo quando não há nenhuma. Tais tendências escondidas e algoritmos caixas-pretas, que os pesquisadores às vezes revelam, mas às vezes desconhecemos, podem afetar a vida das pessoas.
In Wisconsin, a defendant was sentenced to six years in prison for evading the police. You may not know this, but algorithms are increasingly used in parole and sentencing decisions. He wanted to know: How is this score calculated? It's a commercial black box. The company refused to have its algorithm be challenged in open court. But ProPublica, an investigative nonprofit, audited that very algorithm with what public data they could find, and found that its outcomes were biased and its predictive power was dismal, barely better than chance, and it was wrongly labeling black defendants as future criminals at twice the rate of white defendants.
Em Wisconsin, um réu foi sentenciado a seis anos de prisão por fugir da polícia. Talvez não saibam disso, mas os algoritmos estão sendo cada vez mais usados em decisões judiciais. E o réu quis saber: como esse número foi calculado? É uma caixa-preta comercial. A empresa se recusou a ter seu algoritmo exposto no tribunal. Mas a ProPublica, uma organização investigativa sem fins lucrativos, auditou esse algoritmo com os dados públicos que conseguiu encontrar e descobriu que os resultados eram tendenciosos, e seu poder preditivo era deplorável, apenas um pouco melhor do que o acaso, e estava rotulando erroneamente réus negros como futuros criminosos duas vezes mais do que os réus brancos.
So, consider this case: This woman was late picking up her godsister from a school in Broward County, Florida, running down the street with a friend of hers. They spotted an unlocked kid's bike and a scooter on a porch and foolishly jumped on it. As they were speeding off, a woman came out and said, "Hey! That's my kid's bike!" They dropped it, they walked away, but they were arrested.
Vejam por exemplo este caso: esta mulher se atrasou para buscar sua parente numa escola no Condado de Broward, na Flórida. Correndo pela rua com uma amiga, elas viram uma bicicleta sem cadeado e uma lambreta numa varanda e, impensadamente, pularam nela. Quando estavam indo embora, uma mulher saiu e falou: "Ei! Esta é a bicicleta do meu filho!" Elas largaram a bicicleta, fugiram, mas foram presas.
She was wrong, she was foolish, but she was also just 18. She had a couple of juvenile misdemeanors. Meanwhile, that man had been arrested for shoplifting in Home Depot -- 85 dollars' worth of stuff, a similar petty crime. But he had two prior armed robbery convictions. But the algorithm scored her as high risk, and not him. Two years later, ProPublica found that she had not reoffended. It was just hard to get a job for her with her record. He, on the other hand, did reoffend and is now serving an eight-year prison term for a later crime. Clearly, we need to audit our black boxes and not have them have this kind of unchecked power.
Ela errou, foi infantil, mas tinha apenas 18 anos. Ela tinha algumas contravenções juvenis. Enquanto isso, aquele homem tinha sido preso por furtar na Home Depot bens no valor de US$ 85, um crime pequeno similar. Mas ele tinha duas condenações prévias por roubo à mão armada. No entanto, o algoritmo a classificou como sendo de alto risco, e ele não. Dois anos depois, a ProPublica descobriu que ela não tinha reincidido em crime. E foi muito difícil conseguir um emprego com esse histórico. Ele, por outro lado, reincidiu no crime e agora está cumprindo oito anos de prisão por um crime posterior. Claramente, precisamos auditar nossas caixas-pretas e não deixá-las ter esse tipo de poder sem controle.
(Applause)
(Aplausos)
Audits are great and important, but they don't solve all our problems. Take Facebook's powerful news feed algorithm -- you know, the one that ranks everything and decides what to show you from all the friends and pages you follow. Should you be shown another baby picture?
Auditorias são ótimas e importantes, mas não resolvem todos os problemas. Peguem o poderoso algoritmo do Facebook. Sabe aquele que escolhe o que nos mostrar entre todos os amigos e páginas que seguimos? Será que deveriam lhe mostrar uma outra foto de bebê?
(Laughter)
(Risos)
A sullen note from an acquaintance? An important but difficult news item? There's no right answer. Facebook optimizes for engagement on the site: likes, shares, comments.
Um comentário estranho de um conhecido? Uma notícia importante, mas difícil? Não existe resposta certa. O Facebook o aperfeiçoa pelo uso do site: curtidas, compartilhamentos, comentários.
In August of 2014, protests broke out in Ferguson, Missouri, after the killing of an African-American teenager by a white police officer, under murky circumstances. The news of the protests was all over my algorithmically unfiltered Twitter feed, but nowhere on my Facebook. Was it my Facebook friends? I disabled Facebook's algorithm, which is hard because Facebook keeps wanting to make you come under the algorithm's control, and saw that my friends were talking about it. It's just that the algorithm wasn't showing it to me. I researched this and found this was a widespread problem.
Em agosto de 2014, houve uma onda de protestos em Ferguson, no Missouri, depois do assassinato de um adolescente afro-americano por um policial branco, sob circunstâncias nebulosas. Notícias sobre os protestos estavam por toda parte no "feed" do meu Twitter sem algoritmo de filtragem, mas em nenhum lugar no meu Facebook. Seriam meus amigos no Facebook? Eu desabilitei o algoritmo do Facebook, o que é difícil, pois o Facebook espera que nós fiquemos sob o controle do algoritmo, e vi que meus amigos estavam falando sobre o assunto. Mas o algoritmo simplesmente não mostrava. Fui pesquisar e descobri que era um problema geral.
The story of Ferguson wasn't algorithm-friendly. It's not "likable." Who's going to click on "like?" It's not even easy to comment on. Without likes and comments, the algorithm was likely showing it to even fewer people, so we didn't get to see this. Instead, that week, Facebook's algorithm highlighted this, which is the ALS Ice Bucket Challenge. Worthy cause; dump ice water, donate to charity, fine. But it was super algorithm-friendly. The machine made this decision for us. A very important but difficult conversation might have been smothered, had Facebook been the only channel.
A história de Ferguson não era compatível com o algoritmo. Não era "curtível"; quem ia "curtir" aquilo? Não era fácil nem mesmo comentar sobre o assunto. Sem curtidas e comentários, era provável que o algoritmo mostrasse isso para cada vez menos pessoas, assim, não pudemos ver isto. Em seu lugar, naquela semana, o algoritmo do Facebook priorizou isto: o desafio do balde da ELA, esclerose lateral amiotrófica. Causa importante: jogar água gelada, doar para caridade, tudo bem. Mas era supercompatível com o algoritmo. A máquina tomou essa decisão por nós. Uma conversa muito importante, mas muito difícil, teria sido atenuada, caso o Facebook fosse o único canal.
Now, finally, these systems can also be wrong in ways that don't resemble human systems. Do you guys remember Watson, IBM's machine-intelligence system that wiped the floor with human contestants on Jeopardy? It was a great player. But then, for Final Jeopardy, Watson was asked this question: "Its largest airport is named for a World War II hero, its second-largest for a World War II battle."
Finalmente, esses sistemas também podem errar de maneiras diferentes dos sistemas humanos. Lembram-se do Watson, o sistema de inteligência de máquina da IBM que sempre ganhava, competindo com seres humanos num show de TV? Ele era um ótimo jogador. Mas então, na final, foi feita a seguinte pergunta a Watson: "Seu maior aeroporto possui o nome de um herói da Segunda Guerra, a maior grande batalha da Segunda Guerra".
(Hums Final Jeopardy music)
(Cantarola música do show)
Chicago. The two humans got it right. Watson, on the other hand, answered "Toronto" -- for a US city category! The impressive system also made an error that a human would never make, a second-grader wouldn't make.
"Chicago." Os dois seres humanos acertaram. Watson, por sua vez, respondeu "Toronto" na categoria "cidade dos EUA"! O incrível sistema também cometeu um erro que um humano jamais faria, uma criança não cometeria.
Our machine intelligence can fail in ways that don't fit error patterns of humans, in ways we won't expect and be prepared for. It'd be lousy not to get a job one is qualified for, but it would triple suck if it was because of stack overflow in some subroutine.
Nossa inteligência artifical pode falhar de formas que não se encaixam nos padrões de erros humanos, de formas que não esperamos e para as quais não estamos preparados. Seria péssimo não conseguir um emprego para o qual se está qualificado, mas seria triplamente péssimo se fosse por causa de um "stack overflow" em alguma sub-rotina.
(Laughter)
(Risos)
In May of 2010, a flash crash on Wall Street fueled by a feedback loop in Wall Street's "sell" algorithm wiped a trillion dollars of value in 36 minutes. I don't even want to think what "error" means in the context of lethal autonomous weapons.
Em maio de 2010, uma baixa repentina em Wall Street, alimentada pelo sistema de autoajuste do algoritmo de "venda", varreu US$ 1 trilhão em 36 minutos. Não quero nem pensar no que significaria "erro" no contexto de armas letais autônomas.
So yes, humans have always made biases. Decision makers and gatekeepers, in courts, in news, in war ... they make mistakes; but that's exactly my point. We cannot escape these difficult questions. We cannot outsource our responsibilities to machines.
Então, sim, os seres humanos sempre foram tendenciosos. Tomadores de decisão e controladores, em tribunais, na mídia, na guerra... eles cometem erros; mas esse é exatamente meu ponto. Não podemos fugir dessas questões difíceis. Não podemos terceirizar nossas responsabilidades para as máquinas.
(Applause)
(Aplausos) (Vivas)
Artificial intelligence does not give us a "Get out of ethics free" card.
A inteligência artificial não nos dá um passe para a "zona livre de ética".
Data scientist Fred Benenson calls this math-washing. We need the opposite. We need to cultivate algorithm suspicion, scrutiny and investigation. We need to make sure we have algorithmic accountability, auditing and meaningful transparency. We need to accept that bringing math and computation to messy, value-laden human affairs does not bring objectivity; rather, the complexity of human affairs invades the algorithms. Yes, we can and we should use computation to help us make better decisions. But we have to own up to our moral responsibility to judgment, and use algorithms within that framework, not as a means to abdicate and outsource our responsibilities to one another as human to human.
O cientista de dados Fred Benenson chama isso de "mathwashing". Precisamos fazer o contrário. Precisamos cultivar o escrutínio, a suspeita e investigação dos algoritmos. Precisamos nos assegurar de que temos responsabilidade algorítmica, auditoria e transparência relevante. Precisamos aceitar que trazer a matemática e a computação para negócios humanos confusos, envolvendo julgamento de valor, não traz objetividade; mas que, ao contrário, a complexidade dos negócios humanos invade os algoritmos. Sim, podemos e devemos usar a computação para nos ajudar a tomar decisões melhores. Mas temos de reconhecer nossa responsabilidade moral para julgar, e usar os algoritmos dentro desse espectro, não como uma forma de abdicar de nossas responsabilidades ou terceirizá-las, como se fosse de um ser humano para outro.
Machine intelligence is here. That means we must hold on ever tighter to human values and human ethics.
A inteligência artificial está aí. Isso significa que vamos ter de nos agarrar firmemente aos valores e à ética humanos.
Thank you.
Obrigada.
(Applause)
(Aplausos) (Vivas)