Let me share a paradox. For the last 10 years, many companies have been trying to become less bureaucratic, to have fewer central rules and procedures, more autonomy for their local teams to be more agile. And now they are pushing artificial intelligence, AI, unaware that cool technology might make them more bureaucratic than ever. Why? Because AI operates just like bureaucracies.
Permitam-me compartilhar um paradoxo. Nos últimos dez anos, muitas empresas vêm tentando se tornar menos burocráticas, ter menos procedimentos e regras principais, mais autonomia para que suas equipes locais sejam mais ágeis. Agora estão pressionando a inteligência artificial, IA, sem saber que essa tecnologia legal pode torná-las mais burocráticas do que nunca. Por quê? Porque a IA funciona como as burocracias.
The essence of bureaucracy is to favor rules and procedures over human judgment. And AI decides solely based on rules. Many rules inferred from past data but only rules. And if human judgment is not kept in the loop, AI will bring a terrifying form of new bureaucracy -- I call it "algocracy" -- where AI will take more and more critical decisions by the rules outside of any human control. Is there a real risk? Yes.
A essência da burocracia é favorecer regras e procedimentos mais que o julgamento humano. A IA decide apenas com base em regras, muitas delas deduzidas a partir de dados anteriores, mas apenas em regras. Se o julgamento humano não for mantido nesse processo, a IA trará uma forma aterrorizante de nova burocracia, que chamo de "algocracia", na qual a IA tomará decisões cada vez mais críticas segundo as regras fora de qualquer controle humano. Existe um risco real? Sim.
I'm leading a team of 800 AI specialists. We have deployed over 100 customized AI solutions for large companies around the world. And I see too many corporate executives behaving like bureaucrats from the past. They want to take costly, old-fashioned humans out of the loop and rely only upon AI to take decisions. I call this the "human-zero mindset." And why is it so tempting? Because the other route, "Human plus AI," is long, costly and difficult. Business teams, tech teams, data-science teams have to iterate for months to craft exactly how humans and AI can best work together. Long, costly and difficult. But the reward is huge.
Lidero uma equipe de 800 especialistas em IA. Implementamos mais de 100 soluções de IA personalizadas para grandes empresas em todo o mundo. Vejo muitos executivos de empresas se comportando como burocratas do passado. Eles querem tirar pessoas dispendiosas e antiquadas do processo e confiar apenas na IA para tomar decisões. Chamo isso de "mentalidade sem pessoas". Por que é tão tentador? Porque o outro caminho, "Pessoas mais IA", é longo, dispendioso e difícil. Equipes de negócios, de tecnologia e de ciência de dados precisam repetir um processo por meses para criar exatamente um modo como pessoas e IA possam trabalhar melhor juntas. Longo, dispendioso e difícil. Mas a recompensa é enorme.
A recent survey from BCG and MIT shows that 18 percent of companies in the world are pioneering AI, making money with it. Those companies focus 80 percent of their AI initiatives on effectiveness and growth, taking better decisions -- not replacing humans with AI to save costs.
Uma pesquisa recente do BCG e do MIT mostra que 18% das empresas do mundo são pioneiras em IA, ganhando dinheiro com ela. Essas empresas concentram 80% de suas iniciativas de IA em eficácia e crescimento, tomando melhores decisões sem substituir pessoas por IA para economizar custos.
Why is it important to keep humans in the loop? Simply because, left alone, AI can do very dumb things. Sometimes with no consequences, like in this tweet. "Dear Amazon, I bought a toilet seat. Necessity, not desire. I do not collect them, I'm not a toilet-seat addict. No matter how temptingly you email me, I am not going to think, 'Oh, go on, then, one more toilet seat, I'll treat myself.' "
Por que é importante manter as pessoas nesse processo? Simplesmente porque, sozinha, a IA pode fazer coisas muito idiotas. Às vezes, sem consequências, como nesta mensagem: "Prezada Amazon, comprei um assento sanitário, por necessidade, não por vontade. Não os coleciono, nem sou viciado em assentos sanitários. Não importa quantos e-mails tentadores você me envie, não vou pensar: 'Ah, tudo bem, vou me presentear com mais um assento'".
(Laughter)
(Risos)
Sometimes, with more consequence, like in this other tweet. "Had the same situation with my mother's burial urn."
Às vezes, com mais consequências, como nesta outra mensagem: "Passei pela mesma situação com a urna para cinzas de minha mãe".
(Laughter)
(Risos)
"For months after her death, I got messages from Amazon, saying, 'If you liked that ...' "
"Por meses após a morte dela, recebi mensagens da Amazon dizendo: 'Se você gostou...'"
(Laughter)
(Risos)
Sometimes with worse consequences. Take an AI engine rejecting a student application for university. Why? Because it has "learned," on past data, characteristics of students that will pass and fail. Some are obvious, like GPAs. But if, in the past, all students from a given postal code have failed, it is very likely that AI will make this a rule and will reject every student with this postal code, not giving anyone the opportunity to prove the rule wrong.
Às vezes, com consequências piores. Vamos considerar que a IA rejeite a inscrição de um aluno para a faculdade. Por quê? Porque ela "aprendeu", por dados anteriores, características de alunos que serão aprovados e reprovados. Alguns são óbvios, como notas do vestibular. Mas se, no passado, todos os alunos de um determinado local foram reprovados, é muito provável que a IA torne isso uma regra e rejeite todos os alunos desse local, sem dar a ninguém a chance de provar que a regra está errada.
And no one can check all the rules, because advanced AI is constantly learning. And if humans are kept out of the room, there comes the algocratic nightmare. Who is accountable for rejecting the student? No one, AI did. Is it fair? Yes. The same set of objective rules has been applied to everyone. Could we reconsider for this bright kid with the wrong postal code? No, algos don't change their mind.
Ninguém pode verificar todas as regras, porque a IA avançada está aprendendo constantemente. Se as pessoas forem deixadas de fora, vem o pesadelo "algocrático". Quem é responsável por rejeitar o aluno? Ninguém, a IA rejeitou. É justo? Sim. O mesmo conjunto de regras objetivas foi aplicado a todos. Conseguiríamos reconsiderar esse garoto genial do local errado? Não, os algoritmos não mudam de ideia.
We have a choice here. Carry on with algocracy or decide to go to "Human plus AI." And to do this, we need to stop thinking tech first, and we need to start applying the secret formula. To deploy "Human plus AI," 10 percent of the effort is to code algos; 20 percent to build tech around the algos, collecting data, building UI, integrating into legacy systems; But 70 percent, the bulk of the effort, is about weaving together AI with people and processes to maximize real outcome.
Temos uma escolha aqui: continuar com a algocracia ou decidir por "Pessoas mais IA". Para isso, precisamos parar de pensar primeiro na tecnologia e começar a aplicar a fórmula secreta. Para implantar "Pessoas mais IA", 10% do esforço é para codificar algoritmos; 20% para criar tecnologia em torno dos algoritmos, coletar dados, criar interface do usuário, integrar-se a sistemas legados; mas 70%, a maior parte do esforço, consiste em combinar IA com pessoas e processos para maximizar resultados reais.
AI fails when cutting short on the 70 percent. The price tag for that can be small, wasting many, many millions of dollars on useless technology. Anyone cares? Or real tragedies: 346 casualties in the recent crashes of two B-737 aircrafts when pilots could not interact properly with a computerized command system.
A IA fracassa ao reduzir os 70%. O preço disso pode ser pequeno, desperdiçando muitos milhões de dólares em tecnologia inútil. Alguém se importa? Ou tragédias reais: 346 vítimas dos acidentes recentes de 2 aeronaves B-737, em que os pilotos não conseguiram interagir adequadamente com um sistema de comando computadorizado.
For a successful 70 percent, the first step is to make sure that algos are coded by data scientists and domain experts together. Take health care for example. One of our teams worked on a new drug with a slight problem. When taking their first dose, some patients, very few, have heart attacks. So, all patients, when taking their first dose, have to spend one day in hospital, for monitoring, just in case. Our objective was to identify patients who were at zero risk of heart attacks, who could skip the day in hospital. We used AI to analyze data from clinical trials, to correlate ECG signal, blood composition, biomarkers, with the risk of heart attack. In one month, our model could flag 62 percent of patients at zero risk. They could skip the day in hospital. Would you be comfortable staying at home for your first dose if the algo said so?
Para 70% de sucesso, o primeiro passo é garantir que os algoritmos sejam codificados por cientistas de dados e especialistas no assunto juntos. Considerem, por exemplo, a assistência médica. Uma de nossas equipes trabalhou em um novo medicamento que apresentava um pequeno problema. Ao tomar a primeira dose, alguns pacientes, muito poucos, têm ataques cardíacos. Assim, todos os pacientes, quando tomam a primeira dose, precisam passar um dia no hospital, para monitoramento, apenas por precaução. Nosso objetivo era identificar pacientes com risco zero de ataques cardíacos, que não precisariam passar o dia no hospital. Utilizamos a IA para analisar dados de ensaios clínicos, para correlacionar eletrocardiograma, composição sanguínea, biomarcadores, com o risco de ataque cardíaco. Em um mês, nosso modelo conseguiu sinalizar 62% de pacientes com risco zero. Eles não precisariam passar o dia no hospital. Vocês ficariam à vontade em casa para sua primeira dose se o algoritmo dissesse isso?
(Laughter)
(Risos)
Doctors were not. What if we had false negatives, meaning people who are told by AI they can stay at home, and die?
Os médicos não ficaram. E se tivéssemos falsos negativos, ou seja, pessoas que a IA permite ficar em casa e que morrem?
(Laughter)
(Risos)
There started our 70 percent. We worked with a team of doctors to check the medical logic of each variable in our model. For instance, we were using the concentration of a liver enzyme as a predictor, for which the medical logic was not obvious. The statistical signal was quite strong. But what if it was a bias in our sample? That predictor was taken out of the model. We also took out predictors for which experts told us they cannot be rigorously measured by doctors in real life. After four months, we had a model and a medical protocol. They both got approved my medical authorities in the US last spring, resulting in far less stress for half of the patients and better quality of life. And an expected upside on sales over 100 million for that drug.
Nossos 70% começavam por aí. Trabalhamos com uma equipe de médicos para verificar a lógica médica de cada variável de nosso modelo. Por exemplo, usamos a concentração de uma enzima hepática como um indicador, para o qual a lógica médica não era óbvia. O sinal estatístico era bastante forte. Mas e se fosse um viés em nossa amostra? Esse indicador foi retirado do modelo. Também retiramos indicadores para os quais os especialistas disseram que não podem ser rigorosamente medidos por médicos na vida real. Após quatro meses, tínhamos um modelo e um protocolo médico. Ambos foram aprovados por autoridades médicas dos EUA na primavera passada, resultando em muito menos estresse para metade dos pacientes, melhor qualidade de vida e um aumento esperado nas vendas acima de 100 milhões para esse medicamento.
Seventy percent weaving AI with team and processes also means building powerful interfaces for humans and AI to solve the most difficult problems together. Once, we got challenged by a fashion retailer. "We have the best buyers in the world. Could you build an AI engine that would beat them at forecasting sales? At telling how many high-end, light-green, men XL shirts we need to buy for next year? At predicting better what will sell or not than our designers." Our team trained a model in a few weeks, on past sales data, and the competition was organized with human buyers. Result? AI wins, reducing forecasting errors by 25 percent. Human-zero champions could have tried to implement this initial model and create a fight with all human buyers. Have fun. But we knew that human buyers had insights on fashion trends that could not be found in past data.
Setenta por cento combinando IA com equipe e processos também significa construir interfaces poderosas para pessoas e IA resolverem juntas os problemas mais difíceis. Uma vez, fomos desafiados por uma loja de roupas. "Temos os melhores compradores do mundo. Você poderia criar um mecanismo de IA que os superasse em prever vendas? Em informar quantas camisas masculinas GG verde-claras de alta qualidade precisamos comprar para o ano seguinte? Em prever melhor o que venderá ou não do que nossos estilistas?" Nossa equipe treinou um modelo em poucas semanas, com dados de vendas anteriores, e a competição foi organizada com compradores humanos. O resultado? A IA vence, reduzindo erros de previsão em 25%. Campeões sem pessoas poderiam ter tentado implementar esse modelo inicial e criar uma briga com todos os compradores humanos. Divirtam-se. Mas sabíamos da percepção de compradores humanos sobre tendências da moda, que não poderia ser encontrada em dados anteriores.
There started our 70 percent. We went for a second test, where human buyers were reviewing quantities suggested by AI and could correct them if needed. Result? Humans using AI ... lose. Seventy-five percent of the corrections made by a human were reducing accuracy.
Nossos 70% começavam por aí. Fizemos um segundo teste, em que compradores humanos reviam quantidades, sugeridas pela IA, e poderiam corrigi-las se necessário. O resultado? Pessoas usando IA... perde. Setenta e cinco por cento das correções feitas por uma pessoa reduziram a precisão.
Was it time to get rid of human buyers? No. It was time to recreate a model where humans would not try to guess when AI is wrong, but where AI would take real input from human buyers. We fully rebuilt the model and went away from our initial interface, which was, more or less, "Hey, human! This is what I forecast, correct whatever you want," and moved to a much richer one, more like, "Hey, humans! I don't know the trends for next year. Could you share with me your top creative bets?" "Hey, humans! Could you help me quantify those few big items? I cannot find any good comparables in the past for them." Result? "Human plus AI" wins, reducing forecast errors by 50 percent. It took one year to finalize the tool. Long, costly and difficult. But profits and benefits were in excess of 100 million of savings per year for that retailer.
Era hora de se livrar de compradores humanos? Não. Estava na hora de recriar um modelo em que as pessoas não tentassem adivinhar quando a IA estava errada, mas em que a IA recebesse informações reais de compradores humanos. Reconstruímos totalmente o modelo e nos afastamos de nossa interface inicial, que era mais ou menos: "Ei, pessoas! É isso que prevejo, corrijam o que quiserem", e passamos para uma interface muito mais rica, mais como: "Ei, pessoas! Não conheço as tendências do próximo ano. Poderiam compartilhar comigo suas apostas mais criativas?" "Ei, pessoas! Poderiam me ajudar a quantificar esses poucos grandes itens? Não consegui encontrar um bom comparativo no passado para eles." O resultado? "Pessoas mais IA" vence, reduzindo erros de previsão em 50%. Levou um ano para finalizar a ferramenta. Longo, dispendioso e difícil. Mas os lucros e os benefícios excederam 100 milhões de economia por ano para essa loja.
Seventy percent on very sensitive topics also means human have to decide what is right or wrong and define rules for what AI can do or not, like setting caps on prices to prevent pricing engines [from charging] outrageously high prices to uneducated customers who would accept them. Only humans can define those boundaries -- there is no way AI can find them in past data.
Setenta por cento em assuntos muito confidenciais também significam que as pessoas precisam decidir o que é certo ou errado e definir regras para o que a IA pode fazer ou não, como estabelecer limites de preços para impedir mecanismos de precificação de cobrar preços absurdamente altos para clientes sem instrução que os aceitariam. Somente as pessoas sabem definir esses limites. A IA não consegue encontrá-los em dados anteriores.
Some situations are in the gray zone. We worked with a health insurer. He developed an AI engine to identify, among his clients, people who are just about to go to hospital to sell them premium services. And the problem is, some prospects were called by the commercial team while they did not know yet they would have to go to hospital very soon. You are the CEO of this company. Do you stop that program? Not an easy question.
Algumas situações se encontram na região intermediária. Trabalhamos com um plano de saúde que desenvolveu um mecanismo de IA para identificar, entre seus clientes, pessoas que estão prestes a serem internadas para lhes vender serviços diferenciados. O problema é que prováveis clientes foram contatados pela equipe comercial embora ainda não soubessem que seriam internados em breve. Você é o CEO dessa empresa. Você interromperia esse programa? Não é uma pergunta fácil.
And to tackle this question, some companies are building teams, defining ethical rules and standards to help business and tech teams set limits between personalization and manipulation, customization of offers and discrimination, targeting and intrusion.
Para resolver essa questão, algumas empresas criam equipes, definem regras e padrões éticos para ajudar equipes de tecnologia e negócios a estabelecerem limites entre personalização e manipulação, personalização de ofertas e discriminação, segmentação e invasão.
I am convinced that in every company, applying AI where it really matters has massive payback. Business leaders need to be bold and select a few topics, and for each of them, mobilize 10, 20, 30 people from their best teams -- tech, AI, data science, ethics -- and go through the full 10-, 20-, 70-percent cycle of "Human plus AI," if they want to land AI effectively in their teams and processes. There is no other way.
Estou convencido de que, em todas as empresas, utilizar a IA onde realmente importa oferece um enorme retorno financeiro. Líderes de negócios precisam ser ousados e selecionar alguns assuntos e, para cada um deles, mobilizar 10, 20, 30 pessoas de suas melhores equipes, de tecnologia, IA, ciência de dados e ética, e passar pelo ciclo completo de 10, 20, 70% de "Pessoas mais IA", se quiserem colocar a IA efetivamente em suas equipes e processos. Não há outra maneira.
Citizens in developed economies already fear algocracy. Seven thousand were interviewed in a recent survey. More than 75 percent expressed real concerns on the impact of AI on the workforce, on privacy, on the risk of a dehumanized society. Pushing algocracy creates a real risk of severe backlash against AI within companies or in society at large. "Human plus AI" is our only option to bring the benefits of AI to the real world. And in the end, winning organizations will invest in human knowledge, not just AI and data. Recruiting, training, rewarding human experts. Data is said to be the new oil, but believe me, human knowledge will make the difference, because it is the only derrick available to pump the oil hidden in the data.
Cidadãos de economias desenvolvidas já temem a algocracia. Sete mil foram entrevistados em uma pesquisa recente. Mais de 75% expressaram preocupações reais sobre o impacto da IA na força de trabalho, na privacidade e no risco de uma sociedade desumanizada. Pressionar a algocracia cria um risco real de reação grave contra a IA nas empresas ou na sociedade em geral. "Pessoas mais IA" é nossa única opção para trazer os benefícios da IA para o mundo real. No final, as organizações vencedoras investirão em conhecimento humano, não apenas em IA e dados. Recrutando, treinando, recompensando especialistas humanos. Dizem que os dados são o novo petróleo, mas, acreditem, o conhecimento humano fará a diferença, porque é a única torre disponível para bombear o petróleo oculto nos dados.
Thank you.
Obrigado.
(Applause)
(Aplausos)