Let me share a paradox. For the last 10 years, many companies have been trying to become less bureaucratic, to have fewer central rules and procedures, more autonomy for their local teams to be more agile. And now they are pushing artificial intelligence, AI, unaware that cool technology might make them more bureaucratic than ever. Why? Because AI operates just like bureaucracies.
Vou falar-vos de um paradoxo. Nos últimos 10 anos, muitas empresas têm tentado tornar-se menos burocráticas, com menos regras centrais e menos procedimentos, mais autonomia para que as suas equipas locais possam ser mais ágeis. Agora, estão a impulsionar o uso da inteligência artificial, a IA, sem se aperceberem de que uma tecnologia fantástica pode torná-los mais burocráticos que nunca. Porquê? Porque a IA funciona exatamente como a burocracia.
The essence of bureaucracy is to favor rules and procedures over human judgment. And AI decides solely based on rules. Many rules inferred from past data but only rules. And if human judgment is not kept in the loop, AI will bring a terrifying form of new bureaucracy -- I call it "algocracy" -- where AI will take more and more critical decisions by the rules outside of any human control. Is there a real risk? Yes.
A essência da burocracia é favorecer regras e procedimentos que controlam o discernimento humano. E a IA toma decisões exclusivamente com base em regras. Muitas das regras são deduzidas a partir de dados passados mas não passam de regras. Se o discernimento humano não se mantiver atualizado, a IA irá trazer-nos uma nova e assustadora forma de burocracia — a que eu chamo "algoracracia" — em que a IA vai tomando cada vez mais decisões críticas com base em regras fora de qualquer controlo humano. Será isto um risco real? Sim.
I'm leading a team of 800 AI specialists. We have deployed over 100 customized AI solutions for large companies around the world. And I see too many corporate executives behaving like bureaucrats from the past. They want to take costly, old-fashioned humans out of the loop and rely only upon AI to take decisions. I call this the "human-zero mindset." And why is it so tempting? Because the other route, "Human plus AI," is long, costly and difficult. Business teams, tech teams, data-science teams have to iterate for months to craft exactly how humans and AI can best work together. Long, costly and difficult. But the reward is huge.
Estou a liderar uma equipa de 800 especialistas em IA. Implantámos cerca de 100 soluções padronizadas em IA em grandes empresas do mundo inteiro. E vejo muitos executivos a agir como burocratas do passado. Querem eliminar os seres humanos, dispendiosos e retrógrados, do ciclo, e depender unicamente da IA para tomar decisões. Chamo a isto uma "mentalidade zero humana". Porque é que isto é tão tentador? Porque o outro caminho, o "Ser Humano + IA" é longo, é caro e difícil. As equipas das empresas, equipas tecnológicas ou de dados, têm de repetir durante meses até perceberem exatamente como os seres humanos e a IA podem trabalhar melhor em conjunto. É demorado, caro e difícil. Mas a recompensa é enorme.
A recent survey from BCG and MIT shows that 18 percent of companies in the world are pioneering AI, making money with it. Those companies focus 80 percent of their AI initiatives on effectiveness and growth, taking better decisions -- not replacing humans with AI to save costs.
Uma investigação recente do MIT e do Boston Consulting Group mostra que 18% das companhias do mundo são pioneiras na IA, estão a ganhar dinheiro com isso. Essas companhias concentram 80% das suas iniciativas de IA na eficácia e no crescimento, tomando melhores decisões — mas não substituem os seres humanos pela IA, a fim de poupar custos.
Why is it important to keep humans in the loop? Simply because, left alone, AI can do very dumb things. Sometimes with no consequences, like in this tweet. "Dear Amazon, I bought a toilet seat. Necessity, not desire. I do not collect them, I'm not a toilet-seat addict. No matter how temptingly you email me, I am not going to think, 'Oh, go on, then, one more toilet seat, I'll treat myself.' "
Porque é que é importante manter os seres humanos no ciclo? Simplesmente porque, sozinha, a IA pode fazer coisas muito tolas. Por vezes, sem consequências, como neste "tweet": "Querida Amazon, comprei um tampo para a sanita "por necessidade, não por desejo. "Eu não os coleciono, "não sou viciado em tampos. "Por mais tentador que seja o vosso 'email', eu não vou pensar: " 'Oh, vá lá, é só mais um tampo, " 'para me dar prazer'."
(Laughter)
(Risos)
Sometimes, with more consequence, like in this other tweet. "Had the same situation with my mother's burial urn."
Às vezes, com maiores consequências, como este "tweet": "Passei pela mesma situação "com a urna da minha mãe."
(Laughter)
(Risos)
"For months after her death, I got messages from Amazon, saying, 'If you liked that ...' "
"Durante meses após a morte dela, "recebi mensagens da Amazon, a dizer: 'Se gostou disso...' "
(Laughter)
(Risos)
Sometimes with worse consequences. Take an AI engine rejecting a student application for university. Why? Because it has "learned," on past data, characteristics of students that will pass and fail. Some are obvious, like GPAs. But if, in the past, all students from a given postal code have failed, it is very likely that AI will make this a rule and will reject every student with this postal code, not giving anyone the opportunity to prove the rule wrong.
Às vezes consequências ainda piores. Por exemplo, a recusa da IA da candidatura de estudantes universitários. Porquê? Porque a IA "aprendeu", segundo dados anteriores, as características prováveis de estudantes. que passam e depois fracassam. Algumas óbvias, como as médias. Mas se, no passado, todos os alunos de um determinado código postal tivessem reprovado, muito provavelmente a IA passaria a considerar isso como uma regra e iria rejeitar todos os alunos desse código postal, não dando hipótese a ninguém de provar que a regra estava errada.
And no one can check all the rules, because advanced AI is constantly learning. And if humans are kept out of the room, there comes the algocratic nightmare. Who is accountable for rejecting the student? No one, AI did. Is it fair? Yes. The same set of objective rules has been applied to everyone. Could we reconsider for this bright kid with the wrong postal code? No, algos don't change their mind.
Ninguém pode conferir todas as regras, porque a IA avançada está sempre a aprender. Se os seres humanos forem afastados, será o pesadelo da algoracracia. Quem é responsável pela recusa dos estudantes? Ninguém, foi a IA que fez isso. É justo? É. O mesmo conjunto de regras tem sido aplicado a toda a gente. Podemos abrir uma exceção para um miúdo brilhante com o código postal errado? Não, os algoritmos não mudam de ideias.
We have a choice here. Carry on with algocracy or decide to go to "Human plus AI." And to do this, we need to stop thinking tech first, and we need to start applying the secret formula. To deploy "Human plus AI," 10 percent of the effort is to code algos; 20 percent to build tech around the algos, collecting data, building UI, integrating into legacy systems; But 70 percent, the bulk of the effort, is about weaving together AI with people and processes to maximize real outcome.
Temos uma escolha a fazer. Continuar com a "algoracracia" ou ir para "Ser Humano + IA". Para fazer isso, precisamos de pensar primeiro nos seres humanos e passar a aplicar a fórmula secreta. Para implementar "Ser Humano + IA", é preciso 10% do esforço para codificar os algoritmos. e 20% para construir tecnologias em volta dos algoritmos, recolher dados, montar interfaces, integrar sistemas antigos; Mas 70%, o grosso do esforço, é para entrelaçar a IA com pessoas e com processos para otimizar os resultados.
AI fails when cutting short on the 70 percent. The price tag for that can be small, wasting many, many millions of dollars on useless technology. Anyone cares? Or real tragedies: 346 casualties in the recent crashes of two B-737 aircrafts when pilots could not interact properly with a computerized command system.
A IA falha se encurtarmos os 70%. O preço para isso pode ser baixo, desperdiçando muitos milhões de dólares em tecnologia sem interesse. Alguém se importa? Ou tragédias reais: as 346 vítimas dos recentes acidentes de dois aviões B-737 quando os pilotos não conseguiram interagir bem com o sistema de comandos computorizados.
For a successful 70 percent, the first step is to make sure that algos are coded by data scientists and domain experts together. Take health care for example. One of our teams worked on a new drug with a slight problem. When taking their first dose, some patients, very few, have heart attacks. So, all patients, when taking their first dose, have to spend one day in hospital, for monitoring, just in case. Our objective was to identify patients who were at zero risk of heart attacks, who could skip the day in hospital. We used AI to analyze data from clinical trials, to correlate ECG signal, blood composition, biomarkers, with the risk of heart attack. In one month, our model could flag 62 percent of patients at zero risk. They could skip the day in hospital. Would you be comfortable staying at home for your first dose if the algo said so?
Para 70% de êxito, o primeiro passo é garantir que os algoritmos são codificados por cientistas de dados e por especialistas da área, em conjunto. Na área da saúde, por exemplo. Uma das nossas equipas teve um pequeno problema ao trabalhar num novo medicamento. Ao tomar a primeira dose, alguns pacientes, poucos, tiveram ataques cardíacos. Então, todos os pacientes, ao tomarem a primeira dose, teriam de passar um dia no hospital, para vigilância, caso fosse necessário. O nosso objetivo era identificar pacientes sem riscos de um ataque cardíaco que não precisassem de passar o dia no hospital. Usámos a IA para analisar dados de testes clínicos, correlacionar o sinal do ECG, a composição do sangue, os biomarcadores, com o risco de ataques cardíacos. Num mês, o nosso modelo detetou 62% de pacientes de risco zero que puderam evitar o dia no hospital. Vocês sentir-se-iam à vontade para ficar em casa, na primeira dose, se o algoritmo assim o determinasse?
(Laughter)
(Risos)
Doctors were not. What if we had false negatives, meaning people who are told by AI they can stay at home, and die?
Os médicos não ficaram. E se tivéssemos falso negativos e as pessoas autorizadas pela IA a ficarem em casa viessem a morrer?
(Laughter)
(Risos)
There started our 70 percent. We worked with a team of doctors to check the medical logic of each variable in our model. For instance, we were using the concentration of a liver enzyme as a predictor, for which the medical logic was not obvious. The statistical signal was quite strong. But what if it was a bias in our sample? That predictor was taken out of the model. We also took out predictors for which experts told us they cannot be rigorously measured by doctors in real life. After four months, we had a model and a medical protocol. They both got approved my medical authorities in the US last spring, resulting in far less stress for half of the patients and better quality of life. And an expected upside on sales over 100 million for that drug.
Aí começaram os nossos 70%. Trabalhámos com uma equipa de médicos para conferir a lógica clínica de cada variável do nosso modelo. Por exemplo, usámos a concentração de uma enzima do fígado como um indicador, o que, pela lógica médica, não era uma coisa óbvia. O sinal estatístico foi muito forte. Mas e se isso fosse uma limitação da nossa amostra? Retirámos o indicador do nosso modelo. Retirámos também os indicadores de que os médicos tinham dito que não podiam ser medidos com rigor. Ao fim de quatro meses, tínhamos um modelo e um protocolo médico. Ambos foram aprovados pelas autoridades médicas nos EUA, na primavera passada, o que resultou num menor "stress" para metade dos pacientes e melhor qualidade de vida. E um aumento inesperado das vendas em mais de 100 milhões para esse remédio.
Seventy percent weaving AI with team and processes also means building powerful interfaces for humans and AI to solve the most difficult problems together. Once, we got challenged by a fashion retailer. "We have the best buyers in the world. Could you build an AI engine that would beat them at forecasting sales? At telling how many high-end, light-green, men XL shirts we need to buy for next year? At predicting better what will sell or not than our designers." Our team trained a model in a few weeks, on past sales data, and the competition was organized with human buyers. Result? AI wins, reducing forecasting errors by 25 percent. Human-zero champions could have tried to implement this initial model and create a fight with all human buyers. Have fun. But we knew that human buyers had insights on fashion trends that could not be found in past data.
Esses 70% do entrelaçamento entre a IA, a equipa e os procedimentos também significam criar interfaces poderosas para os seres humanos e a IA resolverem os problemas mais difíceis. Uma vez, fomos desafiados por um retalhista de moda: "Temos os melhores compradores do mundo. "Podem criar um motor de IA que os ultrapasse na previsão de vendas? "Que nos diga quantas camisas de homem, topo de gama, verde claro, XL "precisamos de comprar no próximo ano? "Que preveja o que se vai vender ou não "melhor do que os nossos 'designers'." A nossa equipa treinou um modelo em poucas semanas, com base em dados anteriores, e organizámos a competição com os compradores humanos. Qual o resultado? A IA ganhou, reduzindo os erros de previsão em 25%. Os campeões do "zero humano" podiam ter tentado implementar este modelo inicial e criar uma guerra contra todos os compradores humanos. Divirtam-se. Mas nós sabíamos que os compradores humanos tinham ideias sobre as tendências da moda que não se encontravam nos dados anteriores.
There started our 70 percent. We went for a second test, where human buyers were reviewing quantities suggested by AI and could correct them if needed. Result? Humans using AI ... lose. Seventy-five percent of the corrections made by a human were reducing accuracy.
Ali começaram os nossos 70%. Partimos para um segundo teste, em que os compradores humanos reviam as quantidades sugeridas pela IA. E corrigiam-nas, se necessário. Qual o resultado? Os seres humanos, usando a IA... perderam. 75% das correções feitas por um ser humano tiveram um rigor reduzido.
Was it time to get rid of human buyers? No. It was time to recreate a model where humans would not try to guess when AI is wrong, but where AI would take real input from human buyers. We fully rebuilt the model and went away from our initial interface, which was, more or less, "Hey, human! This is what I forecast, correct whatever you want," and moved to a much richer one, more like, "Hey, humans! I don't know the trends for next year. Could you share with me your top creative bets?" "Hey, humans! Could you help me quantify those few big items? I cannot find any good comparables in the past for them." Result? "Human plus AI" wins, reducing forecast errors by 50 percent. It took one year to finalize the tool. Long, costly and difficult. But profits and benefits were in excess of 100 million of savings per year for that retailer.
Chegara a altura de se livrarem dos compradores humanos? Não. Chegara a altura de recriar um modelo, em que os seres humanos deixassem de tentar adivinhar se a IA estava errada mas em que a IA receberia uma contribuição real dos compradores humanos. Refizemos totalmente o modelo, e afastámo-nos da nossa interface inicial, que era, mais ou menos: "Ei, ser humano! Isto é o que eu previ, "Corrija o que você quiser" e mudámos para um modelo muito mais rico, tipo: "Ei, seres humanos! "Não sei quais são as tendências para o próximo ano. "Vocês podem informar-me quanto às vossas apostas criativas?" "Ei, seres humanos! "Vocês podem ajudar-me a quantificar esses itens grandes? "Não consigo encontrar nenhuma boa comparação com eles, no passado." Qual o resultado? Vence "Ser Humano + IA", reduzindo para metade os erros de previsão. Demorámos um ano até finalizar a ferramenta. Foi demorado, custoso e difícil. Mas os lucros e benefícios excederam 100 milhões em economias anuais para aquele retalhista.
Seventy percent on very sensitive topics also means human have to decide what is right or wrong and define rules for what AI can do or not, like setting caps on prices to prevent pricing engines [from charging] outrageously high prices to uneducated customers who would accept them. Only humans can define those boundaries -- there is no way AI can find them in past data.
70% em informações confidenciais significa que os seres humanos têm de decidir o que é certo e errado e definir as regras para o que a IA pode ou não fazer, como impor limites de preços para evitar mecanismos de instituição de preços de cobrarem preços exorbitantes a clientes mal informados que os aceitariam. Só os seres humanos podem definir tais limites, não é possível que uma IA os encontre em dados antigos.
Some situations are in the gray zone. We worked with a health insurer. He developed an AI engine to identify, among his clients, people who are just about to go to hospital to sell them premium services. And the problem is, some prospects were called by the commercial team while they did not know yet they would have to go to hospital very soon. You are the CEO of this company. Do you stop that program? Not an easy question.
Algumas situações estão na zona cinzenta. Nós trabalhámos com uma seguradora de saúde que desenvolveu um mecanismo de IA para identificar, de entre os seus clientes, as pessoas que estão prestes a serem internadas num hospital, para lhes vender serviços privilegiados O problema é que a equipa de vendas contactou alguns potenciais clientes antes de eles saberem que tinham de ser internados em breve num hospital. Se vocês fossem o CEO dessa empresa. parariam esse programa? Não é uma pergunta fácil.
And to tackle this question, some companies are building teams, defining ethical rules and standards to help business and tech teams set limits between personalization and manipulation, customization of offers and discrimination, targeting and intrusion.
Para lidar com esta pergunta, algumas empresas criam equipas que definem regras e padrões éticos para ajudar as empresas e as equipas tecnológicas a imporem limites entre a personalização e a manipulação, entre a personalização de ofertas e a discriminação, entre o direcionamento e a intrusão.
I am convinced that in every company, applying AI where it really matters has massive payback. Business leaders need to be bold and select a few topics, and for each of them, mobilize 10, 20, 30 people from their best teams -- tech, AI, data science, ethics -- and go through the full 10-, 20-, 70-percent cycle of "Human plus AI," if they want to land AI effectively in their teams and processes. There is no other way.
Eu estou convencido de que, em todas as empresas, implementar uma IA quando ela é realmente importante traz um enorme retorno. Os líderes de negócios precisam de ser ousados e selecionar alguns tópicos e para cada um deles, mobilizar 10, 20, 30 pessoas das suas melhores equipas — tecnologia, IA, ciência de dados, ética — e passar por todo o ciclo de 10%, 20%, 70 % do o "Ser Humano + IA", se querem efetivamente impor a IA nas suas equipas e procedimentos. Não há outro caminho.
Citizens in developed economies already fear algocracy. Seven thousand were interviewed in a recent survey. More than 75 percent expressed real concerns on the impact of AI on the workforce, on privacy, on the risk of a dehumanized society. Pushing algocracy creates a real risk of severe backlash against AI within companies or in society at large. "Human plus AI" is our only option to bring the benefits of AI to the real world. And in the end, winning organizations will invest in human knowledge, not just AI and data. Recruiting, training, rewarding human experts. Data is said to be the new oil, but believe me, human knowledge will make the difference, because it is the only derrick available to pump the oil hidden in the data.
Cidadãos de economias desenvolvidas já temem a algoracracia. Foram entrevistados 7000 numa sondagem recente. Mais de 75% exprimiram preocupações reais no impacto que a IA teria nos trabalhadores, na privacidade, no risco de desumanizar a sociedade. Forçar a algoracracia cria um risco real de uma retaliação contra a IA dentro de empresas ou na nossa sociedade em geral. "Ser Humano + IA" é a nossa única opção para trazer os benefícios da IA para o mundo real. E no final das contas, as organizações vitoriosas investirão no conhecimento humano e não apenas na IA e nos dados. Recrutando, formando, e recompensando os especialistas humanos. Diz-se que os dados são o novo petróleo, mas acreditem, o conhecimento humano fará a diferença, porque é a única bomba capaz de extrair o petróleo escondido nos dados.
Thank you.
Obrigado.
(Applause)
(Aplausos)