Let me share a paradox. For the last 10 years, many companies have been trying to become less bureaucratic, to have fewer central rules and procedures, more autonomy for their local teams to be more agile. And now they are pushing artificial intelligence, AI, unaware that cool technology might make them more bureaucratic than ever. Why? Because AI operates just like bureaucracies.
Permettez-moi de vous présenter un paradoxe. Ces 10 dernières années, de nombreuses entreprises ont essayé d'être moins bureaucratiques, d'avoir moins de règles et de procédures centralisées de rendre les équipes locales plus autonomes et plus agiles. Elles veulent maintenant utiliser l'intelligence artificielle, IA, sans se rendre compte que cette super technologie peut les rendre plus bureaucratiques que jamais. Pourquoi dis-je cela ? Parce qu'il y a une forte similarité entre l' IA et la bureaucratie.
The essence of bureaucracy is to favor rules and procedures over human judgment. And AI decides solely based on rules. Many rules inferred from past data but only rules. And if human judgment is not kept in the loop, AI will bring a terrifying form of new bureaucracy -- I call it "algocracy" -- where AI will take more and more critical decisions by the rules outside of any human control. Is there a real risk? Yes.
Oui, la bureaucratie ne se base que sur des règles et procédures pré-établies et fait fi du jugement humain. L' IA se réfère uniquement aux règles, dont beaucoup sont déduites de données antérieures, et rien d'autre. Et si l'esprit humain n'intervient pas, l'IA apportera une nouvelle forme de bureaucratie terrifiante que j'appelle « Algocratie ». L'AI y prendra toutes les décisions essentielles en dehors de tout contrôle humain. Ce risque est-il réel ? Oui.
I'm leading a team of 800 AI specialists. We have deployed over 100 customized AI solutions for large companies around the world. And I see too many corporate executives behaving like bureaucrats from the past. They want to take costly, old-fashioned humans out of the loop and rely only upon AI to take decisions. I call this the "human-zero mindset." And why is it so tempting? Because the other route, "Human plus AI," is long, costly and difficult. Business teams, tech teams, data-science teams have to iterate for months to craft exactly how humans and AI can best work together. Long, costly and difficult. But the reward is huge.
Je supervise une équipe de 800 spécialistes en IA. Nous avons déployé plus de 100 solutions d'IA personnalisées dans de grandes entreprises partout dans le monde. Et je vois trop de dirigeants qui se comportent comme les bureaucrates du passé. Ils veulent se passer des hommes trop chers et démodés et ne s'appuyer que sur l'IA dans la prise de décision. C'est ce que j'appelle « système sans conscience ». Et pourquoi est-ce si tentant ? Parce que l'approche qui combine homme+IA prend plus de temps, elle est plus chère et plus difficile. Les équipes commerciales, techniques, et les analystes doivent travailler pendant des mois pour avoir un système collaboratif performant entre humain et l'IA. C'est plus long, plus coûteux et plus difficile. Mais ça vaut vraiment le coup.
A recent survey from BCG and MIT shows that 18 percent of companies in the world are pioneering AI, making money with it. Those companies focus 80 percent of their AI initiatives on effectiveness and growth, taking better decisions -- not replacing humans with AI to save costs.
Selon une enquête récente du BCG et du MIT, 18 % des entreprises dans le monde, développent l'IA et gagnent de l'argent grâce à ça. Leurs initiatives en IA se focalisent à 80% sur l'efficacité et la croissance, pour prendre de meilleures décisions au lieu de remplacer l'humain par l'IA pour réduire les coûts.
Why is it important to keep humans in the loop? Simply because, left alone, AI can do very dumb things. Sometimes with no consequences, like in this tweet. "Dear Amazon, I bought a toilet seat. Necessity, not desire. I do not collect them, I'm not a toilet-seat addict. No matter how temptingly you email me, I am not going to think, 'Oh, go on, then, one more toilet seat, I'll treat myself.' "
Pourquoi l'intervention humaine est-elle si importante ? Tout simplement car laissée à elle-même, l'IA peut faire des choses stupides. Parfois sans conséquence, comme ce Tweet : « Cher Amazon , j'ai acheté une lunette de toilette. Par besoin, pas par envie. Je ne les collectionne pas, Je ne suis pas accro aux toilettes. Vous aurez beau m'envoyer des courriels tentants, Vous ne me ferez pas dire : 'Oh, tiens, Je vais en acheter une de plus pour me faire plaisir' »
(Laughter)
(Rires)
Sometimes, with more consequence, like in this other tweet. "Had the same situation with my mother's burial urn."
Parfois c'est plus gênant, comme ce Tweet : « J'étais dans la même situation avec l'urne funéraire de ma mère.
(Laughter)
(Rires)
"For months after her death, I got messages from Amazon, saying, 'If you liked that ...' "
Plusieurs mois après son décès, j'ai reçu des messages d'Amazon me disant : « Si vous l'avez apprécié... »
(Laughter)
(Rires)
Sometimes with worse consequences. Take an AI engine rejecting a student application for university. Why? Because it has "learned," on past data, characteristics of students that will pass and fail. Some are obvious, like GPAs. But if, in the past, all students from a given postal code have failed, it is very likely that AI will make this a rule and will reject every student with this postal code, not giving anyone the opportunity to prove the rule wrong.
Dans d'autres cas, les conséquences sont graves. Prenez le cas d'un calcul IA d'université qui rejette la candidature d'un étudiant. Pourquoi ? Parce qu'il ne se base que sur des données passées, les caractéristiques des étudiants qui ont réussi ou échoué. Certaines sont évidentes, comme les notes. Mais si, dans le passé, tous les étudiants venant d'une même ville ont échoué, Il est très probable que l'IA en fasse une règle et qu'elle rejette tous les étudiants venant de cette ville. Ne laissant à personne la chance de démontrer que la règle est fausse.
And no one can check all the rules, because advanced AI is constantly learning. And if humans are kept out of the room, there comes the algocratic nightmare. Who is accountable for rejecting the student? No one, AI did. Is it fair? Yes. The same set of objective rules has been applied to everyone. Could we reconsider for this bright kid with the wrong postal code? No, algos don't change their mind.
Et personne n'est en mesure de vérifier toutes les règles, car l'IA avancée est en apprentissage constant. Et si l'humain est gardé à l'écart, on plonge dans le cauchemar algocratique. Qui est responsable d'avoir évincé l'étudiant ? Personne, c'est l'IA qui a décidé. Est-ce que c'est juste ? Oui. Le même ensemble de règles objectives a été appliqué à tout le monde. Pouvons-nous revoir le cas de ce gars brillant qui vient du mauvais endroit ? Non, les calculs ne changent pas d'avis.
We have a choice here. Carry on with algocracy or decide to go to "Human plus AI." And to do this, we need to stop thinking tech first, and we need to start applying the secret formula. To deploy "Human plus AI," 10 percent of the effort is to code algos; 20 percent to build tech around the algos, collecting data, building UI, integrating into legacy systems; But 70 percent, the bulk of the effort, is about weaving together AI with people and processes to maximize real outcome.
C'est maintenant qu'il nous faut choisir. Continuer dans cette algocratie ou choisir un système « humain + IA ». Et pour y arriver, nous devons arrêter de penser à « la technologie d'abord » et commencer à appliquer la formule secrète pour déployer « homme + IA », 10% de l'effort porte sur le codage des algorithmes. 20% sur la technologie autour de ceux-ci : récupérer les données, créer l'interface, les intégrer aux systèmes d'information. Mais 70%, le plus gros de l'effort, consiste à articuler l'IA avec les personnes et les processus pour en retirer le maximum.
AI fails when cutting short on the 70 percent. The price tag for that can be small, wasting many, many millions of dollars on useless technology. Anyone cares? Or real tragedies: 346 casualties in the recent crashes of two B-737 aircrafts when pilots could not interact properly with a computerized command system.
L'IA échoue quand on rogne sur ces 70%. Le coût peut être réduit, mais des millions de dollars sont gaspillés en technologie inutile. Qui s'en soucie ? De réelles tragédies peuvent survenir : 346 morts dans les crashes récents de deux avions B-737 dont les pilotes ne pouvaient pas interagir correctement à cause du système de commande informatisé.
For a successful 70 percent, the first step is to make sure that algos are coded by data scientists and domain experts together. Take health care for example. One of our teams worked on a new drug with a slight problem. When taking their first dose, some patients, very few, have heart attacks. So, all patients, when taking their first dose, have to spend one day in hospital, for monitoring, just in case. Our objective was to identify patients who were at zero risk of heart attacks, who could skip the day in hospital. We used AI to analyze data from clinical trials, to correlate ECG signal, blood composition, biomarkers, with the risk of heart attack. In one month, our model could flag 62 percent of patients at zero risk. They could skip the day in hospital. Would you be comfortable staying at home for your first dose if the algo said so?
Pour que les 70% soient couronnés de succès, il faut d'abord s'assurer que les algorithmes sont codés par des analystes en équipe avec des experts du secteur. Prenez par exemple le secteur de la santé. Une de nos équipes a travaillé sur un nouveau médicament avec un léger problème. Lorsqu'ils le prenaient pour la première fois, certains patients, très peu, avaient une crise cardiaque. Et donc, tous les patients, pour leur première dose, devaient passer une journée à l'hôpital, sous surveillance, au cas où. Notre objectif a été d'identifier les patients à risque zéro de crise cardiaque, qui pouvaient éviter la journée à l'hôpital. Nous avons utilisé l'IA pour analyser les données d'essais cliniques, pour corréler les ECG, la composition sanguine, et les marqueurs biologiques avec le risque de crise cardiaque. En un mois, notre modèle pouvait détecter 62% de patients à risque zéro. Ils pouvaient éviter la journée à l'hôpital. Vous seriez à l'aise pour prendre votre première dose à la maison avec ces résultats de calcul ?
(Laughter)
(Rires)
Doctors were not. What if we had false negatives, meaning people who are told by AI they can stay at home, and die?
Les médecins ne l'étaient pas. Et dans le cas de faux négatifs, les gens autorisés par l'IA à rester à la maison peuvent mourir ?
(Laughter)
(Rires)
There started our 70 percent. We worked with a team of doctors to check the medical logic of each variable in our model. For instance, we were using the concentration of a liver enzyme as a predictor, for which the medical logic was not obvious. The statistical signal was quite strong. But what if it was a bias in our sample? That predictor was taken out of the model. We also took out predictors for which experts told us they cannot be rigorously measured by doctors in real life. After four months, we had a model and a medical protocol. They both got approved my medical authorities in the US last spring, resulting in far less stress for half of the patients and better quality of life. And an expected upside on sales over 100 million for that drug.
C'est là qu'ont commencé nos 70%. Nous avons travaillé avec une équipe de médecins à vérifier la logique médicale de chaque variable dans notre modèle. Par exemple, nous utilisions le taux d'une certaine enzyme du foie comme indice, ce qui n'était pas une logique médicale évidente. Le signal statistique était plutôt fort. Et s'il y avait un biais dans notre échantillon ? On a enlevé l'indice concerné du modèle. Nous avons aussi retiré les indices pour lesquels les experts affirmaient qu'ils ne pouvaient pas être mesurés avec précision dans la vie réelle. Après quatre mois, nous avions un modèle et un protocole médical. Tous deux ont été approuvés par les autorités médicales américaines au printemps et cela a réduit le stress de la moitié des patients et a amélioré leur qualité de vie. Les ventes de ce médicament ont augmenté
Seventy percent weaving AI with team and processes also means building powerful interfaces for humans and AI to solve the most difficult problems together. Once, we got challenged by a fashion retailer. "We have the best buyers in the world. Could you build an AI engine that would beat them at forecasting sales? At telling how many high-end, light-green, men XL shirts we need to buy for next year? At predicting better what will sell or not than our designers." Our team trained a model in a few weeks, on past sales data, and the competition was organized with human buyers. Result? AI wins, reducing forecasting errors by 25 percent. Human-zero champions could have tried to implement this initial model and create a fight with all human buyers. Have fun. But we knew that human buyers had insights on fashion trends that could not be found in past data.
de plus de 100 millions de façon inattendue. 70% pour créer le lien entre l'IA, les équipes et les processus, c'est aussi construire des interfaces puissantes pour résoudre des problèmes complexes, IA et humains ensemble. Un jour, un distributeur de mode nous a lancé un défi : « Nous avons les meilleurs acheteurs au monde. Pouvez-vous créer un moteur IA qui donne de meilleures prévisions de ventes qu'eux, qui dirait combien de chemises homme, haut de gamme, vert clair, taille XL nous devons acheter pour l'année prochaine ? Qui saura mieux prédire que nos stylistes sur ce qui se vendra ou pas. » En quelques semaines, notre équipe a créé un modèle sur des données passées, et la compétition s'est engagée face aux acheteurs humains. Résultat ? L'IA a gagné, en réduisant l'erreur de prévision de 25%. Ils auraient pu essayer de lancer ce modèle des « champions non humain » et le mettre en compétition avec tous les acheteurs humains. Amusez-vous bien ! Mais nous savions que les acheteurs connaissaient les tendances qu'on ne pouvait pas déceler dans les données du passé.
There started our 70 percent. We went for a second test, where human buyers were reviewing quantities suggested by AI and could correct them if needed. Result? Humans using AI ... lose. Seventy-five percent of the corrections made by a human were reducing accuracy.
Ici ont commencé nos 70%. Nous avons commencé un second test, en faisant vérifier par les acheteurs les quantités suggérées par l'IA et en les faisant corriger si nécessaire. Résultat ? Les hommes qui utilisent l'IA... perdent. 75% des corrections faites par un humain réduisaient la fiabilité.
Was it time to get rid of human buyers? No. It was time to recreate a model where humans would not try to guess when AI is wrong, but where AI would take real input from human buyers. We fully rebuilt the model and went away from our initial interface, which was, more or less, "Hey, human! This is what I forecast, correct whatever you want," and moved to a much richer one, more like, "Hey, humans! I don't know the trends for next year. Could you share with me your top creative bets?" "Hey, humans! Could you help me quantify those few big items? I cannot find any good comparables in the past for them." Result? "Human plus AI" wins, reducing forecast errors by 50 percent. It took one year to finalize the tool. Long, costly and difficult. But profits and benefits were in excess of 100 million of savings per year for that retailer.
Fallait-il alors se débarrasser des acheteurs humains ? Non. Il était temps de recréer un modèle dans lequel les hommes n'essaient pas de deviner quand l'IA se trompe mais où les acheteurs humains contribueraient réellement à l'IA. Nous avons entièrement reconstruit le modèle en nous éloignant de notre interface initiale qui disait, plus ou moins : « Hé, humain ! Voici ce que je prévois, corrige ce que tu veux, » et nous l'avons orientée vers un modèle beaucoup plus riche, du genre : « Hé, humains ! Je ne connais pas les tendances de l'année prochaine. Voulez-vous partager avec moi vos meilleurs paris créatifs ? Hé, humains ! Voulez-vous m'aider à quantifier ces quelques articles importants ? Je ne trouve pas d'articles comparables pertinents dans le passé. » Résultat ? « Homme + IA » est gagnant, en réduisant l'erreur de prévision de 50%. Il a fallu un an pour finaliser l'outil. Long, coûteux et difficile. Mais les marges et les bénéfices ont dépassé les 100 millions d'économies par an pour ce distributeur.
Seventy percent on very sensitive topics also means human have to decide what is right or wrong and define rules for what AI can do or not, like setting caps on prices to prevent pricing engines [from charging] outrageously high prices to uneducated customers who would accept them. Only humans can define those boundaries -- there is no way AI can find them in past data.
70% sur des sujets très sensibles veut aussi dire que les humains décident de ce qui est juste ou faux et définissent les règles de ce que l'IA peut faire ou pas, comme fixer des plafonds de prix pour empêcher les moteurs de calcul [de fixer] des prix exorbitants pour des consommateurs non avertis qui les accepteraient. Seuls les humains peuvent fixer ces limites - en aucune façon, l'IA ne les trouve dans des données passées.
Some situations are in the gray zone. We worked with a health insurer. He developed an AI engine to identify, among his clients, people who are just about to go to hospital to sell them premium services. And the problem is, some prospects were called by the commercial team while they did not know yet they would have to go to hospital very soon. You are the CEO of this company. Do you stop that program? Not an easy question.
Certaines situations sont floues. Nous avons collaboré avec une société d'assurance maladie. Ils ont développé un moteur IA pour détecter parmi leurs clients ceux qui étaient sur le point de rentrer à l'hôpital pour leur vendre des services premium. Et le problème, c'est que l'équipe commerciale a appelé des prospects qui ne savaient même pas encore qu'ils devraient entrer à l'hôpital bientôt. Vous dirigez cette société. Arrêtez-vous ce programme ? Ce n'est pas une question facile.
And to tackle this question, some companies are building teams, defining ethical rules and standards to help business and tech teams set limits between personalization and manipulation, customization of offers and discrimination, targeting and intrusion.
Et pour y répondre, certaines sociétés forment des équipes qui définissent des règles et des standards éthiques pour aider les équipes commerciales et techniques à poser des limites entre la personnalisation et la manipulation, la customisation des offres et la discrimination, le ciblage commercial et l'intrusion.
I am convinced that in every company, applying AI where it really matters has massive payback. Business leaders need to be bold and select a few topics, and for each of them, mobilize 10, 20, 30 people from their best teams -- tech, AI, data science, ethics -- and go through the full 10-, 20-, 70-percent cycle of "Human plus AI," if they want to land AI effectively in their teams and processes. There is no other way.
Je suis convaincu que dans chaque entreprise, utiliser l'IA pour des sujets importants engendre des bénéfices considérables. Les dirigeants d'entreprise doivent oser et sélectionner un petit nombre de sujets, et pour chacun d'eux, mobiliser 10, 20, 30 personnes de leurs meilleures équipes - techniques, IA, analystes, éthique -- et passer par le cycle complet 10-, 20-, 70% de « Homme + IA » s'ils veulent faire adopter l'IA efficacement dans leurs équipes et processus.
Citizens in developed economies already fear algocracy. Seven thousand were interviewed in a recent survey. More than 75 percent expressed real concerns on the impact of AI on the workforce, on privacy, on the risk of a dehumanized society. Pushing algocracy creates a real risk of severe backlash against AI within companies or in society at large. "Human plus AI" is our only option to bring the benefits of AI to the real world. And in the end, winning organizations will invest in human knowledge, not just AI and data. Recruiting, training, rewarding human experts. Data is said to be the new oil, but believe me, human knowledge will make the difference, because it is the only derrick available to pump the oil hidden in the data.
Il n'y a pas d'autre moyen. Les citoyens des pays développés ont déjà peur de l'algocratie. 7 000 ont été interrogées dans un sondage récent. Plus de 75% ont exprimé une réelle inquiétude quant à l'impact de l'IA sur leur travail, leur vie privée, quant au risque d'une société déshumanisée. Imposer l'algocratie crée un risque réel d'un retour de bâton contre l'IA dans les entreprises ou dans la société dans son ensemble. « Homme + IA » est notre seule option pour apporter les bénéfices de l'IA au monde réel. Et au final, les organisations fructueuses investiront dans la connaissance humaine pas seulement dans l'IA et les données. Recruter, former, récompenser les experts humains. On dit que les données sont le nouveau pétrole, mais croyez-moi, l'esprit humain fera la différence, car c'est la seule plateforme disponible pour extraire le pétrole des données.
Thank you.
Merci.
(Applause)
(Applaudissements)