Let me share a paradox. For the last 10 years, many companies have been trying to become less bureaucratic, to have fewer central rules and procedures, more autonomy for their local teams to be more agile. And now they are pushing artificial intelligence, AI, unaware that cool technology might make them more bureaucratic than ever. Why? Because AI operates just like bureaucracies.
Hadd osszak meg önökkel egy ellentmondást. Az elmúlt 10 évben sok cég próbálkozik a bürokrácia csökkentésével: kevesebb központi szabályozás és folyamat, több önállóság a helyi csapatoknak, hogy hatékonyabbak lehessenek. Most a mesterséges intelligenciával, az MI-vel próbálkoznak, nem sejtve, hogy a nagyszerű technológia sokkal bürokratikusabbá is teheti őket. Hogy miért? Mert az MI a bürokráciához hasonlóan működik.
The essence of bureaucracy is to favor rules and procedures over human judgment. And AI decides solely based on rules. Many rules inferred from past data but only rules. And if human judgment is not kept in the loop, AI will bring a terrifying form of new bureaucracy -- I call it "algocracy" -- where AI will take more and more critical decisions by the rules outside of any human control. Is there a real risk? Yes.
A bürokrácia a szabályokat és folyamatokat előrébb valónak tartja az emberi ítélőképességnél. Az MI pusztán szabályok alapján dönt. Sok szabály múltbeli adatokból következik, de ezek csak szabályok. Ha az emberi ítélőképesség kimarad e folyamatból, az MI egy újfajta bürokrácia szörnyű formáját hozza el – az "algokrácia" nevet adtam neki –, amelyben az MI egyre több döntést hoz pusztán szabályok alapján, az ember beleszólása nélkül. Vajon ez valós kockázat? Igen.
I'm leading a team of 800 AI specialists. We have deployed over 100 customized AI solutions for large companies around the world. And I see too many corporate executives behaving like bureaucrats from the past. They want to take costly, old-fashioned humans out of the loop and rely only upon AI to take decisions. I call this the "human-zero mindset." And why is it so tempting? Because the other route, "Human plus AI," is long, costly and difficult. Business teams, tech teams, data-science teams have to iterate for months to craft exactly how humans and AI can best work together. Long, costly and difficult. But the reward is huge.
Egy 800 fős, MI-szakértőkből álló csapatot vezetek. Nagy cégeknek 100-nál is több egyedi MI-megoldást telepítettünk a világ minden táján. Túl sok ügyvezetőt látok úgy viselkedni, mint a múlt bürokratái. Szeretnének megszabadulni a költséges, régimódi emberi döntéshozóktól, s az MI-re bízni minden döntést. Ezt "zéró emberi gondolkodás"-nak nevezem. Hogy ez miért is csábító? Mert a másik megoldás, az "Ember plusz MI" hosszadalmas, költséges és nehéz. Pénzügyi, műszaki és adattudós szakemberekből álló csapatok több hónapos munkája szükséges ahhoz, hogy pontosan megtervezzék az ember és az MI legoptimálisabb együttműködését. Hosszadalmas, költséges, nehéz. Ám a jutalom óriási.
A recent survey from BCG and MIT shows that 18 percent of companies in the world are pioneering AI, making money with it. Those companies focus 80 percent of their AI initiatives on effectiveness and growth, taking better decisions -- not replacing humans with AI to save costs.
A BCG és az MIT egy friss kutatása szerint a világ cégeinek 18%-a kísérletezik az MI-vel pénzszerzési céllal. E cégek az MI-fejlesztéseik 80%-át a hatékonyság és növekedés fejlesztésére és jobb döntések meghozatalára használják – nem helyettesítve az embereket az MI-vel.
Why is it important to keep humans in the loop? Simply because, left alone, AI can do very dumb things. Sometimes with no consequences, like in this tweet. "Dear Amazon, I bought a toilet seat. Necessity, not desire. I do not collect them, I'm not a toilet-seat addict. No matter how temptingly you email me, I am not going to think, 'Oh, go on, then, one more toilet seat, I'll treat myself.' "
Miért van jelentősége, hogy az ember ne essen ki e folyamatból? Egyszerűen azért, mert ha magára hagyják, az MI igen ostoba dolgokra képes. Néha ennek nincs komoly következménye, mint például ebben a tweetben. "Tisztelt Amazon, vettem egy vécéülőkét. A szükség vezérelt, nem gyűjtő vagyok. Nem vagyok vécéülőke-függő. Nem érdekelnek a csábító e-mailjeik. Nem veszem fontolóra, hogy még egy vécéülőkével lepjem meg magam.
(Laughter)
(Nevetés)
Sometimes, with more consequence, like in this other tweet. "Had the same situation with my mother's burial urn."
Néha viszont van következménye, ahogy a következő tweet is bizonyítja. "Ugyanígy jártam anyám urnájával."
(Laughter)
(Nevetés)
"For months after her death, I got messages from Amazon, saying, 'If you liked that ...' "
"Hónapokkal a halála után üzenetet kaptam az Amazontól, miszerint, 'ha tetszett a termék...'"
(Laughter)
(Nevetés)
Sometimes with worse consequences. Take an AI engine rejecting a student application for university. Why? Because it has "learned," on past data, characteristics of students that will pass and fail. Some are obvious, like GPAs. But if, in the past, all students from a given postal code have failed, it is very likely that AI will make this a rule and will reject every student with this postal code, not giving anyone the opportunity to prove the rule wrong.
Néha a következmények még rosszabbak. Vegyük azt, mikor az MI elutasítja egy diák egyetemi jelentkezését. Miért? Mert múltbeli adatok alapján kiismeri, a diákok mely jellemzői jelentenek sikert vagy bukást. Néhány közülük egyértelmű, pl. az átlagpontszám. Ám ha a múltban az azonos irányítószámról érkező minden diák megbukott, elég valószínű, hogy az MI ezt szabályszerűségként értelmezi, és minden, erről az irányítószámról érkező diákot el fog utasítani, így senki nem kap esélyt, hogy bizonyítsa, a szabály rossz.
And no one can check all the rules, because advanced AI is constantly learning. And if humans are kept out of the room, there comes the algocratic nightmare. Who is accountable for rejecting the student? No one, AI did. Is it fair? Yes. The same set of objective rules has been applied to everyone. Could we reconsider for this bright kid with the wrong postal code? No, algos don't change their mind.
Az összes szabályt pedig lehetetlen leellenőrizni, mert a fejlett MI állandóan tanul. Ha az emberi tényező kimarad a folyamatból, jön az "algokratikus" rémálom. Ki a felelős a diák elutasításáért? Senki. Az MI tette. Tisztességes ez? Igen. Ugyanazokat az objektív szabályokat alkalmazzák mindenkire. Felülvizsgálhatjuk a döntést egy rossz irányítószámmal bíró, ragyogó diák miatt? Nem, az algoritmusok nem változtatják meg a döntésüket.
We have a choice here. Carry on with algocracy or decide to go to "Human plus AI." And to do this, we need to stop thinking tech first, and we need to start applying the secret formula. To deploy "Human plus AI," 10 percent of the effort is to code algos; 20 percent to build tech around the algos, collecting data, building UI, integrating into legacy systems; But 70 percent, the bulk of the effort, is about weaving together AI with people and processes to maximize real outcome.
Van választási lehetőségünk. Marad az "algokrácia", vagy megvalósítjuk az "Ember plusz MI" együttműködést. Ehhez először le kell állnunk azzal, hogy csak a technológiában gondolkodjunk, és elkezdeni adagolni a titkos hozzávalót. Az "Ember plusz MI" bevetéséhez az erőfeszítések 10%-át az algoritmusok kódolása, 20%-át az algoritmusok köré épülő műszaki megoldások teszik ki: adatgyűjtés, felhasználói felület építése, meglévő rendszerekbe való integrálása. Ám az erőfeszítések nagy részét, 70%-át az teszi ki, hogy összehangolják az MI működését az emberekkel és folyamatokkal, hogy maximalizálják a valós eredmény esélyét.
AI fails when cutting short on the 70 percent. The price tag for that can be small, wasting many, many millions of dollars on useless technology. Anyone cares? Or real tragedies: 346 casualties in the recent crashes of two B-737 aircrafts when pilots could not interact properly with a computerized command system.
Ha spórolunk ezen a 70%-nyi erőfeszítésen, az MI elbukik. Az ár lehet aprócska: dollármilliókat költöttünk egy haszontalan technológiára. Érdekel bárkit is? Vagy igazi tragédia: 346 halálos áldozat a két, nemrégiben történt B-737-es repülőgép-szerencsétlenségben, amikor a pilóták képtelenek voltak pontosan kommunikálni egy számítógépes irányítási rendszerrel.
For a successful 70 percent, the first step is to make sure that algos are coded by data scientists and domain experts together. Take health care for example. One of our teams worked on a new drug with a slight problem. When taking their first dose, some patients, very few, have heart attacks. So, all patients, when taking their first dose, have to spend one day in hospital, for monitoring, just in case. Our objective was to identify patients who were at zero risk of heart attacks, who could skip the day in hospital. We used AI to analyze data from clinical trials, to correlate ECG signal, blood composition, biomarkers, with the risk of heart attack. In one month, our model could flag 62 percent of patients at zero risk. They could skip the day in hospital. Would you be comfortable staying at home for your first dose if the algo said so?
Az eredményes 70%-hoz az első lépés, hogy az algoritmusokat adattudósok és domainszakértők közösen alkotják meg. Vegyük például az egészségügyi ellátást. Egyik csapatunk egy új gyógyszeren dolgozott, amivel volt egy kis gond. Miután az első adagot bevették, néhány beteg, tényleg csak néhány, szívrohamot kapott. Így az első adag bevételekor minden betegnek kórházban kellett töltenie egy napot megfigyelés céljából, biztos, ami biztos. Célunk volt olyan betegeket találni, akiknél a szívroham kockázata zéró volt, így kihagyhatták a kórházi megfigyelést. A klinikai kísérleteket az MI segítségével elemeztük, hogy összefüggést találjunk az EKG, a vérösszetétel, a biomarkerek és a szívroham kockázata között. Egy hónap alatt a program a betegek 62%-át szűrte ki zéró kockázattal. Kihagyhatták az egynapos megfigyelést. Önök nyugodt szívvel otthon maradnának, miután bevették az első adagot, csak mert egy algoritmus mondta?
(Laughter)
(Nevetés)
Doctors were not. What if we had false negatives, meaning people who are told by AI they can stay at home, and die?
Az orvosokat ez nem nyugtatta meg. Mi van, ha voltak hamis negatív eredmények, vagyis azok, akik az MI tanácsára otthon maradnak, meghalhatnak?
(Laughter)
(Nevetés)
There started our 70 percent. We worked with a team of doctors to check the medical logic of each variable in our model. For instance, we were using the concentration of a liver enzyme as a predictor, for which the medical logic was not obvious. The statistical signal was quite strong. But what if it was a bias in our sample? That predictor was taken out of the model. We also took out predictors for which experts told us they cannot be rigorously measured by doctors in real life. After four months, we had a model and a medical protocol. They both got approved my medical authorities in the US last spring, resulting in far less stress for half of the patients and better quality of life. And an expected upside on sales over 100 million for that drug.
A mi 70%-unk itt kezdődött. Egy orvoscsapattal dolgoztunk, hogy a modellünk változóit orvosi logika mentén ellenőrizzük. Például egy májenzim koncentrációját használtuk előrejelzőként, ami az orvosi logika szerint nem nyilvánvaló. A statisztikai valószínűség viszont elég magas volt. De mi van, ha a mintánk egyoldalú volt? Kivettük ezt az előrejelzőt a modellünkből. Eltávolítottuk azon előrejelzőket is, amelyeket a szakértők szerint az orvosok, a való életben, nem tudnak szigorúan mérni. Négy hónap után a birtokunkban volt egy modell és egy orvosi protokoll. Tavaly tavasszal mindkettőt engedélyezték az amerikai egészségügyi hatóságok, így a betegek felét kevesebb stressz éri, az életminőségük pedig javul. Plusz több mint százmilliós, nem várt bevétel a gyógyszereladásból.
Seventy percent weaving AI with team and processes also means building powerful interfaces for humans and AI to solve the most difficult problems together. Once, we got challenged by a fashion retailer. "We have the best buyers in the world. Could you build an AI engine that would beat them at forecasting sales? At telling how many high-end, light-green, men XL shirts we need to buy for next year? At predicting better what will sell or not than our designers." Our team trained a model in a few weeks, on past sales data, and the competition was organized with human buyers. Result? AI wins, reducing forecasting errors by 25 percent. Human-zero champions could have tried to implement this initial model and create a fight with all human buyers. Have fun. But we knew that human buyers had insights on fashion trends that could not be found in past data.
70%-kal felhangolva az MI-t a csapattal és a folyamatokkal egyet jelent egy olyan erős interfész kiépítésével is, ahol az emberek és az MI együtt oldják meg a legnehezebb problémákat. Egyszer egy ruházati kiskereskedő állított minket nagy kihívás elé. "A mieink a világ legjobb beszerzői. Képesek olyan MI-t alkotni, amely náluk jobban jósolja meg az eladási adatokat? Ami megmondja, hány minőségi, világoszöld, XL-es férfi felsőt kell vegyünk jövőre? Olyat, ami képes a tervezőinknél jobban megjósolni, mire lesz kereslet, mire nem." A csapatunk múltbeli eladási adatok alapján alkotott egy modellt, majd megkezdődött a versengés a beszerzőkkel. Eredmény? Az MI nyert, 25%-kal csökkentve az előrejelzési adatok hibáit. A "zéró emberi gondolkodás" támogatói bevethették volna ezt a kiinduló modellt a beszerzők ellen. Jó szórakozást! Ám mi tudtuk, hogy a beszerzők ismerik azokat a divattrendeket, amelyek nem lelhetőek fel a múltbeli adatok között.
There started our 70 percent. We went for a second test, where human buyers were reviewing quantities suggested by AI and could correct them if needed. Result? Humans using AI ... lose. Seventy-five percent of the corrections made by a human were reducing accuracy.
Itt kezdődött a mi 70%-unk. A második tesztünk során az MI által javasolt mennyiségeket a beszerzők átnézték, és szükség esetén korrigálták. Eredmény? Az MI-t használó emberek... veszítettek. Az emberek által javasolt módosítások 75%-a rontott a pontosságon.
Was it time to get rid of human buyers? No. It was time to recreate a model where humans would not try to guess when AI is wrong, but where AI would take real input from human buyers. We fully rebuilt the model and went away from our initial interface, which was, more or less, "Hey, human! This is what I forecast, correct whatever you want," and moved to a much richer one, more like, "Hey, humans! I don't know the trends for next year. Could you share with me your top creative bets?" "Hey, humans! Could you help me quantify those few big items? I cannot find any good comparables in the past for them." Result? "Human plus AI" wins, reducing forecast errors by 50 percent. It took one year to finalize the tool. Long, costly and difficult. But profits and benefits were in excess of 100 million of savings per year for that retailer.
Eljött-e az idő, hogy kiiktassuk a beszerzőket a képből? Nem. Ám arra igen, hogy olyan modellt alkossunk, amelyben az emberek nem próbálják meg kitalálni, mikor téved az MI, hanem az MI dolgozik valós, a beszerzőktől származó adatok alapján. Teljesen átalakítottuk a modellt, és attól a kezdetleges interfésztől, amely többé-kevésbé annyi volt: "Hé, ember! Ez az előrejelzésem, javíts ki bármit, amit gondolsz.", eljutottunk egy sokkal értékesebb megoldáshoz, valami ilyesmihez: "Hé, emberek! Fogalmam sincs a jövő évi trendekről. Megosztanák velem legkreatívabb ötleteiket?" "Hé, emberek! Segítenének számosítani azt a néhány nagy tételt? Nincs semmi a múltban, amit összehasonlítási alapként használhatnék." Eredmény? Az "Ember plusz MI" győzedelmeskedik, 50%-kal csökkentve az előrejelzési hibákat. Egy évbe telt tökéletesíteni a megoldást. Hosszadalmas volt, költséges és nehéz. Ám az évenkénti százmilliós megtakarításon túl a kiskereskedő további profitra és előnyökre tett szert.
Seventy percent on very sensitive topics also means human have to decide what is right or wrong and define rules for what AI can do or not, like setting caps on prices to prevent pricing engines [from charging] outrageously high prices to uneducated customers who would accept them. Only humans can define those boundaries -- there is no way AI can find them in past data.
70% igen érzékeny témákban azt is jelenti, hogy az ember kell döntsön jóról és rosszról, és meghatározza, mit tehet az MI és mit nem, például limitet beállítani árakra, így akadályozva meg az árazó robotokat, hogy kiemelkedően magas árakat számoljanak fel aluliskolázott vevőknek, akik amúgy elfogadnák azt. Csak az ember húzhatja meg e határvonalakat – kizárt, hogy ezekre az MI példát találna a múltban.
Some situations are in the gray zone. We worked with a health insurer. He developed an AI engine to identify, among his clients, people who are just about to go to hospital to sell them premium services. And the problem is, some prospects were called by the commercial team while they did not know yet they would have to go to hospital very soon. You are the CEO of this company. Do you stop that program? Not an easy question.
Néhány helyzet a szürke tartományba esik. Dolgoztunk egy egészségügyi biztosítóval. Kifejlesztett egy MI-t, mely azonosította azon klienseit, akik épp kórházba menetel előtt álltak, s így prémiumszolgáltatást adhatott el nekik. A probléma az, hogy néhány lehetséges ügyfelet úgy kerestek meg értékesítők, hogy ők maguk még nem is tudták, hogy hamarosan kórházba kell menniük. Önök e cég ügyvezetői. Leállítanák a programot? Nem könnyű kérdés.
And to tackle this question, some companies are building teams, defining ethical rules and standards to help business and tech teams set limits between personalization and manipulation, customization of offers and discrimination, targeting and intrusion.
Hogy megbirkózzanak vele, pár cég olyan csapatokat állít fel, melyek szabályokkal, alapelvekkel segítik a pénzügyi és műszaki csapatok munkáját, mikor határt szabnak a személyre szabás és a manipuláció, az ajánlatok vevőre szabása és a diszkrimináció, a célba vétel és a túlzó nyomulás között.
I am convinced that in every company, applying AI where it really matters has massive payback. Business leaders need to be bold and select a few topics, and for each of them, mobilize 10, 20, 30 people from their best teams -- tech, AI, data science, ethics -- and go through the full 10-, 20-, 70-percent cycle of "Human plus AI," if they want to land AI effectively in their teams and processes. There is no other way.
Meggyőződésem, hogy minden cég számára, amely MI-t vet be igazán fontos dolgokban, ez nagymértékben kifizetődő. Az üzletembereknek bátran ki kellene választaniuk pár témát, majd mindegyikhez mozgósítaniuk a legjobb csapataikból 10, 20, 30 embert – műszaki, etikai, MI-szakembereket, adattudósokat –, majd a 10, 20 és 70%-os ciklust is lejátszani az "Ember plusz MI" módszerrel, ha szeretnék, hogy az MI hatékony szerepet töltsön be a csapataikban, folyamataikban. Másképp ez nem működhet.
Citizens in developed economies already fear algocracy. Seven thousand were interviewed in a recent survey. More than 75 percent expressed real concerns on the impact of AI on the workforce, on privacy, on the risk of a dehumanized society. Pushing algocracy creates a real risk of severe backlash against AI within companies or in society at large. "Human plus AI" is our only option to bring the benefits of AI to the real world. And in the end, winning organizations will invest in human knowledge, not just AI and data. Recruiting, training, rewarding human experts. Data is said to be the new oil, but believe me, human knowledge will make the difference, because it is the only derrick available to pump the oil hidden in the data.
A fejlett gazdaságok állampolgárai máris tartanak az "algokrácia" lehetőségétől. Hétezer embert kérdeztek meg nemrégiben egy felmérés során. Több mint 75%-uk valós aggodalmát fejezte ki, milyen hatással van az MI a munkaerőre, a privát szférára, milyen kockázatot jelent egy elembertelenedett társadalom. Az "algorácia" erőltetése komoly kockázat az MI elleni támadás szempontjából, mind a cégeken, mind az egész társadalmon belül. Az "Ember plusz MI" az egyetlen lehetőség, hogy az MI jelentette előnyöket a világ is kiélvezhesse. Végül: a szervezetek megnyerése nemcsak az MI vagy az adatokba való befektetést, hanem az emberi tudás fejlesztését is jelenti. A szakemberek toborzását, képzését, jutalmazását. Az adat állítólag az új olaj, ám hiszik vagy sem, az emberi tudás fogja az igazi változást hozni, mert ez az egyetlen elérhető "fúrótorony", mely kinyerheti az adatban rejlő olajat.
Thank you.
Köszönöm.
(Applause)
(Taps)