Let me share a paradox. For the last 10 years, many companies have been trying to become less bureaucratic, to have fewer central rules and procedures, more autonomy for their local teams to be more agile. And now they are pushing artificial intelligence, AI, unaware that cool technology might make them more bureaucratic than ever. Why? Because AI operates just like bureaucracies.
Розкажу один парадокс. За останні 10 років більшість підприємств намагаються позбутися бюрократії, зменшити кількість основних правил і процедур, надати більше автономії місцевим філіям, досягти більшої гнучкості. А зараз вони впроваджують штучний інтелект (ШІ), не розуміючи, що нова технологія призведе до ще більшої бюрократизації. Чому? Тому що ШІ функціонує за принципами бюрократії.
The essence of bureaucracy is to favor rules and procedures over human judgment. And AI decides solely based on rules. Many rules inferred from past data but only rules. And if human judgment is not kept in the loop, AI will bring a terrifying form of new bureaucracy -- I call it "algocracy" -- where AI will take more and more critical decisions by the rules outside of any human control. Is there a real risk? Yes.
Суть бюрократії у тому, що правила та процедури є важливішими за судження людини. А ШІ приймає рішення виключно за правилами. Багато правил виводиться з попередніх даних, проте лише правил. І якщо не брати до уваги людські судження, ШІ призведе до появи жахливої форми нової бюрократії: «алгократії». ШІ прийматиме все більше важливих рішень за правилами незалежно від людини. Чи є тут реальна загроза? Так.
I'm leading a team of 800 AI specialists. We have deployed over 100 customized AI solutions for large companies around the world. And I see too many corporate executives behaving like bureaucrats from the past. They want to take costly, old-fashioned humans out of the loop and rely only upon AI to take decisions. I call this the "human-zero mindset." And why is it so tempting? Because the other route, "Human plus AI," is long, costly and difficult. Business teams, tech teams, data-science teams have to iterate for months to craft exactly how humans and AI can best work together. Long, costly and difficult. But the reward is huge.
Я очолюю команду з 800 фахівців у сфері ШІ. Ми проаналізували понад 100 спеціальних рішень у сфері ШІ для великих компаній по всьому світу. І виявилося, що забагато керівників поводяться, як бюрократи минулого. Вони хочуть позбавитися дорогих, старомодних людських ресурсів і покластися у прийнятті рішень лише на ШІ. Це «без-людський менталітет». І чому ця ідея принадлива? Тому що інший механізм, «Людина плюс ШІ», є довготривалим, вартісним і складним. Команди з питань бізнесу, техніки та обробки даних змушені виконати безліч монотонних операцій, щоб напрацювати механізм втілення взаємодії людини і ШІ. Довготривало, коштовно та складно. Але справа варта того.
A recent survey from BCG and MIT shows that 18 percent of companies in the world are pioneering AI, making money with it. Those companies focus 80 percent of their AI initiatives on effectiveness and growth, taking better decisions -- not replacing humans with AI to save costs.
Останнє опитування від BCG та MIT демонструє, що 18% компаній світу впроваджують ШІ, отримуючи від цього прибуток. Компанії скеровують 80% ШІ на ефективність та розвиток, і приймають виваженіше рішення: не заміняти людей на ШІ для економії коштів.
Why is it important to keep humans in the loop? Simply because, left alone, AI can do very dumb things. Sometimes with no consequences, like in this tweet. "Dear Amazon, I bought a toilet seat. Necessity, not desire. I do not collect them, I'm not a toilet-seat addict. No matter how temptingly you email me, I am not going to think, 'Oh, go on, then, one more toilet seat, I'll treat myself.' "
Чому люди досі залишаються важливим ґвинтиком в механізмі? Все просто, тому що без контролю ШІ здатний до безглуздих речей. Іноді без жодних наслідків як, наприклад, у цьому твіті. «Шановний Amazon, я придбав туалетне сидіння. За необхідністю, а не за бажанням. Я не збираю їх, не захоплююсь туалетними сидіннями. Як би спокусливо не виглядав ваш лист, у мене не з’явиться думка: «О, ну ж бо, придбаю ще одне, розбещу себе».
(Laughter)
(Сміх)
Sometimes, with more consequence, like in this other tweet. "Had the same situation with my mother's burial urn."
Іноді це має неприємні наслідки, як у цьому твіті. «У мене був схожий випадок з урною з прахом моєї мами».
(Laughter)
(Сміх)
"For months after her death, I got messages from Amazon, saying, 'If you liked that ...' "
«Певний час після її смерті я отримував повідомлення від Amazon з текстом «Якщо це вам сподобалось…»»
(Laughter)
(Сміх)
Sometimes with worse consequences. Take an AI engine rejecting a student application for university. Why? Because it has "learned," on past data, characteristics of students that will pass and fail. Some are obvious, like GPAs. But if, in the past, all students from a given postal code have failed, it is very likely that AI will make this a rule and will reject every student with this postal code, not giving anyone the opportunity to prove the rule wrong.
Подекуди наслідки бувають серйозніші. Система ШІ відхилила заяву студента про вступ до університету. Чому? Тому що система спиралась на дані про студентів, які складуть або провалять іспити. Такі дані, як середній бал, є достовірними. Якщо всіх студентів з певним поштовим індексом спіткала невдача, дуже ймовірно, що ШІ наслідує цю модель і відхилить кандидатуру студентів з таким поштовим індексом без можливості довести хибність цієї моделі.
And no one can check all the rules, because advanced AI is constantly learning. And if humans are kept out of the room, there comes the algocratic nightmare. Who is accountable for rejecting the student? No one, AI did. Is it fair? Yes. The same set of objective rules has been applied to everyone. Could we reconsider for this bright kid with the wrong postal code? No, algos don't change their mind.
Ніхто не може перевірити усі правила, адже передовий ШІ постійно розвивається. Якщо людина не втручається, настає алгократичний кошмар. Хто несе відповідальність за відмову студенту? Ніхто, окрім ШІ. Справедливо? Так. Ті самі об’єктивні правила застосовуються до всіх. Чи можемо ми переглянути рішення щодо тієї здібної дитини з нещасливим індексом? Ні, адже алгоритми не змінюють рішень.
We have a choice here. Carry on with algocracy or decide to go to "Human plus AI." And to do this, we need to stop thinking tech first, and we need to start applying the secret formula. To deploy "Human plus AI," 10 percent of the effort is to code algos; 20 percent to build tech around the algos, collecting data, building UI, integrating into legacy systems; But 70 percent, the bulk of the effort, is about weaving together AI with people and processes to maximize real outcome.
У нас є вибір. Жити далі з алгократією або обрати модель «Людина плюс ШІ.» Для цього нам треба припинити мислити механічно, і застосувати нову секретну формулу. При застосуванні моделі «Людина плюс ШІ,» 10% зусиль піде на створення алгоритмів; 20% – на технічні питання: збір даних, розробку інтерфейсу, інтеграцію в традиційні системи. А 70%, тобто більшу частку зусиль, має бути затрачено на поєднання ШІ з людьми та процесами, задля досягнення результату.
AI fails when cutting short on the 70 percent. The price tag for that can be small, wasting many, many millions of dollars on useless technology. Anyone cares? Or real tragedies: 346 casualties in the recent crashes of two B-737 aircrafts when pilots could not interact properly with a computerized command system.
ШІ не працює, якщо скоротити ці 70%. Ціна може бути незначною: змарновані мільйони доларів на непотрібну техніку. Когось це хвилює? Або справжня трагедія: 346 жертв за останні катастрофи двох літаків B-737, коли пілоти не змогли справитися з комп'ютеризованою командною системою.
For a successful 70 percent, the first step is to make sure that algos are coded by data scientists and domain experts together. Take health care for example. One of our teams worked on a new drug with a slight problem. When taking their first dose, some patients, very few, have heart attacks. So, all patients, when taking their first dose, have to spend one day in hospital, for monitoring, just in case. Our objective was to identify patients who were at zero risk of heart attacks, who could skip the day in hospital. We used AI to analyze data from clinical trials, to correlate ECG signal, blood composition, biomarkers, with the risk of heart attack. In one month, our model could flag 62 percent of patients at zero risk. They could skip the day in hospital. Would you be comfortable staying at home for your first dose if the algo said so?
Аби 70% вдались, спочатку треба переконатись, що алгоритми прописані дослідниками й експертами колективно. Візьмемо, наприклад, медичну допомогу. Команда працювала над новими ліками та зіштовхнулась з проблемою. Після першого прийому ліків у деяких пацієнтів розвивається інфаркт. Тому, всі пацієнти після першого прийому цих ліків змушені провести один день у лікарні під наглядом, про всяк випадок. Наша мета була визначити тих пацієнтів, які мали нульовий ризик серцевих нападів, тих хто б міг обійтися без лікарні. Ми використовували ШІ для аналізу клінічних даних, для кореляції ЕКГ, аналізу крові, біомаркерів, з ризиком серцевого нападу. За один місяць наша модель визначила 62 відсотки пацієнтів з нульовим ризиком. Вони могли б обійтися без лікарні. Адже комфортніше залишатися вдома, якщо алгоритм дозволяє?
(Laughter)
(Сміх)
Doctors were not. What if we had false negatives, meaning people who are told by AI they can stay at home, and die?
Лікарі проти. Що робити, якщо результати помилкові, тобто, ШІ рекомендував людям залишитися вдома і померти?
(Laughter)
(Сміх)
There started our 70 percent. We worked with a team of doctors to check the medical logic of each variable in our model. For instance, we were using the concentration of a liver enzyme as a predictor, for which the medical logic was not obvious. The statistical signal was quite strong. But what if it was a bias in our sample? That predictor was taken out of the model. We also took out predictors for which experts told us they cannot be rigorously measured by doctors in real life. After four months, we had a model and a medical protocol. They both got approved my medical authorities in the US last spring, resulting in far less stress for half of the patients and better quality of life. And an expected upside on sales over 100 million for that drug.
Тут переходимо до наших 70 відсотків. Ми працювали з командою лікарів, перевіряли медичну логіку кожної змінної у нашій моделі. Наприклад, ми використовували концентрацію ферменту печінки як показник, для якого медична логіка не була очевидною. Статистичні дані справляли враження. Але що робити, якщо у дослідженні є похибка? Якщо показник просто не врахований? Ми ж не враховували показники, які неможливо точно виміряти у лікарській практиці. Через чотири місяці ми мали модель і медичний протокол. Вони отримали схвалення фахівцями з медицини в США минулої весни. У результаті зменшився стрес для половини з пацієнтів, покращилась якість життя, очікувано продажі цього препарату перевищили 100 мільйонів.
Seventy percent weaving AI with team and processes also means building powerful interfaces for humans and AI to solve the most difficult problems together. Once, we got challenged by a fashion retailer. "We have the best buyers in the world. Could you build an AI engine that would beat them at forecasting sales? At telling how many high-end, light-green, men XL shirts we need to buy for next year? At predicting better what will sell or not than our designers." Our team trained a model in a few weeks, on past sales data, and the competition was organized with human buyers. Result? AI wins, reducing forecasting errors by 25 percent. Human-zero champions could have tried to implement this initial model and create a fight with all human buyers. Have fun. But we knew that human buyers had insights on fashion trends that could not be found in past data.
70 відсотків поєднання ШІ з людьми та процесами означають створення потужних інтерфейсів для вирішення найскладніших проблем людьми та ШІ спільно. Одного разу ми отримали виклик від продавця модного одягу. «У нас найкращі покупці у світі. Чи могли б ви створити механізм ШІ, який переможе їх у прогнозуванні продажів? Щоб визначити, скільки екслюзивних світло-зелених чоловічих сорочок XL нам потрібно придбати на наступний рік? Щоб ми знали краще, що буде продаватися, ніж наші дизайнери». Наша команда створила модель за кілька тижнів, за даними минулих продажів, було організовано змагання з покупцями. Результат? ШІ виграв, зменшуючи похибку прогнозування на 25 відсотків. ШІ міг би спробувати створити модель з нуля і позмагатися з людьми. Весело. Але ми знали, що люди мали уявлення про модні тенденції, це неможливо знайти в минулих даних.
There started our 70 percent. We went for a second test, where human buyers were reviewing quantities suggested by AI and could correct them if needed. Result? Humans using AI ... lose. Seventy-five percent of the corrections made by a human were reducing accuracy.
Тут знову почалися наші 70 відсотків. Наступний етап полягав в аналізі, покупці переглядали кількісні дані, запропоновані ШІ, вносили корективи за потреби. Результат? Люди, які використовують ШІ, програли. Сімдесят п’ять відсотків виправлень, внесених людиною, знизили точність.
Was it time to get rid of human buyers? No. It was time to recreate a model where humans would not try to guess when AI is wrong, but where AI would take real input from human buyers. We fully rebuilt the model and went away from our initial interface, which was, more or less, "Hey, human! This is what I forecast, correct whatever you want," and moved to a much richer one, more like, "Hey, humans! I don't know the trends for next year. Could you share with me your top creative bets?" "Hey, humans! Could you help me quantify those few big items? I cannot find any good comparables in the past for them." Result? "Human plus AI" wins, reducing forecast errors by 50 percent. It took one year to finalize the tool. Long, costly and difficult. But profits and benefits were in excess of 100 million of savings per year for that retailer.
Чи вирішили ми позбутися людей? Ні. Настав час відтворити модель, в якій люди б не намагалися виправляти штучний інтелект, а штучний інтелект використовував би дані від людей. Ми повністю змінили модель, відмовилися від нашого початкового інтерфейсу, щось на кшталт: «Гей, людино! Ось мій прогноз, виправляй його, як тобі заманеться». Ми перейшли до складнішого, на кшталт: «Гей, люди! Я не знаю трендів на наступний рік. Ви не могли б поділитися зі мною своїми прогнозами?» «Гей, люди! Допоможіть мені визначитися з проблемними елементами? Я не можу знайти надійних даних для порівняння». Результат? «Людина плюс ШІ» виграє, Зменшуючи кількість помилок на 50%. Знадобився рік, щоб доопрацювати модель. Довго. Дорого та складно. Але прибутки та переваги перевищили 100 мільйонів на рік у цього продавця.
Seventy percent on very sensitive topics also means human have to decide what is right or wrong and define rules for what AI can do or not, like setting caps on prices to prevent pricing engines [from charging] outrageously high prices to uneducated customers who would accept them. Only humans can define those boundaries -- there is no way AI can find them in past data.
Сімдесят відсотків делікатних тем також означають, що людині вирішувати: що правильно, а що ні, встановлювати правила, що ШІ може робити, а що ні, наприклад, обмежувати ціни, щоб запобігти встановленню надзвичайно високих цін, бо неосвічені клієнти можуть з цим погодитися. Тільки люди можуть визначати ці межі. ШІ не зможе знайти їх у минулих даних.
Some situations are in the gray zone. We worked with a health insurer. He developed an AI engine to identify, among his clients, people who are just about to go to hospital to sell them premium services. And the problem is, some prospects were called by the commercial team while they did not know yet they would have to go to hospital very soon. You are the CEO of this company. Do you stop that program? Not an easy question.
Деякі ситуації у так званій «сірій зоні». Ми працювали з агентом з медичного страхування. Він розробив ШІ, щоб визначати серед своїх клієнтів людей, які скоро потраплять до лікарні, щоб продати їм послуги. Але проблема в тому, що деякі прогнози були замовлені комерційними групами, коли вони ще не знали, що їм буде потрібно звернутися до лікарні дуже скоро. Ви директор цієї компанії. Ви зупините цю програму? Непросте питання.
And to tackle this question, some companies are building teams, defining ethical rules and standards to help business and tech teams set limits between personalization and manipulation, customization of offers and discrimination, targeting and intrusion.
Щоб вирішити це питання, деякі компанії створюють команди, формулюють етичні правила та стандарти, щоб встановити межі між персоналізацією та маніпулюванням, кастомізацією та дискримінацією, пошуком цільової аудиторії та вторгненням.
I am convinced that in every company, applying AI where it really matters has massive payback. Business leaders need to be bold and select a few topics, and for each of them, mobilize 10, 20, 30 people from their best teams -- tech, AI, data science, ethics -- and go through the full 10-, 20-, 70-percent cycle of "Human plus AI," if they want to land AI effectively in their teams and processes. There is no other way.
Я переконаний, що в кожній компанії доцільне застосування ШІ має високу окупність. Керівники бізнесу повинні бути сміливими, обирати кілька тем, і для кожної з них відібрати 10, 20, 30 кращих людей зі своїх команд, техніку, ШІ, методи, етику, пройти повний 10-, 20-, 70- відсотковий цикл «Людина плюс ШІ», якщо вони хочуть ефективно використовувати ШІ. Немає іншого способу.
Citizens in developed economies already fear algocracy. Seven thousand were interviewed in a recent survey. More than 75 percent expressed real concerns on the impact of AI on the workforce, on privacy, on the risk of a dehumanized society. Pushing algocracy creates a real risk of severe backlash against AI within companies or in society at large. "Human plus AI" is our only option to bring the benefits of AI to the real world. And in the end, winning organizations will invest in human knowledge, not just AI and data. Recruiting, training, rewarding human experts. Data is said to be the new oil, but believe me, human knowledge will make the difference, because it is the only derrick available to pump the oil hidden in the data.
Громадяни економічно розвинених країн вже побоюються алгократії. Нещодавно ми опитали сім тисяч кандидатів. Більше 75 відсотків висловили реальне занепокоєння щодо впливу ШІ на робочу силу, приватність, щодо ризику дегуманізованого суспільства. Просування алгократії створює реальний ризик відторгнення ШІ у компаніях і в суспільстві в цілому. «Людина плюс ШІ» – це єдина можливість донести переваги ШІ до реального світу. І врешті-решт, передові організації інвестуватимуть у людські знання, а не лише у ШІ та інформацію. Це навчання, підготовка та оплата праці експертів. Інформація зараз - як нова нафта, але повірте, людські знання мають значення, адже це єдине доступне обладнання для перекачування нафти, яка прихована у знаннях.
Thank you.
Дякую.
(Applause)
(Оплески)