Let me share a paradox. For the last 10 years, many companies have been trying to become less bureaucratic, to have fewer central rules and procedures, more autonomy for their local teams to be more agile. And now they are pushing artificial intelligence, AI, unaware that cool technology might make them more bureaucratic than ever. Why? Because AI operates just like bureaucracies.
Позвольте поделиться парадоксом. Последние 10 лет многие компании стараются быть менее бюрократичными, иметь меньше общих правил и уставов, больше независимости для команд для большей гибкости. Теперь они продвигают искусственный интеллект (ИИ), не задумываясь о том, что крутые технологии могут сделать их бюрократичнее, чем когда-либо. Почему? Потому что ИИ работает точно так же, как бюрократия.
The essence of bureaucracy is to favor rules and procedures over human judgment. And AI decides solely based on rules. Many rules inferred from past data but only rules. And if human judgment is not kept in the loop, AI will bring a terrifying form of new bureaucracy -- I call it "algocracy" -- where AI will take more and more critical decisions by the rules outside of any human control. Is there a real risk? Yes.
Суть бюрократии в том, что правила и процедуры ставятся превыше человеческого мнения. ИИ принимает решения только в соответствии с правилами. Со множеством правил, основанных на прошлых данных, — но только правил. И если процесс происходит без человеческой оценки, ИИ породит новую ужасающую форму бюрократии. Я называю её «алгократия». ИИ будет принимать всё более важные решения по правилам и без какого-либо контроля со стороны человека. Есть ли в этом реальный риск? Да.
I'm leading a team of 800 AI specialists. We have deployed over 100 customized AI solutions for large companies around the world. And I see too many corporate executives behaving like bureaucrats from the past. They want to take costly, old-fashioned humans out of the loop and rely only upon AI to take decisions. I call this the "human-zero mindset." And why is it so tempting? Because the other route, "Human plus AI," is long, costly and difficult. Business teams, tech teams, data-science teams have to iterate for months to craft exactly how humans and AI can best work together. Long, costly and difficult. But the reward is huge.
Я руковожу командой из 800 специалистов по ИИ. Мы развернули более 100 уникальных решений с использованием ИИ для крупных компаний по всему миру. И я вижу так много топ-менеджеров, ведущих себя как бюрократы из прошлого. Они хотят отказаться от дорогостоящих, старомодных людей и положиться только на решения, которые принимает ИИ. Я называю это «бесчеловечный подход». Почему это так заманчиво? Потому что другой путь — «Человек плюс ИИ» — долгий, дорогой и сложный. Команды сотрудников от бизнеса, ИТ и анализа данных должны работать месяцами, чтобы вручную подобрать наилучшую комбинацию из ИИ и людей. Долго, дорого и сложно. Но награда того стоит.
A recent survey from BCG and MIT shows that 18 percent of companies in the world are pioneering AI, making money with it. Those companies focus 80 percent of their AI initiatives on effectiveness and growth, taking better decisions -- not replacing humans with AI to save costs.
Недавнее исследование консалтинговой группы BCG и университета MIT показало, что 18% компаний в мире являются первопроходцами в сфере ИИ, зарабатывая на этом. Эти компании фокусируют 80% инициатив в сфере ИИ на эффективности и развитии, принятии оптимальных решений, а не замене людей на ИИ в целях экономии.
Why is it important to keep humans in the loop? Simply because, left alone, AI can do very dumb things. Sometimes with no consequences, like in this tweet. "Dear Amazon, I bought a toilet seat. Necessity, not desire. I do not collect them, I'm not a toilet-seat addict. No matter how temptingly you email me, I am not going to think, 'Oh, go on, then, one more toilet seat, I'll treat myself.' "
Почему так важно участие людей? Просто потому, что ИИ без присмотра может делать глупости. Например, что-то без особых последствий, как в этом твите. «Добрый день, Amazon. Я купил туалетное сиденье. По необходимости, а не из прихоти. Я их не коллекционирую, и я не заядлый любитель туалетных сидений. Как бы заманчиво не выглядели ваши письма, я не стану думать: «Ну так и быть, куплю ещё одно сиденье, побалую себя».
(Laughter)
(Смех)
Sometimes, with more consequence, like in this other tweet. "Had the same situation with my mother's burial urn."
Иногда это влечёт больше последствий, как в этом твите. «Был в такой же ситуации, купив погребальную урну для матери.
(Laughter)
(Смех)
"For months after her death, I got messages from Amazon, saying, 'If you liked that ...' "
Месяцами после её смерти я получал сообщения от Amazon "Если вам понравился этот товар..."»
(Laughter)
(Смех)
Sometimes with worse consequences. Take an AI engine rejecting a student application for university. Why? Because it has "learned," on past data, characteristics of students that will pass and fail. Some are obvious, like GPAs. But if, in the past, all students from a given postal code have failed, it is very likely that AI will make this a rule and will reject every student with this postal code, not giving anyone the opportunity to prove the rule wrong.
Иногда последствия могут быть хуже. Взять, к примеру, ИИ, отклоняющий заявки на поступление в университет. Почему? Потому что он вычислил на предыдущих данных характеристики успешных и неуспешных студентов. Некоторые очевидные, например средний балл. Но если в прошлом все студенты с одним почтовым индексом не прошли, то весьма вероятно, что ИИ примет это за правило и откажет каждому студенту с этим почтовым индексом, не давая никому возможности опровергнуть это правило.
And no one can check all the rules, because advanced AI is constantly learning. And if humans are kept out of the room, there comes the algocratic nightmare. Who is accountable for rejecting the student? No one, AI did. Is it fair? Yes. The same set of objective rules has been applied to everyone. Could we reconsider for this bright kid with the wrong postal code? No, algos don't change their mind.
При этом никто не может проверить все правила, потому что продвинутый ИИ постоянно учится. И если люди остаются в стороне, наступает алгократический кошмар. Кто в ответе за отказ студенту? Никто, это ИИ отказал. Это честно? Да. Один и тот же набор объективных правил применили ко всем. Можно ли всё-таки принять одарённого ребёнка с неудачным почтовым индексом? Нет, алгоритм не может передумать.
We have a choice here. Carry on with algocracy or decide to go to "Human plus AI." And to do this, we need to stop thinking tech first, and we need to start applying the secret formula. To deploy "Human plus AI," 10 percent of the effort is to code algos; 20 percent to build tech around the algos, collecting data, building UI, integrating into legacy systems; But 70 percent, the bulk of the effort, is about weaving together AI with people and processes to maximize real outcome.
У нас есть выбор. Продолжать алгократию или выбрать подход «Человек плюс ИИ». И для этого мы должны перестать думать в первую очередь о технологиях и начать применять секретную формулу. Чтобы применить подход «Человек плюс ИИ», 10% усилий уйдёт на создание алгоритмов, 20% — на технологии вокруг алгоритмов, сбор данных, разработку интерфейса, интеграцию с унаследованными системами, но 70% — большинство усилий — уйдёт на то, чтобы переплести ИИ, людей и процессы, чтобы получить максимальный результат.
AI fails when cutting short on the 70 percent. The price tag for that can be small, wasting many, many millions of dollars on useless technology. Anyone cares? Or real tragedies: 346 casualties in the recent crashes of two B-737 aircrafts when pilots could not interact properly with a computerized command system.
ИИ терпит неудачу, если урезать эти 70%. Возможно, ценник при этом будет низкий — миллионы долларов, потраченные впустую на бесполезные технологии. Кого-то это волнует? Возможны и реальные трагедии: 346 погибших в результате крушения двух «Боингов-737», когда пилоты не справились с компьютерной системой управления.
For a successful 70 percent, the first step is to make sure that algos are coded by data scientists and domain experts together. Take health care for example. One of our teams worked on a new drug with a slight problem. When taking their first dose, some patients, very few, have heart attacks. So, all patients, when taking their first dose, have to spend one day in hospital, for monitoring, just in case. Our objective was to identify patients who were at zero risk of heart attacks, who could skip the day in hospital. We used AI to analyze data from clinical trials, to correlate ECG signal, blood composition, biomarkers, with the risk of heart attack. In one month, our model could flag 62 percent of patients at zero risk. They could skip the day in hospital. Would you be comfortable staying at home for your first dose if the algo said so?
Первый шаг к успешным 70% — это алгоритмы, созданные специалистами по анализу данных совместно с экспертами в данной области. Рассмотрим, к примеру, здравоохранение. Одна из наших команд работала над новым лекарством с маленьким недостатком. При приёме первой дозы у некоторых пациентов, очень немногих, случался инфаркт. Поэтому все пациенты при приёме первой дозы должны были провести один день в стационаре под наблюдением, на всякий случай. Нашей целью было определить пациентов с нулевой вероятностью инфаркта, которым не нужен этот день в стационаре. Мы использовали ИИ для анализа данных клинических испытаний, чтобы соотнести результаты ЭКГ, анализ крови и биомаркеры с риском инфаркта. Всего за месяц наша модель смогла выделить 62% пациентов с нулевым риском. Они могли не проводить день в стационаре. Вы бы хотели остаться дома, принимая первую дозу, если так сказал алгоритм?
(Laughter)
(Смех)
Doctors were not. What if we had false negatives, meaning people who are told by AI they can stay at home, and die?
Врачи были против. Что, если мы получили ложноотрицательный результат, то есть ИИ разрешил людям остаться дома и умереть?
(Laughter)
(Смех)
There started our 70 percent. We worked with a team of doctors to check the medical logic of each variable in our model. For instance, we were using the concentration of a liver enzyme as a predictor, for which the medical logic was not obvious. The statistical signal was quite strong. But what if it was a bias in our sample? That predictor was taken out of the model. We also took out predictors for which experts told us they cannot be rigorously measured by doctors in real life. After four months, we had a model and a medical protocol. They both got approved my medical authorities in the US last spring, resulting in far less stress for half of the patients and better quality of life. And an expected upside on sales over 100 million for that drug.
Здесь начались наши 70%. Мы работали с командой врачей, чтобы проверить медицинский смысл каждой переменной в нашей модели. Например, мы использовали концентрацию одного из ферментов печени как один из параметров, медицинская логика для которого была не очевидна. Статистически сигнал был довольно уверенный. Но что, если это всего лишь ограничение в наших данных? Мы исключили этот параметр из нашей модели. Мы также исключили параметры, которые, согласно оценке экспертов, невозможно точно измерить в реальности. Четыре месяца спустя у нас была модель и медицинский протокол. И они были одобрены органами здравоохранения США прошлой весной, что значительно уменьшило стресс для половины пациентов и улучшило их качество жизни. Потенциальный рост продаж этого лекарства — более 100 миллионов.
Seventy percent weaving AI with team and processes also means building powerful interfaces for humans and AI to solve the most difficult problems together. Once, we got challenged by a fashion retailer. "We have the best buyers in the world. Could you build an AI engine that would beat them at forecasting sales? At telling how many high-end, light-green, men XL shirts we need to buy for next year? At predicting better what will sell or not than our designers." Our team trained a model in a few weeks, on past sales data, and the competition was organized with human buyers. Result? AI wins, reducing forecasting errors by 25 percent. Human-zero champions could have tried to implement this initial model and create a fight with all human buyers. Have fun. But we knew that human buyers had insights on fashion trends that could not be found in past data.
Переплетение ИИ с командой и процессами на 70% также означает создание эффективных интерфейсов, чтобы люди и ИИ решали самые сложные задачи совместно. Однажды мы получили сложное задание от розничной сети модной одежды. «У нас лучшие байеры в мире. Вы сможете построить ИИ, который обойдёт их в предсказании продаж? В предсказании, сколько дорогостоящих светло-зелёных мужских рубашек размера XL нам нужно закупить на следующий год? Который лучше предскажет, что мы продадим, а что нет, чем наши дизайнеры». Наша команда за несколько недель обучила модель на исторических данных и организовала соревнование с байерами-людьми. Какой результат? ИИ победил, уменьшив ошибку в прогнозах на 25%. Сторонники бесчеловечного подхода попытались бы применить эту первую модель и устроить состязание со всеми байерами-людьми. Развлекайтесь. Но мы знали, что байеры-люди обладают пониманием модных трендов, которые нельзя найти в прошлых данных.
There started our 70 percent. We went for a second test, where human buyers were reviewing quantities suggested by AI and could correct them if needed. Result? Humans using AI ... lose. Seventy-five percent of the corrections made by a human were reducing accuracy.
Здесь начались наши 70%. Мы запустили следующий тест, где байеры-люди оценивали количества, предложенные ИИ, и могли скорректировать их при необходимости. Что в результате? Люди, использующие ИИ, проиграли. 75% поправок, сделанных человеком, уменьшали точность.
Was it time to get rid of human buyers? No. It was time to recreate a model where humans would not try to guess when AI is wrong, but where AI would take real input from human buyers. We fully rebuilt the model and went away from our initial interface, which was, more or less, "Hey, human! This is what I forecast, correct whatever you want," and moved to a much richer one, more like, "Hey, humans! I don't know the trends for next year. Could you share with me your top creative bets?" "Hey, humans! Could you help me quantify those few big items? I cannot find any good comparables in the past for them." Result? "Human plus AI" wins, reducing forecast errors by 50 percent. It took one year to finalize the tool. Long, costly and difficult. But profits and benefits were in excess of 100 million of savings per year for that retailer.
Означало ли это, что надо избавиться от байеров-людей? Нет. Это означало, что надо переделать модель, чтобы люди не пытались угадать, где ИИ ошибся, а напротив, чтобы ИИ получал реальные входные данные от байеров-людей. Мы полностью перестроили модель и ушли от изначального интерфейса, который был из серии «Эй, человек! Вот что я прогнозирую, поправь, как ты хочешь», и пришли к более продвинутому вроде «Эй, люди! Я не знаю тренды на следующий год. Вы могли бы поделиться своим самыми креативными догадками?» «Эй, люди! Вы могли бы помочь мне с количеством этих больших вещей? Я не могу найти для них хорошего соответствия в исторических данных». Что в итоге? «Человек плюс ИИ» побеждает, уменьшая ошибки в предсказании на 50%. Год ушёл на то, чтобы доделать инструмент. Долго, дорого и сложно. Но выгода и польза оказались свыше 100 миллионов экономии в год для этой розничной сети.
Seventy percent on very sensitive topics also means human have to decide what is right or wrong and define rules for what AI can do or not, like setting caps on prices to prevent pricing engines [from charging] outrageously high prices to uneducated customers who would accept them. Only humans can define those boundaries -- there is no way AI can find them in past data.
Относительно сложных тем, 70% также означают, что человек должен решить, что правильно, а что — нет, и определить правила, что разрешено делать ИИ, а что — нет, например, ограничить цены, чтобы механизм формирования цен не мог выставить возмутительно высокие цены ничего не подозревающим покупателям, которые бы согласились на покупку. Только люди могут очертить эти границы. ИИ никоим образом не сможет найти их в исторических данных.
Some situations are in the gray zone. We worked with a health insurer. He developed an AI engine to identify, among his clients, people who are just about to go to hospital to sell them premium services. And the problem is, some prospects were called by the commercial team while they did not know yet they would have to go to hospital very soon. You are the CEO of this company. Do you stop that program? Not an easy question.
Некоторые ситуации весьма неоднозначны. Мы работали на агентство медицинского страхования. Оно разработало механизм ИИ, чтобы выделить среди клиентов тех, кто мог вскоре попасть в больницу, чтобы продать им премиальную страховку. Проблема в том, что некоторых потенциальных клиентов обзванивали в тот момент, когда они сами не подозревали, что скоро им придётся обратиться за медицинской помощью. Представьте себя директором этой компании. Вы бы закрыли эту программу? Вопрос непростой.
And to tackle this question, some companies are building teams, defining ethical rules and standards to help business and tech teams set limits between personalization and manipulation, customization of offers and discrimination, targeting and intrusion.
И, чтобы разобраться с этим вопросом, некоторые компании собирают команды, задающие этические правила и стандарты, помогая бизнесу и ИТ установить границы между персонализацией и манипуляцией, подбором предложений и дискриминацией, целевым маркетингом и вторжением в личную жизнь.
I am convinced that in every company, applying AI where it really matters has massive payback. Business leaders need to be bold and select a few topics, and for each of them, mobilize 10, 20, 30 people from their best teams -- tech, AI, data science, ethics -- and go through the full 10-, 20-, 70-percent cycle of "Human plus AI," if they want to land AI effectively in their teams and processes. There is no other way.
Я убеждён, что в каждой компании применение ИИ там, где это имеет смысл, приносит огромный успех. Бизнес-лидеры должны проявить смелость и выбрать несколько тем, и для каждой из них выделить 10, 20, 30 человек из лучших команд ИТ, ИИ, аналитиков данных, этиков и пройти полный 10-, 20-, 70-процентный цикл «Человек плюс ИИ», если они хотят эффективно внедрить ИИ в свои команды и процессы. Другого способа нет.
Citizens in developed economies already fear algocracy. Seven thousand were interviewed in a recent survey. More than 75 percent expressed real concerns on the impact of AI on the workforce, on privacy, on the risk of a dehumanized society. Pushing algocracy creates a real risk of severe backlash against AI within companies or in society at large. "Human plus AI" is our only option to bring the benefits of AI to the real world. And in the end, winning organizations will invest in human knowledge, not just AI and data. Recruiting, training, rewarding human experts. Data is said to be the new oil, but believe me, human knowledge will make the difference, because it is the only derrick available to pump the oil hidden in the data.
Граждане экономически развитых стран уже боятся алгократии. Недавно 7 тысяч респондентов прошли опрос. Более 75% опрошенных беспокоит влияние ИИ на рынок труда, частную жизнь и риск сделать общество бесчеловечным. Поощряя алгократию, мы рискуем получить негативную реакцию на ИИ внутри компаний и в обществе в целом. «Человек плюс ИИ» — наш единственный способ принести пользу ИИ в реальный мир. И в итоге победившие организации будут инвестировать в человеческие знания, а не только в ИИ и данные. В найм, обучение и поощрение людей-экспертов. Говорят, что данные — это новая нефть, но поверьте мне, человеческие знания играют решающую роль, потому что это единственная буровая вышка, которая позволит выкачать нефть, сокрытую в данных.
Thank you.
Спасибо.
(Applause)
(Аплодисменты)