I've had the real fortune of working at Scripps Research for the last 17 years. It's the largest nonprofit biomedical institution in the country. And I've watched some of my colleagues, who have spent two to three years to define the crystal 3-D structure of a protein.
Мне невероятно повезло работать в Scripps Research вот уже 17 лет. Это крупнейшее некоммерческое биомедицинское учреждение в стране. И я наблюдал, как мои коллеги тратили от двух до трёх лет на определение 3D-структуры белка.
Well, now that can be done in two or three minutes. And that's because of the work of AlphaFold, which is a derivative of DeepMind, Demis Hassabis and John Jumper, recognized by the American Nobel Prize in September.
Теперь же это можно сделать за две или три минуты. И всё благодаря программе AlphaFold, разработанной сотрудниками DeepMind Демисом Хассабисом и Джоном Джампером, получившими за это премию Ласкера в сентябре 2023 года.
What's interesting, this work, which is taking the amino acid sequence in one dimension and predicting the three-dimensional protein at atomic level, [has] now inspired many other of these protein structure prediction models, as well as RNA and antibodies, and even being able to pick up all the missense mutations in the genome, and even being able to come up wit proteins that have never been invented before, that don't exist in nature.
Самое интересное, что эта программа, которая берёт одномерную последовательность аминокислот и предсказывает уже трёхмерную структуру белка, вдохновила учёных на создание многих других моделей предсказания, включая модели для РНК и антител, и даже дала возможность выявления всех миссенс-мутаций наравне со способностью моделирования белков, которых раньше никогда не было и не существует в природе.
Now, the only thing I think about this is it was a transformer model, we'll talk about that in a moment, in this award, since Demis and John and their team of 30 scientists don't understand how the transformer model works, shouldn't the AI get an asterisk as part of that award?
Я не перестаю думать об этой модели-трансформере, к которой мы вернёмся чуть позже, именно о её роли в получении премии, поскольку Демис и Джон и их команда из 30 учёных не до конца понимают, как именно трансформер здесь срабатывает, так почему бы не дать ИИ звёздочку как часть этой награды?
I'm going to switch from life science, which has been the singular biggest contribution just reviewed, to medicine. And in the medical community, the thing that we don't talk much about are diagnostic medical errors. And according to the National Academy of Medicine, all of us will experience at least one in our lifetime. And we know from a recent Johns Hopkins study that these errors have led to 800,000 Americans dead or seriously disabled each year. So this is a big problem. And the question is, can AI help us? And you keep hearing about the term “precision medicine.” Well, if you keep making the same mistake over and over again, that's very precise.
Сейчас я переключусь с биологических наук, которые получили невероятный толчок к развитию, на медицину. А в медицинском сообществе мы не очень любим обсуждать ошибки в диагностике. По данным Национальной медицинской академии каждый из нас столкнётся с этим хотя бы раз в жизни. Согласно недавнему исследованию Джонса Хопкинса в результате таких ошибок 800 000 американцев умирают или становятся инвалидами ежегодно. И это серьёзная проблема. Но сможет ли ИИ нам с этим помочь? Мы все слышали такое понятие как «точная медицина». В принципе, если вы ошибаетесь в чём-то снова и снова, это и правда точно.
(Laughter)
(Смех)
We don't need that, we need accuracy and precision medicine. So can we get there?
Но нам нужно не это, нам нужна безошибочная и точная медицина. По силам ли нам это?
Well, this is a picture of the retina. And this was the first major hint, training 100,000 images with supervised learning. Could the machine see things that people couldn't see? And so the question was, to the retinal experts, is this from a man or a woman? And the chance of getting it accurate was 50 percent.
Это снимок сетчатки глаза. Он был ключевым изображением среди 100 000 других при обучении ИИ с учителем. Может ли компьютер увидеть то, что не могут увидеть люди? Мы задали вопрос офтальмологам: это сетчатка глаза мужчины или женщины? Точность их ответов составила 50 процентов.
(Laughter)
(Смех)
But the AI got it right, 97 percent. So that training, the features are not even fully defined of how that was possible. Well that gets then to all of medical images. This is just representative, the chest X-ray. And in fact with the chest X-ray, the ability here for the AI to pick up, the radiologists, expert radiologists missing the nodule, which turned out to be picked up by the AI as cancerous, and this is, of course, representative of all of medical scans, whether it’s CT scans, MRI, ultrasound. That through supervised learning of large, labeled, annotated data sets, we can see AI do at least as well, if not better, than expert physicians.
А точность ответа ИИ составила 97 процентов. И говоря про обучение, мы даже не до конца поняли, как это возможно. И это касается всех медицинских снимков. В качестве примера возьмём рентген грудной клетки. На этом снимке ИИ смог обнаружить то, что опытные рентгенологи не заметили, а именно, узелок, который ИИ определил как злокачественный, и это применимо ко всем медицинским снимкам, будь то компьютерная томография, МРТ или УЗИ. Оценивая результаты обучения ИИ с учителем с заранее отобранным набором данных, мы видим, что по эффективности ИИ не уступает, если не превосходит опытных врачей.
And 21 randomized trials of picking up polyps -- machine vision during colonoscopy -- have all shown that polyps are picked up better with the aid of machine vision than by the gastroenterologist alone, especially as the day goes on, later in the day, interestingly. We don't know whether picking up all these additional polyps changes the natural history of cancers, but it tells you about machine eyes, the power of machine eyes.
А 21 рандомизированное клиническое исследование по выявлению полипов с помощью машинного зрения во время колоноскопии показало, что полипы легче выявляются именно с помощью машинного зрения, нежели одним лишь гастроэнтерологом, особенно ближе к концу рабочего дня, что примечательно. Мы не знаем, позволит ли такой способ обнаружения полипов изменить «естественную историю» роста рака, но это многое говорит о машинном зрении, о его возможностях.
Now that was interesting. But now still with deep learning models, not transformer models, we've seen and learned that the ability for computer vision to pick up things that human eyes can't see is quite remarkable. Here's the retina. Picking up the control of diabetes and blood pressure. Kidney disease. Liver and gallbladder disease. The heart calcium score, which you would normally get through a scan of the heart. Alzheimer's disease before any clinical symptoms have been manifest. Predicting heart attacks and strokes. Hyperlipidemia. And seven years before any symptoms of Parkinson's disease, to pick that up. Now this is interesting because in the future, we'll be taking pictures of our retina at checkups. This is the gateway to almost every system in the body. It's really striking. And we'll come back to this because each one of these studies was done with tens or hundreds [of] thousands of images with supervised learning, and they’re all separate studies by different investigators.
И это очень интересно. Применяя модели глубокого обучения, не конкретно трансформеры, мы поняли, что возможности машинного зрения превосходят возможности человеческого глаза весьма существенно. Это сетчатка глаза. С её помощью мы можем контролировать диабет и артериальное давление. Заболевания почек. Заболевания печени и желчного пузыря. Определить уровень коронарного кальция, что обычно делается с помощью компьютерной томографии сердца. Распознать болезнь Альцгеймера до появления первых симптомов. Предвидеть сердечные приступы и инсульты. Гиперлипидемию. И болезнь Паркинсона за семь лет до появления симптомов, вот на что мы способны. Это важно, потому что в будущем мы будем делать снимки сетчатки во время осмотров. Так мы получаем доступ почти ко всем органам. Поразительно. Мы ещё к этому вернёмся, потому что все эти исследования проводились с использованием десятков или сотен тысяч изображений при обучении ИИ с учителем отдельно и независимо различными исследователями.
Now, as a cardiologist, I love to read cardiograms. I've been doing it for over 30 years. But I couldn't see these things. Like, the age and the sex of the patient, or the ejection fraction of the heart, making difficult diagnoses that are frequently missed. The anemia of the patient, that is, the hemoglobin to the decimal point. Predicting whether a person, who's never had atrial fibrillation or stroke from the ECG, whether that's going to likely occur. Diabetes, a diagnosis of diabetes and prediabetes, from the cardiogram. The filling pressure of the heart. Hypothyroidism and kidney disease. Imagine getting an electrocardiogram to tell you about all these other things, not really so much about the heart.
Как кардиолог, я люблю расшифровывать кардиограммы. Я занимаюсь этим уже более 30 лет. Но даже я в чём-то тут бессилен. Например, узнать возраст и пол пациента или оценить фракцию выброса сердца, или распознать очень сложные диагнозы, которые часто упускаются. Выявить анемию, определив уровень гемоглобина с точностью до десятых. Оценить у пациента без нарушений сердечного ритма или случаев инсульта по его ЭКГ риск их возникновения. Заподозрить диабет или преддиабет по кардиограмме. Определить давление в правом предсердии. Гипотиреоз и заболевания почек. Представьте себе ЭКГ, которая может рассказать обо всём этом, что выходит далеко за пределы сердца.
Then there's the chest X-ray. Who would have guessed that we could accurately determine the race of the patient, no less the ethical implications of that, from a chest X-ray through machine eyes? And interestingly, picking up the diagnosis of diabetes, as well as how well the diabetes is controlled, through the chest X-ray. And of course, so many different parameters about the heart, which we could never, radiologists or cardiologists, could never be able to come up with what machine vision can do.
Или рентген грудной клетки. Кто бы мог подумать, что по нему можно точно определить расу пациента, не отвлекаясь на этические аспекты, ведь на снимок смотрит машина? Или же поставить диагноз диабета и понять, насколько хорошо контролируется заболевание, только взглянув на рентген. Существует много разных параметров сердечной деятельности, которые мы бы никогда не смогли, рентгенологи или кардиологи, никогда бы не смогли увидеть их здесь, но которые всегда увидит компьютер.
Pathologists often argue about a slide, about what does it really show? But with this ability of machine eyes, the driver genomic mutations of the cancer can be defined, no less the structural copy number variants that are accounting or present in that tumor. Also, where is that tumor coming from? For many patients, we don’t know. But it can be determined through AI. And also the prognosis of the patient, just from the slide, by all of the training. Again, this is all just convolutional neural networks, not transformer models.
Патологи часто спорят об этом слайде, что тут изображено на самом деле? С помощью же машинного зрения стало возможным определить здесь драйверные мутации, а также вариации числа копий генов, присутствующие в опухоли. Да и откуда взялась эта опухоль? В большинстве случаев мы не знаем. Но теперь это возможно определить с помощью искусственного интеллекта. А также сделать прогноз для пациента просто по этому изображению посредством обучения компьютера. Опять же, это всё касается свёрточных нейронных сетей, а не трансформеров.
So when we go from the deep neural networks to transformer models, this classic pre-print, one of the most cited pre-prints ever, "Attention is All You Need," the ability to now be able to look at many more items, whether it be language or images, and be able to put this in context, setting up a transformational progress in many fields.
Переходя от глубоких нейронных сетей к трансформерам, посмотрим на этот препринт, один из наиболее цитируемых когда-либо: «Вам нужно лишь внимание», и теперь мы можем учитывать множество элементов последовательности, будь то текст или изображения, и рассматривать их в контексте, способствуя прогрессу трансформации в различных областях.
The prototype is, the outgrowth of this is GPT-4. With over a trillion connections. Our human brain has 100 trillion connections or parameters. But one trillion, just think of all the information, knowledge, that's packed into those one trillion. And interestingly, this is now multimodal with language, with images, with speech. And it involves a massive amount of graphic processing units. And it's with self-supervised learning, which is a big bottleneck in medicine because we can't get experts to label images. This can be done with self-supervised learning.
Так и появилась модель GPT-4. С более чем триллионом параметров. Мозг человека имеет 100 триллионов синапсов или параметров. Но один триллион, только представьте себе информацию и знания, которые заключены в этом триллионе. Такая мультимодальная модель обрабатывает текст, изображения и речь. И для этого задействуется огромное количество графических процессоров. А также она автоматически обучается, но в сфере медицины это спорный момент, ведь мы не задействуем экспертов для маркировки изображений. Так как это осуществляется самим компьютером.
So what does this set up in medicine? It sets up, for example, keyboard liberation. The one thing that both doctors, clinicians and patients would like to see. Everyone hates being data clerks as clinicians, and patients would like to see their doctor when they finally have the visit they've waited for a long time. So the ability to change the face-to-face contact is just one step along the way. By having the liberation from keyboards with synthetic notes that are driven, derived from the conversation, and then all the downstream normal data clerk functions that are done, often off-hours. Now we're seeing in health systems across the United States where people, physicians are saving many hours of time and heading towards ultimately keyboard liberation.
Как же это использовать в медицине? Например, это позволит больше не вносить данные в компьютер вручную. Что порадует как врачей и медсестёр, так и пациентов. Врачи не любят превращаться в канцелярских работников, а пациенты хотят видеть своего врача во время назначенного визита, который они так долго ждали. И личное общение лицом к лицу является лишь первым шагом. Благодаря освобождению от вбивания в компьютер данных, получаемых при разговоре с пациентом, и прекращению исполнения прочих канцелярских обязанностей, это не крадёт рабочее время. И мы уже видим, как в американской системе здравоохранения люди значительно экономят время и всё идёт к полному избавлению от внесения данных вручную.
We recently published, with the group at Moorfields Eye Institute, led by Pearse Keane, the first foundation model in medicine from the retina. And remember those eight different things that were all done by separate studies? This was all done with one model. This is with 1.6 million retinal images predicting all these different outcome likelihoods. And this is all open-source, which is of course really important that others can build on these models.
Мы с коллегами из офтальмологической клиники Moorfields недавно опубликовали под руководством Пирса Кина первую медицинскую базовую модель на основе снимков сетчатки. Помните, мы говорили об исследованиях, проводившихся независимо друг от друга? Для всех использовалась одна модель. Так на основе 1,6 миллиона изображений сетчатки глаза можно предсказать все эти вероятные развития событий. У программы открытый исходный код, ведь важно, чтобы другие тоже могли использовать эти модели.
Now I just want to review a couple of really interesting patients. Andrew, who is now six years old. He had three years of relentlessly increasing pain, arrested growth. His gait suffered with a dragging of his left foot, he had severe headaches. He went to 17 doctors over three years. His mother then entered all his symptoms into ChatGPT. It made the diagnosis of occulta spina bifida, which meant he had a tethered spinal cord that was missed by all 17 doctors over three years. He had surgery to release the cord. He's now perfectly healthy.
Теперь я хочу рассказать о паре интересных случаев из практики. Эндрю, которому сейчас шесть лет. На протяжении трёх лет он постоянно чувствовал боль и страдал задержкой роста. При ходьбе он волочил левую ногу и испытывал ужасную головную боль. За три года он обратился к 17 врачам. Затем его мать перечислила все его симптомы в ChatGPT. В ответ высветился диагноз «скрытое расщепление позвоночника», а именно синдром фиксированного спинного мозга, который все 17 врачей упускали три года. Ему сделали операцию на спинном мозге. Теперь он совершенно здоров.
(Applause)
(Аплодисменты)
This is a patient that was sent to me, who was suffering with, she was told, long COVID. She saw many different physicians, neurologists, and her sister entered all her symptoms after getting nowhere, no treatment for long COVID, there is no treatment validated, and her sister put all her symptoms into ChatGPT. It found out it actually was not long COVID, she had limbic encephalitis, which is treatable. She was treated, and now she's doing extremely well.
Ко мне также направили пациентку, у которой был постковидный синдром, как её заверили. Она обращалась к разным врачам, неврологам, а её сестра решила перечислить ИИ все её симптомы, зайдя в тупик: лонг-ковид не лечится, эффективного лечения пока нет, и сестра написала все её симптомы в ChatGPT. Оказалось, дело было не в постковидном синдроме, а в лимбическом энцефалите, который излечим. Ей оказали помощь, и сейчас она в полном порядке.
But these are not just anecdotes anymore. 70 very difficult cases that are the clinical pathologic conferences at the New England Journal of Medicine were compared to GPT-4, and the chatbot did as well or better than the expert master clinicians in making the diagnosis.
И это уже не шутки. 70 крайне сложных диагнозов, рассмотренных на клинико-патологоанатомических конференциях и в Медицинском журнале Новой Англии, сравнили с диагнозами от GPT-4, и чат-бот справился так же хорошо или даже лучше, нежели опытные врачи, с постановкой диагноза.
So I just want to close with a recent conversation with my fellow. Medicine is still an apprenticeship, and Andrew Cho is 30 years old, in his second year of cardiology fellowship. We see all patients together in the clinic. And at the end of clinic the other day, I sat down and said to him, "Andrew, you are so lucky. You're going to be practicing medicine in an era of keyboard liberation. You're going to be connecting with patients the way we haven't done for decades." That is the ability to have the note and the work from the conversation to derive things like pre-authorization, billing, prescriptions, future appointments -- all the things that we do, including nudges to the patient. For example, did you get your blood pressure checks and what did they show and all that coming back to you. But much more than that, to help with making diagnoses. And the gift of time that having all the data of a patient that's all teed up before even seeing the patient. And all this support changes the future of the patient-doctor relationship, bringing in the gift of time. So this is really exciting. I said to Andrew, everything has to be validated, of course, that the benefit greatly outweighs any risk. But it is really a remarkable time for the future of health care, it's so damn exciting.
В завершение я хочу поделиться своим недавним разговором с коллегой. Медицина всё ещё развивается, Эндрю Чо сейчас 30 лет, он второй год учится на кардиолога. Мы вместе принимаем пациентов в клинике. И вот однажды в конце рабочего дня я сел и сказал ему: «Эндрю, тебе так повезло. Совсем скоро тебе больше не придётся вбивать данные в компьютер руками. Ты сможешь общаться с пациентами, чего не было уже долгое время». Это возможность иметь уже внесённые данные о пациенте, лично беседовать с ним на приёме и делегировать машине предварительное уведомление страховой компании, выставления счёта, выписку рецепта, повторную запись на приём, всё то, что мы делаем сами, включая сопровождение пациента. Проверяли ли вы показатели артериального давления? И что они показали? Вы сразу получаете результаты. Но гораздо важнее этого помощь в постановке диагнозов. И настоящий подарок нашего времени в том, чтобы уже иметь все данные о пациенте, которые обрабатываются ещё до самого приёма. Всё это меняет будущие отношения между пациентом и врачом, если использовать такой технологический дар. Это потрясающе. Я сказал Эндрю, что, конечно, всё должно быть контролируемо, чтобы польза значительно перевешивала любой риск. Но сейчас замечательное время для формирования будущего здравоохранения, и оно чертовски захватывающее.
Thank you.
Спасибо.
(Applause)
(Аплодисменты)