Ich habe das Glück, seit 17 Jahren bei Scripps Research zu arbeiten, der größten gemeinnützigen biomedizinischen Einrichtung des Landes. Und ich habe einige Kollegen beobachtet, die zwei bis drei Jahre lang die kristalline 3D-Struktur eines Proteins definiert haben.
I've had the real fortune of working at Scripps Research for the last 17 years. It's the largest nonprofit biomedical institution in the country. And I've watched some of my colleagues, who have spent two to three years to define the crystal 3-D structure of a protein.
Das funktioniert jetzt in zwei oder drei Minuten. Und zwar wegen der Arbeit von AlphaFold, einer Weiterentwicklung von DeepMind, [von] Demis Hassabis und John Jumper, die im September mit dem amerikanischen Nobelpreis ausgezeichnet wurde.
Well, now that can be done in two or three minutes. And that's because of the work of AlphaFold, which is a derivative of DeepMind, Demis Hassabis and John Jumper, recognized by the American Nobel Prize in September.
Interessanterweise inspiriert diese Arbeit, bei der aus der eindimensionalen Aminosäuresequenz das dreidimensionale Protein auf atomarer Ebene vorhergesagt wird, inzwischen viele andere Modelle zur Vorhersage von Proteinstrukturen, RNA und Antikörpern und ist sogar in der Lage, alle Fehlmutationen im Genom zu erfassen und Proteine zu entwickeln, die nie zuvor erfunden wurden und in der Natur nicht vorkommen.
What's interesting, this work, which is taking the amino acid sequence in one dimension and predicting the three-dimensional protein at atomic level, [has] now inspired many other of these protein structure prediction models, as well as RNA and antibodies, and even being able to pick up all the missense mutations in the genome, and even being able to come up wit proteins that have never been invented before, that don't exist in nature.
Ich denke, dass es einfach ein Transformermodell war. Wir sprechen gleich darüber. Sollte bei dieser Auszeichnung – da Demis und John und ihr Team von 30 Wissenschaftlern nicht verstehen, wie das Transformermodell funktioniert –, sollte die KI in diesem Rahmen nicht ein Sternchen bekommen?
Now, the only thing I think about this is it was a transformer model, we'll talk about that in a moment, in this award, since Demis and John and their team of 30 scientists don't understand how the transformer model works, shouldn't the AI get an asterisk as part of that award?
Ich werde von den Biowissenschaften, die hier den größten Beitrag geleistet haben, zur Medizin übergehen. In der medizinischen Fachwelt spricht man nicht viel über Diagnostikfehler. Laut der National Academy of Medicine machen wir alle in unserem Leben mindestens einen. Eine aktuelle Johns-Hopkins-Studie besagt, dass diese Fehler in den USA jährlich zu 800.000 Todesfällen oder schweren Behinderungen führen. Das ist ein großes Problem. Und die Frage lautet: Kann KI uns helfen? Immer wieder hört man den Begriff „Präzisionsmedizin“. Wenn man immer wieder denselben Fehler macht, ist das sehr präzise.
I'm going to switch from life science, which has been the singular biggest contribution just reviewed, to medicine. And in the medical community, the thing that we don't talk much about are diagnostic medical errors. And according to the National Academy of Medicine, all of us will experience at least one in our lifetime. And we know from a recent Johns Hopkins study that these errors have led to 800,000 Americans dead or seriously disabled each year. So this is a big problem. And the question is, can AI help us? And you keep hearing about the term “precision medicine.” Well, if you keep making the same mistake over and over again, that's very precise.
(Lachen)
(Laughter)
Das brauchen wir nicht, wir brauchen Richtigkeit und Präzisionsmedizin. Wie schaffen wir das?
We don't need that, we need accuracy and precision medicine. So can we get there?
Hier ist ein Bild der Netzhaut. Das war der erste wichtige Hinweis: 100.000 Bilder wurden mit überwachtem Lernen trainiert. Könnte die Maschine Dinge sehen, die Menschen nicht sehen können? Also lautete die Frage an die Netzhautexperten: Stammt das von einem Mann oder einer Frau? Die Trefferquote lag bei 50 Prozent.
Well, this is a picture of the retina. And this was the first major hint, training 100,000 images with supervised learning. Could the machine see things that people couldn't see? And so the question was, to the retinal experts, is this from a man or a woman? And the chance of getting it accurate was 50 percent.
(Lachen)
(Laughter)
Aber die KI lag richtig mit 97 Prozent. Bei diesem Training sind die möglichen Merkmale, nicht einmal vollständig definiert. Das gilt dann für alle medizinischen Bilder. Als Beispiel hier ein Röntgenbild des Thorax. Auf so einer Aufnahme kann die KI erkennen, dass Radiologen, erfahrene Radiologen, den Knoten übersehen haben, den die KI als bösartig erkannte. Das gilt natürlich für alle medizinischen Scans, egal ob CT, MRT oder Ultraschall. Durch überwachtes Lernen großer, typisierter und annotierter Datensätze können wir sehen, dass die KI mindestens so gut arbeitet wie erfahrene Ärzte, wenn nicht besser.
But the AI got it right, 97 percent. So that training, the features are not even fully defined of how that was possible. Well that gets then to all of medical images. This is just representative, the chest X-ray. And in fact with the chest X-ray, the ability here for the AI to pick up, the radiologists, expert radiologists missing the nodule, which turned out to be picked up by the AI as cancerous, and this is, of course, representative of all of medical scans, whether it’s CT scans, MRI, ultrasound. That through supervised learning of large, labeled, annotated data sets, we can see AI do at least as well, if not better, than expert physicians.
21 randomisierte Studien zur Entdeckung von Polypen – maschinelles Sehen bei der Darmspiegelung – haben gezeigt, dass Polypen durch maschinelles Sehen besser entdeckt werden als von Gastroenterologen, interessanterweise vor allem später am Tag. Wir wissen nicht, ob die Entdeckung dieser zusätzlichen Polypen den Verlauf von Krebserkrankungen ändert, aber sie gibt Aufschluss über maschinelles Sehen und seine Leistungsfähigkeit.
And 21 randomized trials of picking up polyps -- machine vision during colonoscopy -- have all shown that polyps are picked up better with the aid of machine vision than by the gastroenterologist alone, especially as the day goes on, later in the day, interestingly. We don't know whether picking up all these additional polyps changes the natural history of cancers, but it tells you about machine eyes, the power of machine eyes.
Das war interessant. Aber jetzt, mit Deep Learning und nicht mit Transformermodellen, haben wir gesehen und gelernt, dass die Fähigkeit der Computer Vision, Dinge zu entdecken, die das menschliche Auge nicht sehen kann, ziemlich bemerkenswert ist. Hier ist die Netzhaut. Sie zeigt Diabetes und Blutdruck an. Nierenerkrankungen. Leber- und Gallenblasenerkrankungen. Den Kalziumwert des Herzens, den man normalerweise bei einer Herzuntersuchung ermittelt. Die Alzheimer-Krankheit, noch bevor klinische Symptome auftreten. Sie sagt Herzinfarkte und Schlaganfälle vorher. Hyperlipidämie. Und die Parkinson-Krankheit sieben Jahre, bevor Symptome auftreten. Das ist interessant, denn in Zukunft werden wir bei Kontrolluntersuchungen Fotos der Netzhaut machen. Sie ist das Tor zu fast jedem Körpersystem. Äußerst bemerkenswert. Wir kommen noch darauf zurück, denn jede dieser Studien wurde mit Abertausenden Bildern mit überwachtem Lernen durchgeführt, und die Studien stammen alle von verschiedenen Forschern.
Now that was interesting. But now still with deep learning models, not transformer models, we've seen and learned that the ability for computer vision to pick up things that human eyes can't see is quite remarkable. Here's the retina. Picking up the control of diabetes and blood pressure. Kidney disease. Liver and gallbladder disease. The heart calcium score, which you would normally get through a scan of the heart. Alzheimer's disease before any clinical symptoms have been manifest. Predicting heart attacks and strokes. Hyperlipidemia. And seven years before any symptoms of Parkinson's disease, to pick that up. Now this is interesting because in the future, we'll be taking pictures of our retina at checkups. This is the gateway to almost every system in the body. It's really striking. And we'll come back to this because each one of these studies was done with tens or hundreds [of] thousands of images with supervised learning, and they’re all separate studies by different investigators.
Als Kardiologe werte ich gerne Kardiogramme aus. Ich mache das seit über 30 Jahren. Aber ich konnte das alles nicht sehen. Etwa Alter und Geschlecht des Patienten oder die Auswurffraktion des Herzens, die schwierige, häufig übersehene Diagnosen erlaubt. Die Anämie von Patienten, also den Hämoglobinwert auf die Nachkommastelle genau. Die Vorhersage mit einem EKG, ob jemand, der noch nie Vorhofflimmern oder einen Schlaganfall hatte, davon betroffen sein wird. Eine Diagnose von Diabetes und Prädiabetes anhand des EKGs. Den Füllungsdruck des Herzens. Hypothyreose und Nierenerkrankungen. Stellen Sie sich vor, Sie bekommen ein EKG mit all diesen Informationen und nicht wirklich über Ihr Herz.
Now, as a cardiologist, I love to read cardiograms. I've been doing it for over 30 years. But I couldn't see these things. Like, the age and the sex of the patient, or the ejection fraction of the heart, making difficult diagnoses that are frequently missed. The anemia of the patient, that is, the hemoglobin to the decimal point. Predicting whether a person, who's never had atrial fibrillation or stroke from the ECG, whether that's going to likely occur. Diabetes, a diagnosis of diabetes and prediabetes, from the cardiogram. The filling pressure of the heart. Hypothyroidism and kidney disease. Imagine getting an electrocardiogram to tell you about all these other things, not really so much about the heart.
Nun zu Röntgenbildern des Thorax. Wer hätte gedacht, dass wir anhand solcher Aufnahmen mit maschinellen Augen die Ethnie des Patienten genau bestimmen können, ganz zu schweigen von den damit verbundenen ethischen Implikationen? Interessanterweise lässt sich mit einer Thorax-Aufnahme auch Diabetes feststellen und wie gut der Diabetes unter Kontrolle ist. Natürlich gibt es sehr viele Herzparameter, die wir Radiologen oder Kardiologen im Gegensatz zu maschinellem Sehen niemals erfassen könnten.
Then there's the chest X-ray. Who would have guessed that we could accurately determine the race of the patient, no less the ethical implications of that, from a chest X-ray through machine eyes? And interestingly, picking up the diagnosis of diabetes, as well as how well the diabetes is controlled, through the chest X-ray. And of course, so many different parameters about the heart, which we could never, radiologists or cardiologists, could never be able to come up with what machine vision can do.
Pathologen streiten oft über einen Objektträger, darüber, was er wirklich zeigt. Doch mit der Fähigkeit maschineller Augen lassen sich die genomischen Treiber- mutationen des Krebses bestimmen, dazu die strukturellen Kopienzahl-Varianten, die im Tumor vorhanden sind. Und wo der Tumor herkommt. Bei vielen Patienten wissen wir es nicht. Aber das lässt sich durch die KI bestimmen. Das gilt auch für die Prognose des Patienten nur anhand des Objektträgers – dank dieses ganzen Trainings. Auch hier handelt es sich um gefaltete neuronale Netzwerke, nicht um Transformermodelle.
Pathologists often argue about a slide, about what does it really show? But with this ability of machine eyes, the driver genomic mutations of the cancer can be defined, no less the structural copy number variants that are accounting or present in that tumor. Also, where is that tumor coming from? For many patients, we don’t know. But it can be determined through AI. And also the prognosis of the patient, just from the slide, by all of the training. Again, this is all just convolutional neural networks, not transformer models.
Wenn wir uns also von den tiefen neuronalen Netzwerken
So when we go from the deep neural networks to transformer models,
den Transformerenmodellen zuwenden, dann bedeutet dieser klassische, mit am meisten zitierte Preprint „Aufmerksamkeit ist alles, was man braucht“ die Fähigkeit, jetzt viel mehr Elemente zu betrachten, sei es Sprache oder Bilder, und sie in einen Kontext zu stellen, der in vielen Bereichen einen richtungsweisenden Fortschritt bedeutet.
this classic pre-print, one of the most cited pre-prints ever, "Attention is All You Need," the ability to now be able to look at many more items, whether it be language or images, and be able to put this in context, setting up a transformational progress in many fields.
Die Weiterentwicklung des Prototyps ist GPT-4 mit über einer Billion Verbindungen. Das menschliche Gehirn hat 100 Billionen Verbindungen oder Parameter. Doch denken Sie an all die Informationen und Kenntnisse, die in einer Billion stecken. Interessanterweise funktioniert das jetzt multimodal mit Bildern und Sprache. Es beinhaltet eine Unmenge grafischer Verarbeitungseinheiten. Und es geht um selbstüberwachtes Lernen, ein großer Engpass in der Medizin, weil wir keine Experten dazu bringen können, Bilder zu annotieren. Das geht mit selbstüberwachtem Lernen.
The prototype is, the outgrowth of this is GPT-4. With over a trillion connections. Our human brain has 100 trillion connections or parameters. But one trillion, just think of all the information, knowledge, that's packed into those one trillion. And interestingly, this is now multimodal with language, with images, with speech. And it involves a massive amount of graphic processing units. And it's with self-supervised learning, which is a big bottleneck in medicine because we can't get experts to label images. This can be done with self-supervised learning.
Was bedeutet das also in der Medizin? Es bedeutet zum Beispiel weniger Büroarbeit. Das, was sich Ärzte, Chirurgen und Patienten wünschen. Kein Arzt erledigt gern Büroarbeit und Patienten hätten gern Zeit mit ihrem Arzt, wenn sie schließlich zum lang erwarteten Termin kommen. Die Verbesserung des persönlichen Kontakts ist nur ein Schritt auf dem Weg dorthin: durch die Befreiung von der Büroarbeit dank synthetischer Notizen, die aus dem Gespräch hervorgehen, und von der anschließenden Dokumentation, die oft außerhalb der Arbeitszeit erledigt wird. Wir sehen in den US-Gesundheitssystemen, dass Menschen, Ärzte, viele Stunden Zeit sparen und sich schließlich ganz von der Büroarbeit befreien werden.
So what does this set up in medicine? It sets up, for example, keyboard liberation. The one thing that both doctors, clinicians and patients would like to see. Everyone hates being data clerks as clinicians, and patients would like to see their doctor when they finally have the visit they've waited for a long time. So the ability to change the face-to-face contact is just one step along the way. By having the liberation from keyboards with synthetic notes that are driven, derived from the conversation, and then all the downstream normal data clerk functions that are done, often off-hours. Now we're seeing in health systems across the United States where people, physicians are saving many hours of time and heading towards ultimately keyboard liberation.
Vor Kurzem veröffentlichten wir mit Pearse Keane und ihrer Gruppe am Moorfields Eye Institute das erste Grundmodell der Netzhautmedizin. Erinnern Sie sich an die acht Dinge, die in separaten Studien untersucht wurden? Das alles wurde mit einem einzigen Modell gemacht. Das heißt, mit 1,6 Millionen Netzhautbildern, die all diese Ergebniswahrscheinlichkeiten vorhersagen. All das ist Open Source, denn es ist sehr wichtig, dass andere auf diesen Modellen aufbauen können.
We recently published, with the group at Moorfields Eye Institute, led by Pearse Keane, the first foundation model in medicine from the retina. And remember those eight different things that were all done by separate studies? This was all done with one model. This is with 1.6 million retinal images predicting all these different outcome likelihoods. And this is all open-source, which is of course really important that others can build on these models.
Jetzt möchte ich noch auf ein paar sehr interessante Patienten eingehen. Da ist der heute sechsjährige Andrew. Er litt drei Jahre lang an ständig zunehmenden Schmerzen und einem Wachstumsstopp. Beim Gehen zog er den linken Fuß nach, er hatte starkes Kopfweh. Über einen Zeitraum von drei Jahren war er bei 17 Ärzten. Seine Mutter gab dann all seine Symptome in ChatGPT ein. Dort wurde die Diagnose Spina bifida occulta gestellt. Das bedeutet, er hatte eine Blockade des Rückenmarks, die alle 17 Ärzte in den letzten drei Jahren übersehen hatten. Die Blockade wurde operativ gelöst. Er ist jetzt ganz gesund.
Now I just want to review a couple of really interesting patients. Andrew, who is now six years old. He had three years of relentlessly increasing pain, arrested growth. His gait suffered with a dragging of his left foot, he had severe headaches. He went to 17 doctors over three years. His mother then entered all his symptoms into ChatGPT. It made the diagnosis of occulta spina bifida, which meant he had a tethered spinal cord that was missed by all 17 doctors over three years. He had surgery to release the cord. He's now perfectly healthy.
(Applaus)
(Applause)
Das ist eine Patientin, die mit der Diagnose Long COVID zu mir geschickt wurde. Sie ging zu vielen Ärzten, Neurologen – ohne Erfolg. Dann gab ihre Schwester all ihre Symptome ein, denn für Long COVID gab und gibt es keine validierte Behandlung. Ihre Schwester gab die Symptome in ChatGPT ein. Das Ergebnis: Es war nicht Long COVID, sondern eine heilbare limbische Enzephalitis. Die Patientin wurde behandelt und jetzt geht es ihr sehr gut.
This is a patient that was sent to me, who was suffering with, she was told, long COVID. She saw many different physicians, neurologists, and her sister entered all her symptoms after getting nowhere, no treatment for long COVID, there is no treatment validated, and her sister put all her symptoms into ChatGPT. It found out it actually was not long COVID, she had limbic encephalitis, which is treatable. She was treated, and now she's doing extremely well.
Das sind keine Einzelfälle mehr. 70 sehr schwierige Fälle der klinisch-pathologischen Konferenzen im New England Journal of Medicine wurden mit GPT-4 verglichen. Der Chatbot schnitt bei der Diagnose genauso gut oder besser ab als die erfahrensten und besten Ärzte.
But these are not just anecdotes anymore. 70 very difficult cases that are the clinical pathologic conferences at the New England Journal of Medicine were compared to GPT-4, and the chatbot did as well or better than the expert master clinicians in making the diagnosis.
Abschließend noch ein Gespräch mit meinem Stipendiaten. Medizin bedeutet ständiges Lernen. Andrew Cho ist 30 Jahre alt und im zweiten Jahr seines Kardiologie-Stipendiums. Wir visitieren alle Patienten der Klinik gemeinsam. Neulich, am Ende des Arbeitstages, setzte ich mich und sagte zu ihm: „Andrew, Sie haben solches Glück. Sie werden als Mediziner ohne Büroarbeit praktizieren. Sie werden Patientenkontakt haben, wie wir ihn seit Jahrzehnten nicht mehr hatten.“ Und zwar dank der Fähigkeit, aus Gesprächen Vermerke und Arbeit zu bekommen, um daraus Dinge wie Vorabgenehmigungen, Rechnungen, Rezepte, zukünftige Termine abzuleiten — das, was wir auch sonst tun, einschließlich Patiententipps: "Haben Sie Ihre Blutdruckwerte bekommen, und was zeigen sie?" All das ist unsere Rückmeldung. Aber noch wichtiger: Es hilft bei der Diagnosestellung. Und es schenkt uns Zeit, weil wir alle Daten eines Patienten haben, bevor wir ihn überhaupt sehen. Diese Unterstützung verändert die Zukunft der Beziehung zwischen Arzt und Patient, indem sie beiden Zeit schenkt. Das ist wirklich aufregend. Ich sagte zu Andrew, natürlich müsse bestätigt werden, dass der Nutzen alle Risiken bei weitem überwiegt. Aber es ist wirklich eine besondere Zeit für die Zukunft des Gesundheitswesens, es ist so verdammt aufregend.
So I just want to close with a recent conversation with my fellow. Medicine is still an apprenticeship, and Andrew Cho is 30 years old, in his second year of cardiology fellowship. We see all patients together in the clinic. And at the end of clinic the other day, I sat down and said to him, "Andrew, you are so lucky. You're going to be practicing medicine in an era of keyboard liberation. You're going to be connecting with patients the way we haven't done for decades." That is the ability to have the note and the work from the conversation to derive things like pre-authorization, billing, prescriptions, future appointments -- all the things that we do, including nudges to the patient. For example, did you get your blood pressure checks and what did they show and all that coming back to you. But much more than that, to help with making diagnoses. And the gift of time that having all the data of a patient that's all teed up before even seeing the patient. And all this support changes the future of the patient-doctor relationship, bringing in the gift of time. So this is really exciting. I said to Andrew, everything has to be validated, of course, that the benefit greatly outweighs any risk. But it is really a remarkable time for the future of health care, it's so damn exciting.
Danke.
Thank you.
(Applaus)
(Applause)