I've had the real fortune of working at Scripps Research for the last 17 years. It's the largest nonprofit biomedical institution in the country. And I've watched some of my colleagues, who have spent two to three years to define the crystal 3-D structure of a protein.
J'ai la chance de travailler au centre de recherche Scripps Research depuis 17 ans. C'est la plus grande institution biomédicale à but non lucratif du pays. Et j'ai observé certains de mes collègues qui ont passé deux à trois ans à définir la structure cristalline d'une protéine en 3D.
Well, now that can be done in two or three minutes. And that's because of the work of AlphaFold, which is a derivative of DeepMind, Demis Hassabis and John Jumper, recognized by the American Nobel Prize in September.
Eh bien, maintenant cela peut être fait en deux ou trois minutes. Et cela grâce aux travaux d'AlphaFold, produit chez DeepMind par Demis Hassabis et John Jumper, qui furent récompensés par le prix Nobel américain en septembre 2023.
What's interesting, this work, which is taking the amino acid sequence in one dimension and predicting the three-dimensional protein at atomic level, [has] now inspired many other of these protein structure prediction models, as well as RNA and antibodies, and even being able to pick up all the missense mutations in the genome, and even being able to come up wit proteins that have never been invented before, that don't exist in nature.
Ce qui est intéressant dans ces travaux, qui, en partant d'une séquence d'acides aminés dans une dimension, peuvent prédire la protéine tridimensionnelle au niveau atomique, c'est que cela a inspiré beaucoup d'autres modèles prédictifs de la structure des protéines, ainsi que l'ARN et des anticorps, et que cela a non seulement permis de détecter toutes les mutations faux sens du génome, mais aussi de créer des protéines qui n'ont jamais été inventées auparavant, qui n'existent pas dans la nature.
Now, the only thing I think about this is it was a transformer model, we'll talk about that in a moment, in this award, since Demis and John and their team of 30 scientists don't understand how the transformer model works, shouldn't the AI get an asterisk as part of that award?
Je vois avant tout l'aspect transformateur de ce modèle, nous en reparlerons dans un instant, mais dans ce prix, puisque Demis et John et leur équipe de 30 scientifiques ne comprennent pas comment fonctionne le modèle transformateur, l'IA ne devrait-elle pas recevoir un astérisque dans le cadre de ce prix ?
I'm going to switch from life science, which has been the singular biggest contribution just reviewed, to medicine. And in the medical community, the thing that we don't talk much about are diagnostic medical errors. And according to the National Academy of Medicine, all of us will experience at least one in our lifetime. And we know from a recent Johns Hopkins study that these errors have led to 800,000 Americans dead or seriously disabled each year. So this is a big problem. And the question is, can AI help us? And you keep hearing about the term “precision medicine.” Well, if you keep making the same mistake over and over again, that's very precise.
Je vais laisser les sciences de la vie, qui constituent la contribution la plus importante à la médecine. Car dans la communauté médicale, on évoque rarement les erreurs de diagnostic médical. Et selon l'Académie nationale de médecine, nous en connaîtrons tous au moins une au cours de notre vie. Une étude de Johns Hopkins a mis en lumière récemment le fait que ces erreurs causent chaque année la mort ou un handicap grave chez 800 000 Américains. C'est donc un gros problème. La question qui se pose est donc : l'IA peut-elle nous aider ? Alors que l'on ne fait que parler de la « médecine de précision », eh bien, quand on commet la même erreur, encore et encore, c'est très précis.
(Laughter)
(Rires)
We don't need that, we need accuracy and precision medicine. So can we get there?
C'est à éviter. On a besoin d'une médecine exacte et précise. Alors, pouvons-nous y arriver ?
Well, this is a picture of the retina. And this was the first major hint, training 100,000 images with supervised learning. Could the machine see things that people couldn't see? And so the question was, to the retinal experts, is this from a man or a woman? And the chance of getting it accurate was 50 percent.
Voici la photo d'une rétine. Et c'était le premier indice majeur : former 100 000 images grâce à un apprentissage supervisé. La machine pouvait-elle voir des choses que les hommes ne pouvaient pas voir ? La question qui se posait aux spécialistes de la rétine était de déterminer s'il s'agit d'un homme ou d'une femme. Les chances d'avoir juste sont de 50 %.
(Laughter)
(Rires)
But the AI got it right, 97 percent. So that training, the features are not even fully defined of how that was possible. Well that gets then to all of medical images. This is just representative, the chest X-ray. And in fact with the chest X-ray, the ability here for the AI to pick up, the radiologists, expert radiologists missing the nodule, which turned out to be picked up by the AI as cancerous, and this is, of course, representative of all of medical scans, whether it’s CT scans, MRI, ultrasound. That through supervised learning of large, labeled, annotated data sets, we can see AI do at least as well, if not better, than expert physicians.
Mais l'IA a bien travaillé : 97 %. Pour cette formation, les caractéristiques ne sont même pas complètement définies quant à la manière dont cela fut possible. Or cela s' applique à toutes les images médicales. Pour illustrer cela, voici une radiographie pulmonaire. Et en fait, pour ces radiographies, la capacité de l'IA à détecter un nodule qui a échappé à la vigilance des radiologues, mais qui s'est révélé cancéreux - et ceci est, bien entendu, illustratif de tous les scans médicaux, la tomodensitométrie, l'IRM ou d'échographie - grâce à l'apprentissage supervisé de grands ensembles de données étiquetées et annotées, est aussi bonne, voire meilleure que celle des médecins spécialistes.
And 21 randomized trials of picking up polyps -- machine vision during colonoscopy -- have all shown that polyps are picked up better with the aid of machine vision than by the gastroenterologist alone, especially as the day goes on, later in the day, interestingly. We don't know whether picking up all these additional polyps changes the natural history of cancers, but it tells you about machine eyes, the power of machine eyes.
Et 21 essais randomisés portant sur la détection de polypes - une vision par ordinateur pendant une coloscopie - ont tous montré que les polypes sont mieux détectés par la vision par ordinateur que par le gastro-entérologue seul, particulièrement au fil de la journée, curieusement plus tard dans la journée. Nous ne savons pas si la détection de ces polypes supplémentaires modifie l'histoire naturelle des cancers, mais cela nous renseigne sur la puissance de la vision par ordinateur.
Now that was interesting. But now still with deep learning models, not transformer models, we've seen and learned that the ability for computer vision to pick up things that human eyes can't see is quite remarkable. Here's the retina. Picking up the control of diabetes and blood pressure. Kidney disease. Liver and gallbladder disease. The heart calcium score, which you would normally get through a scan of the heart. Alzheimer's disease before any clinical symptoms have been manifest. Predicting heart attacks and strokes. Hyperlipidemia. And seven years before any symptoms of Parkinson's disease, to pick that up. Now this is interesting because in the future, we'll be taking pictures of our retina at checkups. This is the gateway to almost every system in the body. It's really striking. And we'll come back to this because each one of these studies was done with tens or hundreds [of] thousands of images with supervised learning, and they’re all separate studies by different investigators.
C'était très intéressant. Mais toujours avec des modèles d'apprentissage profond, et non des modèles transformateurs, nous avons vu et appris que la capacité de la vision par ordinateur à détecter des choses invisible à l'œil humain est tout à fait remarquable. Voici une rétine, l'IA y détecte : le contrôle du diabète et de la tension artérielle, l'insuffisance rénale, les maladies du foie et de la vésicule biliaire, le taux de calcium cardiaque - que l'on obtient normalement avec une scintigraphie cardiaque - la maladie d'Alzheimer avant l'apparition de tout symptôme clinique, la prédiction des crises cardiaques et des AVC, l'hyperlipidémie, et sept ans avant tout symptôme, la maladie de Parkinson. C'est intéressant car à l'avenir, nous prendrons des photos de notre rétine lors des examens de santé. C'est la porte d'entrée vers presque tous les systèmes du corps. C'est très impressionnant. Et nous y reviendrons parce que chacune de ces études fut réalisée avec des dizaines ou des centaines de milliers d'images en apprentissage supervisé, et il s'agit toutes d'études distinctes menées par différents chercheurs.
Now, as a cardiologist, I love to read cardiograms. I've been doing it for over 30 years. But I couldn't see these things. Like, the age and the sex of the patient, or the ejection fraction of the heart, making difficult diagnoses that are frequently missed. The anemia of the patient, that is, the hemoglobin to the decimal point. Predicting whether a person, who's never had atrial fibrillation or stroke from the ECG, whether that's going to likely occur. Diabetes, a diagnosis of diabetes and prediabetes, from the cardiogram. The filling pressure of the heart. Hypothyroidism and kidney disease. Imagine getting an electrocardiogram to tell you about all these other things, not really so much about the heart.
En tant que cardiologue, j'adore lire des cardiogrammes. Je fais cela depuis plus de 30 ans. Mais je ne pouvais pas voir certaines choses, comme par exemple, l'âge et le sexe du patient, ou la fraction d'éjection du cœur, ce qui compromet le diagnostic de facteurs complexes. L'anémie du patient, c'est-à-dire le taux d'hémoglobine à la virgule près. Prédire si une personne, qui n'a jamais eu de fibrillation auriculaire ou d'AVC sur la base d'un électrocardiogramme, est susceptible de se produire. Prédire ou diagnostiquer le diabète, ou prédiabète à partir du cardiogramme. La pression de remplissage du cœur. L'hypothyroïdie et les maladies rénales. Imaginez un électrocardiogramme qui renseigne sur toutes ces autres choses, mais pas vraiment sur le cœur.
Then there's the chest X-ray. Who would have guessed that we could accurately determine the race of the patient, no less the ethical implications of that, from a chest X-ray through machine eyes? And interestingly, picking up the diagnosis of diabetes, as well as how well the diabetes is controlled, through the chest X-ray. And of course, so many different parameters about the heart, which we could never, radiologists or cardiologists, could never be able to come up with what machine vision can do.
Ensuite, il y a la radiographie pulmonaire. Qui aurait deviné que nous pourrions déterminer avec précision la race du patient, sans parler des implications éthiques qui en découlent, avec une radiographie pulmonaire épaulée par une vision par ordinateur ? Et notons aussi que la radiographie pulmonaire permet de diagnostiquer le diabète et de déterminer dans quelle mesure celui-ci est contrôlé. Et bien sûr, tant de paramètres différents concernant le cœur, que nous ne pourrions jamais, radiologues ou cardiologues, ne pourrions jamais trouver mais que la vision par ordinateur est capable de faire.
Pathologists often argue about a slide, about what does it really show? But with this ability of machine eyes, the driver genomic mutations of the cancer can be defined, no less the structural copy number variants that are accounting or present in that tumor. Also, where is that tumor coming from? For many patients, we don’t know. But it can be determined through AI. And also the prognosis of the patient, just from the slide, by all of the training. Again, this is all just convolutional neural networks, not transformer models.
Les pathologistes débattent souvent à propos d'une image et de ce qu'elle montre réellement. Mais grâce à cette capacité de la vision par ordinateur, on peut définir les mutations génomiques à l'origine d'un cancer, tout comme le nombre des variations structurelles qui sont présentes dans cette tumeur. Et puis, d'où vient cette tumeur ? Pour de nombreux patients, nous l'ignorons. Mais cela peut être déterminé grâce à l'IA. Il y a aussi le pronostic du patient, juste à partir d'une image, grâce à l'entraînement machine. J'insiste, il ne s'agit de réseaux neuraux convolutifs, et non de modèles transformateurs.
So when we go from the deep neural networks to transformer models, this classic pre-print, one of the most cited pre-prints ever, "Attention is All You Need," the ability to now be able to look at many more items, whether it be language or images, and be able to put this in context, setting up a transformational progress in many fields.
Quand on passe des réseaux neuronaux profonds aux modèles transformateurs, cette prépublication classique, une des prépublications les plus citées intitulée : « Attention is All You Need », la capacité d'examiner de nombreux autres éléments, qu'il s'agisse de mots ou d'images, et de les replacer dans leur contexte, marque une avancée transformationnelle dans de nombreux domaines.
The prototype is, the outgrowth of this is GPT-4. With over a trillion connections. Our human brain has 100 trillion connections or parameters. But one trillion, just think of all the information, knowledge, that's packed into those one trillion. And interestingly, this is now multimodal with language, with images, with speech. And it involves a massive amount of graphic processing units. And it's with self-supervised learning, which is a big bottleneck in medicine because we can't get experts to label images. This can be done with self-supervised learning.
Le prototype, l'émanation de cela est GPT-4, avec plus d'un billion de connexions. Notre cerveau humain possède 100 billions de connexions ou de paramètres. Un billion : imaginez un instant les informations, toutes les connaissances concentrées dans ce billion. Et il est intéressant de noter que cela est désormais multimodal avec le texte, les images et l'audio. Cela implique en outre une quantité énorme d'unités de traitement graphique. Et c'est de l'apprentissage auto-supervisé, ce qui enlève un obstacle majeur en médecine, car nous ne pouvons pas faire appel aux spécialistes pour étiqueter les images. Cela peut se faire grâce à un apprentissage auto-supervisé.
So what does this set up in medicine? It sets up, for example, keyboard liberation. The one thing that both doctors, clinicians and patients would like to see. Everyone hates being data clerks as clinicians, and patients would like to see their doctor when they finally have the visit they've waited for a long time. So the ability to change the face-to-face contact is just one step along the way. By having the liberation from keyboards with synthetic notes that are driven, derived from the conversation, and then all the downstream normal data clerk functions that are done, often off-hours. Now we're seeing in health systems across the United States where people, physicians are saving many hours of time and heading towards ultimately keyboard liberation.
Alors, qu'est-ce que cela implique en médecine ? Cela permet de s'émanciper du clavier, par exemple. La chose que les médecins, les cliniciens et les patients espèrent tous. Personne n'aime se transformer en préposé aux données en tant que médecin, et les patients aiment voir leur médecin lorsqu'ils ont enfin obtenu la visite qu'ils attendent depuis si longtemps. Donc, la possibilité de modifier la relation entre le médecin et le patient est la première étape. On s'émancipe du clavier et des notes synthétiques qui sont dérivées des échanges pendant la visite, puis de toutes les fonctions normales de saisie de données effectuées en aval, souvent en dehors des heures de travail. Aujourd'hui, dans les systèmes de santé des États-Unis, les médecins gagnent de nombreuses heures alors qu'ils s'émancipent de l'usage du clavier.
We recently published, with the group at Moorfields Eye Institute, led by Pearse Keane, the first foundation model in medicine from the retina. And remember those eight different things that were all done by separate studies? This was all done with one model. This is with 1.6 million retinal images predicting all these different outcome likelihoods. And this is all open-source, which is of course really important that others can build on these models.
Nous avons récemment publié, avec le groupe du Moorfields Eye Institute dirigé par Pearse Keane, le premier modèle fondamental en médecine à partir de la rétine. Souvenez-vous de ces huit choses réalisées dans le cadre d'études distinctes ? Toutes furent accomplies avec un seul modèle. Cela représente 1,6 million d'images rétiniennes prédisant les probabilités de tous ces résultats différents. Tout cela est open source, ce qui est bien sûr crucial
Now I just want to review a couple of really interesting patients.
pour que d'autres puissent continuer de développer ces modèles.
Andrew, who is now six years old. He had three years of relentlessly increasing pain, arrested growth. His gait suffered with a dragging of his left foot, he had severe headaches. He went to 17 doctors over three years. His mother then entered all his symptoms into ChatGPT. It made the diagnosis of occulta spina bifida, which meant he had a tethered spinal cord that was missed by all 17 doctors over three years. He had surgery to release the cord. He's now perfectly healthy.
Permettez-moi de passer en revue quelques patients vraiment intéressants. Voici Andrew, qui a maintenant six ans. Pendant trois ans, il a souffert sans arrêt, sa croissance s'est interrompue. Il boitait du pied gauche et il avait de graves maux de tête. Il a consulté 17 médecins en trois ans. Sa mère a saisi tous ses symptômes dans ChatGPT. Cela a permis de diagnostiquer un spina bifida occulte, ce qui signifie que pendant ces trois ans, 17 médecins n'ont pas détecté une fermeture de sa colonne vertébrale. Il a subi une intervention chirurgicale pour réparer la région spinale et il est maintenant en parfaite santé.
(Applause)
(Applaudissements)
This is a patient that was sent to me, who was suffering with, she was told, long COVID. She saw many different physicians, neurologists, and her sister entered all her symptoms after getting nowhere, no treatment for long COVID, there is no treatment validated, and her sister put all her symptoms into ChatGPT. It found out it actually was not long COVID, she had limbic encephalitis, which is treatable. She was treated, and now she's doing extremely well.
Voici une patiente qui m'a été envoyée et qui souffrait, lui a-t-on dit, d'un COVID long. Elle avait consulté de nombreux médecins et neurologues, Faute d'amélioration, sa sœur a saisi tous les symptômes - ni aucun traitement pour un COVID long, aucun traitement n'est validé - alors sa sœur a saisi tous ses symptômes dans ChatGPT. Elle a découvert que ce n'était pas un COVID long, mais qu'elle souffrait d'une encéphalite limbique, ce qui se soigne. Elle a été soignée et maintenant elle se porte très bien.
But these are not just anecdotes anymore. 70 very difficult cases that are the clinical pathologic conferences at the New England Journal of Medicine were compared to GPT-4, and the chatbot did as well or better than the expert master clinicians in making the diagnosis.
Ces récits ne sont plus de simples anecdotes. On a comparé 70 cas très difficiles, objets de conférences en pathologie clinique dans le New England Journal of Medicine avec GPT-4, et le chatbot a obtenu des résultats aussi bons, voire meilleurs, que les médecins spécialisés réputés, en matière de diagnostic.
So I just want to close with a recent conversation with my fellow. Medicine is still an apprenticeship, and Andrew Cho is 30 years old, in his second year of cardiology fellowship. We see all patients together in the clinic. And at the end of clinic the other day, I sat down and said to him, "Andrew, you are so lucky. You're going to be practicing medicine in an era of keyboard liberation. You're going to be connecting with patients the way we haven't done for decades." That is the ability to have the note and the work from the conversation to derive things like pre-authorization, billing, prescriptions, future appointments -- all the things that we do, including nudges to the patient. For example, did you get your blood pressure checks and what did they show and all that coming back to you. But much more than that, to help with making diagnoses. And the gift of time that having all the data of a patient that's all teed up before even seeing the patient. And all this support changes the future of the patient-doctor relationship, bringing in the gift of time. So this is really exciting. I said to Andrew, everything has to be validated, of course, that the benefit greatly outweighs any risk. But it is really a remarkable time for the future of health care, it's so damn exciting.
Permettez-moi donc conclure par une récente conversation avec un collègue. La médecine reste un apprentissage et Andrew Cho a 30 ans, c'est sa deuxième année d'internat en cardiologie. Nous voyons tous les patients ensemble à la clinique. Et à la fin des visites, l'autre jour, je me suis assis et je lui ai dit : « Andrew, tu as beaucoup de chance. Tu pratiqueras la médecine à une époque où le clavier sera une relique du passé. tu pourras avec une relation avec les patients comme nous n'en avons plus eue depuis des décennies. » Tes rapports écrits et la discussion durant la consultation généreront automatiquement des éléments tels que les autorisations préalables, la facturation, les ordonnances, les prochains rendez-vous - tout ce que nous faisons, y compris les questions au patient, par exemple : « Avez-vous passé vos tests de tension artérielle, qu'ont-ils révélé ? », et la réception des résultats. Mais bien plus que cela, cela aidera à poser les diagnostics. C'est aussi un gain de temps que de disposer de toutes les données d'un patient avant même de le voir. Tout ce soutien change l'avenir de la relation patient-médecin en offrant un gain de temps. C'est donc vraiment excitant. J'ai dit à Andrew que tout devait être validé, bien entendu, que les avantages l'emportent largement sur les risques. Mais on vit vraiment une période remarquable pour l'avenir des soins de santé, c'est vraiment passionnant.
Thank you.
Merci.
(Applause)
(Applaudissements)