I've had the real fortune of working at Scripps Research for the last 17 years. It's the largest nonprofit biomedical institution in the country. And I've watched some of my colleagues, who have spent two to three years to define the crystal 3-D structure of a protein.
He tenido la verdadera suerte de trabajar en Scripps Research durante los últimos 17 años. Es la institución biomédica no lucrativa más grande del país. Y he observado a algunos de mis colegas, que han dedicado dos o tres años a definir la estructura cristalina tridimensional de una proteína.
Well, now that can be done in two or three minutes. And that's because of the work of AlphaFold, which is a derivative of DeepMind, Demis Hassabis and John Jumper, recognized by the American Nobel Prize in September.
Bueno, ahora eso se puede hacer en dos o tres minutos. Y eso se debe al trabajo de AlphaFold, que es un derivado de DeepMind, Demis Hassabis y John Jumper, galardonados con el Premio Nobel estadounidense en septiembre.
What's interesting, this work, which is taking the amino acid sequence in one dimension and predicting the three-dimensional protein at atomic level, [has] now inspired many other of these protein structure prediction models, as well as RNA and antibodies, and even being able to pick up all the missense mutations in the genome, and even being able to come up wit proteins that have never been invented before, that don't exist in nature.
Lo interesante es que este trabajo, que consiste en tomar la secuencia de aminoácidos en una dimensión y predecir la proteína tridimensional a nivel atómico, ha inspirado muchos otros modelos de predicción de estructuras proteicas, así como el ARN y los anticuerpos, e incluso ha podido captar todas las mutaciones erróneas del genoma e incluso ha sido capaz de idear proteínas que nunca se han inventado antes, que no existen en la naturaleza.
Now, the only thing I think about this is it was a transformer model, we'll talk about that in a moment, in this award, since Demis and John and their team of 30 scientists don't understand how the transformer model works, shouldn't the AI get an asterisk as part of that award?
Ahora, lo único que pienso de esto es que se trataba de un modelo de transformador, hablaremos de eso en un momento, en este premio, ya que Demis y John y su equipo de 30 científicos no entienden cómo funciona el modelo de transformador, ¿no debería la IA recibir un asterisco como parte de ese premio?
I'm going to switch from life science, which has been the singular biggest contribution just reviewed, to medicine. And in the medical community, the thing that we don't talk much about are diagnostic medical errors. And according to the National Academy of Medicine, all of us will experience at least one in our lifetime. And we know from a recent Johns Hopkins study that these errors have led to 800,000 Americans dead or seriously disabled each year. So this is a big problem. And the question is, can AI help us? And you keep hearing about the term “precision medicine.” Well, if you keep making the same mistake over and over again, that's very precise.
Voy a pasar de las ciencias de la vida, la contribución más destacada que acabo de mencionar, a la medicina. Y en la comunidad médica, algo de lo que no hablamos mucho son los errores médicos de diagnóstico. Y según la Academia Nacional de Medicina, todos experimentaremos al menos uno en nuestra vida. Y sabemos por un estudio reciente de la Universidad Johns Hopkins que estos errores han provocado la muerte o la discapacidad grave de 800 000 estadounidenses cada año. Por lo tanto, es un gran problema. Y la pregunta es, ¿puede ayudarnos la IA? Y no paramos de oír hablar del término «medicina de precisión». Si sigues cometiendo el mismo error una y otra vez, eso es muy preciso.
(Laughter)
(Risas)
We don't need that, we need accuracy and precision medicine. So can we get there?
No necesitamos eso, necesitamos medicina de exactitud y precisión. Entonces, ¿podemos llegar a ese punto?
Well, this is a picture of the retina. And this was the first major hint, training 100,000 images with supervised learning. Could the machine see things that people couldn't see? And so the question was, to the retinal experts, is this from a man or a woman? And the chance of getting it accurate was 50 percent.
Bueno, ésta es una imagen de la retina. Y ésta fue la primera pista importante: entrenar 100.000 imágenes con aprendizaje supervisado. ¿La máquina podía ver cosas que la gente no podía ver? Entonces, la pregunta era, para los expertos en retina, ¿es de un hombre o de una mujer? Y la probabilidad de acierto era del 50 %.
(Laughter)
(Risas)
But the AI got it right, 97 percent. So that training, the features are not even fully defined of how that was possible. Well that gets then to all of medical images. This is just representative, the chest X-ray. And in fact with the chest X-ray, the ability here for the AI to pick up, the radiologists, expert radiologists missing the nodule, which turned out to be picked up by the AI as cancerous, and this is, of course, representative of all of medical scans, whether it’s CT scans, MRI, ultrasound. That through supervised learning of large, labeled, annotated data sets, we can see AI do at least as well, if not better, than expert physicians.
Pero la IA lo hizo bien, un 97 %. Así que, ese entrenamiento, las características ni siquiera están completamente definidas de cómo fue posible. Bueno, eso pasa entonces con todas las imágenes médicas. Esto es sólo representativo, la radiografía de tórax. De hecho, en el caso de la radiografía de tórax, la IA pudo detectar... los radiólogos expertos no vieron el nódulo, y la IA lo detectó como canceroso, y esto, por supuesto, es representativo de todas las exploraciones médicas, ya sean TACs, resonancias magnéticas o ecografías. Que mediante el aprendizaje supervisado de grandes conjuntos de datos, etiquetados y comentados, podemos ver que la IA lo hace al menos tan bien, si no mejor, como los médicos expertos.
And 21 randomized trials of picking up polyps -- machine vision during colonoscopy -- have all shown that polyps are picked up better with the aid of machine vision than by the gastroenterologist alone, especially as the day goes on, later in the day, interestingly. We don't know whether picking up all these additional polyps changes the natural history of cancers, but it tells you about machine eyes, the power of machine eyes.
Además, 21 ensayos aleatorios sobre la detección de pólipos, visión artificial durante una colonoscopia, han demostrado que los pólipos se detectan mejor con la ayuda de la visión artificial que solo con el gastroenterólogo, sobre todo a medida que avanza el día, a última hora, lo cual resulta interesante. No sabemos si la detección de todos estos pólipos adicionales cambia la evolución natural de los cánceres, pero nos habla del poder de los ojos mecánicos.
Now that was interesting. But now still with deep learning models, not transformer models, we've seen and learned that the ability for computer vision to pick up things that human eyes can't see is quite remarkable. Here's the retina. Picking up the control of diabetes and blood pressure. Kidney disease. Liver and gallbladder disease. The heart calcium score, which you would normally get through a scan of the heart. Alzheimer's disease before any clinical symptoms have been manifest. Predicting heart attacks and strokes. Hyperlipidemia. And seven years before any symptoms of Parkinson's disease, to pick that up. Now this is interesting because in the future, we'll be taking pictures of our retina at checkups. This is the gateway to almost every system in the body. It's really striking. And we'll come back to this because each one of these studies was done with tens or hundreds [of] thousands of images with supervised learning, and they’re all separate studies by different investigators.
Eso sí que era interesante. Ahora, con modelos de aprendizaje profundo, no modelos de transformadores, hemos visto y aprendido que la capacidad de la visión artificial para captar cosas que los ojos humanos no pueden ver es bastante notable. Aquí está la retina. Captar el control de la diabetes y la presión arterial. Enfermedad renal. Enfermedad del hígado y de la vesícula biliar. El índice de calcio coronario, que normalmente se obtiene a través de una escáner del corazón. La enfermedad de Alzheimer antes de que se manifieste ningún síntoma clínico. Predecir infartos y derrames cerebrales. Hiperlipidemia. Y detectar la enfermedad de Parkinson siete años antes de que aparezca cualquier síntoma. Ahora bien, esto es interesante porque, en el futuro, tomaremos fotografías de la retina en las revisiones. Esta es la puerta de entrada a casi todos los sistemas del cuerpo. Es realmente sorprendente. Volveremos a este tema porque cada uno de estos estudios se realizó con decenas o cientos de miles de imágenes con aprendizaje supervisado, y todos son estudios independientes realizados por distintos investigadores.
Now, as a cardiologist, I love to read cardiograms. I've been doing it for over 30 years. But I couldn't see these things. Like, the age and the sex of the patient, or the ejection fraction of the heart, making difficult diagnoses that are frequently missed. The anemia of the patient, that is, the hemoglobin to the decimal point. Predicting whether a person, who's never had atrial fibrillation or stroke from the ECG, whether that's going to likely occur. Diabetes, a diagnosis of diabetes and prediabetes, from the cardiogram. The filling pressure of the heart. Hypothyroidism and kidney disease. Imagine getting an electrocardiogram to tell you about all these other things, not really so much about the heart.
Ahora, como cardióloga, me encanta leer cardiogramas. Lo he estado haciendo durante más de 30 años. Pero no podía ver estas cosas. Por ejemplo, la edad y el sexo del paciente, o la fracción de eyección del corazón, realizar diagnósticos difíciles que a menudo se pasan por alto. La anemia del paciente, es decir, la hemoglobina hasta el punto decimal. Predecir si una persona que nunca ha sufrido una fibrilación auricular o un ictus mediante un electrocardiograma si es probable que eso vaya a ocurrir. Diabetes, un diagnóstico de diabetes y prediabetes a partir de un cardiograma. La presión de llenado del corazón. Hipotiroidismo y enfermedad renal. Imagina que te hacen un electrocardiograma para informarte sobre todas estas cosas, no tanto sobre el corazón.
Then there's the chest X-ray. Who would have guessed that we could accurately determine the race of the patient, no less the ethical implications of that, from a chest X-ray through machine eyes? And interestingly, picking up the diagnosis of diabetes, as well as how well the diabetes is controlled, through the chest X-ray. And of course, so many different parameters about the heart, which we could never, radiologists or cardiologists, could never be able to come up with what machine vision can do.
Luego está la radiografía de tórax. ¿Quién hubiera imaginado que podríamos determinar con precisión la raza del paciente, y no digamos las implicaciones éticas de ello, a partir de una radiografía de tórax hecha con ojos mecánicos? Y, curiosamente, se obtiene el diagnóstico de la diabetes, así como el grado de control de la misma, a través de una radiografía de tórax. Y, por supuesto, hay tantos parámetros diferentes relacionados con el corazón, que ni los radiólogos ni los cardiólogos podríamos llegar a imaginar para qué sirve la visión artificial.
Pathologists often argue about a slide, about what does it really show? But with this ability of machine eyes, the driver genomic mutations of the cancer can be defined, no less the structural copy number variants that are accounting or present in that tumor. Also, where is that tumor coming from? For many patients, we don’t know. But it can be determined through AI. And also the prognosis of the patient, just from the slide, by all of the training. Again, this is all just convolutional neural networks, not transformer models.
Los patólogos suelen discutir acerca de una diapositiva, ¿qué es lo que muestra realmente? Sin embargo, gracias a esta capacidad de los ojos mecánicos, pueden definirse las mutaciones genómicas causantes del cáncer, así como las variantes estructurales del número de copias que representan o están están presentes en el tumor. Además, ¿de dónde viene ese tumor? Para muchos pacientes, no lo sabemos. Pero se puede determinar mediante la IA. Y también el pronóstico del paciente, a partir de la diapositiva, por todo el entrenamiento. Una vez más, todo esto son solo redes neuronales convolucionales, no modelos de transformadores.
So when we go from the deep neural networks to transformer models, this classic pre-print, one of the most cited pre-prints ever, "Attention is All You Need," the ability to now be able to look at many more items, whether it be language or images, and be able to put this in context, setting up a transformational progress in many fields.
Así pues, si pasamos de las redes neuronales profundas a los modelos de transformadores, esta preimpresión clásica, una de las más citadas de la historia, «Todo lo que se Necesita es Atención», poder analizar muchos más elementos, ya sean idiomas o imágenes, y poder ponerlos en contexto, lo que supone un progreso transformador en muchos campos.
The prototype is, the outgrowth of this is GPT-4. With over a trillion connections. Our human brain has 100 trillion connections or parameters. But one trillion, just think of all the information, knowledge, that's packed into those one trillion. And interestingly, this is now multimodal with language, with images, with speech. And it involves a massive amount of graphic processing units. And it's with self-supervised learning, which is a big bottleneck in medicine because we can't get experts to label images. This can be done with self-supervised learning.
El prototipo, el resultado de esto, es el GPT-4. Con más de un billón de conexiones. Nuestro cerebro humano tiene 100 billones de conexiones o parámetros. Pero un billón, basta con pensar en toda la información y el conocimiento que contiene ese billón. Y curiosamente, ahora esto es multimodal con el lenguaje, las imágenes y la voz. E implica una enorme cantidad de unidades de procesamiento gráfico. Y lo hace con el aprendizaje autosupervisado, que es un gran obstáculo en la medicina, porque no podemos conseguir que los expertos etiqueten las imágenes. Esto se puede lograr con el aprendizaje autosupervisado.
So what does this set up in medicine? It sets up, for example, keyboard liberation. The one thing that both doctors, clinicians and patients would like to see. Everyone hates being data clerks as clinicians, and patients would like to see their doctor when they finally have the visit they've waited for a long time. So the ability to change the face-to-face contact is just one step along the way. By having the liberation from keyboards with synthetic notes that are driven, derived from the conversation, and then all the downstream normal data clerk functions that are done, often off-hours. Now we're seeing in health systems across the United States where people, physicians are saving many hours of time and heading towards ultimately keyboard liberation.
Entonces, ¿qué establece esto en medicina? Establece, por ejemplo, la liberación del teclado. Es lo único que tanto los médicos como los pacientes desearían ver. El personal médico, todos odian trabajar como oficinistas, y a los pacientes les gustaría ver a su médico cuando por fin tengan la cita que han estado esperando durante mucho tiempo. Por lo tanto, la posibilidad de cambiar el contacto cara a cara es solo un paso en el camino. Al liberarse de los teclados con notas sintéticas motivadas, derivadas de la conversación, y todas las funciones normales que se realizan como empleado de datos, a menudo fuera del horario laboral. Estamos viendo en los sistemas de salud de EE. UU. que las personas y los médicos ahorran muchas horas y se encaminan en última instancia, a liberarse del uso del teclado.
We recently published, with the group at Moorfields Eye Institute,
Recientemente publicamos,
led by Pearse Keane, the first foundation model in medicine from the retina. And remember those eight different things that were all done by separate studies? This was all done with one model. This is with 1.6 million retinal images predicting all these different outcome likelihoods. And this is all open-source, which is of course really important that others can build on these models.
junto con el grupo del Instituto Oftalmológico Moorfields, dirigido por Pearse Keane, el primer modelo fundacional en medicina a partir de la retina. ¿Y recuerdas esas ocho cosas diferentes que se realizaron en estudios distintos? Todo esto se hizo con un solo modelo. Con 1,6 millones de imágenes retinianas que predicen todas estas diferentes probabilidades de resultados. Y todo esto es de código abierto, lo que, por supuesto, es muy importante
Now I just want to review a couple of really interesting patients.
para que otros puedan basarse en estos modelos.
Andrew, who is now six years old. He had three years of relentlessly increasing pain, arrested growth. His gait suffered with a dragging of his left foot, he had severe headaches. He went to 17 doctors over three years. His mother then entered all his symptoms into ChatGPT. It made the diagnosis of occulta spina bifida, which meant he had a tethered spinal cord that was missed by all 17 doctors over three years. He had surgery to release the cord. He's now perfectly healthy.
Ahora solo quiero revisar un par de pacientes realmente interesantes. Andrew, que ahora tiene seis años. Tuvo tres años de dolor cada vez mayor y de crecimiento detenido. Su forma de andar se vio afectada por el arrastre del pie izquierdo y tenía fuertes dolores de cabeza. Acudió a 17 médicos durante tres años. Luego, su madre introdujo todos sus síntomas en ChatGPT. El médico le diagnosticó una espina bífida oculta, lo que significaba que tenía la médula espinal anclada y los 17 médicos lo pasaron por alto durante tres años. Se sometió a una cirugía para liberar la médula. Ahora está perfectamente sano.
(Applause)
(Aplausos)
This is a patient that was sent to me, who was suffering with, she was told, long COVID. She saw many different physicians, neurologists, and her sister entered all her symptoms after getting nowhere, no treatment for long COVID, there is no treatment validated, and her sister put all her symptoms into ChatGPT. It found out it actually was not long COVID, she had limbic encephalitis, which is treatable. She was treated, and now she's doing extremely well.
Esta es una paciente que me enviaron y que sufría, según le dijeron, de una COVID prolongada. Consultó a muchos médicos y neurólogos diferentes, y su hermana registró todos sus síntomas después de no haber recibido ningún tratamiento para la COVID prolongada, no hay ningún tratamiento validado y su hermana puso todos sus síntomas en ChatGPT. Descubrieron que, en realidad, la enfermedad no era COVID prolongada sino que tenía encefalitis límbica, que es tratable. Recibió tratamiento y ahora está muy bien.
But these are not just anecdotes anymore. 70 very difficult cases that are the clinical pathologic conferences at the New England Journal of Medicine were compared to GPT-4, and the chatbot did as well or better than the expert master clinicians in making the diagnosis.
Pero estas ya no son simples anécdotas. Se compararon 70 casos muy difíciles que fueron objeto de conferencias de patología clínica del New England Journal of Medicine con el GPT-4, y el chatbot hizo el diagnóstico igual o mejor que los maestros clínicos expertos.
So I just want to close with a recent conversation with my fellow. Medicine is still an apprenticeship, and Andrew Cho is 30 years old, in his second year of cardiology fellowship. We see all patients together in the clinic. And at the end of clinic the other day, I sat down and said to him, "Andrew, you are so lucky. You're going to be practicing medicine in an era of keyboard liberation. You're going to be connecting with patients the way we haven't done for decades." That is the ability to have the note and the work from the conversation to derive things like pre-authorization, billing, prescriptions, future appointments -- all the things that we do, including nudges to the patient. For example, did you get your blood pressure checks and what did they show and all that coming back to you. But much more than that, to help with making diagnoses. And the gift of time that having all the data of a patient that's all teed up before even seeing the patient. And all this support changes the future of the patient-doctor relationship, bringing in the gift of time. So this is really exciting. I said to Andrew, everything has to be validated, of course, that the benefit greatly outweighs any risk. But it is really a remarkable time for the future of health care, it's so damn exciting.
Sólo quiero terminar con una conversación reciente con mi compañero. La medicina sigue siendo un aprendizaje, y Andrew Cho tiene 30 años y cursa su segundo año de beca en cardiología. Atendemos a todos los pacientes juntos en la clínica. El otro día, al final de la clínica, me senté y le dije : «Andrew, tienes mucha suerte. Vas a ejercer la medicina en una era de liberación del teclado. Conectarás con los pacientes de una manera que no lo hemos hecho durante décadas». Esa es la capacidad de tomar nota y el trabajo de la conversación para obtener información como la autorización previa, la facturación, las recetas, las consultas futuras, todo lo que hacemos, incluidos consejos para el paciente. Por ejemplo, ¿te revisaron la presión arterial y qué mostraron? Y todo lo que vuelve a ti. Pero mucho más que eso, para ayudar a hacer diagnósticos. Y el don del tiempo es tener todos los datos de un paciente listos incluso antes de atenderlo. Y todo este apoyo cambia el futuro de la relación médico-paciente, aportando el don del tiempo. Es realmente emocionante. Le dije a Andrew que todo tiene que ser validado, por supuesto, que el beneficio supera con creces cualquier riesgo. Pero este es un momento extraordinario para el futuro de la atención médica, es muy emocionante.
Thank you.
Gracias.
(Applause)
(Aplausos)