I've had the real fortune of working at Scripps Research for the last 17 years. It's the largest nonprofit biomedical institution in the country. And I've watched some of my colleagues, who have spent two to three years to define the crystal 3-D structure of a protein.
Tive a verdadeira sorte de trabalhar na Scripps Research nos últimos 17 anos. É a maior instituição biomédica sem fins lucrativos do país. E observei alguns dos meus colegas, que passaram de dois a três anos definindo a estrutura cristalina 3D de uma proteína.
Well, now that can be done in two or three minutes. And that's because of the work of AlphaFold, which is a derivative of DeepMind, Demis Hassabis and John Jumper, recognized by the American Nobel Prize in September.
Agora isso pode ser feito em dois ou três minutos. E isso por causa do trabalho da AlphaFold, que é derivada da DeepMind, Demis Hassabis e John Jumper, reconhecido pelo Prêmio Nobel americano em setembro.
What's interesting, this work, which is taking the amino acid sequence in one dimension and predicting the three-dimensional protein at atomic level, [has] now inspired many other of these protein structure prediction models, as well as RNA and antibodies, and even being able to pick up all the missense mutations in the genome, and even being able to come up wit proteins that have never been invented before, that don't exist in nature.
O que é interessante é que esse trabalho, que está pegando a sequência de aminoácidos em uma dimensão e prevendo, em nível atômico, a proteína tridimensional tem inspirado muitos outros desses modelos de previsão da estrutura da proteína, bem como RNA e anticorpos, e até mesmo foi capaz de captar todas as mutações importantes no genoma e até mesmo ser capaz de criar proteínas que nunca foram inventadas antes, que não existem na natureza.
Now, the only thing I think about this is it was a transformer model, we'll talk about that in a moment, in this award, since Demis and John and their team of 30 scientists don't understand how the transformer model works, shouldn't the AI get an asterisk as part of that award?
A única coisa que penso sobre isso é que era um modelo transformador, falaremos sobre isso em breve, nesta premiação, já que Demis, John e sua equipe de 30 cientistas não entendem o funcionamento do modelo transformador, a IA não deveria receber um asterisco como parte desse prêmio?
I'm going to switch from life science, which has been the singular biggest contribution just reviewed, to medicine. And in the medical community, the thing that we don't talk much about are diagnostic medical errors. And according to the National Academy of Medicine, all of us will experience at least one in our lifetime. And we know from a recent Johns Hopkins study that these errors have led to 800,000 Americans dead or seriously disabled each year. So this is a big problem. And the question is, can AI help us? And you keep hearing about the term “precision medicine.” Well, if you keep making the same mistake over and over again, that's very precise.
Vou mudar da ciência da vida, que tem sido a maior contribuição singular já revisada, para a medicina. E na comunidade médica, o que não falamos muito são erros médicos de diagnóstico. E de acordo com a Academia Nacional de Medicina, todos nós experimentaremos pelo menos uma vez em nossa vida. E sabemos, pelo estudo recente da Johns Hopkins, que esses erros fazem com que 800 mil americanos morram ou fiquem gravemente incapacitados a cada ano. Isso é um grande problema. E a questão é: a IA pode nos ajudar? E você continua ouvindo sobre o termo “medicina de precisão”. Se você continuar cometendo o mesmo erro repetidamente,
(Laughter)
isso é muito preciso.
(Risos)
We don't need that, we need accuracy and precision medicine. So can we get there?
Não precisamos disso, precisamos de uma medicina de exatidão e precisão Podemos chegar lá?
Well, this is a picture of the retina. And this was the first major hint, training 100,000 images with supervised learning. Could the machine see things that people couldn't see? And so the question was, to the retinal experts, is this from a man or a woman? And the chance of getting it accurate was 50 percent.
Esta é uma foto da retina. E essa foi a primeira grande dica: treinar 100 mil imagens com aprendizado supervisionado. A máquina conseguiria ver coisas que as pessoas não conseguiam ver? A pergunta era para os especialistas em retina, isso é de um homem ou de uma mulher? E a chance de acertar era de 50%.
(Laughter)
(Risos)
But the AI got it right, 97 percent. So that training, the features are not even fully defined of how that was possible. Well that gets then to all of medical images. This is just representative, the chest X-ray. And in fact with the chest X-ray, the ability here for the AI to pick up, the radiologists, expert radiologists missing the nodule, which turned out to be picked up by the AI as cancerous, and this is, of course, representative of all of medical scans, whether it’s CT scans, MRI, ultrasound. That through supervised learning of large, labeled, annotated data sets, we can see AI do at least as well, if not better, than expert physicians.
Mas a IA acertou 97%. Nesse treinamento, os recursos nem estão totalmente definidos de como isso foi possível. Isso leva então a todas as imagens médicas. Isso é apenas representativo, a radiografia de tórax. E, de fato, com a radiografia de tórax, a capacidade aqui da IA de detectar, os radiologistas especialistas, não detectaram o nódulo, que acabou sendo detectado pela IA como canceroso, e isso é, obviamente, representativo de todos os exames médicos, sejam eles tomografia computadorizada, ressonância magnética, ultrassom. Que, com o aprendizado supervisionado de conjuntos de dados grandes, rotulados e anotados podemos ver a IA se sair pelo menos tão bem, se não melhor, do que médicos especialistas.
And 21 randomized trials of picking up polyps -- machine vision during colonoscopy -- have all shown that polyps are picked up better with the aid of machine vision than by the gastroenterologist alone, especially as the day goes on, later in the day, interestingly. We don't know whether picking up all these additional polyps changes the natural history of cancers, but it tells you about machine eyes, the power of machine eyes.
E 21 ensaios randomizados de detecção de pólipos -- visão mecânica durante a colonoscopia mostraram que os pólipos são captados melhor com a ajuda da visão mecânica do que apenas pela do gastroenterologista, especialmente à medida que o dia passa, no final do dia, curiosamente. Não sabemos se a coleta de todos esses pólipos adicionais muda a história natural dos cânceres, mas isso fala sobre os olhos mecânicos, o poder dos olhos mecânicos.
Now that was interesting. But now still with deep learning models, not transformer models, we've seen and learned that the ability for computer vision to pick up things that human eyes can't see is quite remarkable. Here's the retina. Picking up the control of diabetes and blood pressure. Kidney disease. Liver and gallbladder disease. The heart calcium score, which you would normally get through a scan of the heart. Alzheimer's disease before any clinical symptoms have been manifest. Predicting heart attacks and strokes. Hyperlipidemia. And seven years before any symptoms of Parkinson's disease, to pick that up. Now this is interesting because in the future, we'll be taking pictures of our retina at checkups. This is the gateway to almost every system in the body. It's really striking. And we'll come back to this because each one of these studies was done with tens or hundreds [of] thousands of images with supervised learning, and they’re all separate studies by different investigators.
Isso foi interessante. Mas agora, ainda com modelos de aprendizado profundo, não modelos transformadores, vimos e aprendemos que a capacidade da visão computacional de captar coisas que os olhos humanos não conseguem ver é extraordinária. Aqui está a retina. Detectando o controle da diabetes e da pressão arterial. Doença renal. Doença do fígado e da vesícula biliar. O escore de cálcio coronariano, que você normalmente obteria por meio de um exame do coração. Doença de Alzheimer antes da manifestação de qualquer sintoma clínico. Prevendo ataques cardíacos e derrames. Hiperlipidemia. E sete anos antes de qualquer sintoma da doença de Parkinson, para descobrir isso. Isso é interessante porque, no futuro, tiraremos fotos de nossa retina nos check-ups. Essa é a porta de entrada para quase todos os sistemas do corpo. É realmente impressionante. E voltaremos a isso porque cada um desses estudos foi feito com dezenas ou centenas de milhares de imagens com aprendizado supervisionado, e todos são estudos separados de pesquisadores diferentes.
Now, as a cardiologist, I love to read cardiograms. I've been doing it for over 30 years. But I couldn't see these things. Like, the age and the sex of the patient, or the ejection fraction of the heart, making difficult diagnoses that are frequently missed. The anemia of the patient, that is, the hemoglobin to the decimal point. Predicting whether a person, who's never had atrial fibrillation or stroke from the ECG, whether that's going to likely occur. Diabetes, a diagnosis of diabetes and prediabetes, from the cardiogram. The filling pressure of the heart. Hypothyroidism and kidney disease. Imagine getting an electrocardiogram to tell you about all these other things, not really so much about the heart.
Como cardiologista, adoro ler eletrocardiogramas. Faço isso há mais de 30 anos. Mas não conseguia ver essas coisas. Por exemplo, a idade e o sexo do paciente, ou a fração de ejeção do coração, fazendo diagnósticos difíceis que muitas vezes são ignorados. A anemia do paciente, ou seja, a hemoglobina até o ponto decimal. Prever se uma pessoa, que nunca teve fibrilação atrial ou derrame pelo ECG, se isso provavelmente ocorrerá. Diabetes, um diagnóstico de diabetes e pré-diabetes, pelo eletrocardiograma. A pressão de enchimento do coração. Hipotireoidismo e doença renal. Imagine fazer um eletrocardiograma para te falar sobre todas essas coisas, nem tanto sobre o coração.
Then there's the chest X-ray. Who would have guessed that we could accurately determine the race of the patient, no less the ethical implications of that, from a chest X-ray through machine eyes? And interestingly, picking up the diagnosis of diabetes, as well as how well the diabetes is controlled, through the chest X-ray. And of course, so many different parameters about the heart, which we could never, radiologists or cardiologists, could never be able to come up with what machine vision can do.
Depois, há a radiografia do tórax. Quem imaginaria que poderíamos determinar com precisão a raça do paciente, não sem as implicações éticas disso, a partir de uma radiografia de tórax através dos olhos da máquina? E, curiosamente, captar o diagnóstico de diabetes, assim como o quão bem o diabetes está controlado, por meio da radiografia de tórax. E, claro, tantos parâmetros diferentes sobre o coração, que nós radiologistas ou cardiologistas nunca poderíamos descobrir o que a visão mecânica pode fazer.
Pathologists often argue about a slide, about what does it really show? But with this ability of machine eyes, the driver genomic mutations of the cancer can be defined, no less the structural copy number variants that are accounting or present in that tumor. Also, where is that tumor coming from? For many patients, we don’t know. But it can be determined through AI. And also the prognosis of the patient, just from the slide, by all of the training. Again, this is all just convolutional neural networks, not transformer models.
Os patologistas costumam discutir sobre um slide, sobre o que ele realmente mostra? Mas com essa habilidade dos olhos mecânicos, as mutações genômicas determinantes do câncer podem ser definidas, além das variantes estruturais do número de cópias que são responsáveis ou estão presentes nesse tumor. Além disso, de onde vem esse tumor? Para muitos pacientes, não sabemos. Mas isso pode ser determinado por meio da IA. E também o prognóstico do paciente, só a partir do slide, por meio de todo o treinamento. Novamente, tudo isso são apenas redes neurais convolucionais, não modelos transformadores.
So when we go from the deep neural networks to transformer models, this classic pre-print, one of the most cited pre-prints ever, "Attention is All You Need," the ability to now be able to look at many more items, whether it be language or images, and be able to put this in context, setting up a transformational progress in many fields.
Quando passamos de redes neurais profundas para modelos transformadores, essa pré-impressão clássica, uma das pré-impressões mais citadas de todos os tempos, “Atenção é tudo o que você precisa", a capacidade de agora poder ver muitos outros itens, sejam eles linguagem ou imagens, e ser capaz de contextualizar isso, configurando um progresso transformacional em muitos campos.
The prototype is, the outgrowth of this is GPT-4. With over a trillion connections. Our human brain has 100 trillion connections or parameters. But one trillion, just think of all the information, knowledge, that's packed into those one trillion. And interestingly, this is now multimodal with language, with images, with speech. And it involves a massive amount of graphic processing units. And it's with self-supervised learning, which is a big bottleneck in medicine because we can't get experts to label images. This can be done with self-supervised learning.
O protótipo, a consequência disso é o GPT-4. Com mais de um trilhão de conexões. Nosso cérebro humano tem 100 trilhões de conexões ou parâmetros. Mas um trilhão, basta pensar em todas as informações e conhecimentos que estão contidos nesses um trilhão. E, curiosamente, isso agora é multimodal com linguagem, com imagens, com fala E isso envolve uma grande quantidade de unidades de processamento gráfico. E é com o aprendizado autosupervisionado, que é um grande gargalo na medicina porque não conseguimos que especialistas rotulem imagens. Isso pode ser feito com o aprendizado autosupervisionado.
So what does this set up in medicine? It sets up, for example, keyboard liberation. The one thing that both doctors, clinicians and patients would like to see. Everyone hates being data clerks as clinicians, and patients would like to see their doctor when they finally have the visit they've waited for a long time. So the ability to change the face-to-face contact is just one step along the way. By having the liberation from keyboards with synthetic notes that are driven, derived from the conversation, and then all the downstream normal data clerk functions that are done, often off-hours. Now we're seeing in health systems across the United States where people, physicians are saving many hours of time and heading towards ultimately keyboard liberation.
O que isso configura na medicina? Ele configura, por exemplo, a liberação do teclado. A única coisa que tanto médicos, clínicos quanto pacientes gostariam de ver. Todos odeiam ser digitadores de dados como médicos, e os pacientes gostariam de consultar seu médico quando finalmente têm a consulta que esperaram por muito tempo. A capacidade de mudar o contato face a face é apenas um passo. Libertando-se de teclados com anotações sintéticas que são derivadas da conversa e, em seguida, de todas as funções de digitação que são realizadas geralmente fora do horário. Agora estamos vendo nos sistemas de saúde dos Estados Unidos que pessoas e médicos estão economizando muitas horas de tempo e caminhando para a liberação final do teclado.
We recently published, with the group at Moorfields Eye Institute, led by Pearse Keane, the first foundation model in medicine from the retina. And remember those eight different things that were all done by separate studies? This was all done with one model. This is with 1.6 million retinal images predicting all these different outcome likelihoods. And this is all open-source, which is of course really important that others can build on these models.
Recentemente publicamos, com o grupo do Moorfields Eye Institute, liderado por Pearse Keane, o primeiro modelo básico em medicina a partir da retina. E lembra daquelas oito coisas diferentes, todas feitas em estudos separados? Tudo isso foi feito com um modelo. Isso foi com 1,6 milhão de imagens da retina prevendo todas essas diferentes probabilidades de resultados. E tudo isso é de código aberto, Obviamente, é muito importante que outros possam se basear nesses modelos.
Now I just want to review a couple of really interesting patients. Andrew, who is now six years old. He had three years of relentlessly increasing pain, arrested growth. His gait suffered with a dragging of his left foot, he had severe headaches. He went to 17 doctors over three years. His mother then entered all his symptoms into ChatGPT. It made the diagnosis of occulta spina bifida, which meant he had a tethered spinal cord that was missed by all 17 doctors over three years. He had surgery to release the cord. He's now perfectly healthy.
Agora só quero revisar alguns pacientes realmente interessantes. Andrew, que agora tem seis anos. Tinha três anos de dor cada vez maior e de crescimento interrompido. Caminhava arrastando o pé esquerdo, tinha fortes dores de cabeça. Foi a 17 médicos ao longo de três anos. Sua mãe inseriu todos seus sintomas no ChatGPT. Que fez o diagnóstico de espinha bífida oculta, o que significava que ele tinha uma medula presa que não foi notada por todos os 17 médicos em três anos. Ele fez uma cirurgia para liberar a medula. Agora ele está perfeitamente saudável.
(Applause)
(Aplausos)
This is a patient that was sent to me, who was suffering with, she was told, long COVID. She saw many different physicians, neurologists, and her sister entered all her symptoms after getting nowhere, no treatment for long COVID, there is no treatment validated, and her sister put all her symptoms into ChatGPT. It found out it actually was not long COVID, she had limbic encephalitis, which is treatable. She was treated, and now she's doing extremely well.
Esta é uma paciente que foi enviada para mim, que estava sofrendo com, segundo a informaram, COVID longa. Consultou muitos médicos, neurologistas e sua irmã colocou todos os seus sintomas, depois de chegar a lugar nenhum sem tratamento para COVID longa não há tratamento validado e sua irmã colocou todos os sintomas no ChatGPT. Ele descobriu que na verdade não era COVID longa tinha encefalite límbica, que é tratável. Foi tratada e agora está muito bem.
But these are not just anecdotes anymore. 70 very difficult cases that are the clinical pathologic conferences at the New England Journal of Medicine were compared to GPT-4, and the chatbot did as well or better than the expert master clinicians in making the diagnosis.
Mas essas não são mais apenas anedotas. 70 casos muito difíceis que são as conferências clínicas patológicas do New England Journal of Medicine foram comparados ao GPT-4, e o chatbot se saiu tão bem ou melhor do que os médicos especialistas em fazer o diagnóstico.
So I just want to close with a recent conversation with my fellow. Medicine is still an apprenticeship, and Andrew Cho is 30 years old, in his second year of cardiology fellowship. We see all patients together in the clinic. And at the end of clinic the other day, I sat down and said to him, "Andrew, you are so lucky. You're going to be practicing medicine in an era of keyboard liberation. You're going to be connecting with patients the way we haven't done for decades." That is the ability to have the note and the work from the conversation to derive things like pre-authorization, billing, prescriptions, future appointments -- all the things that we do, including nudges to the patient. For example, did you get your blood pressure checks and what did they show and all that coming back to you. But much more than that, to help with making diagnoses. And the gift of time that having all the data of a patient that's all teed up before even seeing the patient. And all this support changes the future of the patient-doctor relationship, bringing in the gift of time. So this is really exciting. I said to Andrew, everything has to be validated, of course, that the benefit greatly outweighs any risk. But it is really a remarkable time for the future of health care, it's so damn exciting.
Só quero encerrar com uma conversa que tive recentemente com meu colega. A Medicina ainda é um aprendizado, e Andrew Cho tem 30 anos, em seu segundo ano de treinamento em cardiologia. Atendemos todos os pacientes juntos na clínica. E no final da clínica, outro dia, sentei-me e disse a ele: “Andrew, você é tão sortudo. Você vai praticar medicina em uma era de liberação do teclado. vai se conectar com os pacientes de uma forma que não fazemos há décadas.” Essa é a capacidade de fazer com que as anotações e o trabalho da conversa obter coisas como pré-autorização, cobrança, prescrições, consultas futuras, tudo o que fazemos, incluindo incentivos ao paciente. Por exemplo, você fez seus exames de pressão arterial e o que eles mostraram e tudo isso voltando para você. Mas muito mais do que isso, para ajudar a fazer diagnósticos. E a dádiva do tempo é ter todos os dados de um paciente preparados antes mesmo de ver o paciente. E todo esse apoio muda o futuro da relação médico-paciente, trazendo a dádiva do tempo. Isso é realmente empolgante. Disse a Andrew que tudo tem que ser validado, é claro, que o benefício supere em muito qualquer risco. Mas é realmente um momento marcante para o futuro dos cuidados de saúde, é muito empolgante.
Thank you.
Obrigado.
(Applause)
(Aplausos)