I've had the real fortune of working at Scripps Research for the last 17 years. It's the largest nonprofit biomedical institution in the country. And I've watched some of my colleagues, who have spent two to three years to define the crystal 3-D structure of a protein.
Saya beruntung dapat bekerja di Scripps Research selama 17 tahun terakhir. lembaga ini adalah biomedis nirlaba terbesar di negara ini. Dan saya telah menyaksikan beberapa rekan saya, yang telah menghabiskan dua hingga tiga tahun untuk mendefiniskan struktur 3-D kristal protein.
Well, now that can be done in two or three minutes. And that's because of the work of AlphaFold, which is a derivative of DeepMind, Demis Hassabis and John Jumper, recognized by the American Nobel Prize in September.
Sekarang, hal tersebut bisa dilakukan dalam dua atau tiga menit. Dan itu karena karya AlphaFold, yang merupakan turunan dari DeepMind, Demis Hassabis dan John Jumper, yang diakui oleh penghargaan Nobel Amerika pada bulan September.
What's interesting, this work, which is taking the amino acid sequence in one dimension and predicting the three-dimensional protein at atomic level, [has] now inspired many other of these protein structure prediction models, as well as RNA and antibodies, and even being able to pick up all the missense mutations in the genome, and even being able to come up wit proteins that have never been invented before, that don't exist in nature.
Hal menarik di pekerjaan ini, yaitu mengambil urutan asam amino dalam satu dimensi dan memprediksi protein tiga dimensi pada tingkat atom, sekarang telah mengilhami banyak model prediksi struktur protein lainnya, serta RNA dan antibodi, bahkan mampu menangkap semua mutasi missense dalam genom, juga mampu menghasilkan protein yang belum pernah ditemukan sebelumnya, di dunia nyata.
Now, the only thing I think about this is it was a transformer model, we'll talk about that in a moment, in this award, since Demis and John and their team of 30 scientists don't understand how the transformer model works, shouldn't the AI get an asterisk as part of that award?
Saat ini, hal yang saya pikirkan adalah tentang model transformator, kita akan segera membahasnya, dalam penghargaan ini, ketika Demis dan John dan tim mereka yang terdiri dari 30 ilmuwan tidak mengerti bagaimana model transformator bekerja, bukankah seharusnya AI juga mendapatkan tanda bintang sebagai bagian dari penghargaan itu?
I'm going to switch from life science, which has been the singular biggest contribution just reviewed, to medicine. And in the medical community, the thing that we don't talk much about are diagnostic medical errors. And according to the National Academy of Medicine, all of us will experience at least one in our lifetime. And we know from a recent Johns Hopkins study that these errors have led to 800,000 Americans dead or seriously disabled each year. So this is a big problem. And the question is, can AI help us? And you keep hearing about the term “precision medicine.” Well, if you keep making the same mistake over and over again, that's very precise.
Saya akan beralih dari ilmu kehidupan yang telah menjadi kontribusi terbesar yang baru saja ditinjau, di kedokteran. Dan di komunitas medis, hal yang tidak banyak kita bicarakan adalah kesalahan medis diagnostik. Dan menurut Akademi Nasional Kedokteran, kita semua akan mengalami setidaknya satu dalam hidup kita. kita baru tahu hal tersebut dari studi Johns Hopkins bahwa kesalahan ini telah menyebabkan 800.000 orang Amerika meninggal atau cacat serius setiap tahun. Jadi ini masalah besar. Dan pertanyaannya adalah, mampukah AI membantu kita? Dan Anda terus mendengar tentang istilah “obat presisi.” Nah, jika Anda terus membuat kesalahan yang sama berulang-ulang, akan akurat.
(Laughter)
(Tawa)
We don't need that, we need accuracy and precision medicine. So can we get there?
Kita tidak butuh itu, kita membutuhkan ketepatan dan pengobatan presisi. Jadi mampukah kita ke tahap itu?
Well, this is a picture of the retina. And this was the first major hint, training 100,000 images with supervised learning. Could the machine see things that people couldn't see? And so the question was, to the retinal experts, is this from a man or a woman? And the chance of getting it accurate was 50 percent.
Ini adalah gambar retina. Dan ini adalah awal petunjuk utama, melatih 100.000 gambar dengan pembelajaran yang diawasi. Mampukah mesin melihat hal-hal yang tidak dapat dilihat orang? Pertanyaannya ditujukan kepada para ahli retina, apakah ini retina pria atau wanita? Dan peluang akuratnya adalah 50 persen.
(Laughter)
(Tawa)
But the AI got it right, 97 percent. So that training, the features are not even fully defined of how that was possible. Well that gets then to all of medical images. This is just representative, the chest X-ray. And in fact with the chest X-ray, the ability here for the AI to pick up, the radiologists, expert radiologists missing the nodule, which turned out to be picked up by the AI as cancerous, and this is, of course, representative of all of medical scans, whether it’s CT scans, MRI, ultrasound. That through supervised learning of large, labeled, annotated data sets, we can see AI do at least as well, if not better, than expert physicians.
Tapi AI melakukannya dengan benar, 97 persen. Sehingga pelatihan tersebut, fitur-fiturnya bahkan tidak didefinisikan bagaimana itu mungkin. Nah itu sampai ke semua gambar medis. Ini hanya representatif, rontgen dada. Dan faktanya pada rontgen dada, kemampuan AI untuk menangkap, ahli radiologi, ahli radiologi melewatkan nodul, yang ternyata diambil oleh AI sebagai kanker, dan ini, tentu saja, mewakili semua pemindaian medis, apakah itu CT scan, MRI, USG. Melalui pembelajaran yang diawasi dari kumpulan data besar, berlabel, beranotasi, kita dapat melihat AI melakukannya setidaknya sama baiknya, atau tidak, dari dokter ahli.
And 21 randomized trials of picking up polyps -- machine vision during colonoscopy -- have all shown that polyps are picked up better with the aid of machine vision than by the gastroenterologist alone, especially as the day goes on, later in the day, interestingly. We don't know whether picking up all these additional polyps changes the natural history of cancers, but it tells you about machine eyes, the power of machine eyes.
Dan 21 uji coba acak dari pengambilan polip - penglihatan mesin selama kolonoskopi - semuanya menunjukkan bahwa polip diambil lebih baik dengan bantuan penglihatan mesin daripada oleh ahli gastroenterologi, terutama seiring berjalannya hari, di kemudian hari, menarik. Kami tidak tahu apakah mengambil semua polip tambahan ini mengubah riwayat alami kanker, tetapi ini memberi tahu Anda tentang mata mesin, kekuatan mata mesin.
Now that was interesting. But now still with deep learning models, not transformer models, we've seen and learned that the ability for computer vision to pick up things that human eyes can't see is quite remarkable. Here's the retina. Picking up the control of diabetes and blood pressure. Kidney disease. Liver and gallbladder disease. The heart calcium score, which you would normally get through a scan of the heart. Alzheimer's disease before any clinical symptoms have been manifest. Predicting heart attacks and strokes. Hyperlipidemia. And seven years before any symptoms of Parkinson's disease, to pick that up. Now this is interesting because in the future, we'll be taking pictures of our retina at checkups. This is the gateway to almost every system in the body. It's really striking. And we'll come back to this because each one of these studies was done with tens or hundreds [of] thousands of images with supervised learning, and they’re all separate studies by different investigators.
Sekarang itu menarik. Masih dengan model pembelajaran mendalam, bukan model transformator, kita telah melihat dan belajar bahwa kemampuan penglihatan komputer untuk menangkap hal-hal yang tidak dapat dilihat mata manusia cukup luar biasa. Ini retina. Mengambil kontrol diabetes dan tekanan darah. Penyakit ginjal. Penyakit hati dan kandung empedu. Skor kalsium jantung, yang biasanya Anda dapatkan melalui pemindaian jantung. Penyakit Alzheimer sebelum gejala klinis apa pun terwujud. Memprediksi serangan jantung dan stroke. Hiperlipidemia. Dan tujuh tahun sebelum ada gejala penyakit Parkinson, untuk mengatasinya. Ini menarik karena di masa depan, kita akan mengambil gambar retina kita saat pemeriksaan. Ini adalah pintu gerbang ke hampir setiap sistem dalam tubuh. Ini benar-benar mencolok. Dan kita akan merujuk ke sini karena masing-masing studi ini dilakukan dengan puluhan atau ratusan ribu gambar dengan pelatihan yang diawasi, dan semuanya studi terpisah oleh peneliti yang berbeda.
Now, as a cardiologist, I love to read cardiograms. I've been doing it for over 30 years. But I couldn't see these things. Like, the age and the sex of the patient, or the ejection fraction of the heart, making difficult diagnoses that are frequently missed. The anemia of the patient, that is, the hemoglobin to the decimal point. Predicting whether a person, who's never had atrial fibrillation or stroke from the ECG, whether that's going to likely occur. Diabetes, a diagnosis of diabetes and prediabetes, from the cardiogram. The filling pressure of the heart. Hypothyroidism and kidney disease. Imagine getting an electrocardiogram to tell you about all these other things, not really so much about the heart.
Sekarang, sebagai ahli jantung, saya suka membaca kardiogram. Saya telah melakukannya selama lebih dari 30 tahun. Tapi aku tidak bisa melihat hal-hal ini. Seperti, usia dan jenis kelamin pasien, atau fraksi ejeksi jantung, membuat diagnosis sulit yang sering terlewatkan. Anemia pasien, yaitu hemoglobin ke titik desimal. Memprediksi apakah seseorang, yang tidak pernah mengalami fibrilasi atrium atau stroke dari EKG, apakah itu kemungkinan akan terjadi. Diabetes, diagnosis diabetes dan pradiabetes, dari kardiogram. Tekanan pengisian jantung. Hipotiroidisme dan penyakit ginjal. Bayangkan mendapatkan elektrokardiogram untuk memberi tahu Anda tentang semua hal ini, tidak terlalu banyak tentang jantung.
Then there's the chest X-ray. Who would have guessed that we could accurately determine the race of the patient, no less the ethical implications of that, from a chest X-ray through machine eyes? And interestingly, picking up the diagnosis of diabetes, as well as how well the diabetes is controlled, through the chest X-ray. And of course, so many different parameters about the heart, which we could never, radiologists or cardiologists, could never be able to come up with what machine vision can do.
Lalu ada rontgen dada. Siapa yang bisa menebak bahwa kita dapat secara akurat menentukan ras pasien, tidak kurang implikasi etis dari itu, dari rontgen dada melalui mata mesin? Dan yang menarik, mengambil diagnosis diabetes, serta seberapa baik diabetes dikendalikan, melalui rontgen dada. Begitu banyak parameter berbeda tentang jantung, yang tidak pernah bisa kita, bahkan ahli radiologi atau ahli jantung tidak pernah bisa menemukan apa yang dapat dilakukan oleh penglihatan mesin.
Pathologists often argue about a slide, about what does it really show? But with this ability of machine eyes, the driver genomic mutations of the cancer can be defined, no less the structural copy number variants that are accounting or present in that tumor. Also, where is that tumor coming from? For many patients, we don’t know. But it can be determined through AI. And also the prognosis of the patient, just from the slide, by all of the training. Again, this is all just convolutional neural networks, not transformer models.
Ahli patologi sering berdebat tentang salinan, tentang apa yang sebenarnya ditunjukkan? Tetapi dengan kemampuan mata mesin ini, mutasi genom pendorong kanker dapat didefinisikan, tidak kurang varian nomor salinan struktural yang terhitung atau yang ada dalam tumor itu. Dan juga dari mana tumor itu berasal? Bagi banyak pasien, kami tidak tahu. Tapi itu bisa ditentukan melalui AI. Dan juga prognosis pasien, hanya dari salinan, oleh semua pelatihan. Ini semua hanya jaringan saraf konvolusi, bukan model transformator.
So when we go from the deep neural networks to transformer models,
Saat kita beralih dari jaringan saraf dalam
this classic pre-print, one of the most cited pre-prints ever, "Attention is All You Need," the ability to now be able to look at many more items, whether it be language or images, and be able to put this in context, setting up a transformational progress in many fields.
ke model transformator, pra-cetak klasik ini, salah satu pra-cetakan kutipan terbanyak yang pernah ada, Perhatian adalah semua yang Anda Butuhkan, kemampuan untuk sekarang dapat melihat lebih banyak unit, apakah itu bahasa atau gambar, dan dapat menempatkan ini dalam konteks, menyiapkan kemajuan transformasional di banyak bidang.
The prototype is, the outgrowth of this is GPT-4. With over a trillion connections. Our human brain has 100 trillion connections or parameters. But one trillion, just think of all the information, knowledge, that's packed into those one trillion. And interestingly, this is now multimodal with language, with images, with speech. And it involves a massive amount of graphic processing units. And it's with self-supervised learning, which is a big bottleneck in medicine because we can't get experts to label images. This can be done with self-supervised learning.
Prototipe ini adalah hasil dari GPT-4. Dengan lebih dari satu triliun koneksi. Otak manusia memiliki 100 triliun koneksi atau parameter. Tapi satu triliun, hanya semua pikiran informasi, pengetahuan, yang dikemas dalam satu triliun itu. Dan yang menarik saat ini, multimodal dengan bahasa, dengan gambar, dengan ucapan. Dan itu melibatkan sejumlah besar unit pemrosesan grafis. Dan dengan pembelajaran yang diawasi sendiri, yang merupakan hambatan besar dalam kedokteran karena kita tidak bisa membuat para ahli memberi label pada gambar. Ini dapat dilakukan dengan pembelajaran yang diawasi sendiri.
So what does this set up in medicine? It sets up, for example, keyboard liberation. The one thing that both doctors, clinicians and patients would like to see. Everyone hates being data clerks as clinicians, and patients would like to see their doctor when they finally have the visit they've waited for a long time. So the ability to change the face-to-face contact is just one step along the way. By having the liberation from keyboards with synthetic notes that are driven, derived from the conversation, and then all the downstream normal data clerk functions that are done, often off-hours. Now we're seeing in health systems across the United States where people, physicians are saving many hours of time and heading towards ultimately keyboard liberation.
Jadi apa yang diatur dalam kedokteran? Ini mengatur, misalnya, pembebasan keyboard. Satu hal yang ingin dilihat oleh dokter, petugas medis dan pasien yang ingin dilihat. Semua orang benci menjadi petugas data sebagai petugas medis, dan pasien ingin menemui dokter mereka ketika mereka memiliki kunjungan yang telah mereka tunggu untuk waktu yang lama. Jadi kemampuan untuk mengubah kontak tatap muka hanyalah satu langkah di sepanjang jalan. Dengan memiliki pembebasan dari keyboard dengan catatan sintetis yang didorong, berasal dari percakapan, dan kemudian semua hilir normal fungsi petugas data yang dilakukan, seringkali di luar jam kerja. Kita melihat dalam sistem kesehatan di seluruh Amerika Serikat di mana orang-orang, dokter menghemat banyak waktu dan menuju pembebasan keyboard pada akhirnya.
We recently published, with the group at Moorfields Eye Institute, led by Pearse Keane, the first foundation model in medicine from the retina. And remember those eight different things that were all done by separate studies? This was all done with one model. This is with 1.6 million retinal images predicting all these different outcome likelihoods. And this is all open-source, which is of course really important that others can build on these models.
Kami baru-baru ini menerbitkan bersama di Moorfields Eye Institute, yang dipimpin oleh Pearse Keane, model dasar pertama dalam kedokteran dari retina. Dan ingat delapan hal berbeda yang semuanya dilakukan oleh penelitian terpisah? Ini semua dilakukan dengan satu model. Ini dengan 1,6 juta gambar retina yang memprediksi semua kemungkinan hasil yang berbeda ini. Dan ini semua sumber terbuka, yang tentu saja sangat penting bagi orang lain untuk membangun model ini.
Now I just want to review a couple of really interesting patients. Andrew, who is now six years old. He had three years of relentlessly increasing pain, arrested growth. His gait suffered with a dragging of his left foot, he had severe headaches. He went to 17 doctors over three years. His mother then entered all his symptoms into ChatGPT. It made the diagnosis of occulta spina bifida, which meant he had a tethered spinal cord that was missed by all 17 doctors over three years. He had surgery to release the cord. He's now perfectly healthy.
Sekarang saya hanya ingin meninjau beberapa pasien yang sangat menarik. Andrew, yang sekarang berusia enam tahun. Dia mengalami tiga tahun rasa sakit yang terus meningkat, menahan pertumbuhan. Gaya berjalannya menderita dengan menyeret kaki kirinya, dia mengalami sakit kepala parah. Dia pergi ke 17 dokter selama tiga tahun. Ibunya kemudian memasukkan semua gejalanya ke ChatGPT. Anaknya terdiagnosis Spina bifida occulta yaitu sumsum tulang belakang terikat yang terlewatkan oleh semua 17 dokter selama tiga tahun. Dia menjalani operasi untuk melepaskan ikatannya. Dia sekarang sangat sehat.
(Applause)
(Tepuk tangan)
This is a patient that was sent to me, who was suffering with, she was told, long COVID. She saw many different physicians, neurologists, and her sister entered all her symptoms after getting nowhere, no treatment for long COVID, there is no treatment validated, and her sister put all her symptoms into ChatGPT. It found out it actually was not long COVID, she had limbic encephalitis, which is treatable. She was treated, and now she's doing extremely well.
Ini adalah pasien yang dikirim kepada saya, yang katanya menderita pasca-COVID. Dia menemui banyak dokter, ahli saraf, dan saudara perempuannya memasukkan semua gejalanya setelah tidak ada kemajuan tak ada pengobatan pasca-COVID tidak ada pengobatan yang valid, dan saudara perempuannya memasukkan semua gejalanya ke ChatGPT. Ternyata sebenarnya tidak pasca-COVID, dia menderita ensefalitis limbik, yang bisa diobati. Dia dirawat, dan sekarang dia baik-baik saja.
But these are not just anecdotes anymore. 70 very difficult cases that are the clinical pathologic conferences at the New England Journal of Medicine were compared to GPT-4, and the chatbot did as well or better than the expert master clinicians in making the diagnosis.
Tapi ini bukan hanya anekdot lagi. 70 kasus yang sangat sulit yang merupakan konferensi patologis klinis di Jurnal Kedokteran New England dibandingkan dengan GPT-4, dan chatbot melakukannya dengan baik atau lebih baik daripada dokter ahli ahli dalam membuat diagnosis.
So I just want to close with a recent conversation with my fellow. Medicine is still an apprenticeship, and Andrew Cho is 30 years old, in his second year of cardiology fellowship. We see all patients together in the clinic. And at the end of clinic the other day, I sat down and said to him, "Andrew, you are so lucky. You're going to be practicing medicine in an era of keyboard liberation. You're going to be connecting with patients the way we haven't done for decades." That is the ability to have the note and the work from the conversation to derive things like pre-authorization, billing, prescriptions, future appointments -- all the things that we do, including nudges to the patient. For example, did you get your blood pressure checks and what did they show and all that coming back to you. But much more than that, to help with making diagnoses. And the gift of time that having all the data of a patient that's all teed up before even seeing the patient. And all this support changes the future of the patient-doctor relationship, bringing in the gift of time. So this is really exciting. I said to Andrew, everything has to be validated, of course, that the benefit greatly outweighs any risk. But it is really a remarkable time for the future of health care, it's so damn exciting.
Jadi saya ingin menutup percakapan ini dengan rekan saya. Pendidikan Dokter yang masih magang, dan Andrew Cho berusia 30 tahun, di tahun kedua beasiswa kardiologi. Kami melihat semua pasien bersama di klinik. Dan di akhir klinik beberapa hari yang lalu, saya duduk dan berkata kepadanya, “Andrew, kamu sangat beruntung. Anda akan berlatih kedokteran di era pembebasan keyboard. Anda akan terhubung dengan pasien dengan cara yang belum kami lakukan selama beberapa dekade. Itu adalah kemampuan untuk memiliki catatan dan pekerjaan dari percakapan untuk mendapatkan hal-hal seperti pra-otorisasi, penagihan, resep, janji temu mendatang - semua hal yang kita lakukan, termasuk dorongan kepada pasien. Apakah Anda mendapatkan pemeriksaan tekanan darah dan apa yang mereka tunjukkan dan semua itu kembali kepada Anda. Tapi lebih dari itu, untuk membantu membuat diagnosa. Dan karunia waktu adalah memiliki semua data pasien yang semuanya dikumpulkan bahkan sebelum melihat pasien. Dan semua dukungan ini mengubah masa depan hubungan pasien-dokter, membawa karunia waktu. Jadi ini benar-benar menarik. Saya berkata kepada Andrew, semuanya harus divalidasi, tentu saja, bahwa manfaatnya jauh lebih besar daripada risiko apa pun. Tapi ini benar-benar waktu yang luar biasa untuk masa depan perawatan kesehatan, sangat menarik.
Thank you.
Terima kasih.
(Applause)
(Tepuk tangan)