I've had the real fortune of working at Scripps Research for the last 17 years. It's the largest nonprofit biomedical institution in the country. And I've watched some of my colleagues, who have spent two to three years to define the crystal 3-D structure of a protein.
Tôi cảm thấy thực sự may mắn được làm việc tại Scripps Research trong 17 năm qua. Đây là tổ chức y sinh phi lợi nhuận lớn nhất trong cả nước. Và tôi đã theo dõi một số đồng nghiệp của mình, những người đã dành hai đến ba năm để xác định cấu trúc tinh thể 3-D của một protein.
Well, now that can be done in two or three minutes. And that's because of the work of AlphaFold, which is a derivative of DeepMind, Demis Hassabis and John Jumper, recognized by the American Nobel Prize in September.
Vâng, bây giờ điều đó có thể được thực hiện trong hai hoặc ba phút. Và đó là vì công việc của AlphaFold, một phái sinh của DeepMind, Demis Hassabis và John Jumper, được công nhận bởi giải Nobel của Mỹ vào tháng 9.
What's interesting, this work, which is taking the amino acid sequence in one dimension and predicting the three-dimensional protein at atomic level, [has] now inspired many other of these protein structure prediction models, as well as RNA and antibodies, and even being able to pick up all the missense mutations in the genome, and even being able to come up wit proteins that have never been invented before, that don't exist in nature.
Điều thú vị là, công trình này, lấy trình tự axit amin trong một chiều và dự đoán protein ba chiều ở cấp độ nguyên tử, [đã] truyền cảm hứng cho nhiều mô hình dự đoán cấu trúc protein khác, cũng như RNA và kháng thể, và thậm chí có thể nhận được tất cả các đột biến sai lệch trong bộ gen, và thậm chí có thể tạo ra các protein chưa từng được phát minh trước đây, không tồn tại trong tự nhiên.
Now, the only thing I think about this is it was a transformer model, we'll talk about that in a moment, in this award, since Demis and John and their team of 30 scientists don't understand how the transformer model works, shouldn't the AI get an asterisk as part of that award?
Bây giờ, điều duy nhất tôi nghĩ là nó là một mô hình máy biến áp, chúng ta sẽ nói về điều đó trong giây lát, trong giải thưởng này, vì Demis và John và nhóm 30 nhà khoa học của họ không hiểu mô hình máy biến áp hoạt động như thế nào, không nên AI có được dấu hoa thị như một phần của giải thưởng đó?
I'm going to switch from life science, which has been the singular biggest contribution just reviewed, to medicine. And in the medical community, the thing that we don't talk much about are diagnostic medical errors. And according to the National Academy of Medicine, all of us will experience at least one in our lifetime. And we know from a recent Johns Hopkins study that these errors have led to 800,000 Americans dead or seriously disabled each year. So this is a big problem. And the question is, can AI help us? And you keep hearing about the term “precision medicine.” Well, if you keep making the same mistake over and over again, that's very precise.
Tôi sẽ chuyển từ khoa học đời sống, vốn là đóng góp lớn nhất duy nhất vừa được xem xét, sang y học. Và trong cộng đồng y tế, điều mà chúng ta không nói nhiều đến là các lỗi chẩn đoán y tế. Và theo Học viện Y khoa Quốc gia, tất cả chúng ta sẽ trải nghiệm ít nhất một trong cuộc đời. Từ nghiên cứu gần đây của Johns Hopkins, ta đều rõ rằng những sai lầm này đã dẫn đến 800.000 người Mỹ chết hoặc tàn tật nghiêm trọng mỗi năm. Vì vậy, đây là một vấn đề lớn. Câu hỏi là, AI có thể giúp chúng ta không? Và bạn tiếp tục nghe về thuật ngữ “y học chính xác.” Chà, nếu bạn cứ lặp đi lặp lại cùng một sai lầm, điều đó rất chính xác.
(Laughter)
(Cười)
We don't need that, we need accuracy and precision medicine. So can we get there?
Ta không cần điều đó, mà ta cần sự tuyệt đối và y học chính xác. Vậy chúng ta có thể đến đó không?
Well, this is a picture of the retina. And this was the first major hint, training 100,000 images with supervised learning. Could the machine see things that people couldn't see? And so the question was, to the retinal experts, is this from a man or a woman? And the chance of getting it accurate was 50 percent.
Vâng, đây là một hình ảnh của võng mạc. Và đây là gợi ý chính đầu tiên, đào tạo 100.000 hình ảnh với việc học có giám sát. Máy có thể nhìn thấy những thứ mà mọi người không thể nhìn thấy? Và vì vậy câu hỏi đặt ra là, đối với các chuyên gia võng mạc, đây là từ một người đàn ông hay phụ nữ? Và cơ hội để có được nó chính xác là 50 phần trăm.
(Laughter)
(Cười)
But the AI got it right, 97 percent. So that training, the features are not even fully defined of how that was possible. Well that gets then to all of medical images. This is just representative, the chest X-ray. And in fact with the chest X-ray, the ability here for the AI to pick up, the radiologists, expert radiologists missing the nodule, which turned out to be picked up by the AI as cancerous, and this is, of course, representative of all of medical scans, whether it’s CT scans, MRI, ultrasound. That through supervised learning of large, labeled, annotated data sets, we can see AI do at least as well, if not better, than expert physicians.
Nhưng AI đã đúng, 97%. Vì vậy, việc đào tạo đó, các tính năng còn không thể giải thích đầy đủ về tính khả thi của việc đó Sau đó, điều đó sẽ xảy ra với tất cả các hình ảnh y tế. Đây chỉ là đại diện, X-quang ngực. Và trên thực tế với X-quang ngực, khả năng AI tìm ra, các bác sĩ X quang, chuyên gia X quang đã bỏ sót nốt sần, hóa ra được AI nhận ra là ung thư, và điều này, tất nhiên, đại diện cho tất cả các hình ảnh chụp y tế, cho dù đó là chụp CT, MRI, siêu âm. Bằng việc học tập có giám sát các tệp dữ liệu lớn, được dán nhãn, có chú thích, chúng ta có thể thấy AI hoạt động ít nhất, nếu không muốn nói là tốt hơn, so với các bác sĩ chuyên nghiệp.
And 21 randomized trials of picking up polyps -- machine vision during colonoscopy -- have all shown that polyps are picked up better with the aid of machine vision than by the gastroenterologist alone, especially as the day goes on, later in the day, interestingly. We don't know whether picking up all these additional polyps changes the natural history of cancers, but it tells you about machine eyes, the power of machine eyes.
Và 21 thử nghiệm ngẫu nhiên về việc lấy polyp - thị giác máy trong nội soi - tất cả đều cho thấy polyp được phát hiện tốt hơn với sự hỗ trợ của thị giác máy so với chỉ riêng bác sĩ tiêu hóa, đặc biệt là khi ngày trôi qua, sau đó trong ngày, thật thú vị. Chúng ta không biết liệu việc lấy tất cả các polyp bổ sung này, liệu có thay đổi lịch sử của bệnh ung thư nhưng nó cho bạn biết về mắt máy, sức mạnh của mắt máy.
Now that was interesting. But now still with deep learning models, not transformer models, we've seen and learned that the ability for computer vision to pick up things that human eyes can't see is quite remarkable. Here's the retina. Picking up the control of diabetes and blood pressure. Kidney disease. Liver and gallbladder disease. The heart calcium score, which you would normally get through a scan of the heart. Alzheimer's disease before any clinical symptoms have been manifest. Predicting heart attacks and strokes. Hyperlipidemia. And seven years before any symptoms of Parkinson's disease, to pick that up. Now this is interesting because in the future, we'll be taking pictures of our retina at checkups. This is the gateway to almost every system in the body. It's really striking. And we'll come back to this because each one of these studies was done with tens or hundreds [of] thousands of images with supervised learning, and they’re all separate studies by different investigators.
Bây giờ điều đó thật thú vị. Nhưng bây giờ vẫn với các mô hình học sâu, không phải mô hình máy biến áp, chúng ta đã thấy và học được rằng khả năng thị giác máy tính thu nhận những thứ mà mắt người không thể nhìn thấy là khá đáng chú ý. Đây là võng mạc. Kiểm soát bệnh tiểu đường và huyết áp. Bệnh thận. Bệnh gan và túi mật. Điểm canxi tim, mà bạn thường nhận được thông qua quá trình quét tim. Bệnh Alzheimer trước khi có bất kỳ triệu chứng lâm sàng nào được biểu hiện. Dự đoán các cơn đau tim và đột quỵ. Tăng lipid máu. Và bảy năm trước khi có bất kỳ triệu chứng nào của bệnh Parkinson, phải nhận ra điều đó. Bây giờ điều này thật thú vị bởi vì trong tương lai, chúng ta sẽ chụp ảnh võng mạc của chúng ta khi kiểm tra. Đây là cửa ngõ đến hầu hết mọi hệ thống trong cơ thể. Nó thực sự nổi bật. Và chúng ta sẽ quay trở lại vấn đề này bởi vì mỗi nghiên cứu này được thực hiện với hàng chục hoặc hàng trăm nghìn hình ảnh với học tập có giám sát, và chúng đều là những nghiên cứu riêng biệt của các nhà điều tra khác nhau.
Now, as a cardiologist, I love to read cardiograms. I've been doing it for over 30 years. But I couldn't see these things. Like, the age and the sex of the patient, or the ejection fraction of the heart, making difficult diagnoses that are frequently missed. The anemia of the patient, that is, the hemoglobin to the decimal point. Predicting whether a person, who's never had atrial fibrillation or stroke from the ECG, whether that's going to likely occur. Diabetes, a diagnosis of diabetes and prediabetes, from the cardiogram. The filling pressure of the heart. Hypothyroidism and kidney disease. Imagine getting an electrocardiogram to tell you about all these other things, not really so much about the heart.
Bây giờ, là một bác sĩ tim mạch, tôi thích đọc đồ tim. Tôi đã làm điều đó hơn 30 năm. Nhưng tôi không thể nhìn thấy những thứ như tuổi và giới tính của bệnh nhân, hoặc phần tống máu của tim, khiến các chẩn đoán khó khăn thường bị bỏ qua. Thiếu máu của bệnh nhân, nghĩa là huyết sắc tố đến dấu thập phân. Dự đoán liệu một người, người chưa bao giờ bị rung tâm nhĩ hoặc đột quỵ từ ECG, liệu điều đó có khả năng xảy ra hay không. Bệnh tiểu đường, chẩn đoán bệnh tiểu đường và tiền tiểu đường, từ đồ tim. Áp lực làm đầy của tim. Suy giáp và bệnh thận. Hãy tưởng tượng bạn lấy điện tâm đồ để cho bạn biết về tất cả những điều khác, không thực sự nhiều về tim.
Then there's the chest X-ray. Who would have guessed that we could accurately determine the race of the patient, no less the ethical implications of that, from a chest X-ray through machine eyes? And interestingly, picking up the diagnosis of diabetes, as well as how well the diabetes is controlled, through the chest X-ray. And of course, so many different parameters about the heart, which we could never, radiologists or cardiologists, could never be able to come up with what machine vision can do.
Sau đó là chụp X-quang ngực. Ai có thể đoán được rằng chúng ta có thể xác định chính xác chủng tộc của bệnh nhân, không kém những tác động đạo đức, từ chụp X-quang ngực thông qua mắt máy? Và thật thú vị, chọn chẩn đoán bệnh tiểu đường, cũng như cách kiểm soát bệnh tiểu đường, thông qua X-quang ngực. Và tất nhiên, rất nhiều thông số khác nhau về tim, mà chúng ta không bao giờ có thể, bác sĩ X quang hay bác sĩ tim mạch, không bao giờ có thể đưa ra những gì thị giác máy có thể làm được.
Pathologists often argue about a slide, about what does it really show? But with this ability of machine eyes, the driver genomic mutations of the cancer can be defined, no less the structural copy number variants that are accounting or present in that tumor. Also, where is that tumor coming from? For many patients, we don’t know. But it can be determined through AI. And also the prognosis of the patient, just from the slide, by all of the training. Again, this is all just convolutional neural networks, not transformer models.
Các nhà bệnh lý học thường tranh luận về những gì nó thực sự hiển thị? Nhưng với khả năng này của mắt máy, các đột biến gen điều khiển của ung thư có thể được xác định, không kém các biến thể số bản sao cấu trúc đang tính toán hoặc hiện diện trong khối u đó. Ngoài ra, khối u đó đến từ đâu? Với nhiều bệnh nhân, chúng tôi không rõ Nhưng lại có thể xác định được bằng AI. Và cả tiên lượng của bệnh nhân, chỉ từ slide, bằng tất cả các khóa đào tạo. Một lần nữa, đây chỉ là mạng nơ- ron chập chập, không phải mô hình máy biến áp.
So when we go from the deep neural networks to transformer models, this classic pre-print, one of the most cited pre-prints ever, "Attention is All You Need," the ability to now be able to look at many more items, whether it be language or images, and be able to put this in context, setting up a transformational progress in many fields.
Vì vậy, khi chúng ta chuyển từ mạng nơron sâu sang mô hình biến áp, bản in trước cổ điển này, một trong những bản in trước được trích dẫn nhiều nhất, “Sự chú ý là mọi thứ bạn cần” khả năng bây giờ có thể xem xét nhiều mục hơn, cho dù đó là ngôn ngữ hay hình ảnh, và có thể đặt điều này vào bối cảnh, thiết lập một tiến bộ chuyển đổi trong nhiều lĩnh vực.
The prototype is, the outgrowth of this is GPT-4. With over a trillion connections. Our human brain has 100 trillion connections or parameters. But one trillion, just think of all the information, knowledge, that's packed into those one trillion. And interestingly, this is now multimodal with language, with images, with speech. And it involves a massive amount of graphic processing units. And it's with self-supervised learning, which is a big bottleneck in medicine because we can't get experts to label images. This can be done with self-supervised learning.
Nguyên mẫu là, phần phát triển của nó là GPT-4. Với hơn một nghìn tỷ kết nối. Bộ não con người của chúng ta có 100 nghìn tỷ kết nối hoặc thông số. Nhưng một nghìn tỷ, chỉ cần nghĩ đến tất cả thông tin, kiến thức, được đóng gói trong một nghìn tỷ đó. Và thật thú vị, điều này bây giờ là đa phương thức với ngôn ngữ, với hình ảnh, với lời nói. Và nó liên quan đến một số lượng lớn các đơn vị xử lý đồ họa. Và đó là với việc học tập tự giám sát, đây là một nút thắt lớn trong y học vì chúng ta không thể khiến các chuyên gia dán nhãn hình ảnh . Điều này có thể được thực hiện với việc học tự giám sát.
So what does this set up in medicine? It sets up, for example, keyboard liberation. The one thing that both doctors, clinicians and patients would like to see. Everyone hates being data clerks as clinicians, and patients would like to see their doctor when they finally have the visit they've waited for a long time. So the ability to change the face-to-face contact is just one step along the way. By having the liberation from keyboards with synthetic notes that are driven, derived from the conversation, and then all the downstream normal data clerk functions that are done, often off-hours. Now we're seeing in health systems across the United States where people, physicians are saving many hours of time and heading towards ultimately keyboard liberation.
Vậy nó thiết lập điều gì trong y học? Nó thiết lập, ví dụ, giải phóng bàn phím. Một điều mà cả bác sĩ, bác sĩ lâm sàng và bệnh nhân đều muốn thấy. Mọi người đều ghét làm nhân viên dữ liệu với tư cách là bác sĩ lâm sàng và bệnh nhân muốn gặp bác sĩ của họ khi cuối cùng họ có chuyến thăm mà họ đã chờ đợi trong một thời gian dài. Vì vậy, khả năng thay đổi tiếp xúc trực tiếp chỉ là một bước trên đường đi. Bằng cách giải phóng khỏi bàn phím với các ghi chú tổng hợp được điều khiển, bắt nguồn từ cuộc trò chuyện, và sau đó là tất cả các chức năng thư ký dữ liệu ở hạ nguồn được thực hiện, thường là ngoài giờ. Bây giờ chúng ta đang thấy trong các hệ thống y tế trên khắp Hoa Kỳ, nơi mọi người, bác sĩ đang tiết kiệm nhiều giờ thời gian và hướng tới giải phóng bàn phím cuối cùng.
We recently published, with the group at Moorfields Eye Institute, led by Pearse Keane, the first foundation model in medicine from the retina. And remember those eight different things that were all done by separate studies? This was all done with one model. This is with 1.6 million retinal images predicting all these different outcome likelihoods. And this is all open-source, which is of course really important that others can build on these models.
Gần đây, chúng tôi đã xuất bản, với nhóm tại Viện Mắt Moorfields, dẫn đầu bởi Pearse Keane, mô hình nền tảng đầu tiên trong y học từ võng mạc. Bạn có nhớ tám điều khác nhau đều được thực hiện bởi các nghiên cứu riêng biệt? Tất cả đều được thực hiện với một mô hình. Đây là với 1,6 triệu hình ảnh võng mạc dự đoán tất cả các khả năng kết quả khác nhau này. Và tất cả đều là mã nguồn mở, điều tất nhiên quan trọng vì người khác có thể phát triển dựa trên chúng
Now I just want to review a couple of really interesting patients. Andrew, who is now six years old. He had three years of relentlessly increasing pain, arrested growth. His gait suffered with a dragging of his left foot, he had severe headaches. He went to 17 doctors over three years. His mother then entered all his symptoms into ChatGPT. It made the diagnosis of occulta spina bifida, which meant he had a tethered spinal cord that was missed by all 17 doctors over three years. He had surgery to release the cord. He's now perfectly healthy.
Bây giờ tôi chỉ muốn xem xét một vài bệnh nhân thực sự thú vị. Andrew, hiện đã sáu tuổi. Ông đã trải qua ba năm đau đớn không ngừng gia tăng, ngừng tăng trưởng. Dáng đi của anh bị ảnh hưởng bởi một cú kéo chân trái, anh bị đau đầu dữ dội. Ông đã đi khám 17 bác sĩ trong ba năm. Mẹ anh sau đó đã nhập tất cả các triệu chứng của anh vào ChatGPT. Nó đưa ra chẩn đoán mắc chứng occulta spina bifida, điều nghĩa là anh ta có một tủy sống cố định và đã bị 17 bác sĩ bỏ qua tận ba năm Anh ta đã phẫu thuật để thả dây thừng. Bây giờ anh ấy hoàn toàn khỏe mạnh.
(Applause)
(Vỗ tay)
This is a patient that was sent to me, who was suffering with, she was told, long COVID. She saw many different physicians, neurologists, and her sister entered all her symptoms after getting nowhere, no treatment for long COVID, there is no treatment validated, and her sister put all her symptoms into ChatGPT. It found out it actually was not long COVID, she had limbic encephalitis, which is treatable. She was treated, and now she's doing extremely well.
Đây là một bệnh nhân được gửi đến cho tôi, người đã phải chịu đựng, cô ấy được cho biết, đã bị COVID kéo dài. Cô đã gặp nhiều bác sĩ, bác sĩ thần kinh khác nhau và em gái cô đã nhập tất cả các triệu chứng sau khi không đến đâu, không điều trị COVID lâu dài không phương pháp nào phê chuẩn và em gái cô đã đưa tất cả các triệu chứng của mình vào ChatGPT. Nó phát hiện ra thực sự không lâu COVID, cô ấy bị viêm não limbic, có thể điều trị được. Cô ấy đã được đối xử, và bây giờ cô ấy đang làm rất tốt.
But these are not just anecdotes anymore. 70 very difficult cases that are the clinical pathologic conferences at the New England Journal of Medicine were compared to GPT-4, and the chatbot did as well or better than the expert master clinicians in making the diagnosis.
Nhưng đây không chỉ là giai thoại nữa. 70 trường hợp rất khó khăn là các hội nghị bệnh lý lâm sàng tại Tạp chí Y học New England đã được so sánh với GPT-4 và chatbot đã làm tốt hơn hoặc tốt hơn các bác sĩ lâm sàng chuyên gia trong việc chẩn đoán .
So I just want to close with a recent conversation with my fellow. Medicine is still an apprenticeship, and Andrew Cho is 30 years old, in his second year of cardiology fellowship. We see all patients together in the clinic. And at the end of clinic the other day, I sat down and said to him, "Andrew, you are so lucky. You're going to be practicing medicine in an era of keyboard liberation. You're going to be connecting with patients the way we haven't done for decades." That is the ability to have the note and the work from the conversation to derive things like pre-authorization, billing, prescriptions, future appointments -- all the things that we do, including nudges to the patient. For example, did you get your blood pressure checks and what did they show and all that coming back to you. But much more than that, to help with making diagnoses. And the gift of time that having all the data of a patient that's all teed up before even seeing the patient. And all this support changes the future of the patient-doctor relationship, bringing in the gift of time. So this is really exciting. I said to Andrew, everything has to be validated, of course, that the benefit greatly outweighs any risk. But it is really a remarkable time for the future of health care, it's so damn exciting.
Vì vậy tôi muốn kết thúc bài nói bằng cuộc trò chuyện gần đây với đồng nghiệp Y học vẫn là một khóa học nghề, và Andrew Cho đã 30 tuổi, trong năm thứ hai học bổng tim mạch. Chúng tôi gặp tất cả bệnh nhân trong phòng khám. Và vào cuối phòng khám hôm trước, tôi ngồi xuống và nói với anh ấy, “Andrew, anh thật may mắn. Bạn sẽ thực hành y học trong thời đại giải phóng bàn phím. Bạn sẽ kết nối với bệnh nhân theo cách chúng tôi đã không làm trong nhiều năm”. Đó là khả năng ghi chú và công việc từ cuộc trò chuyện để rút ra những thứ như ủy quyền trước, thanh toán, kê đơn, các cuộc hẹn trong tương lai - mọi việc chúng tôi làm, bao gồm việc thúc đẩy bệnh nhân. Ví dụ, bạn có kiểm tra huyết áp không và chúng cho thấy gì và tất cả chúng sẽ đến với bạn. Nhưng hơn thế nữa, để giúp chẩn đoán. Và món quà của thời gian là có tất cả dữ liệu của một bệnh nhân được thu thập trước khi gặp bệnh nhân. Tất cả sự hỗ trợ này thay đổi tương lai của mối quan hệ bệnh nhân-bác sĩ, mang lại món quà của thời gian. Vì vậy, điều này thực sự thú vị. Tôi nói với Andrew, tất nhiên mọi thứ phải được xác nhận rằng lợi ích vượt trội hơn bất kỳ rủi ro nào. Đây thực sự là một thời điểm đáng chú ý cho tương lai của ngành chăm sóc sức khỏe, nó thật thú vị.
Thank you.
Cảm ơn bạn.
(Applause)
(Vỗ tay)