لقد حظيت بثروة حقيقية عندما عملت لدى معهد سكريبس للأبحاث على مدار الـ 17 عامًا الماضية. إنها أكبر مؤسسة طبية حيوية غير ربحية في البلاد. وقد شاهدت بعض زملائي، الذين قضوا من سنتين إلى ثلاث سنوات بغية تحديد البنية البلورية ثلاثية الأبعاد للبروتين.
I've had the real fortune of working at Scripps Research for the last 17 years. It's the largest nonprofit biomedical institution in the country. And I've watched some of my colleagues, who have spent two to three years to define the crystal 3-D structure of a protein.
حسنًا، الآن يمكن فعل ذلك في دقيقتين أو ثلاث دقائق. يرجع سبب ذلك إلى ذكاء ألفافولد الاصطناعي، وهو برنامج مشتق من ديب مايند وديمس وهاسابيس وجون جمبر الذي اعترفت به جائزة نوبل الأمريكية في سبتمبر.
Well, now that can be done in two or three minutes. And that's because of the work of AlphaFold, which is a derivative of DeepMind, Demis Hassabis and John Jumper, recognized by the American Nobel Prize in September.
و ما يثير الاهتمام هو أن هذا العمل، الذي يأخذ تسلسل الأحماض الأمينية في بُعد واحد ويتنبأ بالبروتين ثلاثي الأبعاد على المستوى الذري، [قد] ألهم الآن العديد من نماذج التنبؤ ببنية البروتين الأخرى، بالإضافة إلى الحمض النووي الريبي(RNA) والأجسام المضادة، والقدرة على معرفة الطفرات المُغلطة جميعها في الخارطة الجينية، وحتى القدرة على ابتكار بروتينات التي لم يسبق اختراعها من قبل، أي التي ليست في الطبيعة.
What's interesting, this work, which is taking the amino acid sequence in one dimension and predicting the three-dimensional protein at atomic level, [has] now inspired many other of these protein structure prediction models, as well as RNA and antibodies, and even being able to pick up all the missense mutations in the genome, and even being able to come up wit proteins that have never been invented before, that don't exist in nature.
الآن، الشيء الوحيد الذي أفكر فيه هو أنه كان نموذجًا متحولًا، الذي سأتحدث عنه بعد برهة، في هذه الجائزة، نظرًا لأن ديميس وجون وفريقهم المكون من 30 عالمًا لا يفهمون كيفية عمل نموذج التحول، ألا ينبغي للذكاء الاصطناعي أن يحظى بعلامة النجمة بوصفه جزءًا من تلك الجائزة؟
Now, the only thing I think about this is it was a transformer model, we'll talk about that in a moment, in this award, since Demis and John and their team of 30 scientists don't understand how the transformer model works, shouldn't the AI get an asterisk as part of that award?
سأنتقل من علوم الحياة، التي كانت المساهم الأكبر الذي ناقشناه للتو، إلى الطب. وفي المجتمع الطبي، الشيء الذي لا نتحدث عنه كثيرًا هو الأخطاء الطبية التشخيصية. ووفقًا للأكاديمية الوطنية للطب (NAM)، جميعنا من عانى من خطأ طبي في حياتنا. ونعلم من دراسة حديثة أجرتها جامعة جونز هوبكنز أن هذه الأخطاء أدت إلى وفاة 800 ألف أمريكي أو الإصابة باعاقات خطيرة لكل عام. لذلك هذه مشكلة كبيرة. والسؤال هو، هل يمكن للذكاء الاصطناعي مساعدتنا؟ وتستمر في السماع عن مصطلح “الطب الدقيق“. حسنًا، إذا واصلت ارتكاب نفس الخطأ مرارًا وتكرارًا، فهذا دقيق جدًا.
I'm going to switch from life science, which has been the singular biggest contribution just reviewed, to medicine. And in the medical community, the thing that we don't talk much about are diagnostic medical errors. And according to the National Academy of Medicine, all of us will experience at least one in our lifetime. And we know from a recent Johns Hopkins study that these errors have led to 800,000 Americans dead or seriously disabled each year. So this is a big problem. And the question is, can AI help us? And you keep hearing about the term “precision medicine.” Well, if you keep making the same mistake over and over again, that's very precise.
(ضحك)
(Laughter)
لسنا بحاجة إليه، نحن بحاجة إلى الدقة والطب الدقيق. لذا، هل يمكننا تحقيق ذلك؟
We don't need that, we need accuracy and precision medicine. So can we get there?
حسنًا، هذه صورة لشبكية العين. وكان هذا أول تلميح رئيسي، وهو تدريب 100,000 صورة مع التعلم الخاضع للإشراف. هل تقدر الآلة على رؤية أشياء التي لم يستطع الناس رؤيته؟ وهكذا كان السؤال، لخبراء الشبكية، هل هذه العينة من رجل أم امرأة؟ وكانت فرصة الحصول عليها دقيقة 50 بالمائة.
Well, this is a picture of the retina. And this was the first major hint, training 100,000 images with supervised learning. Could the machine see things that people couldn't see? And so the question was, to the retinal experts, is this from a man or a woman? And the chance of getting it accurate was 50 percent.
(ضحك)
(Laughter)
لكن الذكاء الاصطناعي جاوب صحيحًا بنسبة 97 بالمائة. لذلك التدريب،
But the AI got it right, 97 percent. So that training,
لم تُحدد السمات بشكل كامل لمعرفة كيف هذا كان ممكننا حسنًا، ينطبق ذلك على الصور الطبية جميعها. هذا مجرد مثال، تصوير الصدر بالأشعة السينية. وفي الواقع، مع الأشعة السينية للصدر، و قدرة الذكاء الاصطناعي على استيعاب، ما فقده أخصائيون الأشعة و خبراء علم الأشعة من عُقَيدة والتي تبين أن الذكاء الاصطناعي لاحظها على أنها سرطانية، وهذا بالطبع يمثل الفحوصات الطبية جميعها، مثل الأشعة المقطعية أوالتصوير بالرنين المغناطيسي أوالموجات فوق الصوتية. و من خلال التعلم المشرف على مجموعات من البيانات الكبيرة والمصنفة والمشروحة، يمكننا أن نرى الذكاء الاصطناعي يعمل على الأقل بنفس مستوى، إن لم يكن أفضل من الأطباء الخبراء.
the features are not even fully defined of how that was possible. Well that gets then to all of medical images. This is just representative, the chest X-ray. And in fact with the chest X-ray, the ability here for the AI to pick up, the radiologists, expert radiologists missing the nodule, which turned out to be picked up by the AI as cancerous, and this is, of course, representative of all of medical scans, whether it’s CT scans, MRI, ultrasound. That through supervised learning of large, labeled, annotated data sets, we can see AI do at least as well, if not better, than expert physicians.
وأظهرت 21 تجربة عشوائية لالتقاط الأورام الحميدة - الرؤية الآلية أثناء تنظير القولون - أن الأورام الحميدة تلتقط بشكل أفضل بمساعدة الرؤية الآلية مقارنة بأخصائي أمراض الجهاز الهضمي وحده، خاصة مع مرور اليوم، أي في وقت لاحق من اليوم، بشكل مثير للاهتمام. لا نعرف ما إذا كان التقاط كل هذه الأورام الحميدة الإضافية يغير التاريخ الطبيعي للسرطان، لكنه يخبرك عن عيون الآلة، وقوة عيون الآلة.
And 21 randomized trials of picking up polyps -- machine vision during colonoscopy -- have all shown that polyps are picked up better with the aid of machine vision than by the gastroenterologist alone, especially as the day goes on, later in the day, interestingly. We don't know whether picking up all these additional polyps changes the natural history of cancers, but it tells you about machine eyes, the power of machine eyes.
الآن كان ذلك مثيرًا للاهتمام. ولكن الآن مع نماذج التعلم العميق، وليس نماذج التحويل، رأينا وتعلمنا أن قدرة رؤية الكمبيوتر على التقاط الأشياء التي لا تستطيع عيون الإنسان رؤيتها رائعة للغاية. ها هي شبكية العين. هذه صورة سيطرة مرض السكري وضغط الدم. مرض الكلى. أمراض الكبد والمرارة. درجة الكالسيوم في القلب، والتي عادة ما تحصل عليها من خلال فحص القلب. مرض الزهايمر قبل ظهور أي أعراض سريرية. التنبؤ بالنوبات القلبية والسكتات الدماغية. فرط شحوم الدم. وقبل سبع سنوات من ظهور أي أعراض لمرض باركنسون، لقد التقط كل ذلك. الآن هذا مثير للاهتمام لأنه في المستقبل، سنلتقط صورًا لشبكية العين في الفحوصات. هذه هي البوابة إلى كل نظام في الجسم تقريبًا. إنه أمر مذهل حقًا. وسنعود إلى هذا لأن كل واحدة من هذه الدراسات أجريت بعشرات أو مئات [من] الآلاف من الصور مع التعلم الخاضع للإشراف، وكلها دراسات منفصلة لباحثين مختلفين.
Now that was interesting. But now still with deep learning models, not transformer models, we've seen and learned that the ability for computer vision to pick up things that human eyes can't see is quite remarkable. Here's the retina. Picking up the control of diabetes and blood pressure. Kidney disease. Liver and gallbladder disease. The heart calcium score, which you would normally get through a scan of the heart. Alzheimer's disease before any clinical symptoms have been manifest. Predicting heart attacks and strokes. Hyperlipidemia. And seven years before any symptoms of Parkinson's disease, to pick that up. Now this is interesting because in the future, we'll be taking pictures of our retina at checkups. This is the gateway to almost every system in the body. It's really striking. And we'll come back to this because each one of these studies was done with tens or hundreds [of] thousands of images with supervised learning, and they’re all separate studies by different investigators.
الآن، بصفتي طبيب قلب، أحب قراءة مخططات القلب. لقد كنت أفعل ذلك لأكثر من 30 عامًا. لكنني لم أستطع رؤية هذه الأشياء. مثل عمر وجنس المريض، أو الكسر القذفي في القلب، و التشخيص على أنها تشخيصات صعبة التي غالبًا يُغفل عنها. فقر الدم لدى المريض، أي قيمة الهيموجلوبين بالنسبة للفاصل العشري. توقع ما إذا كان الشخص، لم يصاب بالرجفان الأذيني أوالسكتة الدماغية من تخطيط القلب الكهربائي، ما إذا كان ذلك سيحدث على الأرجح. تشخيص داء السكري ومقدمات السكري، من مخطط القلب. ضغط ملء القلب. قصور الغدة الدرقية ومرض الكلى. تخيل حصولك على رسم قلب ليخبرك بكل هذه الأشياء الأخرى، وغير المتعلقة حقًا بالقلب.
Now, as a cardiologist, I love to read cardiograms. I've been doing it for over 30 years. But I couldn't see these things. Like, the age and the sex of the patient, or the ejection fraction of the heart, making difficult diagnoses that are frequently missed. The anemia of the patient, that is, the hemoglobin to the decimal point. Predicting whether a person, who's never had atrial fibrillation or stroke from the ECG, whether that's going to likely occur. Diabetes, a diagnosis of diabetes and prediabetes, from the cardiogram. The filling pressure of the heart. Hypothyroidism and kidney disease. Imagine getting an electrocardiogram to tell you about all these other things, not really so much about the heart.
ثم يوجد أشعة على الصدر من كان يظن أننا نستطيع تحديد عرق المريض بدقة، ناهيك عن الآثار الأخلاقية لذلك، من تصوير الصدر بالأشعة السينية من خلال عيون الآلة؟ وما يثير الاهتمام، أنه يلاحظ تشخيص مرض السكري، وكذلك مدى السيطرة على مرض السكري، من خلال الأشعة السينية على الصدر. وبالطبع، هناك العديد من العوامل المختلفة المتعلقة بالقلب، والتي لا يمكن أبدًا لأخصائيي الأشعة أو أطباء القلب أن يكونوا قادرين على التوصل إلى ما يمكن أن تفعله الرؤية الآلية.
Then there's the chest X-ray. Who would have guessed that we could accurately determine the race of the patient, no less the ethical implications of that, from a chest X-ray through machine eyes? And interestingly, picking up the diagnosis of diabetes, as well as how well the diabetes is controlled, through the chest X-ray. And of course, so many different parameters about the heart, which we could never, radiologists or cardiologists, could never be able to come up with what machine vision can do.
غالبًا ما يجادل علماء الأمراض حول الشريحة، حول ما تظهره حقًا؟ ولكن مع هذه القدرة التي تتمتع بها عيون الآلة، يمكن تحديد الطفرات الجينية المحركة للسرطان ناهيك عن متغيرات عدد النسخ الهيكلية التي تمثل أو موجودة في هذا الورم. أيضًا، من أين ينبع هذا الورم؟ ففي العديد من المرضى، لا نعرف. ولكن يمكن تحديد ذلك من خلال الذكاء الاصطناعي. وكذلك تشخيص المريض، فقط من الشريحة، من خلال كل التدريب. مرة أخرى، هذا كله مجرد شبكات عصبية تلافيفية، وليس نماذج تحويل.
Pathologists often argue about a slide, about what does it really show? But with this ability of machine eyes, the driver genomic mutations of the cancer can be defined, no less the structural copy number variants that are accounting or present in that tumor. Also, where is that tumor coming from? For many patients, we don’t know. But it can be determined through AI. And also the prognosis of the patient, just from the slide, by all of the training. Again, this is all just convolutional neural networks, not transformer models.
لذلك عندما ننتقل من الشبكات العصبية العميقة إلى نماذج التحويل، فإن هذه الطباعة المسبقة الكلاسيكية، واحدة من أكثر المطبوعات المسبقة المستشهد بها على الإطلاق “الاهتمام هو كل ما تحتاجه” والقدرة على النظر إلى العديد من العناصر الأخرى، سواء كانت لغًة أو صورًا، وأن نكون قادرين على وضع هذا في سياقه، وإنشاء تقدمًا تحويليًا في العديد من المجالات.
So when we go from the deep neural networks to transformer models, this classic pre-print, one of the most cited pre-prints ever, "Attention is All You Need," the ability to now be able to look at many more items, whether it be language or images, and be able to put this in context, setting up a transformational progress in many fields.
النموذج الأولي أو ثمرة هذا هو GPT-4. مع أكثر من تريليون اتصال، يحتوي دماغنا البشري على 100 تريليون اتصال أو معيار. لكن في تريليون واحد، تخيل كل المعلومات والمعرفة الموجودة في ذلك التريليون فحسب. وما يثير الاهتمام أن هذا أصبح الآن متعدد الوسائط مع اللغة والصور والحديث. وينطوي على كمية هائلة من وحدات معالجة الرسومات. وذلك من خلال التعلم تحت الإشراف الذاتي، والذي يمثل عقبة كبيرة في الطب لأننا لا نستطيع الحصول على خبراء لتصنيف الصور. يمكن القيام بذلك من خلال التعلم تحت الإشراف الذاتي.
The prototype is, the outgrowth of this is GPT-4. With over a trillion connections. Our human brain has 100 trillion connections or parameters. But one trillion, just think of all the information, knowledge, that's packed into those one trillion. And interestingly, this is now multimodal with language, with images, with speech. And it involves a massive amount of graphic processing units. And it's with self-supervised learning, which is a big bottleneck in medicine because we can't get experts to label images. This can be done with self-supervised learning.
إذن ما الذي يقدمه هذا للطب؟ يقدم تحرير لوحة المفاتيح على سبيل المثال. الشيء الوحيد الذي يرغب كل من الدكاترة والأطباء والمرضى في رؤيته. يكره الجميع أن يكونوا كتبة بيانات مثل الأطباء، ويود المرضى رؤية طبيبهم عندما يحظوا أخيرًا بالزيارة التي انتظروها لفترة طويلة. لذا فإن القدرة على تغيير الاتصال وجهًا لوجه هي مجرد خطوة واحدة على طول الطريق. من خلال التحرر من لوحات المفاتيح ذات الملاحظات الاصطناعية التي تُشغل، والمشتقة من المحادثة، ثم جميع وظائف كاتب البيانات العادية النهائية التي تُجرى، غالبًا خارج ساعات العمل. نرى الآن في الأنظمة الصحية في جميع أنحاء الولايات المتحدة حيث يوفر الناس والأطباء ساعات طويلة من الوقت ويتجهون نحو تحرير لوحة المفاتيح في نهاية المطاف.
So what does this set up in medicine? It sets up, for example, keyboard liberation. The one thing that both doctors, clinicians and patients would like to see. Everyone hates being data clerks as clinicians, and patients would like to see their doctor when they finally have the visit they've waited for a long time. So the ability to change the face-to-face contact is just one step along the way. By having the liberation from keyboards with synthetic notes that are driven, derived from the conversation, and then all the downstream normal data clerk functions that are done, often off-hours. Now we're seeing in health systems across the United States where people, physicians are saving many hours of time and heading towards ultimately keyboard liberation.
نشرنا مؤخرًا، مع مجموعة من معهد مورفيلدز للعيون، بقيادة بيرس كين، أول نموذج تأسيسي في الطب من شبكية العين. هل تتذكرما فعلته دراسات منفصلة في تلك الأشياء الثمانية المختلفة جميعًا ؟ فضل كل هذا لنموذج واحد. هذا مع 1.6 مليون صورة لشبكية العين تتنبأ بكل هذه الاحتمالات المختلفة للنتائج. وهذا كله مفتوح المصدر، وهو بالطبع مهم حقًا أن يبني الآخرون على هذه النماذج.
We recently published, with the group at Moorfields Eye Institute, led by Pearse Keane, the first foundation model in medicine from the retina. And remember those eight different things that were all done by separate studies? This was all done with one model. This is with 1.6 million retinal images predicting all these different outcome likelihoods. And this is all open-source, which is of course really important that others can build on these models.
الآن أريد مراجعة اثنين فحسب من المرضى المثيرين للاهتمام حقًا. أندرو، الذي يبلغ الآن من العمر ست سنوات. كان يعاني لمدة ثلاث سنوات من الألم المتزايد بلا هوادة والنمو المتوقف. عانت سرعة مشيته من تدلي قدمه اليسرى، وكان يعاني من صداع شديد. ذهب إلى 17 طبيبًا على مدار ثلاث سنوات. ثم أدخلت والدته جميع أعراضه في ChatGPT. وقد تم تشخيص إصابته بمرض السنسنة المشقوقة، أي أنه كان يعاني من الحبل الشوكي المربوط الذي غفل عنه الأطباء السبعة عشر جميعهم على مدار ثلاث سنوات. لقد خضع لعملية جراحية لفك الحبل. إنه الآن بصحة جيدة تمامًا.
Now I just want to review a couple of really interesting patients. Andrew, who is now six years old. He had three years of relentlessly increasing pain, arrested growth. His gait suffered with a dragging of his left foot, he had severe headaches. He went to 17 doctors over three years. His mother then entered all his symptoms into ChatGPT. It made the diagnosis of occulta spina bifida, which meant he had a tethered spinal cord that was missed by all 17 doctors over three years. He had surgery to release the cord. He's now perfectly healthy.
(تصفيق)
(Applause)
هذه مريضة أُرسلت إليّ، وكانت تعاني، كما قيل لها، من مرض كوفيد لفترة طويلة. لقد شاهدت العديد من الأطباء وأطباء الأعصاب المختلفين وأدخلت أختها جميع أعراضها بعد لم تصل إلى أي تشخيص دقيق، ولم يعالج كوفيد لفترة طويلة، و لم يحقق الدواء نتيجة، فوضعت أختها كل أعراضها في ChatGPT. اكتشفت أنها لم تصاب بكوفيد لفترة طويلة، بل أصيبت بالتهاب الدماغ الحوفي، وهو أمر يمكن علاجه. لقد عالجتها، وهي الآن في حالة جيدة للغاية.
This is a patient that was sent to me, who was suffering with, she was told, long COVID. She saw many different physicians, neurologists, and her sister entered all her symptoms after getting nowhere, no treatment for long COVID, there is no treatment validated, and her sister put all her symptoms into ChatGPT. It found out it actually was not long COVID, she had limbic encephalitis, which is treatable. She was treated, and now she's doing extremely well.
لكن هذه لم تعد مجرد حكايات. فقد قورنت 70 حالة صعبة في مؤتمرات علم الأمراض السريرية في مجلة نيو انغلاند الطبية بـ GPT-4، وكان أداء برنامج الدردشة الآلي جيدًا أو أفضل من الأطباء الرئيسيين الخبراء في إجراء التشخيص.
But these are not just anecdotes anymore. 70 very difficult cases that are the clinical pathologic conferences at the New England Journal of Medicine were compared to GPT-4, and the chatbot did as well or better than the expert master clinicians in making the diagnosis.
لذلك أريد أن أختتم فحسب بمحادثة حديثة مع زميلي. لا يزال الطب مهنة تمارس، وأندرو تشو الذي يبلغ من العمر 30 عامًا، في سنته الثانية من زمالة أمراض القلب. نرى كل المرضى معًا في العيادة. وفي نهاية العيادة في ذلك اليوم، جلست وقلت له: “أندرو، أنت محظوظ جدًا. ستمارس الطب في عصر تحرير لوحة المفاتيح. سوف تتواصل مع المرضى بالطريقة التي لم نتبعها منذ عقود“. نستطيع أن نحظى على الملاحظة والعمل من المحادثة لاستخلاص أشياء مثل التفويض المسبق والفواتير والوصفات الطبية والمواعيد المستقبلية - كل الأشياء التي نقوم بها، يشمل ارسال تنبيهات للمريض. على سبيل المثال، هل قمت بفحوصات ضغط الدم وماذا أظهرت؟ وكل ذلك يعود إليك بالنفع. ولكن أكثر من ذلك بكثير، هو المساعدة في التشخيص. ونعمة الوقت في تجميع كل بيانات المريض قبل رؤيته. وكل هذا الدعم يغير مستقبل العلاقة بين المريض والطبيب، بادخال نعمة الوقت. لذلك هذا مثير حقًا. قلت لأندرو، يجب التحقق من صحة كل شيء، بالطبع الفائدة تفوق بكثير أي خطر. لكنه حقًا عصر رائع لمستقبل الرعاية الصحية، إنه أمر مثير للغاية.
So I just want to close with a recent conversation with my fellow. Medicine is still an apprenticeship, and Andrew Cho is 30 years old, in his second year of cardiology fellowship. We see all patients together in the clinic. And at the end of clinic the other day, I sat down and said to him, "Andrew, you are so lucky. You're going to be practicing medicine in an era of keyboard liberation. You're going to be connecting with patients the way we haven't done for decades." That is the ability to have the note and the work from the conversation to derive things like pre-authorization, billing, prescriptions, future appointments -- all the things that we do, including nudges to the patient. For example, did you get your blood pressure checks and what did they show and all that coming back to you. But much more than that, to help with making diagnoses. And the gift of time that having all the data of a patient that's all teed up before even seeing the patient. And all this support changes the future of the patient-doctor relationship, bringing in the gift of time. So this is really exciting. I said to Andrew, everything has to be validated, of course, that the benefit greatly outweighs any risk. But it is really a remarkable time for the future of health care, it's so damn exciting.
شكرًا لكم.
Thank you.
(تصفيق)
(Applause)