I've had the real fortune of working at Scripps Research for the last 17 years. It's the largest nonprofit biomedical institution in the country. And I've watched some of my colleagues, who have spent two to three years to define the crystal 3-D structure of a protein.
過去17年間 スクリプス研究所で働くことができて 本当に幸運でした 同研究所は国内最大の 非営利の生物医学機関です そこで私は 数名の同僚が 2〜3年を費やして タンパク質の結晶立体構造を 明らかにするのを目にしました
Well, now that can be done in two or three minutes. And that's because of the work of AlphaFold, which is a derivative of DeepMind, Demis Hassabis and John Jumper, recognized by the American Nobel Prize in September.
それが今では2~3分で できるようになっています 人工知能プログラム AlphaFoldのお陰です これは ハサビスとジャンパーによって作られ 9月にラスカー医学研究賞を受賞した DeepMindの発展形です
What's interesting, this work, which is taking the amino acid sequence in one dimension and predicting the three-dimensional protein at atomic level, [has] now inspired many other of these protein structure prediction models, as well as RNA and antibodies, and even being able to pick up all the missense mutations in the genome, and even being able to come up wit proteins that have never been invented before, that don't exist in nature.
この研究の興味深いところは アミノ酸の一次配列から 三次元のタンパク質構造を 原子レベルで予測することで それが発展し 今やRNAや 抗体も含む 多くのタンパク質の構造予測モデルに 影響を与え ゲノム内のミスセンス変異を全て検知したり これまで発明されたことのない 自然界には存在しないタンパク質構造を 考え出すことさえ できるようになったことです
Now, the only thing I think about this is it was a transformer model, we'll talk about that in a moment, in this award, since Demis and John and their team of 30 scientists don't understand how the transformer model works, shouldn't the AI get an asterisk as part of that award?
一点気になるのは これが トランスフォーマーモデルであることで このことについては後に触れますが この受賞については デミスとジョン そして30人の科学者からなるチームは トランスフォーマーモデルの 仕組みを理解していないので AIも受賞者の一員となるべき ではありませんか?
I'm going to switch from life science, which has been the singular biggest contribution just reviewed, to medicine. And in the medical community, the thing that we don't talk much about are diagnostic medical errors. And according to the National Academy of Medicine, all of us will experience at least one in our lifetime. And we know from a recent Johns Hopkins study that these errors have led to 800,000 Americans dead or seriously disabled each year. So this is a big problem. And the question is, can AI help us? And you keep hearing about the term “precision medicine.” Well, if you keep making the same mistake over and over again, that's very precise.
今その唯一最大の貢献についてお話した 生命科学から 医学にテーマを切り替えます そして 医学界で 私たちがあまり話題にしないのは 診断ミスという医療過誤です 米国医学アカデミーによると 私たち皆が一生のうちに少なくとも 一度は診断ミスを受けるということです また ジョンズ・ホプキンス大学の 最近の研究から 診断ミスにより毎年80万人の アメリカ人が亡くなったり 重度の障害を負ったりしていることが わかっています これは大きな問題なのです ここで問題は AI は私たちを 助けられるか?ということです それから 「精密医療」 という言葉をよく耳にしますね まあ 同じ間違いを何度も繰り返すなら それは非常に精密で正確ではあります
(Laughter)
(笑)
We don't need that, we need accuracy and precision medicine. So can we get there?
間違いは 不要です 必要なのは正確で精密な医療です 到達可能でしょうか?
Well, this is a picture of the retina. And this was the first major hint, training 100,000 images with supervised learning. Could the machine see things that people couldn't see? And so the question was, to the retinal experts, is this from a man or a woman? And the chance of getting it accurate was 50 percent.
さて これは網膜の写真です そして これが最初の大きなヒントでした 10万枚の画像を学習をするように AIをトレーニングしたのです 人間には見えないものを AIが見ることができるのだろうか? そこで網膜の専門家たちに これが男性のものか 女性のものか聞きました 正答率は 50% でした
(Laughter)
(笑)
But the AI got it right, 97 percent. So that training, the features are not even fully defined of how that was possible. Well that gets then to all of medical images. This is just representative, the chest X-ray. And in fact with the chest X-ray, the ability here for the AI to pick up, the radiologists, expert radiologists missing the nodule, which turned out to be picked up by the AI as cancerous, and this is, of course, representative of all of medical scans, whether it’s CT scans, MRI, ultrasound. That through supervised learning of large, labeled, annotated data sets, we can see AI do at least as well, if not better, than expert physicians.
ですが人工知能の 正答率は 97%だったんです これはAIがどうトレーニングされたか それがどのように可能だったのか 完全にはわかっていませんが これはすべての医療画像に当てはまります これは代表的な 胸部レントゲン写真です 実際 胸部X線では AIが異常を検知できます 放射線科医 専門放射線技師が結節を見逃しても AIがそれががんであることを検知しました これはCTスキャン、MRI、超音波など すべての医療スキャンにも 当てはまることです つまり ラベルや注釈が付けられた 大規模なデータセットを 管理下で学習することで AIは 専門医より優れているとは言わないまでも 少なくとも 同等なのが分かります
And 21 randomized trials of picking up polyps -- machine vision during colonoscopy -- have all shown that polyps are picked up better with the aid of machine vision than by the gastroenterologist alone, especially as the day goes on, later in the day, interestingly. We don't know whether picking up all these additional polyps changes the natural history of cancers, but it tells you about machine eyes, the power of machine eyes.
また ポリープの検知に関する 21件のランダム化比較試験では これは大腸内視鏡検査中のAIビジョン画像 全ての試験で 特に興味深いことに 胃腸科専門医の目視だけの場合よりも AIビジョンの補助がある方が ポリープをより検出できるという結果でした 特に一日の終わりが近づくほど 差が出るのです 余分なポリープを全て発見することで がんの自然史が変わるかは不明です AIビジョンの持つ 底力がわかります
Now that was interesting. But now still with deep learning models, not transformer models, we've seen and learned that the ability for computer vision to pick up things that human eyes can't see is quite remarkable. Here's the retina. Picking up the control of diabetes and blood pressure. Kidney disease. Liver and gallbladder disease. The heart calcium score, which you would normally get through a scan of the heart. Alzheimer's disease before any clinical symptoms have been manifest. Predicting heart attacks and strokes. Hyperlipidemia. And seven years before any symptoms of Parkinson's disease, to pick that up. Now this is interesting because in the future, we'll be taking pictures of our retina at checkups. This is the gateway to almost every system in the body. It's really striking. And we'll come back to this because each one of these studies was done with tens or hundreds [of] thousands of images with supervised learning, and they’re all separate studies by different investigators.
以上は興味深いことでした トランスフォーマーモデルではなく 今までお見せした ディープラーニングモデルでは 人間の目では見えないものを コンピュータビジョンが認識する能力が 非常に優れています これは網膜です 糖尿病、血圧 そして腎臓病の管理状態が分かります 肝臓と胆嚢の病気 心臓のカルシウム値 などがわかります これは通常 心臓をスキャン することで検出できるものです 臨床症状が現れる前の アルツハイマー病 心臓発作と脳卒中の予測もできます 高脂血症 そしてパーキンソン病を発症する 7年前にそれを検知します これは興味深い話です なぜなら将来 検診で網膜の写真を 撮ることになるのですから 網膜は体内のあらゆる システム(系)への入り口です 驚異的です あとでまたお話ししますが これらの研究はそれぞれ 管理下の学習による数万または数百の 画像を用いて行われ それらはすべて別々の研究者が 独自に研究しています
Now, as a cardiologist, I love to read cardiograms. I've been doing it for over 30 years. But I couldn't see these things. Like, the age and the sex of the patient, or the ejection fraction of the heart, making difficult diagnoses that are frequently missed. The anemia of the patient, that is, the hemoglobin to the decimal point. Predicting whether a person, who's never had atrial fibrillation or stroke from the ECG, whether that's going to likely occur. Diabetes, a diagnosis of diabetes and prediabetes, from the cardiogram. The filling pressure of the heart. Hypothyroidism and kidney disease. Imagine getting an electrocardiogram to tell you about all these other things, not really so much about the heart.
心臓専門医として 私は心電図を読むのが大好きです 30年以上心電図を読んできました でもこれらは 心電図からは見えませんでした 患者の年齢や性別 心臓のポンプ機能(駆出率)など 見落とされがちな 難しい診断を可能にします 患者の貧血 つまり 小数点以下まで正確なヘモグロビン値だとか 心房細動や脳卒中を 起こしたことがない人が そうなる可能性を 心電図から予測できます 心電図から 糖尿病や前糖尿病が診断できます 心臓の充満圧 甲状腺機能低下症 腎臓病 心電図から 心臓についてだけでなく こうした様々なことが分かるのを 想像してみてください
Then there's the chest X-ray. Who would have guessed that we could accurately determine the race of the patient, no less the ethical implications of that, from a chest X-ray through machine eyes? And interestingly, picking up the diagnosis of diabetes, as well as how well the diabetes is controlled, through the chest X-ray. And of course, so many different parameters about the heart, which we could never, radiologists or cardiologists, could never be able to come up with what machine vision can do.
それから 胸部X線撮影です 胸部X線から AIの目を通して 患者の人種が これは倫理的意味合いが伴いますが― 正確に判断できるなんて 誰が予想したでしょう? そして興味深いことに 胸部X線を通して 糖尿病の診断と糖尿病がどの程度 うまくコントロールされているかが わかるのです そしてもちろん 放射線科医でも心臓専門医でも AIビジョンで何がわかるか 想像もできなかったような 心臓のさまざまな パラメーターが見えてきます
Pathologists often argue about a slide, about what does it really show? But with this ability of machine eyes, the driver genomic mutations of the cancer can be defined, no less the structural copy number variants that are accounting or present in that tumor. Also, where is that tumor coming from? For many patients, we don’t know. But it can be determined through AI. And also the prognosis of the patient, just from the slide, by all of the training. Again, this is all just convolutional neural networks, not transformer models.
病理学者は病理標本が 実際には何を示しているのか 議論することがしばしばあります しかしこのAIの目の能力があれば がんの原因となるゲノム変異を特定できます ましてやその原因や 腫瘍に存在している 構造上のコピー数多型すら特定できます その腫瘍はどこから来ているのでしょうか? 発生部位不明の患者さんが たくさんいます しかしAIはそれを判定することができます また あらゆるトレーニングを経ることで 病理標本からだけで 患者の予後がわかります 繰り返しますが これはすべて 畳み込み ニューラルネットワーク (CNN) で トランスフォーマーモデルではありません
So when we go from the deep neural networks to transformer models, this classic pre-print, one of the most cited pre-prints ever, "Attention is All You Need," the ability to now be able to look at many more items, whether it be language or images, and be able to put this in context, setting up a transformational progress in many fields.
ディープ・ニューラル・ネットワークから トランスフォーマー・モデルに移行すると 最も引用された 査読前論文の1つである 「Attention is All You Need」 と題された古典的論文によれば 言語であれ画像であれ さらに多くの項目を 見ることができるようになり それらを文脈に当てはめることが できるようになり 多くの分野で革新的な進歩が もたらされるだろうということです
The prototype is, the outgrowth of this is GPT-4. With over a trillion connections. Our human brain has 100 trillion connections or parameters. But one trillion, just think of all the information, knowledge, that's packed into those one trillion. And interestingly, this is now multimodal with language, with images, with speech. And it involves a massive amount of graphic processing units. And it's with self-supervised learning, which is a big bottleneck in medicine because we can't get experts to label images. This can be done with self-supervised learning.
これのプロトタイプは ChatGPT-4から派生しました その接続数は1兆を超えています 人間の脳には100兆もの接続や パラメータがあります しかし その1兆に 詰め込まれた すべての情報や知識を 考えてみてください 興味深いことに これは今では言語、画像 音声など種々の情報を組み合わせた マルチモーダルな処理です それには膨大な量の 画像処理ユニットが関わり 自己監督学習が行われます これは 専門家が画像にラベル付けできず 医学では大きなボトルネックと なっているものです これも自己監督学習で実現できます
So what does this set up in medicine? It sets up, for example, keyboard liberation. The one thing that both doctors, clinicians and patients would like to see. Everyone hates being data clerks as clinicians, and patients would like to see their doctor when they finally have the visit they've waited for a long time. So the ability to change the face-to-face contact is just one step along the way. By having the liberation from keyboards with synthetic notes that are driven, derived from the conversation, and then all the downstream normal data clerk functions that are done, often off-hours. Now we're seeing in health systems across the United States where people, physicians are saving many hours of time and heading towards ultimately keyboard liberation.
これは医学にどのような影響を 与えるのでしょうか? たとえば 医師がキーボードから解放されます これは医師、臨床医、患者 誰もが望むことです 臨床医の誰もがデータ入力作業を 疎ましく思うでしょう 患者は長い間待っていた受診の際には かかりつけ医師に診てもらいたいと 思うでしょう そう あと一歩で 対面診療のあり方を 変えられるところに来ています 医師と患者との会話から 自動的に生成されるノートにより 医師はキーボードに入力や 記録することから解放され しばしば業務時間外に行われる 全般の通常データ処理業務のすべてから 解放されることができます いま 米国の医療制度では 医師たちが何時間もの時間を節約できる― 最終的にキーボードから解放される という方向に向かっています
We recently published, with the group at Moorfields Eye Institute, led by Pearse Keane, the first foundation model in medicine from the retina. And remember those eight different things that were all done by separate studies? This was all done with one model. This is with 1.6 million retinal images predicting all these different outcome likelihoods. And this is all open-source, which is of course really important that others can build on these models.
私たちは最近 ピアース・キーン率いる ムーアフィールズ眼科病院の グループとともに 網膜医療における 最初の基礎モデルを発表しました そしてそれぞれ別々の研究によって 行われた8つの異なることを覚えていますか? 今回はすべてが 1 つのモデルで行われました これは160万枚の網膜画像が さまざまな結果の可能性を 予測している様子です これらは全部オープンソースで 皆がこれらのモデルを使い構築できることは もちろん非常に重要です
Now I just want to review a couple of really interesting patients. Andrew, who is now six years old. He had three years of relentlessly increasing pain, arrested growth. His gait suffered with a dragging of his left foot, he had severe headaches. He went to 17 doctors over three years. His mother then entered all his symptoms into ChatGPT. It made the diagnosis of occulta spina bifida, which meant he had a tethered spinal cord that was missed by all 17 doctors over three years. He had surgery to release the cord. He's now perfectly healthy.
さて とても興味深い 何人かの患者の話をしましょう アンドリューは現在6歳です 彼は3年間絶え間なく増す痛みがあり 発育停止がありました 彼は左足を引きずるようにして 苦しそうに歩き ひどい頭痛持ちでした 彼は3年間で 17人の医者に診てもらいました そして 彼の母親は彼の症状をすべて ChatGPTに入力したんです ChatGPTは脊椎癒合不全との 診断を返しました つまり 彼は脊髄係留症候群で 17人の医師全員が見逃していました 3年間にわたりです 彼は脊髄解放手術を受け 今では もうすっかり健康です
(Applause)
(拍手)
This is a patient that was sent to me, who was suffering with, she was told, long COVID. She saw many different physicians, neurologists, and her sister entered all her symptoms after getting nowhere, no treatment for long COVID, there is no treatment validated, and her sister put all her symptoms into ChatGPT. It found out it actually was not long COVID, she had limbic encephalitis, which is treatable. She was treated, and now she's doing extremely well.
これは私に紹介されて来た患者で 新型コロナ後遺症と診断された 症状に苦しんでいました 彼女はさまざまな医師や 神経内科医に診察されましたが なかなか埒が明かず 新型コロナ後遺症の治療もなく 検証された治療法もなく 彼女の妹は姉の症状のすべてを ChatGPTに入力してみました するとそれは新型コロナ後遺症ではなく 治療可能な辺縁系脳炎を 患っていたことが分かりました 彼女は治療を受け 今では非常に元気になっています
But these are not just anecdotes anymore. 70 very difficult cases that are the clinical pathologic conferences at the New England Journal of Medicine were compared to GPT-4, and the chatbot did as well or better than the expert master clinicians in making the diagnosis.
これらはもはや単なる逸話ではありません ニューイングランド・ジャーナル・ オブ・メディシンの 臨床-病理検討会記事で取り上げられた 70件の非常に難しい症例を ChatGPT-4と比較したところ チャットボットは 専門の熟練臨床医と同等か それ以上の診断を 行えていました
So I just want to close with a recent conversation with my fellow. Medicine is still an apprenticeship, and Andrew Cho is 30 years old, in his second year of cardiology fellowship. We see all patients together in the clinic. And at the end of clinic the other day, I sat down and said to him, "Andrew, you are so lucky. You're going to be practicing medicine in an era of keyboard liberation. You're going to be connecting with patients the way we haven't done for decades." That is the ability to have the note and the work from the conversation to derive things like pre-authorization, billing, prescriptions, future appointments -- all the things that we do, including nudges to the patient. For example, did you get your blood pressure checks and what did they show and all that coming back to you. But much more than that, to help with making diagnoses. And the gift of time that having all the data of a patient that's all teed up before even seeing the patient. And all this support changes the future of the patient-doctor relationship, bringing in the gift of time. So this is really exciting. I said to Andrew, everything has to be validated, of course, that the benefit greatly outweighs any risk. But it is really a remarkable time for the future of health care, it's so damn exciting.
最後に 最近の私と同僚との会話で 締めくくりたいと思います 医学はまだ徒弟制度で アンドリュー・チョーは30歳 心臓病学フェローシップ2年目で 私たちは患者を一緒に診察しています そして先日の診療の終わりに 私は座って彼にこう言いました 「アンドリュー 君はとてもラッキーだ 医師がキーボードから解放される時代に 医師として働けるなんて 私たちが何十年も実現できなかった方法で 君は患者たちと意思疎通できるように なるだろう」 それは予め患者の情報の ノートが用意されていて 患者との問診から必要だと導き出された 事前承認や 請求処理、処方箋、次回の予約など 患者さんへの指示を含め 医師に課せられた作業が 自動化されるからです たとえば 血圧測定を受けたのか 検査結果はどうだったか そうした情報が用意されます しかしそれ以上に AIが診断を助けるのです そして 患者を診る前に 患者のデータがすべて用意されていたら 大事な時間の節約になります そして こうしたサポート技術のすべてが 時間という贈り物をもたらすことで 患者と医師の関係の未来を変えると思います 本当にエキサイティングです 私はアンドリューに言いました もちろん 検証の必要があるのは 利益があらゆるリスクを はるかに上回ることだと しかし ヘルスケアの未来にとって 現代は本当に素晴らしい時代です とてもエキサイティングです
Thank you.
ありがとうございました
(Applause)
(拍手)