I've had the real fortune of working at Scripps Research for the last 17 years. It's the largest nonprofit biomedical institution in the country. And I've watched some of my colleagues, who have spent two to three years to define the crystal 3-D structure of a protein.
저는 정말 운이 좋게 지난 17년 동안 스크립스 리서치에서 일했습니다. 미국에서 가장 큰 비영리 생의학 연구소죠. 저는 제 동료들 몇 명이 삼사 년이 걸려서 3차원 단백질 결정 구조를 확인하는 것을 지켜봤습니다.
Well, now that can be done in two or three minutes. And that's because of the work of AlphaFold, which is a derivative of DeepMind, Demis Hassabis and John Jumper, recognized by the American Nobel Prize in September.
이제는 이삼 분 안에 이 작업을 완료할 수 있습니다. 딥마인드에서 파생된 알파폴드 덕분인데 딥마인드의 데미스 하사비스, 존 점퍼는 이 연구 성과로 지난 9월 미국의 노벨상을 받았습니다.
What's interesting, this work, which is taking the amino acid sequence in one dimension and predicting the three-dimensional protein at atomic level, [has] now inspired many other of these protein structure prediction models, as well as RNA and antibodies, and even being able to pick up all the missense mutations in the genome, and even being able to come up wit proteins that have never been invented before, that don't exist in nature.
이 연구에서 흥미로운 점은 1차원 아미노산 서열을 가지고 원자 수준에서 3차원 단백질을 예측하는 이 연구가 수많은 다른 단백질 구조 예측 모델들로 하여금 RNA 및 항체 예측뿐 아니라 심지어 유전체의 모든 미세 변이를 식별하고 이전에 발명된 적이 없고 자연에 존재하지 않는 새로운 단백질까지 생각해 낼 수 있게 한 것입니다.
Now, the only thing I think about this is it was a transformer model, we'll talk about that in a moment, in this award, since Demis and John and their team of 30 scientists don't understand how the transformer model works, shouldn't the AI get an asterisk as part of that award?
저는 이게 트랜스포머 모델이라는 점에만 관심이 가는데 그건 곧 이야기하겠습니다. 이 상을 받는 과정에서 데미스, 존과 과학자 30명 팀은 트랜스포머 모델이 어떻게 작동하는지 모르니까 수상자 중에서 AI에 강조 표시가 되어야 하지 않을까요?
I'm going to switch from life science, which has been the singular biggest contribution just reviewed, to medicine. And in the medical community, the thing that we don't talk much about are diagnostic medical errors. And according to the National Academy of Medicine, all of us will experience at least one in our lifetime. And we know from a recent Johns Hopkins study that these errors have led to 800,000 Americans dead or seriously disabled each year. So this is a big problem. And the question is, can AI help us? And you keep hearing about the term “precision medicine.” Well, if you keep making the same mistake over and over again, that's very precise.
생명 과학의 큰 공로에 대해 지금까지 봤는데 이제 의학 이야기로 넘어가겠습니다. 의학계에서 별로 이야기하지 않는 주제는 진단에서 생기는 의학적 오류입니다. 국립의학원에 따르면 우리 모두가 일생에 적어도 한 번은 경험하게 될 것입니다. 존스 홉킨스 대학의 최근 연구를 보면 이런 오류 때문에 매년 미국인 80만 명이 사망하거나 심각한 장애를 얻는다고 합니다. 따라서 이는 중대한 문제입니다. 궁금한 것은 과연 AI가 우리를 도울 수 있을까입니다. 우리는 '정밀 의료'라는 말을 계속 듣습니다. 뭐, 같은 실수를 계속 반복한다면 아주 정밀하긴 하죠.
(Laughter)
(웃음)
We don't need that, we need accuracy and precision medicine. So can we get there?
그런 게 아니라 정확하면서 정밀한 의학이 필요한 겁니다. 그래서, 가능할까요?
Well, this is a picture of the retina. And this was the first major hint, training 100,000 images with supervised learning. Could the machine see things that people couldn't see? And so the question was, to the retinal experts, is this from a man or a woman? And the chance of getting it accurate was 50 percent.
이건 망막 사진입니다. 이것이 첫 번째 중요한 단서였습니다. 지도 학습을 통해 영상 십만 개를 학습시켰죠. 사람이 볼 수 없는 것들을 기계가 볼 수 있을까요? 망막 전문가들에게 이런 질문을 던졌습니다. 이 망막 사진 주인은 남자일까요, 여자일까요? 정확하게 맞힐 확률은 50%였습니다.
(Laughter)
(웃음)
But the AI got it right, 97 percent. So that training, the features are not even fully defined of how that was possible. Well that gets then to all of medical images. This is just representative, the chest X-ray. And in fact with the chest X-ray, the ability here for the AI to pick up, the radiologists, expert radiologists missing the nodule, which turned out to be picked up by the AI as cancerous, and this is, of course, representative of all of medical scans, whether it’s CT scans, MRI, ultrasound. That through supervised learning of large, labeled, annotated data sets, we can see AI do at least as well, if not better, than expert physicians.
하지만 AI는 97%를 맞혔습니다. 심지어 이 학습에서는 학습 자료가 완전히 정의된 것도 아닌데 이게 어떻게 가능했을까요? 모든 의료 영상으로 이 기술이 퍼집니다. 한 예로 흉부 엑스레이입니다. 실제로 흉부 엑스레이를 가지고 AI 가 뭔가를 발견하는 능력이 어느 정도냐 하면, 전문 방사선사가 놓친 결절을 AI가 악성이라고 집어냈습니다. 물론 이것은 CT든, MRI든, 초음파든 모든 의료 영상에 적용됩니다. 표지가 붙고 주석이 달린 대규모 데이터로 지도 학습을 하면 AI는 전문 의사보다 더 낫거나 최소한 그에 못지않습니다.
And 21 randomized trials of picking up polyps -- machine vision during colonoscopy -- have all shown that polyps are picked up better with the aid of machine vision than by the gastroenterologist alone, especially as the day goes on, later in the day, interestingly. We don't know whether picking up all these additional polyps changes the natural history of cancers, but it tells you about machine eyes, the power of machine eyes.
결장 내시경에 머신 비전을 적용해 용종을 찾아내는 무작위 실험을 21번 했는데 모든 실험에서 소화기 전문의 단독으로 할 때보다 머신 비전의 도움을 받을 때 용종을 더 잘 찾아냈습니다. 특히 시간이 지날수록, 재미있게도 오후가 될수록 말이죠. 용종을 추가로 발견하는 것이 암의 자연 경과를 바꾸는지는 알 수 없지만 기계 시각의 능력은 알려줍니다.
Now that was interesting. But now still with deep learning models, not transformer models, we've seen and learned that the ability for computer vision to pick up things that human eyes can't see is quite remarkable. Here's the retina. Picking up the control of diabetes and blood pressure. Kidney disease. Liver and gallbladder disease. The heart calcium score, which you would normally get through a scan of the heart. Alzheimer's disease before any clinical symptoms have been manifest. Predicting heart attacks and strokes. Hyperlipidemia. And seven years before any symptoms of Parkinson's disease, to pick that up. Now this is interesting because in the future, we'll be taking pictures of our retina at checkups. This is the gateway to almost every system in the body. It's really striking. And we'll come back to this because each one of these studies was done with tens or hundreds [of] thousands of images with supervised learning, and they’re all separate studies by different investigators.
흥미로운 결과입니다. 트랜스포머 모델이 아니라 딥 러닝 모델만 가지고도 컴퓨터 시각은 사람 눈이 보지 못한 것을 발견하는 능력이 상당히 뛰어나다는 사실을 이제 보고 배웠습니다. 이것은 망막입니다. 혈당과 혈압 조절 능력을 알 수 있고 신장 질환, 간 및 담낭 질환, 심장 칼슘 수치도 알아내는데 보통은 심장 검사를 해야 알 수 있습니다. 어떤 임상 증상도 나타나기 전에 알츠하이머를 찾아내고 심장 마비와 뇌졸중도 예측하며 고지혈증, 증상이 나타나기 7년 전에 파킨슨병도 찾아냅니다. 대단히 흥미롭습니다. 미래에는 검진할 때 망막 사진을 찍게 될 테니까요. 여기가 신체의 거의 모든 기관으로 통하는 관문인 겁니다. 정말 놀랍습니다. 이 연구는 나중에 다시 보겠습니다. 각각이 수만에서 수십만 개 영상으로 지도 학습을 한 산물이고 전부 다른 연구자들이 수행한 별개 연구거든요.
Now, as a cardiologist, I love to read cardiograms. I've been doing it for over 30 years. But I couldn't see these things. Like, the age and the sex of the patient, or the ejection fraction of the heart, making difficult diagnoses that are frequently missed. The anemia of the patient, that is, the hemoglobin to the decimal point. Predicting whether a person, who's never had atrial fibrillation or stroke from the ECG, whether that's going to likely occur. Diabetes, a diagnosis of diabetes and prediabetes, from the cardiogram. The filling pressure of the heart. Hypothyroidism and kidney disease. Imagine getting an electrocardiogram to tell you about all these other things, not really so much about the heart.
저는 심장병 전문의로서 심전도를 읽는 것을 좋아하고 이 일을 30년 넘게 해 왔습니다. 그런데 이런 것들은 알 수가 없었습니다. 환자의 나이와 성별에 심장의 박출률도 알아내고 흔히 쉽게 놓치는 어려운 진단도 내립니다. 소수점 단위로 혈색소 수치와 빈혈 여부도 알 수 있고 심방세동이나 뇌졸중을 겪은 적 없는 사람에게, 그런 병이 생길 가능성이 있는지도 심전도로 예측합니다. 당뇨병과 당뇨병 전증 여부도 심전도로 찾아냅니다. 심장의 충만기 압력, 갑상선 기능 항진증 여부, 신장 질환. 이렇게 심장과 관계없는 모든 것들에 대해 심전도만으로 알 수 있다고 상상해 보세요.
Then there's the chest X-ray. Who would have guessed that we could accurately determine the race of the patient, no less the ethical implications of that, from a chest X-ray through machine eyes? And interestingly, picking up the diagnosis of diabetes, as well as how well the diabetes is controlled, through the chest X-ray. And of course, so many different parameters about the heart, which we could never, radiologists or cardiologists, could never be able to come up with what machine vision can do.
흉부 엑스레이도 있습니다. 환자의 인종을 정확히 판별할 수 있다고 누가 상상이나 했을까요? 이것의 윤리적 의미는 말할 필요도 없겠지만, 기계 눈으로 흉부 엑스레이를 보고 판별할 수 있습니다. 그리고 흥미롭게도 당뇨병 여부와 당뇨가 얼마나 잘 관리되고 있는지도 흉부 엑스레이로 판단합니다. 물론 심장에 대한 매개 변수가 너무 많고 다양해서 우리 방사선 전문의, 심장병 전문의는 절대로 머신 비전이 할 수 있는 이런 일들을 생각해낼 수 없었습니다.
Pathologists often argue about a slide, about what does it really show? But with this ability of machine eyes, the driver genomic mutations of the cancer can be defined, no less the structural copy number variants that are accounting or present in that tumor. Also, where is that tumor coming from? For many patients, we don’t know. But it can be determined through AI. And also the prognosis of the patient, just from the slide, by all of the training. Again, this is all just convolutional neural networks, not transformer models.
병리학자들은 흔히 슬라이드 하나를 두고 그게 뭘 나타내는지 논쟁을 벌입니다. 하지만 이 기계 눈의 능력으로 암을 유발하는 주요 유전체 변이뿐 아니라 종양에 나타나는 구조적인 복제수 변이도 정의할 수 있습니다. 또, 많은 환자들에서는 종양이 어디에서 번졌는지 알 수 없습니다. 하지만 AI를 통해 확인할 수 있습니다. 또한 환자의 예후 역시 슬라이드만으로 알 수 있습니다. 이런 모든 학습을 하면 말이죠. 다시 말씀드리지만, 여기까진 합성곱 신경망일 뿐이며 트랜스포머 모델은 아닙니다.
So when we go from the deep neural networks to transformer models, this classic pre-print, one of the most cited pre-prints ever, "Attention is All You Need," the ability to now be able to look at many more items, whether it be language or images, and be able to put this in context, setting up a transformational progress in many fields.
이 심층 신경망에서 트랜스포머 모델로 넘어가 봅시다. 이 고전적인 예비 논문은 역대 무척 많이 인용된 예비 논문 중 하나인 'Attention is All You Need'입니다. 이 기술은 언어든 영상이든 더 많은 요소를 보고 맥락에 맞춰 구성해서 많은 분야에서 혁신적인 진전을 이뤘습니다.
The prototype is, the outgrowth of this is GPT-4. With over a trillion connections. Our human brain has 100 trillion connections or parameters. But one trillion, just think of all the information, knowledge, that's packed into those one trillion. And interestingly, this is now multimodal with language, with images, with speech. And it involves a massive amount of graphic processing units. And it's with self-supervised learning, which is a big bottleneck in medicine because we can't get experts to label images. This can be done with self-supervised learning.
시험 작품은 지피티4입니다. 지피티4에는 1조 개가 넘는 연결이 있습니다. 인간의 뇌에는 연결 또는 매개 변수가 100조 개 있습니다. 하지만 1조 개 연결에 들어간 정보와 지식을 상상해 보세요. 이제는 거기에 문자, 영상, 음성 등 복합적인 데이터가 있어서 그래픽 처리 장치가 엄청나게 많이 필요합니다. 그리고 자기 지도 학습을 합니다. 설명 붙이기는 의학에서 큰 병목인데 영상에 설명을 붙일 전문가를 구하기 힘들거든요. 이 문제를 자기 지도 학습을 통해 해결할 수 있죠.
So what does this set up in medicine? It sets up, for example, keyboard liberation. The one thing that both doctors, clinicians and patients would like to see. Everyone hates being data clerks as clinicians, and patients would like to see their doctor when they finally have the visit they've waited for a long time. So the ability to change the face-to-face contact is just one step along the way. By having the liberation from keyboards with synthetic notes that are driven, derived from the conversation, and then all the downstream normal data clerk functions that are done, often off-hours. Now we're seeing in health systems across the United States where people, physicians are saving many hours of time and heading towards ultimately keyboard liberation.
그렇다면 이것이 의학에는 어떤 영향을 미칠까요? 예를 들어 자판에서 해방될 수 있습니다. 의사, 임상의, 환자 모두가 원하는 것입니다. 데이터 입력은 누구나 싫어합니다. 환자들은 오래 기다린 끝에 드디어 병원에 오면 의사를 보고 싶어합니다. 대면 진료의 경험을 바꾸는 것은 이제 바로 한 발짝 앞에 와 있습니다. 대화에서 도출된 내용으로 노트를 만들어서 자판에서 해방된다면 일반적인 후속 작업인 데이터를 입력하는 부분은 대개 업무가 끝나고 처리되는 거죠. 이제 우리는 미국 전역의 보건 체계에서 사람들, 의사들이 많은 시간을 절약하고, 궁극적으로 자판이 없는 곳을 향해 가는 걸 보고 있습니다.
We recently published, with the group at Moorfields Eye Institute, led by Pearse Keane, the first foundation model in medicine from the retina. And remember those eight different things that were all done by separate studies? This was all done with one model. This is with 1.6 million retinal images predicting all these different outcome likelihoods. And this is all open-source, which is of course really important that others can build on these models.
우리는 최근에 피어스 킨이 이끄는 무어필드 안과 연구소 팀과 함께 망막 진단용 기초 모델을 처음 내놓았습니다. 각각 다른 연구자가 한 여덟 가지 연구가 기억나시나요? 그게 다 한 모델로 이루어졌습니다. 망막 영상 160만 개를 통해 이렇게 다양한 결론들의 가능성을 예측할 수 있습니다. 게다가 모두 공개되어 있는데 다른 사람들이 이 모델을 기초로 삼아 개발할 수 있어서 정말 중요합니다.
Now I just want to review a couple of really interesting patients. Andrew, who is now six years old. He had three years of relentlessly increasing pain, arrested growth. His gait suffered with a dragging of his left foot, he had severe headaches. He went to 17 doctors over three years. His mother then entered all his symptoms into ChatGPT. It made the diagnosis of occulta spina bifida, which meant he had a tethered spinal cord that was missed by all 17 doctors over three years. He had surgery to release the cord. He's now perfectly healthy.
이제 정말 흥미로운 환자 몇 명에 대해 이야기 해 보겠습니다. 앤드류는 이제 여섯 살입니다. 3년 동안 끊임없는 고통이 점점 심해졌고 성장이 멈췄습니다. 왼발이 질질 끌려 걷기가 힘들었으며 심한 두통에 시달렸습니다. 앤드류는 3년 동안 의사 17명을 찾아갔습니다. 그 후 어머니는 아이의 증상을 챗지피티에 모두 입력했습니다. 거기서 잠재성 이분 척추라는 진단을 얻었습니다. 그 말은 척수가 묶여 있는 상태였는데 3년 동안 의사 17명이 모두 놓쳤다는 겁니다. 척수를 풀어주는 수술을 받은 뒤 아이는 이제 완벽히 건강합니다.
(Applause)
(박수)
This is a patient that was sent to me, who was suffering with, she was told, long COVID. She saw many different physicians, neurologists, and her sister entered all her symptoms after getting nowhere, no treatment for long COVID, there is no treatment validated, and her sister put all her symptoms into ChatGPT. It found out it actually was not long COVID, she had limbic encephalitis, which is treatable. She was treated, and now she's doing extremely well.
제가 진료 의뢰를 받은 어떤 환자는 장기 코로나라는 진단을 받고 고통을 받고 있었습니다. 이 환자는 여러 의사와 신경외과 전문의를 만났는데 어떤 진전도 없자 그녀의 여동생이 모든 증상을 입력했습니다. 장기 코로나 치료를 받지 못했고 검증된 치료법도 없습니다. 그래서 환자의 여동생이 모든 증상을 챗지피티에 입력해서 사실은 장기 코로나가 아니라 변연계 뇌염이란 걸 알아냈고 이건 치료가 가능한 것입니다. 이 환자는 치료를 받았고 지금은 상태가 아주 좋습니다.
But these are not just anecdotes anymore. 70 very difficult cases that are the clinical pathologic conferences at the New England Journal of Medicine were compared to GPT-4, and the chatbot did as well or better than the expert master clinicians in making the diagnosis.
그런데 이것들은 더 이상 단순한 일화가 아닙니다. 아주 어려운 진단 사례 70건을 뉴 잉글랜드 의학 저널의 임상병리학회에서 골라 지피티4와 비교해봤습니다. 챗봇은 진단을 내리는 데에 전문 임상의와 같거나 더 나은 모습을 보여줬습니다.
So I just want to close with a recent conversation with my fellow. Medicine is still an apprenticeship, and Andrew Cho is 30 years old, in his second year of cardiology fellowship. We see all patients together in the clinic. And at the end of clinic the other day, I sat down and said to him, "Andrew, you are so lucky. You're going to be practicing medicine in an era of keyboard liberation. You're going to be connecting with patients the way we haven't done for decades." That is the ability to have the note and the work from the conversation to derive things like pre-authorization, billing, prescriptions, future appointments -- all the things that we do, including nudges to the patient. For example, did you get your blood pressure checks and what did they show and all that coming back to you. But much more than that, to help with making diagnoses. And the gift of time that having all the data of a patient that's all teed up before even seeing the patient. And all this support changes the future of the patient-doctor relationship, bringing in the gift of time. So this is really exciting. I said to Andrew, everything has to be validated, of course, that the benefit greatly outweighs any risk. But it is really a remarkable time for the future of health care, it's so damn exciting.
최근에 동료와 나눈 대화로 마무리를 짓겠습니다. 의학은 여전히 견습생 제도로 교육하며 앤드류 조는 서른 살인데 심장학 전문의 이 년차입니다. 우리는 진료실에서 모든 환자를 함께 봅니다. 하루는 진료가 끝날 무렵에 제가 자리에 앉으며 말했죠. “앤드류, 당신은 정말 운이 좋아요." "자판이 필요 없는 시대에 진료를 하게 될 거예요." "수십 년간 우리가 해 보지 않은 방식으로 환자와 소통하게 되는 거죠." 이 기술이 대화를 듣고 노트도 써 주고 대화를 듣고 일도 대신해 주는 겁니다. 예를 들어 사전 승인이나 청구서를 작성하고, 처방하고, 다음 진료를 예약하는 것까지요. 환자들을 유도하는 것까지 우리가 하는 모든 일들 말입니다. 예를 들어 혈압 검사를 받았는지 묻고 결과가 어땠는지 물으면 그것들이 모두 여러분에게 돌아옵니다. 하지만 훨씬 중요한 것은 진단에 도움을 주는 겁니다. 그리고 시간을 벌어 주기도 하는데 환자의 모든 정보를 만나기도 전에 준비해 줍니다. 이런 도움이 앞으로 환자와 의사의 관계를 바꿔서 시간이란 선물을 가져다 줍니다. 정말 신나는 일이죠. 저는 앤드류에게, 물론 모든 걸 검증해야 한다고 했습니다. 이익이 위험성을 훨씬 상회한다는 걸 확인해야겠죠. 그래도 지금은 의료 서비스의 미래를 위한 정말 놀라운 시기입니다. 정말 너무나도 신나는 일입니다.
Thank you.
고맙습니다.
(Applause)
(박수)