I study how the brain processes information. That is, how it takes information in from the outside world, and converts it into patterns of electrical activity, and then how it uses those patterns to allow you to do things -- to see, hear, to reach for an object. So I'm really a basic scientist, not a clinician, but in the last year and a half I've started to switch over, to use what we've been learning about these patterns of activity to develop prosthetic devices, and what I wanted to do today is show you an example of this. It's really our first foray into this. It's the development of a prosthetic device for treating blindness.
저는 뇌가 정보를 처리하는 방법을 연구합니다 그러니까 뇌가 어떻게 외부 세계의 정보를 받아들여서 이것을 전기적 활동들의 패턴으로 변환을 하고 그 패턴을 이용해서 어떻게 여러분으로 하여금 보고 듣고 사물에 손을 뻗도록 하는지에 관해 연구하는 겁니다. 저는 기초과학자로 임상의는 아닙니다. 그런데 일년 반 전에 그게 바뀌기 시작했습니다. 우리가 이런 패턴들을 학습하는 것을 이용해서 보철기기를 개발하는 활동 쪽으로요. 그리고 오늘 여러분에게 그 예를 보여드리는 것입니다 처음으로 여러분에게 보여드리는 것인데요 그건 맹인들을 훈련시키기 위한 보철기기의 개발입니다
So let me start in on that problem. There are 10 million people in the U.S. and many more worldwide who are blind or are facing blindness due to diseases of the retina, diseases like macular degeneration, and there's little that can be done for them. There are some drug treatments, but they're only effective on a small fraction of the population. And so, for the vast majority of patients, their best hope for regaining sight is through prosthetic devices. The problem is that current prosthetics don't work very well. They're still very limited in the vision that they can provide. And so, you know, for example, with these devices, patients can see simple things like bright lights and high contrast edges, not very much more, so nothing close to normal vision has been possible.
문제점으로부터 시작해 보겠습니다 미국에만 천만명의 맹인이 있으며 그리고 전세계적으로도 훨씬 많은 이들이 실명에 직면하고 있는데 망막손상이나 시력 감퇴 같은 질병들에 의한 것입니다. 하지만 그들을 위해 해 줄 수 있는 것은 거의 없습니다 몇가지 약물 치료가 있긴 합니다만 일부의 사람들에 대해서만 효과가 있습니다. 대부분의 환자들에게는 시야를 되찾는 최선의 희망이 보철기기를 통한 것입니다 문제는 현재의 이 보조기기들이 잘 동작하지 않는다는 겁니다. 그것들이 제공할 수 있는 시야는 대단히 제약적입니다. 그래서, 예를 들어 이것들을 가지고 환자들은 대단히 간단한 것들을 볼 수가 있습니다 밝은 빛이라던가 경계가 뚜렷한 것들에 대해서만요 그 이상의 것도 안되고, 일반적으로 가능한 시야와는 전혀 가깝지도 않은 것입니다
So what I'm going to tell you about today is a device that we've been working on that I think has the potential to make a difference, to be much more effective, and what I wanted to do is show you how it works. Okay, so let me back up a little bit and show you how a normal retina works first so you can see the problem that we were trying to solve. Here you have a retina. So you have an image, a retina, and a brain. So when you look at something, like this image of this baby's face, it goes into your eye and it lands on your retina, on the front-end cells here, the photoreceptors. Then what happens is the retinal circuitry, the middle part, goes to work on it, and what it does is it performs operations on it, it extracts information from it, and it converts that information into a code. And the code is in the form of these patterns of electrical pulses that get sent up to the brain, and so the key thing is that the image ultimately gets converted into a code. And when I say code, I do literally mean code. Like this pattern of pulses here actually means "baby's face," and so when the brain gets this pattern of pulses, it knows that what was out there was a baby's face, and if it got a different pattern it would know that what was out there was, say, a dog, or another pattern would be a house. Anyway, you get the idea.
그래서 오늘 말씀드리고자 하는 것은 우리가 현재 진행중인 기기에 관한 것으로 제 생각에는 이것이 분명 차이를 만들 수 있고 훨씬 효과적이라는 것입니다 여러분에게 이것이 어떻게 동작하는지 보여드리도록 하겠습니다. 자, 제가 좀 더 보조설명을 드리도록 하죠 어떻게 보통의 망막이 동작하는지 우리가 풀려고 하는 문제가 무엇인지를 먼저 보실 겁니다 여기에 망막이 있습니다 이미지가 있고, 망막이 있고, 뇌가 있습니다 여러분이 무언가를 볼 때, 여기에 있는 아이의 얼굴 이미지처럼요, 이게 여러분의 눈으로 갑니다 그리고 망막 앞단 세포인 광수용체에 착상이 됩니다 이때 중간 부분에 있는 망막 신경망이 작동하기 시작하는데 일련의 동작들을 수행하는 것으로 이미지로부터 정보들을 추출하여 하나의 코드로 변환합니다 코드는 이런 전기적인 파형의 패턴의 형태로 이루어진채로 뇌의 위쪽 부분으로 보내집니다. 여기서 핵심은 이미지들은 궁극적으로 코드로 변환된다는 것입니다. 제가 코드라고 말했는데 문자 그대로 코드를 의미하는 것입니다. 이러한 전기적 패턴처럼 여기에 아이의 얼굴을 의미합니다 뇌가 이러한 신호 패턴을 받았을 때 뇌는 거기에 있는 것이 아기의 얼굴이라는 것을 아는 겁니다. 만약 다른 패턴을 얻는다면 그것은 개가 될 수도 있고 집을 의미하는 또다른 패턴일 수도 있는 것입니다 어쨌거나 무슨 말인지 아시겠죠
And, of course, in real life, it's all dynamic, meaning that it's changing all the time, so the patterns of pulses are changing all the time because the world you're looking at is changing all the time too. So, you know, it's sort of a complicated thing. You have these patterns of pulses coming out of your eye every millisecond telling your brain what it is that you're seeing. So what happens when a person gets a retinal degenerative disease like macular degeneration? What happens is is that, the front-end cells die, the photoreceptors die, and over time, all the cells and the circuits that are connected to them, they die too. Until the only things that you have left are these cells here, the output cells, the ones that send the signals to the brain, but because of all that degeneration they aren't sending any signals anymore. They aren't getting any input, so the person's brain no longer gets any visual information -- that is, he or she is blind.
물론 실제 생활에서는 모든 것이 다이나믹합니다 항상 바뀐다는 말이죠 파형의 패턴들은 계속해서 바뀝니다 여러분이 보고 있는 세상들이 항상 바뀌고 있으니까요 그래서, 이것은 복잡한 종류의 것입니다 여러분은 눈동자로부터 나오는 이러한 파형 패턴들을 매 백만분의 1초마다 얻어서 두뇌에게 여러분이 보는 것을 알려줍니다 만약 어떤 사람이 시력 감퇴와 같은 망막퇴행성 질환을 앓는다고 한다면? 그 안에서 일어나는 것은 앞단의 세포들이 죽는다는 것이고 광수용체가 죽는다는 것입니다. 시간이 지날수록 모든 세포들이, 그것에 연결되어 있는 신경들이 역시 죽는다는 말입니다 여러분이 남기게 되는 유일한 것이 여기에 있는 세포들, 즉 출력 세포들로 뇌로 신호들을 보내는 세포들입니다 하지만 퇴보하는 모든 것들 때문에 신호들을 더 이상 보내지 못하게 됩니다 어떠한 입력도 받지 못하게 됩니다 그래서 사람의 두뇌는 더 이상 어떠한 시각적인 정보도 얻지 못하게 되죠 즉 실명하게 되는 것입니다
So, a solution to the problem, then, would be to build a device that could mimic the actions of that front-end circuitry and send signals to the retina's output cells, and they can go back to doing their normal job of sending signals to the brain. So this is what we've been working on, and this is what our prosthetic does. So it consists of two parts, what we call an encoder and a transducer. And so the encoder does just what I was saying: it mimics the actions of the front-end circuitry -- so it takes images in and converts them into the retina's code. And then the transducer then makes the output cells send the code on up to the brain, and the result is a retinal prosthetic that can produce normal retinal output. So a completely blind retina, even one with no front-end circuitry at all, no photoreceptors, can now send out normal signals, signals that the brain can understand. So no other device has been able to do this.
그래서 이 문제에 대한 해결책은 앞단의 신경회로에 해당하는 동작들을 흉내낼 수 있는 장치들을 만들어내는 것이죠 그래서 망막의 출력 세포들에게 신호들을 보낼 수 있게요 그래서 두뇌로 신호를 전송하는 일상의 일들을 계속할 수 있도록 돌려보내는거죠 이게 우리가 지금 하고 있는 일입니다 이게 우리 보철기구가 하는 것입니다 두개 부분으로 구성되어 있는데 저희는 부호기(encoder)와 변환기(transducer)라고 부릅니다 부호기는 그냥 제가 설명했던 것을 합니다 앞단의 신경회로의 행동들을 모방하는데 영상들을 취해서 망막용 코드로 변환합니다 변환기는 그런 다음 아웃푹 셀에게 코드를 두뇌쪽으로 전송하도록 합니다 그래서 그 결과는 망막 보철기로 하여금 정삭정인 망막 출력을 재생하도록 하는 거죠 완전히 실명한 망막도 단 하나의 앞단 신경망이 없고 광수용체가 없어도 정상 신호를 전송할 수가 있습니다 두뇌가 이해할 수 있는 신호들이죠 지금까지 어떤 장치도 이것을 하지는 못했습니다
Okay, so I just want to take a sentence or two to say something about the encoder and what it's doing, because it's really the key part and it's sort of interesting and kind of cool. I'm not sure "cool" is really the right word, but you know what I mean. So what it's doing is, it's replacing the retinal circuitry, really the guts of the retinal circuitry, with a set of equations, a set of equations that we can implement on a chip. So it's just math. In other words, we're not literally replacing the components of the retina. It's not like we're making a little mini-device for each of the different cell types. We've just abstracted what the retina's doing with a set of equations. And so, in a way, the equations are serving as sort of a codebook. An image comes in, goes through the set of equations, and out comes streams of electrical pulses, just like a normal retina would produce.
자, 제가 부호기에 관해서 이것이 무엇인지를 한 두개의 문장만으로 설명을 드리고 싶은데요 왜냐하면 이것이 핵심 부분이기 때문이고 가장 흥미롭고 쿨한 것이니까요. '쿨(cool)'하다는 표현이 적당한 단어인지는 확신이 없지만 제가 무슨 말을 할려는지는 아실 겁니다 그래서 제가 하고 있는 것은 진짜 이것을 칩에다가 구현할 수 있는 하나의 방정식을 가지는 망막 회로를 만드는 것입니다 그래서 이것은 바로 수학입니다 다시 말하면, 우리는 문자 그대로 망막의 구성요소들을 교체하는 것이 아닙니다 우리가 다른 형태의 각 세포들을 위한 작은 장치를 만드는 것 같은것이 아니라 망막이 가진 방정식들이 하는 일을 담아내는 일입니다 어떤 면에서는 방정식들이 방정식들을 코드책들을 전송하는 것입니다 영상들이 입력으로 들어오면 이것이 방정식을 거쳐서 전기적인 펄스의 스트림으로 나오는 것입니다 정상의 망막이 생산해내는 것과 같은 것이죠
Now let me put my money where my mouth is and show you that we can actually produce normal output, and what the implications of this are. Here are three sets of firing patterns. The top one is from a normal animal, the middle one is from a blind animal that's been treated with this encoder-transducer device, and the bottom one is from a blind animal treated with a standard prosthetic. So the bottom one is the state-of-the-art device that's out there right now, which is basically made up of light detectors, but no encoder. So what we did was we presented movies of everyday things -- people, babies, park benches, you know, regular things happening -- and we recorded the responses from the retinas of these three groups of animals. Now just to orient you, each box is showing the firing patterns of several cells, and just as in the previous slides, each row is a different cell, and I just made the pulses a little bit smaller and thinner so I could show you a long stretch of data.
그럼 제가 한 이야기가 뜬구름 잡는 것이 아님을 말씀드리기 위해 실제로 정상적인 출력을 생산해내는 것을 보여드리고 이것이 어떤 의미를 내포하는지 알려드리겠습니다 여기에 세 종류의 발화 패턴들이 있습니다. 제일 위에 있는 것은 일반 동물에서 나온 것이고 중간의 것은 맹인 동물에서 나온 것인데 부호기-변환기 처치를 받은 것입니다 아래에 있는 것은 표준의 보조기를 달고 있는 동물에서 나온 것입니다 아래에 있는 것이 현존하는 최첨단의 것입니다. 이것은 기본적으로 빛 감지기로 구성이 된 것인데 부호기가 없는 형태입니다. 그래서 우리는 일상의 것들을 담은 영화를 보여주는데 사람들, 아기들, 공원의 벤치들 같은것들이죠 알다시피 매일 일어나는 것들입니다 그래서 세 그룹의 동물들의 망막 반응을 녹화를 합니다 여러분이 알아볼 수 있도록, 각 상자는 세포들에서의 발화 패턴들을 보여주는 것이구요 이전의 슬라이드에서 처럼 각 행은 서로 다른 세포입니다 파형들을 조금 더 작고 얇게 만들어서 여러분이 길게 늘어져 있는 데이터들을 보실 수 있도록 했습니다
So as you can see, the firing patterns from the blind animal treated with the encoder-transducer really do very closely match the normal firing patterns -- and it's not perfect, but it's pretty good -- and the blind animal treated with the standard prosthetic, the responses really don't. And so with the standard method, the cells do fire, they just don't fire in the normal firing patterns because they don't have the right code. How important is this? What's the potential impact on a patient's ability to see? So I'm just going to show you one bottom-line experiment that answers this, and of course I've got a lot of other data, so if you're interested I'm happy to show more. So the experiment is called a reconstruction experiment. So what we did is we took a moment in time from these recordings and asked, what was the retina seeing at that moment? Can we reconstruct what the retina was seeing from the responses from the firing patterns?
보시다시피, 부호기-변환기를 장착한 맹인 동물들이의 발화 패턴은 보통의 발화 패턴들과 가깝께 일치하는 것을 보실 수 있습니다 완벽하지는 않지만 제법 좋습니다 일반적인 보철기를 달고 있는 동물들의 경우엔 전혀 그렇지 않지만요 표준화된 방법으로는 세포들은 신호를 전송합니다. 그런데 정상적인 패턴과는 다른데, 왜냐하면 적절한 코드가 없기 때문입니다 이게 얼마나 중요한지요? 이것이 환자의 시력에 대한 잠재적인 가능성은 무엇일까요? 그래서 저는 여러분에게 결론적 실험을 보여드리고자 합니다 물론 다른 많은 데이터들도 가지고 있어서 관심만 있으시다면 더 보여드릴 수도 있습니다. 그래서, 이 실험은 재건 실험으로 불리는데요 우리는 녹화한 자료에서 한 부분을 선택하여, 그 순간에 망막이 본 것은 무엇인지? 그 반응으로부터 망막이 보았던 것을 정상적인 망막의 발화 패턴을 재현할 수 있는가?
So, when we did this for responses from the standard method and from our encoder and transducer. So let me show you, and I'm going to start with the standard method first. So you can see that it's pretty limited, and because the firing patterns aren't in the right code, they're very limited in what they can tell you about what's out there. So you can see that there's something there, but it's not so clear what that something is, and this just sort of circles back to what I was saying in the beginning, that with the standard method, patients can see high-contrast edges, they can see light, but it doesn't easily go further than that. So what was the image? It was a baby's face. So what about with our approach, adding the code? And you can see that it's much better. Not only can you tell that it's a baby's face, but you can tell that it's this baby's face, which is a really challenging task. So on the left is the encoder alone, and on the right is from an actual blind retina, so the encoder and the transducer. But the key one really is the encoder alone, because we can team up the encoder with the different transducer.
그래서, 그 표준화된 방법으로부터 그리고 부호기와 변환기로부터의 반응들을 실험 했습니다 결과를 보여드리겠습니다 먼저 표준화된 방법입니다. 여러분이 보실 것은 대단히 제한적인 것입니다 왜냐하면 발화 패턴들이 딱 맞는 코드가 아니기 때문인데 실제로 보고 있는 것이 무엇인지 말해주기는 어렵습니다. 그래서, 거기에 무엇인가 있다는 점만 인지 할 수 있습니다. 그게 무엇인지 분명하게 구분하기는 어렵습니다. 앞에서 말씀드렸던 이야기로 다시 돌아가서 표준 방법으로 다시 설명하면 환자들은 고-채도의 경계들을 볼 수 있습니다 환자들은 빛을 볼 수 있지만, 그 너머로는 쉽게 가지 못합니다. 그럼 이미지는 어떨까요? 이것은 아기의 얼굴입니다 우리의 접근 방법으로 코드를 추가하면요? 훨씬 나아진 것을 보실 수 있습니다. 여러분이 이것이 아기 얼굴이라고 말할 수 있을 뿐만 아니라 그것이 특정 아기의 얼굴이라는 것을 구분할 수 있는 정말이지 도전적인 작업입니다 왼쪽이 부호기만 있는 것이고 오른쪽은 실제 맹인의 망막입니다 부호기와 변환기인 거죠 진짜 핵심은 부호기가 하나 있는 것입니다 부호기를 다른 변환기와 함께 짜 맞출 수 있기 때문인데요
This is just actually the first one that we tried. I just wanted to say something about the standard method. When this first came out, it was just a really exciting thing, the idea that you even make a blind retina respond at all. But there was this limiting factor, the issue of the code, and how to make the cells respond better, produce normal responses, and so this was our contribution. Now I just want to wrap up, and as I was mentioning earlier of course I have a lot of other data if you're interested, but I just wanted to give this sort of basic idea of being able to communicate with the brain in its language, and the potential power of being able to do that. So it's different from the motor prosthetics where you're communicating from the brain to a device. Here we have to communicate from the outside world into the brain and be understood, and be understood by the brain.
이건 우리가 시도했던 첫번째 것입니다 표준화된 방법에 관해서 말씀드리고자 합니다 이것이 처음 나왔을 때, 정말이지 흥분되는 것이었습니다. 맹인용 망막을 만든다는 아이디어라니 하지만 여기에는 제한적인 요소가 있습니다 코드에 대한 문제인데요, 어떻게 하면 세포들이 더 잘 반응할 수 있도록 할 것인가, 보통의 반응들을 생산해 낼 것인가이죠 이것이 우리가 했던 업적이었습니다 정리를 하도록 하겠습니다 제가 지금까지 언급했던 것은 물론 다른 많은 데이터들을 가지고 있지만 만약 관심이 있으시다면요. 하지만 여러분에게 이렇게 두뇌와 의사소통할 수 있는 기본적인 아이디어들을 드리고 싶습니다 그리고 그런 것들을 할 수 있는 잠재적인 능력도 말이지요. 두뇌로부터 기기로의 통신을 하는 것은 모터가 달린 보조기기와는 다른 것입니다 우리는 외부 세계로부터 두뇌로의, 그리고 두뇌가 이해할 수 있게 의사소통을 할 수 있도록 해야 합니다
And then the last thing I wanted to say, really, is to emphasize that the idea generalizes. So the same strategy that we used to find the code for the retina we can also use to find the code for other areas, for example, the auditory system and the motor system, so for treating deafness and for motor disorders. So just the same way that we were able to jump over the damaged circuitry in the retina to get to the retina's output cells, we can jump over the damaged circuitry in the cochlea to get the auditory nerve, or jump over damaged areas in the cortex, in the motor cortex, to bridge the gap produced by a stroke.
그리고 나서 마지막으로 말하고자 하는 것은 이런 아이디어들을 일반화할 수 있도록 하자는 것입니다. 그래서 우리가 망막을 위한 코드를 발견하기 위해 사용했던 같은 전략을 다른 영역들을 위한 코드를 발견하는데에서도 사용해야 합니다. 그러니까 청각 시스템과 운동 시스템에서도 말입니다. 난청을 치료하는 데에도 운동 장애를 위해서도 말입니다 망막 손상을 넘기 위해 망막의 출력 세포에 도달하기 위해 우리가 할 수 있었던 마찬가지의 방법으로 달팽이관에 손상을 입어 청각 신경에 도달하기 위한 극복 방법을 찾아야 합니다 손상된 영역을 뛰어넘을 수 있어야 합니다 대뇌 피질에서, 운동 피질에서의 것을 그래서 뇌졸증에 의해서 야기된 틈을 연결해야 합니다
I just want to end with a simple message that understanding the code is really, really important, and if we can understand the code, the language of the brain, things become possible that didn't seem obviously possible before. Thank you.
이제 간단히 제 이야기를 마치고자 합니다 코드를 이해하는 것이 정말 정말 중요합니다. 만약 우리가 코드를 이해할 수 있다면 두뇌의 언어를 이해할 수 있다면 우리가 전에는 분명히 볼 수 없었던 것들이 가능해지게 됩니다. 감사합니다
(Applause)
(박수)