I study how the brain processes information. That is, how it takes information in from the outside world, and converts it into patterns of electrical activity, and then how it uses those patterns to allow you to do things -- to see, hear, to reach for an object. So I'm really a basic scientist, not a clinician, but in the last year and a half I've started to switch over, to use what we've been learning about these patterns of activity to develop prosthetic devices, and what I wanted to do today is show you an example of this. It's really our first foray into this. It's the development of a prosthetic device for treating blindness.
私は脳の情報処理について 研究をしています 外界から受け取った情報を 電気活動のパーターンに変換し 人はこのパターンを使って 見たり 聞いたり ものに手を伸ばしたりと 行動を取っているのです 私は臨床医ではなく 基礎科学者なのですが この1年半で得た活動パターンの 知識を応用して人工器官の 開発を始めました 人工器官の応用例を お見せします これは失明に対して 人工器官を利用する 私たちの初の試みです
So let me start in on that problem. There are 10 million people in the U.S. and many more worldwide who are blind or are facing blindness due to diseases of the retina, diseases like macular degeneration, and there's little that can be done for them. There are some drug treatments, but they're only effective on a small fraction of the population. And so, for the vast majority of patients, their best hope for regaining sight is through prosthetic devices. The problem is that current prosthetics don't work very well. They're still very limited in the vision that they can provide. And so, you know, for example, with these devices, patients can see simple things like bright lights and high contrast edges, not very much more, so nothing close to normal vision has been possible.
失明で苦しんでいる方と 黄斑変性などの網膜の 疾病により失明のリスクを 抱える人は米国に1000万人 世界中にも数多くいます 現在これらの人々に対し ほとんど何もできません 薬物療法もありますが 効力を発揮するのは 一握りの患者だけです ですから大抵の場合は 人工器官による 視覚回復が頼みの綱となります 問題点は 現在出回っている装置は 十分に機能しないことです 回復できる視力に 大きな制限があります 例えば 明るい光や 高いコントラストの縁を持つ物体なら 見えるようになりますが これが限界で 正常な視覚には ほど遠いというのが現状です
So what I'm going to tell you about today is a device that we've been working on that I think has the potential to make a difference, to be much more effective, and what I wanted to do is show you how it works. Okay, so let me back up a little bit and show you how a normal retina works first so you can see the problem that we were trying to solve. Here you have a retina. So you have an image, a retina, and a brain. So when you look at something, like this image of this baby's face, it goes into your eye and it lands on your retina, on the front-end cells here, the photoreceptors. Then what happens is the retinal circuitry, the middle part, goes to work on it, and what it does is it performs operations on it, it extracts information from it, and it converts that information into a code. And the code is in the form of these patterns of electrical pulses that get sent up to the brain, and so the key thing is that the image ultimately gets converted into a code. And when I say code, I do literally mean code. Like this pattern of pulses here actually means "baby's face," and so when the brain gets this pattern of pulses, it knows that what was out there was a baby's face, and if it got a different pattern it would know that what was out there was, say, a dog, or another pattern would be a house. Anyway, you get the idea.
本日 紹介するのは 私たちが研究を続けてきた より効果的で 失明治療の 分岐点になりうる装置です その仕組みをお見せします その前に まず私たちが解決を目指す課題を ご理解頂くために 健康な網膜の 働きを簡単に説明します 左側が映像で 次に網膜― 右側が脳です 目にこの赤ん坊のような 映像が飛び込んできた際に 網膜最前列の 光受容器がこれを受け取ります 次に中間部の 網膜回路が作動します 受け取った情報を計算処理し 情報を抽出して これをコードに書き換えます 電気パルスのパターンがコードの形式で これが脳に送られます ここで映像が最終的には コード化されるという点が 大切になります 文字通りコード化です 画面上のパルスのパターンは 「赤ん坊の顔」を表しており 脳がこのパターンを受け取ると 脳は目に映ったものは 赤ん坊の顔だと認識し 異なるパターンを受信すれば 犬や家といった 異なる像を認識します 大まかにはこんなところです
And, of course, in real life, it's all dynamic, meaning that it's changing all the time, so the patterns of pulses are changing all the time because the world you're looking at is changing all the time too. So, you know, it's sort of a complicated thing. You have these patterns of pulses coming out of your eye every millisecond telling your brain what it is that you're seeing. So what happens when a person gets a retinal degenerative disease like macular degeneration? What happens is is that, the front-end cells die, the photoreceptors die, and over time, all the cells and the circuits that are connected to them, they die too. Until the only things that you have left are these cells here, the output cells, the ones that send the signals to the brain, but because of all that degeneration they aren't sending any signals anymore. They aren't getting any input, so the person's brain no longer gets any visual information -- that is, he or she is blind.
実世界ではすべてが動的で 常に変化しています 目に映る外界が常に変るように パルスのパターンも常に 変化します まぁ 少し複雑なものなんです パルスのパターンはミリ秒単位で 目から送信され脳に 何を見ているのかを伝えます さて黄斑変性のような 網膜変性疾患を患った場合には 網膜に何が起こるのでしょう? 時間と共に 最前列の光受容器細胞が 死滅するだけでなく これに繋がっている細胞や網膜回路も 全て死滅してしまいます 最終的に残るのは 脳に情報を送信する 出力細胞のみです しかしこれも変性の後は シグナルを送ることがなくなります 入力がなくなるので 脳に送信されるはずであった 視覚情報が失われます これが失明という状態です
So, a solution to the problem, then, would be to build a device that could mimic the actions of that front-end circuitry and send signals to the retina's output cells, and they can go back to doing their normal job of sending signals to the brain. So this is what we've been working on, and this is what our prosthetic does. So it consists of two parts, what we call an encoder and a transducer. And so the encoder does just what I was saying: it mimics the actions of the front-end circuitry -- so it takes images in and converts them into the retina's code. And then the transducer then makes the output cells send the code on up to the brain, and the result is a retinal prosthetic that can produce normal retinal output. So a completely blind retina, even one with no front-end circuitry at all, no photoreceptors, can now send out normal signals, signals that the brain can understand. So no other device has been able to do this.
さて対処法はというと 網膜の光受容器と網膜回路の働きを 模倣する装置をつくり 網膜の出力細胞に信号を送り 脳への視覚情報の送信を 復旧するというものです これが私たちの研究課題でした そしてこれが人工器官のすることです エンコーダとトランスデューサ(変換器)の 2部分で構成されています このエンコーダが網膜前部の 映像の受信と そのコード化の プロセスを代行します 次にトランスデューサが コードを出力細胞へ渡し 脳へコードが送られます こうして この人工器官は 通常の網膜出力を再現します こうすることで 光受容器や 前段の網膜回路を失った 失明状態であっても 脳が解釈できるような 通常通りの信号を送れるのです これはどのような装置も 今まで成し得なかったことです
Okay, so I just want to take a sentence or two to say something about the encoder and what it's doing, because it's really the key part and it's sort of interesting and kind of cool. I'm not sure "cool" is really the right word, but you know what I mean. So what it's doing is, it's replacing the retinal circuitry, really the guts of the retinal circuitry, with a set of equations, a set of equations that we can implement on a chip. So it's just math. In other words, we're not literally replacing the components of the retina. It's not like we're making a little mini-device for each of the different cell types. We've just abstracted what the retina's doing with a set of equations. And so, in a way, the equations are serving as sort of a codebook. An image comes in, goes through the set of equations, and out comes streams of electrical pulses, just like a normal retina would produce.
さてこの装置の 中核であるエンコーダについて もう少しお話しします 興味深く カッコいい部分でもあります 「カッコいい」という言葉が 適切かどうかは分かりませんが 言いたいことはお分かりでしょう ここでは網膜回路の ― 実際にはその中で行われている 複雑な計算を電子チップで 再現しているのです 純粋に計算処理なんですよ つまり網膜の構成細胞を 代替しているのではなく 全ての細胞の異なる役割に対応する マイクロデバイスを 作っているのでもありません 網膜の働きを一連の数式として 抽象化しているのです ある意味この計算式が 暗号表の役割を果たしています 通常の網膜が行うように 映像が受信され 一連の計算がされ 電気パルスの流れに書き換えられるのです
Now let me put my money where my mouth is and show you that we can actually produce normal output, and what the implications of this are. Here are three sets of firing patterns. The top one is from a normal animal, the middle one is from a blind animal that's been treated with this encoder-transducer device, and the bottom one is from a blind animal treated with a standard prosthetic. So the bottom one is the state-of-the-art device that's out there right now, which is basically made up of light detectors, but no encoder. So what we did was we presented movies of everyday things -- people, babies, park benches, you know, regular things happening -- and we recorded the responses from the retinas of these three groups of animals. Now just to orient you, each box is showing the firing patterns of several cells, and just as in the previous slides, each row is a different cell, and I just made the pulses a little bit smaller and thinner so I could show you a long stretch of data.
この装置を利用して 正常な出力ができることと この進歩が意味することには 自信があります ここでそれをお見せします これは3種類の神経発火パターンです 一番上は盲目でない動物からの記録で 真ん中が私たちの 人工器官で治療を受けた 盲目動物からの信号記録です 下が従来の人工器官を使用した 盲目動物からの信号記録です 下の記録はエンコーダを持たない 光検出器を利用した 現在利用されている中では 最先端機器を使用した信号記録です それぞれに対して 人間、赤ん坊 公園のベンチなど日常生活で 目にする映像を見せた後の 先ほどの3種類の状態の 網膜の反応を記録しました 3つの図には 条件毎の 数個の網膜細胞の 発火パターンが示されており 先ほどのスライドと同様に 横方向に 異なる細胞からのパターンを示します データ全体を見やすくする 便宜上 パルス信号を 縮小して表示してあります
So as you can see, the firing patterns from the blind animal treated with the encoder-transducer really do very closely match the normal firing patterns -- and it's not perfect, but it's pretty good -- and the blind animal treated with the standard prosthetic, the responses really don't. And so with the standard method, the cells do fire, they just don't fire in the normal firing patterns because they don't have the right code. How important is this? What's the potential impact on a patient's ability to see? So I'm just going to show you one bottom-line experiment that answers this, and of course I've got a lot of other data, so if you're interested I'm happy to show more. So the experiment is called a reconstruction experiment. So what we did is we took a moment in time from these recordings and asked, what was the retina seeing at that moment? Can we reconstruct what the retina was seeing from the responses from the firing patterns?
ご覧の通りエンコーダと トランスデューサを使用した 2番目の盲目グループの発火パターンは 完璧ではないものの 正常なものと大差有りません 従来の人工器官を 使用した3番目のグループは 信号がほとんど一致しません つまり従来の方法では 送信はするものの 正しくコード化されていないために 正常な発火パターンを 発生できないのです その重要性は? 患者の視覚能力に どのような影響を及ぼすのでしょう? この質問に解答を与える 決定的な実験を 一つお見せします 他にもデータはたくさんありますので 興味の有る方にはお見せいたします これは再構築実験と 呼ばれています パターン記録の一部分を抜き出し そこで網膜は何を見ていたのかを 確認するというものです さて発火パターンから 網膜が見ていた映像を 再構築できるのでしょうか?
So, when we did this for responses from the standard method and from our encoder and transducer. So let me show you, and I'm going to start with the standard method first. So you can see that it's pretty limited, and because the firing patterns aren't in the right code, they're very limited in what they can tell you about what's out there. So you can see that there's something there, but it's not so clear what that something is, and this just sort of circles back to what I was saying in the beginning, that with the standard method, patients can see high-contrast edges, they can see light, but it doesn't easily go further than that. So what was the image? It was a baby's face. So what about with our approach, adding the code? And you can see that it's much better. Not only can you tell that it's a baby's face, but you can tell that it's this baby's face, which is a really challenging task. So on the left is the encoder alone, and on the right is from an actual blind retina, so the encoder and the transducer. But the key one really is the encoder alone, because we can team up the encoder with the different transducer.
この実験では私たちの装置と 従来の装置の両方で 再構築力を確認しました それでは結果ですが 従来の装置ではこうなりました かなり限定的です 発火パターンが 正しくコード化されておらず 何かがあるのは分かりますが それが何かは分かりません 先ほどお話しした通り 高コントラスト部や 明るい部分しか見えず それ以上は分かりません 実際の映像はなんだったのでしょう? 赤ん坊の顔です さて コードに変換する私たちの アプローチはどうでしょうか? ずっといいですね 赤ん坊の顔だと分かるだけでなく 元の映像と同じ赤ん坊だと認識できます これは本当に大変な作業なんですよ 左側はエンコーダ単体を使用したもので 右側はエンコーダとトランスデューサの 両方を使用した 盲目の網膜からの映像です しかしここでの鍵は エンコーダのみの場合です エンコーダは 色々なトランスデューサと 組み合わせられるからです
This is just actually the first one that we tried. I just wanted to say something about the standard method. When this first came out, it was just a really exciting thing, the idea that you even make a blind retina respond at all. But there was this limiting factor, the issue of the code, and how to make the cells respond better, produce normal responses, and so this was our contribution. Now I just want to wrap up, and as I was mentioning earlier of course I have a lot of other data if you're interested, but I just wanted to give this sort of basic idea of being able to communicate with the brain in its language, and the potential power of being able to do that. So it's different from the motor prosthetics where you're communicating from the brain to a device. Here we have to communicate from the outside world into the brain and be understood, and be understood by the brain.
実はこれが初めての実験なんですよ 従来の方法にもコメントしておきましょう 盲目の網膜を多少でも 反応させられるなんて 発表された当時は 本当に心躍らされました しかし 制約がありました 細胞をよりよく反応させ 正常な反応を引き出すための コードの問題です 私たちがこれらを解決しました まとめると 本日は 脳自身の言葉で 脳に情報伝達が可能なこと そして その可能性が持つ 潜在力について 基本的な考え方をお話ししました 先ほど申し上げたとおり データは他にいくらでもありますので 興味のある方には お見せいたします この人工器官は運動系装置のように 脳からの信号を装置に伝えている わけではありません 外界の情報を脳に 伝え これが脳に 理解されることが重要なのです
And then the last thing I wanted to say, really, is to emphasize that the idea generalizes. So the same strategy that we used to find the code for the retina we can also use to find the code for other areas, for example, the auditory system and the motor system, so for treating deafness and for motor disorders. So just the same way that we were able to jump over the damaged circuitry in the retina to get to the retina's output cells, we can jump over the damaged circuitry in the cochlea to get the auditory nerve, or jump over damaged areas in the cortex, in the motor cortex, to bridge the gap produced by a stroke.
最後に強調してお伝えしたいのは この考え方は 一般化できるという点です 私たちが網膜のコードを解明した手順を 聴覚や運動系に対応する コード発見に活用することで 聴覚障害や運動障害も 治療することが可能です 障害された網膜回路を飛び越えて その先の出力細胞に たどり着いたのと同じ方法で 傷害された蝸牛を飛び越えて 聴神経にたどり着いたり 大脳皮質運動野で 脳卒中により障害された領域を 橋渡しすることもできます
I just want to end with a simple message that understanding the code is really, really important, and if we can understand the code, the language of the brain, things become possible that didn't seem obviously possible before. Thank you.
最後にコードの理解こそが 大きな意味を持つということを 覚えておいて下さい この 脳の言語であるコードを解明できれば 以前は 一見不可能と思えたことが 可能となるのです ご静聴ありがとうございました
(Applause)
(拍手)