I study how the brain processes information. That is, how it takes information in from the outside world, and converts it into patterns of electrical activity, and then how it uses those patterns to allow you to do things -- to see, hear, to reach for an object. So I'm really a basic scientist, not a clinician, but in the last year and a half I've started to switch over, to use what we've been learning about these patterns of activity to develop prosthetic devices, and what I wanted to do today is show you an example of this. It's really our first foray into this. It's the development of a prosthetic device for treating blindness.
Я вивчаю як мозок оброблює інформацію. Тобто, як він приймає інформацію із навколишнього світу, і перетворює її у шаблони електричної активності, і потім, як він використовує ці шаблони, щоб дозволити вам робити певні речі -- щоб бачити, чути, щоб дістатися до об'єкта. Так що я насправді фундаментальний вчений, а не лікар, але в останні рік-півтора я почала переходити, використовувати те, що ми дізнавалися про ці шаблони активності для розробки протезних пристроїв, і сьогодні я хотіла показати вам приклад цього. Це насправді наш перший напад на це. Це розробка протезного пристрою для лікування сліпоти.
So let me start in on that problem. There are 10 million people in the U.S. and many more worldwide who are blind or are facing blindness due to diseases of the retina, diseases like macular degeneration, and there's little that can be done for them. There are some drug treatments, but they're only effective on a small fraction of the population. And so, for the vast majority of patients, their best hope for regaining sight is through prosthetic devices. The problem is that current prosthetics don't work very well. They're still very limited in the vision that they can provide. And so, you know, for example, with these devices, patients can see simple things like bright lights and high contrast edges, not very much more, so nothing close to normal vision has been possible.
Тож дозвольте мені розпочати з цієї проблеми. В США є 10 мільйонів, а в усьому світі набагато більше сліпих людей або тих, хто зтикається з сліпотою через захворювання сітківки, такі захворювання, як дегенерація жовтої плями, і мало що може бути зроблено для них. Існує певне медикаментозне лікування, але воно ефективне лише для невеликої частини населення. А отже, для переважної більшості пацієнтів, їх найбільші надії на відновлення - це через протезні пристрої. Проблема в тому, що нинішні протези не дуже добре працюють. Вони досі дуже обмежені в можливостях забезпечення бачення. І так, ви знаєте, наприклад, з цими пристроями, пацієнти можуть бачити прості речі, такі як яскраве світло і висококонтрастні контури, і не більше, тож нічого схожого на нормальний зір не стало можливим.
So what I'm going to tell you about today is a device that we've been working on that I think has the potential to make a difference, to be much more effective, and what I wanted to do is show you how it works. Okay, so let me back up a little bit and show you how a normal retina works first so you can see the problem that we were trying to solve. Here you have a retina. So you have an image, a retina, and a brain. So when you look at something, like this image of this baby's face, it goes into your eye and it lands on your retina, on the front-end cells here, the photoreceptors. Then what happens is the retinal circuitry, the middle part, goes to work on it, and what it does is it performs operations on it, it extracts information from it, and it converts that information into a code. And the code is in the form of these patterns of electrical pulses that get sent up to the brain, and so the key thing is that the image ultimately gets converted into a code. And when I say code, I do literally mean code. Like this pattern of pulses here actually means "baby's face," and so when the brain gets this pattern of pulses, it knows that what was out there was a baby's face, and if it got a different pattern it would know that what was out there was, say, a dog, or another pattern would be a house. Anyway, you get the idea.
Тож, я збираюсь розповісти вам сьогодні про пристрій над яким ми працюємо, котрий, я вважаю, має потенціал змінити ситуацію, бути набагато ефективнішим, і що я хотіла б зробити, це показати вам як він працює. Отже, дозвольте мені повернутися назад трохи і показати вам, як нормальна сітківка працює, щоб ви могли побачити проблему, яку ми намагаємося вирішити. Ось сітківка. Таким чином, ви маєте зображення, сітківку, і мозок. Тому коли ви дивитесь на щось, наприклад на цю фотографію дитячого обличчя, воно надходить до вашого ока і потрапляє на сітківку, на передні клітини тут, фоторецептори. Потім відбувається наступне: схема сітківки, середня частина, починає працювати над цим, і от що вона робить: вона виконує операції над цим, вона витягує інформацію з нього, і і перетворює цю інформацію у код. І код має вигляд цих шаблонів електричних імпульсів, які надсилаються до мозку, і тому головним є те, що зображення в кінцевому рахунку є конвертованим у код. І коли я кажу "код", я буквально маю на увазі код. Як цей шаблон імпульсів тут насправді означає "обличчя дитини", і тому, коли мозок отримую цей шаблон імпульсів, він знає, що те, що було там, було обличчям дитини, і якщо він отримує інший шаблон він буде знати що те, що було там, було, скажімо, собакою, або інший шаблон буде будинком. У будь-якому випадку, ви зрозуміли ідею.
And, of course, in real life, it's all dynamic, meaning that it's changing all the time, so the patterns of pulses are changing all the time because the world you're looking at is changing all the time too. So, you know, it's sort of a complicated thing. You have these patterns of pulses coming out of your eye every millisecond telling your brain what it is that you're seeing. So what happens when a person gets a retinal degenerative disease like macular degeneration? What happens is is that, the front-end cells die, the photoreceptors die, and over time, all the cells and the circuits that are connected to them, they die too. Until the only things that you have left are these cells here, the output cells, the ones that send the signals to the brain, but because of all that degeneration they aren't sending any signals anymore. They aren't getting any input, so the person's brain no longer gets any visual information -- that is, he or she is blind.
І, звичайно, в реальному житті, це все динамічне, що означає, що воно змінюється постійно, тож схеми імпульсів змінюються постійно, тому що світ, на який ви дивитесь, також постійно змінюється. Отже, ви знаєте, це свого роду складна річ. У вас ці шаблони імпульсів надходять з вашого ока кожну мілісекунду, повідомляючи вашому мозку, що ви бачите. Отже, що трапляється, коли людина має дегенеративне захворбвання сітківки, таке як дегенерація жовтої плями? А відбувається наступне: передні клітини відмирають, фоторецептори відмирають, і з плином часу, всі клітини і ланцюги, що з'єднані з ними, вони відмирають також. Доки єдине, що у вас залишиться - ці клітини тут, вихідні клітини, ті, які посилають сигнал в мозок, але через всю ту дегенерацію вони більше не посилають жодного сигналу у мозок. Вони не отримують жодної вхідної інформаці, тому мозок людини більше не отримує жодної візуальної інформації -- тобто, він або вона сліпа.
So, a solution to the problem, then, would be to build a device that could mimic the actions of that front-end circuitry and send signals to the retina's output cells, and they can go back to doing their normal job of sending signals to the brain. So this is what we've been working on, and this is what our prosthetic does. So it consists of two parts, what we call an encoder and a transducer. And so the encoder does just what I was saying: it mimics the actions of the front-end circuitry -- so it takes images in and converts them into the retina's code. And then the transducer then makes the output cells send the code on up to the brain, and the result is a retinal prosthetic that can produce normal retinal output. So a completely blind retina, even one with no front-end circuitry at all, no photoreceptors, can now send out normal signals, signals that the brain can understand. So no other device has been able to do this.
Таким чином, вирішенням проблеми була б побудова пристрою, який міг би імітувати дії передніх схем і надсилати сигнали до вихідних клітин сітківки, і вони можуть повернутися до виконання їх нормальної роботи надсилання сигналів до мозку. Так що це те, над чим ми працюємо, і це те, що робить наш протез. Отже, він складається з двох частин, які ми називаємо кодувальником та датчиком. І отже, кодувальник робить саме те, що я говорила: він імітує дії передніх схем -- так що вони отримують зображення і перевторюють їх у код сітківки. І потім датчик змушує вихідні клітини надсилати код до мозку, і результатом є протези сітківки, які можуть виробляти нормальну вихідну інформацію сітківки. Тож повністю сліпа сітківка, навіть без будь-яких передніх "схем", без фоторецепторів, може тепер відправляти нормальний сигнал, сигнал, котрий мозок зможе зрозуміти. Таким чином жоден інший пристрій не в змозі зробити це.
Okay, so I just want to take a sentence or two to say something about the encoder and what it's doing, because it's really the key part and it's sort of interesting and kind of cool. I'm not sure "cool" is really the right word, but you know what I mean. So what it's doing is, it's replacing the retinal circuitry, really the guts of the retinal circuitry, with a set of equations, a set of equations that we can implement on a chip. So it's just math. In other words, we're not literally replacing the components of the retina. It's not like we're making a little mini-device for each of the different cell types. We've just abstracted what the retina's doing with a set of equations. And so, in a way, the equations are serving as sort of a codebook. An image comes in, goes through the set of equations, and out comes streams of electrical pulses, just like a normal retina would produce.
Добре, тож я тільки хочу додати речення або два, щоб сказати дещо про кодувальник і що він робить, бо це дійсно ключова частина і свого роду цікаво і круто. Я не впевнена, що "круто" дійсно правильне слово, але ви знаєте, що я маю на увазі. Отже, от що він робить: він замінює "схему" сітківки, насправді нутрощі "схеми" сітківки, на систему рівнянь, систему рівнянь, яку ми можемо реалізувати в чіпі. Так що це просто математика. Іншими словами, ми не в буквальному сенсі замінюємо компоненти сітківки. Це не так, наче ми робимо невеликі міні-пристрої для кожного .з різних типів клітин Ми лише абстрагуємо те, що сітківка робить із системою рівнянь. І так, в деякому розумінні, рівняння служать чимось, на зразок кодового словника. Зображення надходить, проходить через систему рівнянь, і виходить потоками електричних імпульсів, такими, які нормальна сітківка виробляла б.
Now let me put my money where my mouth is and show you that we can actually produce normal output, and what the implications of this are. Here are three sets of firing patterns. The top one is from a normal animal, the middle one is from a blind animal that's been treated with this encoder-transducer device, and the bottom one is from a blind animal treated with a standard prosthetic. So the bottom one is the state-of-the-art device that's out there right now, which is basically made up of light detectors, but no encoder. So what we did was we presented movies of everyday things -- people, babies, park benches, you know, regular things happening -- and we recorded the responses from the retinas of these three groups of animals. Now just to orient you, each box is showing the firing patterns of several cells, and just as in the previous slides, each row is a different cell, and I just made the pulses a little bit smaller and thinner so I could show you a long stretch of data.
Тепер дозвольте мені відповісти за свої слова і показати вам, що ми можемо дійсно виробляти нормальний вихідний сигнал, і які з цього наслідки. Ось три набори активних шаблонів. Верхній належить нормальній тварині, середній -- сліпій тварині, вилікуваній за допомогою цього кодувальнико-датчикового пристрою, і нижній належить сліпій тварині, вилікуваній за допомогою стандартного протеза. Отже нижній - це найновіший з пристроїв, що існують зараз, який в основному створений на основі приймачів світла, але не кодувальників. Отже, от що ми зробили: ми представили фільми про повсякденні речі -- люди, діти, паркові лавки, знаєте, повсякденні явища -- і ми записали відгуки сітківок цих трьох груп тварин. Тепер, тільки щоб зорієнтувати вас, кожне вікно показує активні шаблони декількох клітин, і так само як у попередніх слайдах, кожен ряд - це інша клітина, і я тільки що зробила імпульси трохи меншими і тоншими, так що я можу показати вам великий відрізок даних.
So as you can see, the firing patterns from the blind animal treated with the encoder-transducer really do very closely match the normal firing patterns -- and it's not perfect, but it's pretty good -- and the blind animal treated with the standard prosthetic, the responses really don't. And so with the standard method, the cells do fire, they just don't fire in the normal firing patterns because they don't have the right code. How important is this? What's the potential impact on a patient's ability to see? So I'm just going to show you one bottom-line experiment that answers this, and of course I've got a lot of other data, so if you're interested I'm happy to show more. So the experiment is called a reconstruction experiment. So what we did is we took a moment in time from these recordings and asked, what was the retina seeing at that moment? Can we reconstruct what the retina was seeing from the responses from the firing patterns?
Отже, як ви можете бачити, активні шаблони сліпої тварини, вилікуваної за допомогою кодувальника-датчика дійсно дуже близько повторюють нормальні активні шаблони-- і це не ідеально, але достатьно добре -- і сліпа тварина, вилікувана за допомогою стандартного протезу, відповідності насправді не має. І тому із стандартними методами, клітини активні, вони тільки не активні за нормальними активними шаблонами, тому що вони не мають нормального коду. Наскільки це важливо? Який потенційний вплив на можливість пацієнта бачити? Отже я просто хочу показати вам один підсумковий експеримент, що відповідає цьому, і, звичайно, я маю багато іншої інформації, тож якщо ви зацікавлені, я буду рада показати більше. Отже експермент називається експериментальною реконструкцією. Отже, що ми зробили, ми взяли момент часу із цього запису і запитали, що сітківка бачила в цей момент? Чи можемо ми реконструювати те, що сітківка бачила з відповідей від активації шаблонів?
So, when we did this for responses from the standard method and from our encoder and transducer. So let me show you, and I'm going to start with the standard method first. So you can see that it's pretty limited, and because the firing patterns aren't in the right code, they're very limited in what they can tell you about what's out there. So you can see that there's something there, but it's not so clear what that something is, and this just sort of circles back to what I was saying in the beginning, that with the standard method, patients can see high-contrast edges, they can see light, but it doesn't easily go further than that. So what was the image? It was a baby's face. So what about with our approach, adding the code? And you can see that it's much better. Not only can you tell that it's a baby's face, but you can tell that it's this baby's face, which is a really challenging task. So on the left is the encoder alone, and on the right is from an actual blind retina, so the encoder and the transducer. But the key one really is the encoder alone, because we can team up the encoder with the different transducer.
Тож, ми зробили це для відповідей зі стандартних методів і з наших кодувальника і датчика. Отже, дозвольте мені показати вам, і я збираюсь розпочати зі стандартних методів спочатку. Так що ви можете бачити, що він доволі обмежений, і тому що активні шаблони не у правильному коді, вони дуже обмежені в тому, що можуть розказати вам про те, що знаходиться ззовні. Тож ви можете бачити, що там щось є, але не ясно, чим саме воно є, і це свого роду повернення до того, що я казала на початку, що із стандартними методами, пацієнти можуть бачити висококонтрастні контури, вони можуть бачити світло, але це не заходить далі ніж це. Тож чим було зображення? Це було обличчя дитини. А що стосовно нашого підходу додавання коду? І ви можете бачити, що це набагато краще. Ви можете не тільки сказати, що це обличчя дитини, ви можете сказати, що це саме це обличчя дитини, що є дійсно складним завданням. Отже, зліва кодувальник сам, і праворуч від фактично сліпої сітківки, тобто енкодер і датчик. Але головним є кодувальник сам, тому що ми можемо об'єднати кодувальник з різними датчиками.
This is just actually the first one that we tried. I just wanted to say something about the standard method. When this first came out, it was just a really exciting thing, the idea that you even make a blind retina respond at all. But there was this limiting factor, the issue of the code, and how to make the cells respond better, produce normal responses, and so this was our contribution. Now I just want to wrap up, and as I was mentioning earlier of course I have a lot of other data if you're interested, but I just wanted to give this sort of basic idea of being able to communicate with the brain in its language, and the potential power of being able to do that. So it's different from the motor prosthetics where you're communicating from the brain to a device. Here we have to communicate from the outside world into the brain and be understood, and be understood by the brain.
Це насправді перше, що ми спробували. Я тільки хочу сказати дещо про стандартний метод. Коли це вперше з'явилось, це була дійсно захоплююча річ, сама ідея, що ви просто змусили сліпу сітківку відповісти. Але там був цей обмежуючий фактор, питання про код, і як змусити клітини відповідати краще, створювати нормальні відповіді, і так, це був наш внесок. Тепер я хочу лише підбити підсумки, і, як я згадувала раніше, звісно я маю багато іншої інформації якщо ви зацікавлені, але я лише хотіла дати свого роду основну ідею можливості зв'язку із мозком на його мові, і потенційну силу, щоб бути здатним зробити це. Так що це відрізняється від рушійних протезів де ви встановлюєте зв'язок від мозку до пристрою. Тут ми маємо встановити зв'язок із зовнішнього світу до мозку і щоб зрозумів, щоб мозок це зрозумів.
And then the last thing I wanted to say, really, is to emphasize that the idea generalizes. So the same strategy that we used to find the code for the retina we can also use to find the code for other areas, for example, the auditory system and the motor system, so for treating deafness and for motor disorders. So just the same way that we were able to jump over the damaged circuitry in the retina to get to the retina's output cells, we can jump over the damaged circuitry in the cochlea to get the auditory nerve, or jump over damaged areas in the cortex, in the motor cortex, to bridge the gap produced by a stroke.
І потім, останнє що я хотіла сказати, дійсно, щоб підкреслити, що ідея узагальнюється. Отже, ту саму стратегію, яку ми використали, щоб знайти код для сітківки ми також можемо використати, щоб знайти код для інших зон, наприклад, слухової системи і опорно-рухової системи, а отже для лікування глухоти і рухових порушень. Тож таким же чином, як ми були в змозі перестрибнути через пошкоджені схеми сітківки, щоб дістатися до вихідних клітин сітківки, ми можемо перестрибнути через пошкоджені схеми у завитці, щоб дістатися до слухового нерва, або перестрибнути через пошкоджені зони у корі, у руховій корі, щоб ліквідувати розрив, викликаний інсультом.
I just want to end with a simple message that understanding the code is really, really important, and if we can understand the code, the language of the brain, things become possible that didn't seem obviously possible before. Thank you.
Я тільки хочу закінчити із простим повідомленням, що розуміння коду це дійсно, дійсно важливо, і якщо ми можемо зрозуміти код, мову мозку, стануть можливими речі, які здавалося, не уявлялися можливим раніше. Дякую.
(Applause)
(Аплодисменти)