I study how the brain processes information. That is, how it takes information in from the outside world, and converts it into patterns of electrical activity, and then how it uses those patterns to allow you to do things -- to see, hear, to reach for an object. So I'm really a basic scientist, not a clinician, but in the last year and a half I've started to switch over, to use what we've been learning about these patterns of activity to develop prosthetic devices, and what I wanted to do today is show you an example of this. It's really our first foray into this. It's the development of a prosthetic device for treating blindness.
Saya mempelajari bagaimana otak mengolah informasi, bagaimana otak mengambil informasi dari dunia luar dan mengubahnya menjadi pola aktivitas listrik kemudian bagaimana otak menggunakan pola itu agar Anda dapat melakukan berbagai hal -- melihat, mendengar, mengambil benda. Jadi saya adalah seorang ilmuwan dasar bukan seorang dokter, namun selama 1½ tahun terakhir saya mulai beralih, untuk menggunakan apa yang telah kita pelajari tentang pola-pola kegiatan otak itu untuk mengembangkan alat alat protestik, dan apa yang ingin saya lakukan pada hari ini adalah menunjukkan contohnya. Ini benar-benar usaha pertama kami, yaitu pengembangan alat protestik untuk merawat kebutaan.
So let me start in on that problem. There are 10 million people in the U.S. and many more worldwide who are blind or are facing blindness due to diseases of the retina, diseases like macular degeneration, and there's little that can be done for them. There are some drug treatments, but they're only effective on a small fraction of the population. And so, for the vast majority of patients, their best hope for regaining sight is through prosthetic devices. The problem is that current prosthetics don't work very well. They're still very limited in the vision that they can provide. And so, you know, for example, with these devices, patients can see simple things like bright lights and high contrast edges, not very much more, so nothing close to normal vision has been possible.
Saya akan mulai dengan masalah ini. Ada 10 juta orang di Amerika Serikat dan banyak lagi di seluruh dunia yang menjadi tunanetra atau terancam menjadi tunanetra karena penyakit retina, penyakit seperti degenerasi makula, dan hanya sedikit yang bisa dilakukan. Ada beberapa obat untuk itu namun hanya bekerja efektif pada sebagian kecil penderita Sehingga, bagi kebanyakan pasien kami harapan terbaik mereka adalah mendapatkan kembali penglihatan melalui alat protestik. Masalahnya adalah alat protestik yang ada saat ini tidak bekerja dengan baik. Kemampuannya masih sangat terbatas. Sehingga, contohnya, dengan alat ini para pasien dapat melihat benda-benda sederhana seperti cahaya yang terang atau ujung ujung yang berkontras tinggi. tidak lebih, jadi sama sekali tidak mendekati kemampuan mata normal.
So what I'm going to tell you about today is a device that we've been working on that I think has the potential to make a difference, to be much more effective, and what I wanted to do is show you how it works. Okay, so let me back up a little bit and show you how a normal retina works first so you can see the problem that we were trying to solve. Here you have a retina. So you have an image, a retina, and a brain. So when you look at something, like this image of this baby's face, it goes into your eye and it lands on your retina, on the front-end cells here, the photoreceptors. Then what happens is the retinal circuitry, the middle part, goes to work on it, and what it does is it performs operations on it, it extracts information from it, and it converts that information into a code. And the code is in the form of these patterns of electrical pulses that get sent up to the brain, and so the key thing is that the image ultimately gets converted into a code. And when I say code, I do literally mean code. Like this pattern of pulses here actually means "baby's face," and so when the brain gets this pattern of pulses, it knows that what was out there was a baby's face, and if it got a different pattern it would know that what was out there was, say, a dog, or another pattern would be a house. Anyway, you get the idea.
Jadi apa yang akan saya tunjukkan hari ini adalah alat yang sedang kami kerjakan yang saya rasa berpotensi untuk membuat perbedaan, alat yang jauh lebih efektif dan apa yang ingin saya lakukan adalah menunjukkan cara kerjanya. Baiklah, saya akan kembali dan menunjukkan bagaimana cara kerja dari retina normal sehingga Anda bisa mengerti masalah yang kami coba selesaikan. Inilah retina mata. Jadi ada gambar, retina, dan otak. Saat Anda melihat sesuatu, seperti gambar dari wajah bayi ini, gambar ini masuk ke mata Anda dan sampai ke retina, pada sel-sel paling depan yang bernama fotoreseptor. Lalu yang terjadi adalah sirkuit retina, di bagian tengah mengerjakannya dan retina melakukan pengolahan pada gambar itu, mengambil informasinya dan mengubah informasi itu menjadi sandi. Sandi itu berbentuk pola-pola pulsa listrik yang kemudian dikirimkan ke otak, sehingga kuncinya adalah gambar itu akhirnya diubah menjadi sandi. Dan sandi di sini benar-benar merupakan sandi. Seperti pola-pola listrik di sini sebenarnya berarti "wajah bayi," sehingga saat otak mendapatkan pola dari pulsa ini, otak tahu bahwa di luar sana ada wajah bayi, dan jika otak mendapat pola yang berbeda, otak akan tahu bahwa di luar sana ada, katakanlah, anjing atau pola lain yang merupakan rumah. Jadi, Anda sudah memiliki gambarannya.
And, of course, in real life, it's all dynamic, meaning that it's changing all the time, so the patterns of pulses are changing all the time because the world you're looking at is changing all the time too. So, you know, it's sort of a complicated thing. You have these patterns of pulses coming out of your eye every millisecond telling your brain what it is that you're seeing. So what happens when a person gets a retinal degenerative disease like macular degeneration? What happens is is that, the front-end cells die, the photoreceptors die, and over time, all the cells and the circuits that are connected to them, they die too. Until the only things that you have left are these cells here, the output cells, the ones that send the signals to the brain, but because of all that degeneration they aren't sending any signals anymore. They aren't getting any input, so the person's brain no longer gets any visual information -- that is, he or she is blind.
Dan sudah pasti dalam kehidupan, semuanya dinamis yang berarti semuanya berubah setiap saat sehingga pola-pola pulsa itu selalu berubah setiap saat karena dunia yang Anda lihat juga berubah setiap saat. Jadi, ini merupakan hal yang rumit. Anda memiliki pola-pola seperti ini datang dari mata Anda setiap milidetik memberitahukan otak apa yang Anda lihat. Jadi apa yang terjadi saat seseorang menderita penyakit degenerasi retina seperti degenerasi makula? Yang terjadi adalah sel-sel yang terdepan ini mati, sel-sel fotoreseptor itu mati dan seiring dengan waktu semua sel dan sirkuit yang terhubung dengan sel-sel itu ikut mati. Akhirnya satu-satunya hal yang tersisa adalah sel-sel ini, sel-sel keluaran, sel yang mengirimkan sinyal ke otak namun karena degenerasi itu sel-sel itu tidak mengirimkan sinyal lagi. Sel-sel itu tidak menerima masukan apapun sehingga otak tidak lagi mendapat informasi visual apapun -- sehingga dia menjadi buta.
So, a solution to the problem, then, would be to build a device that could mimic the actions of that front-end circuitry and send signals to the retina's output cells, and they can go back to doing their normal job of sending signals to the brain. So this is what we've been working on, and this is what our prosthetic does. So it consists of two parts, what we call an encoder and a transducer. And so the encoder does just what I was saying: it mimics the actions of the front-end circuitry -- so it takes images in and converts them into the retina's code. And then the transducer then makes the output cells send the code on up to the brain, and the result is a retinal prosthetic that can produce normal retinal output. So a completely blind retina, even one with no front-end circuitry at all, no photoreceptors, can now send out normal signals, signals that the brain can understand. So no other device has been able to do this.
Jadi, salah satu jalan keluar masalah ini adalah untuk membuat alat yang dapat meniru tindakan dari sel-sel terdepan itu dan mengirimkan sinyal ke sel-sel keluaran retina sehingga sel-sel itu dapat berfungsi kembali untuk mengirimkan sinyal ke otak. Jadi inilah yang kami kerjakan dan inilah yang dilakukan alat kami. Jadi alat ini terdiri dari dua bagian, apa yang kami sebut bagian penyandi dan pentransduksi. Yang dilakukan penyandi hanyalah yang saya katakan: meniru tindakan dari sirkuit bagian depan -- alat itu mengambil gambar dan mengubahnya menjadi sandi retina. Kemudian pentransduksi membuat sel-sel keluaran mengirimkan sandi itu ke otak dan hasilnya adalah retina buatan yang dapat menghasilkan keluaran retina normal. Sehingga retina yang benar-benar buta bahkan tanpa sirkuit bagian depan sama sekali, tanpa fotoreseptor dapat mengirimkan sinyal normal, sinyal yang dapat dipahami oleh otak. Dan tidak ada alat lain yang dapat melakukan ini.
Okay, so I just want to take a sentence or two to say something about the encoder and what it's doing, because it's really the key part and it's sort of interesting and kind of cool. I'm not sure "cool" is really the right word, but you know what I mean. So what it's doing is, it's replacing the retinal circuitry, really the guts of the retinal circuitry, with a set of equations, a set of equations that we can implement on a chip. So it's just math. In other words, we're not literally replacing the components of the retina. It's not like we're making a little mini-device for each of the different cell types. We've just abstracted what the retina's doing with a set of equations. And so, in a way, the equations are serving as sort of a codebook. An image comes in, goes through the set of equations, and out comes streams of electrical pulses, just like a normal retina would produce.
Jadi saya hanya akan berbicara singkat mengenai penyandi dan yang dilakukannya, karena inilah bagian kuncinya dan ini cukup menarik dan keren. Saya tidak tahu apakah "keren" kata yang tepat namun Anda tahu maksud saya. Jadi apa yang dilakukannya adalah menggantikan sirkuit retina, benar-benar inti dari sirkuit retina, dengan seperangkat persamaan yang dapat dimasukkan ke dalam sebuah chip. Jadi ini hanya sekedar matematika. Dengan kata lain, kami tidak mengganti komponen retina apapun. Ini bukan seperti kami membuat alat kecil untuk setiap jenis sel yang berbeda. Kami hanya merangkum apa yang dilakukan oleh retina dengan seperangkat persamaan. Jadi sedikit banyak, persamaan ini berfungsi sebagai buku sandi. Jadi gambar masuk dan melalui seperangkat persamaan ini lalu kelluarlah aliran pulsa-pulsa listrik seperti yang dihasilkan oleh retina normal.
Now let me put my money where my mouth is and show you that we can actually produce normal output, and what the implications of this are. Here are three sets of firing patterns. The top one is from a normal animal, the middle one is from a blind animal that's been treated with this encoder-transducer device, and the bottom one is from a blind animal treated with a standard prosthetic. So the bottom one is the state-of-the-art device that's out there right now, which is basically made up of light detectors, but no encoder. So what we did was we presented movies of everyday things -- people, babies, park benches, you know, regular things happening -- and we recorded the responses from the retinas of these three groups of animals. Now just to orient you, each box is showing the firing patterns of several cells, and just as in the previous slides, each row is a different cell, and I just made the pulses a little bit smaller and thinner so I could show you a long stretch of data.
Misalkan saya menaruh uang di mulut saya dan menunjukkan bahwa kita dapat menghasilkan keluaran normal dan apa dampak dari hal ini. Inilah tiga kelompok dari pola pancaran. Yang di atas adalah dari hewan biasa, di tengah berasal dari hewan buta yang telah dirawat dengan alat penyandi-pentranduksi ini, dan di bawah adalah dari hewan buta yang dirawat dengan alat buatan standar. Jadi gambar di bagian bawah adalah alat paling canggih yang ada di pasaran sekarang, yang pada dasarnya dibuat dari detektor cahaya, tanpa penyandi. Jadi yang kami lakukan adalah mempertontonkan film dari hal sehari-hari -- orang, bayi, taman, pantai, Anda tahu, hal-hal yang biasa tejradi -- dan kami merekam tanggapan dari retina pada ketiga kelompok hewan ini. Kini untuk memfokuskan Anda, setiap kotak menunjukkan pola pancaran dari beberapa sel dan sama seperti pada slide sebelumnya, setiap baris adalah sel yang berbeda dan saya membuat pulsanya sedikit lebih kecil dan lebih tipis sehingga dapat memuat data yang banyak.
So as you can see, the firing patterns from the blind animal treated with the encoder-transducer really do very closely match the normal firing patterns -- and it's not perfect, but it's pretty good -- and the blind animal treated with the standard prosthetic, the responses really don't. And so with the standard method, the cells do fire, they just don't fire in the normal firing patterns because they don't have the right code. How important is this? What's the potential impact on a patient's ability to see? So I'm just going to show you one bottom-line experiment that answers this, and of course I've got a lot of other data, so if you're interested I'm happy to show more. So the experiment is called a reconstruction experiment. So what we did is we took a moment in time from these recordings and asked, what was the retina seeing at that moment? Can we reconstruct what the retina was seeing from the responses from the firing patterns?
Jadi seperti yang Anda lihat, pola pancaran dari hewan buta yang dirawat dengan alat penyandi-pentranduksi ini memang sangat dekat dengan pola pancaran normal -- tidak sempurna, namun cukup bagus -- dan hewan buta yang dirawat dengan alat buatan standar, tanggapannya benar-benar tidak baik. Jadi dengan metode standar sel-sel memang memancarkannya, namun tidak memancarkan dengan pola nomal karena sandi yang dimilikinya tidak benar. Lalu seberapa penting hal ini? Apakah dampak potensial dalam kemampuan melihat pasien? Saya akan menunjukkan salah satu percobaan mendasar yang menjawabnya dan tentu saja saya memiliki banyak data dan jika Anda tertarik, saya akan dengan senang hati menunjukkannya. Jadi percobaan ini disebut percobaan rekonstruksi. Di sini kami mengambil pada waktu tertentu dan merekam apa yang dilihat oleh retina pada saat itu? Dapatkah kami merekonstruksi apa yang dilihat oleh retina dari tanggapan itu, dari pola pancaran itu?
So, when we did this for responses from the standard method and from our encoder and transducer. So let me show you, and I'm going to start with the standard method first. So you can see that it's pretty limited, and because the firing patterns aren't in the right code, they're very limited in what they can tell you about what's out there. So you can see that there's something there, but it's not so clear what that something is, and this just sort of circles back to what I was saying in the beginning, that with the standard method, patients can see high-contrast edges, they can see light, but it doesn't easily go further than that. So what was the image? It was a baby's face. So what about with our approach, adding the code? And you can see that it's much better. Not only can you tell that it's a baby's face, but you can tell that it's this baby's face, which is a really challenging task. So on the left is the encoder alone, and on the right is from an actual blind retina, so the encoder and the transducer. But the key one really is the encoder alone, because we can team up the encoder with the different transducer.
Jadi saat kami merekonstruksi berdasarkan tanggapan metode standar dan penyandi dan pentranduksi kami. Saya akan menunjukkan, dan saya akan mulai dengan metode standar. Anda bisa melihat hasilnya cukup terbatas dan karena pancaran pola itu bukanlah sandi yang benar, namun apa yang dapat diberitahukan tentang apa yang ada di luar sana terbatas. Jadi jika ada benda di dunia luar, namun benar-benar tidak jelas benda apa itu, ini sebenarnya hanya mengulangi apa yang saya katakan pada awal presentasi ini, bahwa dengan metode standar pasien dapat melihat sudut yang tajam, mereka dapat melihat cahaya, namun tidak dapat melihat lebih jauh lagi. Jadi apa gambar ini? Ini adalah wajah bayi. Lalu bagaimana dengan pendekatan kami, dengan menambahkan sandi ini? Anda bisa melihat semua menjadi lebih baik? Anda bukan hanya dapat mengetahui itu adalah wajah bayi, namun untuk mengetahui bahwa ini adalah wajah bayi itu benar-benar sulit. Jadi di bagian tengah dari penyandi ini dan di bagian kanan adalah dari retina buta biasa bersama penyandi dan pentranduksi. Namun kuncinya adalah penyandi itu sendiri karena kita dapat menggabungkan penyandi dengan pentranduksi berbeda.
This is just actually the first one that we tried. I just wanted to say something about the standard method. When this first came out, it was just a really exciting thing, the idea that you even make a blind retina respond at all. But there was this limiting factor, the issue of the code, and how to make the cells respond better, produce normal responses, and so this was our contribution. Now I just want to wrap up, and as I was mentioning earlier of course I have a lot of other data if you're interested, but I just wanted to give this sort of basic idea of being able to communicate with the brain in its language, and the potential power of being able to do that. So it's different from the motor prosthetics where you're communicating from the brain to a device. Here we have to communicate from the outside world into the brain and be understood, and be understood by the brain.
Ini sebenarnya alat pertama yang kami coba. Saya ingin menjelaskan beberapa hal mengenai metode standar. Saat metode ini keluar, ini benar-benar hal yang menarik, ide bahwa Anda dapat membuat retina yang buta menanggapi sesuatu. Namun ada keterbatasan dari alat ini, masalah dengan sandirya dan bagaimana membuat sel-sel menanggapi dengan lebih baik, menghasilkan tanggapan normal, dan inilah sumbangan kami. Kini saya ingin merangkum dan seperti yang telah saya sebutkan saya memiliki banyak data lainnya, jika Anda tertarik, di sini saya hanya ingin memberi ide mendasar bahwa kita dapat berkomunikasi dengan otak dalam bahasa otak dan potensi untuk dapat melakukannya. Jadi ini berbeda dengan motor protestik di mana Anda berkomunikasi dengan otak dari sebuah alat. Di sini kita berkomunikasi dari dunia luar langsung ke otak dan bisa dipahami oleh otak.
And then the last thing I wanted to say, really, is to emphasize that the idea generalizes. So the same strategy that we used to find the code for the retina we can also use to find the code for other areas, for example, the auditory system and the motor system, so for treating deafness and for motor disorders. So just the same way that we were able to jump over the damaged circuitry in the retina to get to the retina's output cells, we can jump over the damaged circuitry in the cochlea to get the auditory nerve, or jump over damaged areas in the cortex, in the motor cortex, to bridge the gap produced by a stroke.
Lalu hal terakhir yang saya inginkan adalah benar-benar untuk menekankan bahwa ide ini berlaku umum. Jadi strategi yang sama yang kami gunakan untuk mencari sandi untuk retina juga dapat digunakan untuk mencari sandi bagi daerah lainnya, sebagai contohnya, sistem pendengaran dan sistem motor, untuk merawat para tunarungu dan tunadaksa. Jadi cara yang sama seperti bagaimana kami berhasil melompati kerusakan dari sirkuit retina untuk mencapai sel-sel keluaran retina, kita dapat melompati kerusakan sirkuit di koklea untuk mencapai saraf-saraf pendengaran, atau melompati kerusakan di daerah korteks, di daerah motor korteks, untuk menjembatani celah akibat dari stroke.
I just want to end with a simple message that understanding the code is really, really important, and if we can understand the code, the language of the brain, things become possible that didn't seem obviously possible before. Thank you.
Saya ingin mengakhiri presentasi ini dengan pesan sederhana bahwa memahami sandi itu benar-benar penting dan jika kita dapat memahami bahasa dari otak, berbagai hal yang sebelumnya tampak begitu mungkin menjadi mungkin. Terima kasih.
(Applause)
(Tepuk tangan)