I study how the brain processes information. That is, how it takes information in from the outside world, and converts it into patterns of electrical activity, and then how it uses those patterns to allow you to do things -- to see, hear, to reach for an object. So I'm really a basic scientist, not a clinician, but in the last year and a half I've started to switch over, to use what we've been learning about these patterns of activity to develop prosthetic devices, and what I wanted to do today is show you an example of this. It's really our first foray into this. It's the development of a prosthetic device for treating blindness.
Me dedico a estudiar los procesos de información en el cerebro. Osea, cómo capta información externa y la convierte en patrones de actividad eléctrica, y cómo usa esos patrones para poder hacer cosas; para ver, oír, alcanzar objetos. En realidad soy básicamente investigadora y no médica que trata a pacientes, pero en el último año y medio comencé a cambiar, a usar lo que hemos aprendido sobre patrones de actividad para desarrollar prótesis. Lo que haré hoy es mostrarles un ejemplo de esto. Es nuestra primera incursión. Es el desarrollo de una prótesis para corregir la ceguera.
So let me start in on that problem. There are 10 million people in the U.S. and many more worldwide who are blind or are facing blindness due to diseases of the retina, diseases like macular degeneration, and there's little that can be done for them. There are some drug treatments, but they're only effective on a small fraction of the population. And so, for the vast majority of patients, their best hope for regaining sight is through prosthetic devices. The problem is that current prosthetics don't work very well. They're still very limited in the vision that they can provide. And so, you know, for example, with these devices, patients can see simple things like bright lights and high contrast edges, not very much more, so nothing close to normal vision has been possible.
Permítanme comenzar con el problema. En EEUU hay 10 millones de personas y muchos más en todo el mundo, ciegas, o que están a punto de quedar ciegas por males de retina, como la degeneración macular. Y no se puede hacer mucho para ayudarles. Hay tratamientos farmacológicos pero sólo son efectivos para una pequeña parte de la población. Para la gran mayoría de los pacientes, la mayor esperanza de recuperar la vista es mediante prótesis. El problema es que las prótesis actuales no funcionan muy bien. Son muy limitadas en la visión que pueden proporcionar. Por ejemplo, en el caso de esos aparatos, los pacientes ven cosas sencillas como luces brillantes y bordes de alto contraste y no mucho más. No se ha logrado nada parecido a la visión normal.
So what I'm going to tell you about today is a device that we've been working on that I think has the potential to make a difference, to be much more effective, and what I wanted to do is show you how it works. Okay, so let me back up a little bit and show you how a normal retina works first so you can see the problem that we were trying to solve. Here you have a retina. So you have an image, a retina, and a brain. So when you look at something, like this image of this baby's face, it goes into your eye and it lands on your retina, on the front-end cells here, the photoreceptors. Then what happens is the retinal circuitry, the middle part, goes to work on it, and what it does is it performs operations on it, it extracts information from it, and it converts that information into a code. And the code is in the form of these patterns of electrical pulses that get sent up to the brain, and so the key thing is that the image ultimately gets converted into a code. And when I say code, I do literally mean code. Like this pattern of pulses here actually means "baby's face," and so when the brain gets this pattern of pulses, it knows that what was out there was a baby's face, and if it got a different pattern it would know that what was out there was, say, a dog, or another pattern would be a house. Anyway, you get the idea.
Pero hoy quiero contarles algo sobre una prótesis en la que estamos trabajando que pienso, tiene el potencial para marcar una diferencia mucho más efectiva. Lo que haré es mostrarles cómo funciona. Permítanme retroceder un tanto y mostrarles primero como funciona una retina normal, para que vean el problema que tratamos de resolver. Aquí tenemos una retina. Tenemos una imagen, una retina y un cerebro. Al mirar algo, como esta imagen de la cara de un bebé, llega al ojo y se coloca en la retina, en las células de la parte delantera, los fotoreceptores. Entonces los circuitos de la retina, en la zona intermedia, empiezan a trabajar y llevan a cabo algunas operaciones, extraen la información y la convierten en un código. Ese código tiene la forma de patrones de pulsos eléctricos que se envían hacia el cerebro. Lo importante es que la imagen finalmente se convierte en un código. Digo código en sentido literal. Este patrón de pulsos aquí, se traduce en "cara de bebé". Así, cuando el cerebro recibe este patrón de pulsos, sabe que lo que había allá afuera era una cara de bebé. Si recibe un patrón diferente, sabrá que lo que había era, por ejemplo, un perro, u otro patrón, podría ser una casa. Creo que entienden la idea.
And, of course, in real life, it's all dynamic, meaning that it's changing all the time, so the patterns of pulses are changing all the time because the world you're looking at is changing all the time too. So, you know, it's sort of a complicated thing. You have these patterns of pulses coming out of your eye every millisecond telling your brain what it is that you're seeing. So what happens when a person gets a retinal degenerative disease like macular degeneration? What happens is is that, the front-end cells die, the photoreceptors die, and over time, all the cells and the circuits that are connected to them, they die too. Until the only things that you have left are these cells here, the output cells, the ones that send the signals to the brain, but because of all that degeneration they aren't sending any signals anymore. They aren't getting any input, so the person's brain no longer gets any visual information -- that is, he or she is blind.
Claro, en la vida real todo es muy dinámico, o sea que cambia todo el tiempo. Los patrones de pulsos cambian porque el mundo que miramos también cambia. Es algo bastante complicado. Tenemos patrones de pulsos provenientes de los ojos cada milisegundo que dicen al cerebro lo que ven. ¿Qué le ocurre a una persona con una enfermedad de la retina como la degeneración macular? Lo que sucede es que mueren las células frontales, los fotoreceptores, y con el tiempo, todas las células y los circuitos conectados a ellas mueren también, hasta quedar únicamente estas células, las células de salida, las que mandan las señales al cerebro. Pero debido a toda esa degeneración ya no pueden enviar ninguna señal. No tienen ninguna entrada, por tanto el cerebro de la persona ya no recibe ninguna información; es decir, está ciega.
So, a solution to the problem, then, would be to build a device that could mimic the actions of that front-end circuitry and send signals to the retina's output cells, and they can go back to doing their normal job of sending signals to the brain. So this is what we've been working on, and this is what our prosthetic does. So it consists of two parts, what we call an encoder and a transducer. And so the encoder does just what I was saying: it mimics the actions of the front-end circuitry -- so it takes images in and converts them into the retina's code. And then the transducer then makes the output cells send the code on up to the brain, and the result is a retinal prosthetic that can produce normal retinal output. So a completely blind retina, even one with no front-end circuitry at all, no photoreceptors, can now send out normal signals, signals that the brain can understand. So no other device has been able to do this.
Una solución al problema sería entonces construir un aparato que imitara las acciones de los circuitos frontales y enviara señales a las células de salida de la retina, de modo que éstas retomaran su función normal de mandar señales al cerebro. Es en esto en lo que trabajamos y esto es lo que hace nuestra prótesis. Consta de dos partes llamadas codificador y transductor. Lo que hace el codificador es simplemente lo que dije: imita las acciones de los circuitos frontales capta imágenes y las convierte en códigos de retina. Luego el transductor hace que las células de salida envíen el código al cerebro. El resultado es una prótesis de retina que puede producir salida de retina normal. Así, una retina completamente ciega, aunque no tenga ningún circuito frontal, sin fotoreceptores, ahora puede enviar señales normales que el cerebro puede interpretar. Ningún otro aparato ha podido hacer esto.
Okay, so I just want to take a sentence or two to say something about the encoder and what it's doing, because it's really the key part and it's sort of interesting and kind of cool. I'm not sure "cool" is really the right word, but you know what I mean. So what it's doing is, it's replacing the retinal circuitry, really the guts of the retinal circuitry, with a set of equations, a set of equations that we can implement on a chip. So it's just math. In other words, we're not literally replacing the components of the retina. It's not like we're making a little mini-device for each of the different cell types. We've just abstracted what the retina's doing with a set of equations. And so, in a way, the equations are serving as sort of a codebook. An image comes in, goes through the set of equations, and out comes streams of electrical pulses, just like a normal retina would produce.
Sólo quiero decir una o dos frases sobre lo que es el codificador y lo que hace, porque en realidad es la parte central. Es interesante, es genial. No estoy segura si la palabra "genial" es la correcta, pero Uds. me entienden. Lo que hace es que reemplaza los circuitos de la retina, osea la esencia de esos circuitos, con un conjunto de ecuaciones que podemos implementar en un chip. Puras matemáticas. En otras palabras, no reemplazamos los componentes de la retina. No hacemos un aparato en miniatura para cada uno de los diversos tipos de células. Simplemente hemos abstraído el funcionamiento de la retina con unas ecuaciones. Las ecuaciones, en cierta forma, sirven como diccionario. Llega una imagen, pasa por las ecuaciones y sale una secuencia de pulsos eléctricos, como los de una retina normal.
Now let me put my money where my mouth is and show you that we can actually produce normal output, and what the implications of this are. Here are three sets of firing patterns. The top one is from a normal animal, the middle one is from a blind animal that's been treated with this encoder-transducer device, and the bottom one is from a blind animal treated with a standard prosthetic. So the bottom one is the state-of-the-art device that's out there right now, which is basically made up of light detectors, but no encoder. So what we did was we presented movies of everyday things -- people, babies, park benches, you know, regular things happening -- and we recorded the responses from the retinas of these three groups of animals. Now just to orient you, each box is showing the firing patterns of several cells, and just as in the previous slides, each row is a different cell, and I just made the pulses a little bit smaller and thinner so I could show you a long stretch of data.
Ahora permítanme mostrar en la práctica, cómo podemos producir una visión normal. Veremos las implicaciones. Aquí hay tres conjuntos de patrones de señales. La de arriba es de un animal normal. La del medio es de un animal ciego que ha sido tratado con el mecanismo codificador-transductor y la inferior es de un animal tratado con una prótesis corriente. La última es el sistema más moderno de los existentes en la actualidad, básicamente hecho con detectores de luz, sin codificador. Lo que hicimos fue presentar una película sobre cosas corrientes; gente, bebés, bancos de parque, osea, cosas normales que suceden, y grabamos las respuestas de las retinas de estos tres grupos de animales. Simplemente como orientación, cada cuadro muestra los patrones de varias células, y, como en las gráficas anteriores, cada fila es una célula diferente. Sólo que aquí reduje un tanto los pulsos y los hice más delgados para mostrar una larga cadena de datos.
So as you can see, the firing patterns from the blind animal treated with the encoder-transducer really do very closely match the normal firing patterns -- and it's not perfect, but it's pretty good -- and the blind animal treated with the standard prosthetic, the responses really don't. And so with the standard method, the cells do fire, they just don't fire in the normal firing patterns because they don't have the right code. How important is this? What's the potential impact on a patient's ability to see? So I'm just going to show you one bottom-line experiment that answers this, and of course I've got a lot of other data, so if you're interested I'm happy to show more. So the experiment is called a reconstruction experiment. So what we did is we took a moment in time from these recordings and asked, what was the retina seeing at that moment? Can we reconstruct what the retina was seeing from the responses from the firing patterns?
Como pueden ver, los patrones de señales de los animales ciegos tratados con el codificador-transductor, realmente se ajustan a los normales; no es perfecto, pero sí bastante bueno. Y en el caso del animal ciego tratado con la prótesis corriente, las respuestas no se parecen. Con el método corriente las células sí emiten señales, pero no con los patrones normales, porque no tienen el código correcto. ¿Qué es lo importante de esto? ¿Cuál es el impacto potencial en la capacidad de ver de un paciente? Sólo les mostraré los resultados de un experimento que responde a esto. Claro que tengo muchos más datos; si tienen interés, me encantaría mostrarles más. Éste se llama experimento de reconstrucción. Lo que hicimos fue tomar un momento de esas grabaciones y preguntarnos, ¿qué veía la retina en ese momento? ¿Podríamos reconstruir lo que la retina veía, a partir de las respuestas de los patrones de señales?
So, when we did this for responses from the standard method and from our encoder and transducer. So let me show you, and I'm going to start with the standard method first. So you can see that it's pretty limited, and because the firing patterns aren't in the right code, they're very limited in what they can tell you about what's out there. So you can see that there's something there, but it's not so clear what that something is, and this just sort of circles back to what I was saying in the beginning, that with the standard method, patients can see high-contrast edges, they can see light, but it doesn't easily go further than that. So what was the image? It was a baby's face. So what about with our approach, adding the code? And you can see that it's much better. Not only can you tell that it's a baby's face, but you can tell that it's this baby's face, which is a really challenging task. So on the left is the encoder alone, and on the right is from an actual blind retina, so the encoder and the transducer. But the key one really is the encoder alone, because we can team up the encoder with the different transducer.
Esto lo hicimos con las respuestas del método corriente y con las del codificador y transductor. Aquí están. Comienzo con el método corriente, primero. Como pueden ver, es muy imperfecto. Como los patrones de señales no están en el código correcto, son muy inadecuados sobre lo que pueden mostrar de lo que había. Se puede ver que hay algo ahí, pero no está muy claro qué es. De esto hablaba al principio sobre el método corriente. Los pacientes pueden ver bordes de alto contraste, pueden ver la luz, pero no mucho más que eso. Entonces, ¿Cuál era la imagen? La cara del bebé. Y ¿cómo es con nuestro método, si se añade el código? Como pueden ver es mucho mejor. No sólo se puede decir que es la cara de un bebé, sino que es la cara de ese bebé, lo cual es ya un reto bastante exigente. A la izquierda está el del codificador solo, y a la derecha, el de una retina ciega, con el codificador y el transductor El elemento clave es el codificador solo, porque se puede conectar con un transductor diferente.
This is just actually the first one that we tried. I just wanted to say something about the standard method. When this first came out, it was just a really exciting thing, the idea that you even make a blind retina respond at all. But there was this limiting factor, the issue of the code, and how to make the cells respond better, produce normal responses, and so this was our contribution. Now I just want to wrap up, and as I was mentioning earlier of course I have a lot of other data if you're interested, but I just wanted to give this sort of basic idea of being able to communicate with the brain in its language, and the potential power of being able to do that. So it's different from the motor prosthetics where you're communicating from the brain to a device. Here we have to communicate from the outside world into the brain and be understood, and be understood by the brain.
Este es el primero que ensayamos. Quisiera decir algo sobre el método corriente. Cuando salió por primera vez, fue algo muy emocionante; era la idea de poder hacer que una retina ciega respondiera. Pero existía este factor limitador, el del código y cómo hacer que las células respondieran mejor, que produjeran respuestas normales, y ésta es nuestra contribución. Ahora quiero terminar. Como dije antes, tengo muchos datos más, si tienen interés. Todo lo que quería mostrar era la idea básica de que podemos comunicarnos con el cerebro en su lenguaje, y la capacidad potencial de poder hacerlo. Esto es diferente de las prótesis de movimiento donde la comunicación va del cerebro al aparato. Aquí tenemos que comunicarnos desde el mundo exterior hacia el cerebro y lograr que éste nos entienda.
And then the last thing I wanted to say, really, is to emphasize that the idea generalizes. So the same strategy that we used to find the code for the retina we can also use to find the code for other areas, for example, the auditory system and the motor system, so for treating deafness and for motor disorders. So just the same way that we were able to jump over the damaged circuitry in the retina to get to the retina's output cells, we can jump over the damaged circuitry in the cochlea to get the auditory nerve, or jump over damaged areas in the cortex, in the motor cortex, to bridge the gap produced by a stroke.
Lo último que quiero destacar es que la idea se puede generalizar. La misma estrategia que usamos para hallar el código de la retina, también puede usarse para encontrar otros códigos, por ejemplo, del sistema auditivo y del sistema motriz, para tratar la sordera y los trastornos de movimiento. De la misma manera que hemos evitado los circuitos deteriorados de la retina para llegar a las células de salida, así mismo podremos evitar los circuitos defectuosos de la cóclea para llegar al nervio auditivo, o evitar las áreas defectuosas del área motriz de la corteza cerebral, para evitar el vacío dejado por una apoplejía.
I just want to end with a simple message that understanding the code is really, really important, and if we can understand the code, the language of the brain, things become possible that didn't seem obviously possible before. Thank you.
Terminaré con un sencillo mensaje diciendo que entender el código es algo realmente muy importante, y si podemos entender el lenguaje del cerebro, las cosas que antes no parecían factibles, ahora serán posibles. Gracias.
(Applause)
(Aplausos)