I study how the brain processes information. That is, how it takes information in from the outside world, and converts it into patterns of electrical activity, and then how it uses those patterns to allow you to do things -- to see, hear, to reach for an object. So I'm really a basic scientist, not a clinician, but in the last year and a half I've started to switch over, to use what we've been learning about these patterns of activity to develop prosthetic devices, and what I wanted to do today is show you an example of this. It's really our first foray into this. It's the development of a prosthetic device for treating blindness.
J'étudie comment le cerveau traite l'information. C'est-à-dire, comment il reçoit les informations du monde extérieur, et les convertit en modèles d'activité électrique, puis comment il utilise ces modèles pour vous permettre de faire des choses -- voir, entendre, tendre la main pour attraper un objet. Je suis à la base un scientifique, pas un clinicien, mais depuis un an et demi j'ai commencé à m'engager dans une nouvelle voie, à utiliser ce que nous avons appris de ces modèles d'activité pour développer des prothèses, et aujourd'hui, je voulais vous en montrer un exemple. C'est vraiment notre première tentative dans ce domaine. C'est le développement d'une prothèse pour traiter la cécité.
So let me start in on that problem. There are 10 million people in the U.S. and many more worldwide who are blind or are facing blindness due to diseases of the retina, diseases like macular degeneration, and there's little that can be done for them. There are some drug treatments, but they're only effective on a small fraction of the population. And so, for the vast majority of patients, their best hope for regaining sight is through prosthetic devices. The problem is that current prosthetics don't work very well. They're still very limited in the vision that they can provide. And so, you know, for example, with these devices, patients can see simple things like bright lights and high contrast edges, not very much more, so nothing close to normal vision has been possible.
Permettez-moi d'aborder ce problème. Il y a 10 millions de personnes aux États-Unis et beaucoup d'autres dans le monde qui sont aveugles ou qui sont confrontés à la cécité suite à une maladie de la rétine, des maladies comme la dégénérescence maculaire, et il n'y a pas grand chose qu'on puisse faire pour eux. Il y a des traitements médicamenteux, mais ils ne sont efficaces que sur une petite fraction de la population. Et donc, pour la grande majorité des patients, leurs plus grand espoir de retrouver la vue repose sur des prothèses. Le problème est que les prothèses actuelles de fonctionnent pas très bien. Elles sont encore très limitées quant à la vision qu'elles procurent. Et donc, par exemple, avec ces prothèses, les patients peuvent voir des choses simples comme les lumières vives et des bordures à contraste élevé, pas beaucoup plus, donc rien qui se rapproche d'une vision normale n'a été possible.
So what I'm going to tell you about today is a device that we've been working on that I think has the potential to make a difference, to be much more effective, and what I wanted to do is show you how it works. Okay, so let me back up a little bit and show you how a normal retina works first so you can see the problem that we were trying to solve. Here you have a retina. So you have an image, a retina, and a brain. So when you look at something, like this image of this baby's face, it goes into your eye and it lands on your retina, on the front-end cells here, the photoreceptors. Then what happens is the retinal circuitry, the middle part, goes to work on it, and what it does is it performs operations on it, it extracts information from it, and it converts that information into a code. And the code is in the form of these patterns of electrical pulses that get sent up to the brain, and so the key thing is that the image ultimately gets converted into a code. And when I say code, I do literally mean code. Like this pattern of pulses here actually means "baby's face," and so when the brain gets this pattern of pulses, it knows that what was out there was a baby's face, and if it got a different pattern it would know that what was out there was, say, a dog, or another pattern would be a house. Anyway, you get the idea.
Alors ce dont je vais vous parler aujourd'hui est une prothèse sur laquelle nous avons travaillé et qui je pense peut faire une différence, en étant beaucoup plus efficace, et je voulais vous montrer comment elle fonctionne. Revenons un peu en arrière, et je vais vous montrer d'abord comment fonctionne une rétine normale pour que vous voyez le problème que nous avons tenté de résoudre. Vous avez ici une rétine. Vous avez donc une image, une rétine et un cerveau. Quand vous regardez quelque chose, comme cette image d'un visage de bébé, elle entre dans votre œil et atterri sur votre rétine, sur les cellules frontales ici, les photorécepteurs. Et ensuite, les circuits rétiniens, la partie centrale, travaille dessus, et elle effectue des opérations dessus, elle en extrait des informations, et elle convertit ces informations en code. Et le code a la forme de ces modèles d'impulsions électriques qui sont envoyés au cerveau, et donc la clé est que l'image est finalement convertie en code. Et quand je dis code, je veux vraiment dire code littéralement. Comme ce modèle d'impulsions électriques ici veut vraiment dire "visage de bébé", et donc quand le cerveau reçoit ce modèle d'impulsions, il sait que ce qui était là c'était un visage de bébé, et si il recevait un modèle différent il saurait que ce qui était là c'était, disons, un chien, ou un autre modèle serait une maison. N'importe comment, vous comprenez l'idée.
And, of course, in real life, it's all dynamic, meaning that it's changing all the time, so the patterns of pulses are changing all the time because the world you're looking at is changing all the time too. So, you know, it's sort of a complicated thing. You have these patterns of pulses coming out of your eye every millisecond telling your brain what it is that you're seeing. So what happens when a person gets a retinal degenerative disease like macular degeneration? What happens is is that, the front-end cells die, the photoreceptors die, and over time, all the cells and the circuits that are connected to them, they die too. Until the only things that you have left are these cells here, the output cells, the ones that send the signals to the brain, but because of all that degeneration they aren't sending any signals anymore. They aren't getting any input, so the person's brain no longer gets any visual information -- that is, he or she is blind.
Et bien sûr, dans la vraie vie, tout est dynamique, ce qui signifie que ça change tout le temps, les modèles d'impulsions changent donc tout le temps parce que le monde que vous voyez change aussi tout le temps. Vous voyez, c'est plutôt compliqué. Vous avez ces modèles d'impulsions qui sortent de votre œil à chaque milliseconde et qui disent à votre cerveau ce que vous voyez. Qu'est-ce qui se passe quand quelqu'un a une maladie dégénérative rétinienne comme le dégénérescence maculaire? Ce qui se passe c'est que les cellules de surface meurent, les photorécepteurs meurent, et avec le temps, toutes les cellules et les circuits qui y sont connectés meurent aussi. Jusqu'à ce que les seules choses qui vous restent sont les cellules ici, les cellules d'informations, celles qui envoient les signaux au cerveau, mais à cause de toute cette dégénérescence elles n'envoient plus de signaux. Elles ne reçoivent plus d'informations, alors le cerveau de la personne ne reçoit plus d'informations visuelles -- c'est-à-dire il ou elle est aveugle.
So, a solution to the problem, then, would be to build a device that could mimic the actions of that front-end circuitry and send signals to the retina's output cells, and they can go back to doing their normal job of sending signals to the brain. So this is what we've been working on, and this is what our prosthetic does. So it consists of two parts, what we call an encoder and a transducer. And so the encoder does just what I was saying: it mimics the actions of the front-end circuitry -- so it takes images in and converts them into the retina's code. And then the transducer then makes the output cells send the code on up to the brain, and the result is a retinal prosthetic that can produce normal retinal output. So a completely blind retina, even one with no front-end circuitry at all, no photoreceptors, can now send out normal signals, signals that the brain can understand. So no other device has been able to do this.
Alors, la solution au problème serait de construire une prothèse qui imiterait les actions de ce circuit frontal et enverrait des signaux aux cellules d'informations de la rétine, et qu'elles puissent à nouveau remplir leur fonction normale qui est d'envoyer des signaux au cerveau. C'est donc ce sur quoi nous avons travaillé, et voici ce que fait notre prothèse. Elle consiste en deux parties, ce qu'on appelle un encodeur et un transducteur. Et l'encodeur fait exactement ce que je disais : il imite les actions des circuits frontaux -- donc il amène des images et les convertit dans le code de la rétine. Et puis le transducteur fait envoyer ce code par les cellules d'informations jusqu'au cerveau, et le résultat est que la prothèse rétinienne peut produire un rendu rétinien normal. Une rétine complètement aveugle, même une rétine sans aucun circuit frontal, aucun photorécepteur, peut à présent envoyer des signaux normaux, des signaux que le cerveau peut comprendre. Aucun autre dispositif n'a pu faire ça.
Okay, so I just want to take a sentence or two to say something about the encoder and what it's doing, because it's really the key part and it's sort of interesting and kind of cool. I'm not sure "cool" is really the right word, but you know what I mean. So what it's doing is, it's replacing the retinal circuitry, really the guts of the retinal circuitry, with a set of equations, a set of equations that we can implement on a chip. So it's just math. In other words, we're not literally replacing the components of the retina. It's not like we're making a little mini-device for each of the different cell types. We've just abstracted what the retina's doing with a set of equations. And so, in a way, the equations are serving as sort of a codebook. An image comes in, goes through the set of equations, and out comes streams of electrical pulses, just like a normal retina would produce.
Bon je veux simplement dire une phrase ou deux sur l'encodeur et ce qu'il fait, parce que c'est vraiment un élément clé et il est assez intéressant et sympa. Je ne suis pas sure que sympa soit le mot qui convient, mais vous voyez ce que je veux dire. Ce qu'il fait, c'est qu'il remplace les circuits rétiniens, les tripes mêmes des circuits rétiniens, par un ensemble d'équations, un ensemble d'équations que nous implémentons sur une puce. Ce ne sont donc que des maths. En d'autres termes, nous ne remplaçons pas littéralement les composants de la rétine. Ce n'est pas comme si nous faisions un mini-dispositif pour chacun des différents types de cellule. Nous avons seulement fait une abstraction de ce que fait la rétine avec un ensemble d'équations. Et donc, dans un sens, les équations servent de manuel du code, en quelque sorte. Une image entre, passe par l'ensemble d'équations, et des flots d'impulsions électriques ressortent, comme en produirait une rétine normale.
Now let me put my money where my mouth is and show you that we can actually produce normal output, and what the implications of this are. Here are three sets of firing patterns. The top one is from a normal animal, the middle one is from a blind animal that's been treated with this encoder-transducer device, and the bottom one is from a blind animal treated with a standard prosthetic. So the bottom one is the state-of-the-art device that's out there right now, which is basically made up of light detectors, but no encoder. So what we did was we presented movies of everyday things -- people, babies, park benches, you know, regular things happening -- and we recorded the responses from the retinas of these three groups of animals. Now just to orient you, each box is showing the firing patterns of several cells, and just as in the previous slides, each row is a different cell, and I just made the pulses a little bit smaller and thinner so I could show you a long stretch of data.
Permettez-moi de joindre le geste à la parole et de vous montrer que nous pouvons vraiment produire un rendu normal, et quelles sont les implications de tout ceci. Voici trois ensembles de modèles d’activation. Celui d'en haut est celui d'un animal normal, celui du milieu est celui d'un animal aveugle qu'on a traité avec ce dispositif d'encodeur-transducteur, et celui du bas est celui d'un animal aveugle traité avec une prothèse classique. Celui d'en bas est le dispositif nec plus ultra qui est actuellement sur le marché, et qui se compose essentiellement de détecteurs de lumière, mais n'a pas d'encodeur. Alors ce que nous avons fait, nous avons présenté des films de choses de la vie quotidienne -- des gens, des bébés, des bancs dans un parc, vous savez, des choses normales -- et nous avons enregistré les réactions des rétines de ces trois groupes d'animaux. Juste pour vous donner des repères, chaque case montre les modèles d'activation de plusieurs cellules, et tout comme dans les diapos précédentes, chaque rangée est une cellule différente, et j'ai seulement réduit les impulsions et je les ai rendues plus minces pour vous montrer tout un ensemble de données.
So as you can see, the firing patterns from the blind animal treated with the encoder-transducer really do very closely match the normal firing patterns -- and it's not perfect, but it's pretty good -- and the blind animal treated with the standard prosthetic, the responses really don't. And so with the standard method, the cells do fire, they just don't fire in the normal firing patterns because they don't have the right code. How important is this? What's the potential impact on a patient's ability to see? So I'm just going to show you one bottom-line experiment that answers this, and of course I've got a lot of other data, so if you're interested I'm happy to show more. So the experiment is called a reconstruction experiment. So what we did is we took a moment in time from these recordings and asked, what was the retina seeing at that moment? Can we reconstruct what the retina was seeing from the responses from the firing patterns?
Et comme vous pouvez le voir, les modèles d’activation de l'animal aveugle traité avec l'encodeur-transducteur sont vraiment très proches des modèles d’activation normaux -- et ce n'est pas parfait, mais c'est plutôt bien. et l'animal aveugle traité avec la prothèse classique, les réactions ne sont pas du tout bonnes. Et donc avec la méthode classique, les cellules 's'activent, mais elles ne s'activent pas selon les modèles normaux parce que elles n'ont pas le bon code. Quelle importance cela a-t-il? Quel est l'impact potentiel sur la capacité de voir du patient? Je vais juste vous montrer une expérience de base qui apporte une réponse et bien sûr j'ai beaucoup d’autres données, alors si ça vous intéresse, je serais ravie de vous en montrer plus. On appelle donc cette expérience une expérience de reconstruction. Nous avons pris un moment donné de ces enregistrements et avons posé la question suivante : que voyait la rétine à ce moment-là? Pouvons-nous reconstruire ce que la rétine voyait à partir des réactions aux modèles d’activation?
So, when we did this for responses from the standard method and from our encoder and transducer. So let me show you, and I'm going to start with the standard method first. So you can see that it's pretty limited, and because the firing patterns aren't in the right code, they're very limited in what they can tell you about what's out there. So you can see that there's something there, but it's not so clear what that something is, and this just sort of circles back to what I was saying in the beginning, that with the standard method, patients can see high-contrast edges, they can see light, but it doesn't easily go further than that. So what was the image? It was a baby's face. So what about with our approach, adding the code? And you can see that it's much better. Not only can you tell that it's a baby's face, but you can tell that it's this baby's face, which is a really challenging task. So on the left is the encoder alone, and on the right is from an actual blind retina, so the encoder and the transducer. But the key one really is the encoder alone, because we can team up the encoder with the different transducer.
Cela quand nous avons travaillé sur les réactions à la méthode classique et à notre encodeur et transducteur. Permettez-moi de vous le montrer, et je commencerai par la méthode classique. Vous voyez que c'est plutôt limité, et parce que les modèles d’activation ne sont pas dans le bon code, ils sont très limités quant à ce qu'ils peuvent dire sur ce qu'il y a là dehors. Vous pouvez voir qu'il y a quelque chose là, mais il est difficile de savoir ce que c'est, et dans un sens cela nous ramène à ce que je disais au début, qu'avec la méthode classique, les patients peuvent voir des bords au contraste élevé, ils peuvent voir de la lumière, mais ça ne va pas beaucoup plus loin. Alors, quelle était cette image? C'était le visage d'un bébé. Et avec notre approche, en ajoutant le code? Et vous pouvez voir que c'est beaucoup mieux. Non seulement vous pouvez dire que c'est un visage de bébé, mais vous pouvez dire que c'est le visage de ce bébé, ce qui est une tâche vraiment difficile. Donc à gauche vous voyez l'encodeur seul, et à droite c'est une véritable rétine aveugle, donc avec l'encodeur et le transducteur. Mais la clé est en fait l'encodeur seul, parce que nous pouvons le coupler avec un transducteur différent.
This is just actually the first one that we tried. I just wanted to say something about the standard method. When this first came out, it was just a really exciting thing, the idea that you even make a blind retina respond at all. But there was this limiting factor, the issue of the code, and how to make the cells respond better, produce normal responses, and so this was our contribution. Now I just want to wrap up, and as I was mentioning earlier of course I have a lot of other data if you're interested, but I just wanted to give this sort of basic idea of being able to communicate with the brain in its language, and the potential power of being able to do that. So it's different from the motor prosthetics where you're communicating from the brain to a device. Here we have to communicate from the outside world into the brain and be understood, and be understood by the brain.
C'est en fait le premier que nous avons essayé. Je voulais dire quelque chose sur la méthode classique. Quand c'est sorti pour la première fois, c'était vraiment enthousiasmant, l'idée que vous pouviez obtenir une réaction quelconque de la rétine. Mais il y avait un facteur limitatif, le problème du code, et comment faire que les cellules répondent mieux. produisent des réactions normales, et c'était donc notre contribution. Je voudrais maintenant terminer, et comme je le disais plus tôt, bien sûr j'ai beaucoup d'autres données si ça vous intéresse, mais je voulais donner cette idée générale de la capacité de communiquer avec le cerveau dans sa langue, et la puissance potentielle de pouvoir le faire. C'est donc différent des prothèses motorisées dans lesquelles on communique depuis le cerveau vers un appareil. Ici nous devons communiquer depuis le monde extérieur jusque dans le cerveau et être compris, et être compris par le cerveau.
And then the last thing I wanted to say, really, is to emphasize that the idea generalizes. So the same strategy that we used to find the code for the retina we can also use to find the code for other areas, for example, the auditory system and the motor system, so for treating deafness and for motor disorders. So just the same way that we were able to jump over the damaged circuitry in the retina to get to the retina's output cells, we can jump over the damaged circuitry in the cochlea to get the auditory nerve, or jump over damaged areas in the cortex, in the motor cortex, to bridge the gap produced by a stroke.
Et la dernière chose que je voulais dire en fait, c'est insister sur le fait que l'idée se généralise. La même stratégie que nous avons employée pour trouver le code pour la rétine peut aussi être employée pour trouver le code pour d'autres zones, par exemple le système auditif et le système moteur, donc pour traiter la surdité et les désordres moteurs. Tout comme nous avons pu contourner les circuits endommagés de la rétine pour arriver à ses cellules de production, nous pouvons contourner les circuits endommagés dans la cochlée pour atteindre le nerf auditif, ou contourner les zones endommagées dans le cortex, dans le cortex moteur, pour palier au manque résultant d'une attaque.
I just want to end with a simple message that understanding the code is really, really important, and if we can understand the code, the language of the brain, things become possible that didn't seem obviously possible before. Thank you.
Je veux terminer par un message simple : comprendre le code est très très important, et si nous pouvons comprendre le code, le langage du cerveau, les choses qui ne semblaient pas possibles à première vue le deviennent. Merci.
(Applause)
(Applaudissements)