I study how the brain processes information. That is, how it takes information in from the outside world, and converts it into patterns of electrical activity, and then how it uses those patterns to allow you to do things -- to see, hear, to reach for an object. So I'm really a basic scientist, not a clinician, but in the last year and a half I've started to switch over, to use what we've been learning about these patterns of activity to develop prosthetic devices, and what I wanted to do today is show you an example of this. It's really our first foray into this. It's the development of a prosthetic device for treating blindness.
Studiez cum procesează creierul informația. Cum ia informația din lumea înconjurătoare și o transformă în tipare de activitate electrică și apoi cum folosește acele tipare ca să-ți permită sa faci diverse -- să vezi, să auzi, să te întinzi după un obiect. Sunt doar om de știință, nu fonetician, dar în ultimul an și jumătate am început să virez, să folosesc ce-am învățat despre aceste tipare de activitate pentru a dezolta dispozitive protetice. Și azi vroiam să vă arăt un exemplu. E prima noastră incursiune în așa ceva. E dezvoltarea unui dispozitiv protetic pentru tratarea orbirii.
So let me start in on that problem. There are 10 million people in the U.S. and many more worldwide who are blind or are facing blindness due to diseases of the retina, diseases like macular degeneration, and there's little that can be done for them. There are some drug treatments, but they're only effective on a small fraction of the population. And so, for the vast majority of patients, their best hope for regaining sight is through prosthetic devices. The problem is that current prosthetics don't work very well. They're still very limited in the vision that they can provide. And so, you know, for example, with these devices, patients can see simple things like bright lights and high contrast edges, not very much more, so nothing close to normal vision has been possible.
Așadar să încep cu acea problemă. Există 10 milioane de oameni în Statele Unite și mult mai mulți în lume orbi sau pe cale să orbească din pricina unor boli ale retinei, precum degenerescența maculară. Puțin mai poate fi făcut pentru ei. Există tratamente medicale, dar sunt eficiente doar pentru o mică parte din populație. Așa că pentru vasta majoritate a pacienților, cea mai bună șansă de redobândire a vederii e prin intermediul dispozitivelor protetice. Problema e că protezele actuale nu funcționează foarte bine. Încă sunt limitate în imaginea pe care o redau. De exemplu, cu aceste dispozitive, pacienții pot vedea lucruri simple precum lumini și contraste puternice, nu mai mult, n-a fost posibil nimic apropiat de vederea obișnuită.
So what I'm going to tell you about today is a device that we've been working on that I think has the potential to make a difference, to be much more effective, and what I wanted to do is show you how it works. Okay, so let me back up a little bit and show you how a normal retina works first so you can see the problem that we were trying to solve. Here you have a retina. So you have an image, a retina, and a brain. So when you look at something, like this image of this baby's face, it goes into your eye and it lands on your retina, on the front-end cells here, the photoreceptors. Then what happens is the retinal circuitry, the middle part, goes to work on it, and what it does is it performs operations on it, it extracts information from it, and it converts that information into a code. And the code is in the form of these patterns of electrical pulses that get sent up to the brain, and so the key thing is that the image ultimately gets converted into a code. And when I say code, I do literally mean code. Like this pattern of pulses here actually means "baby's face," and so when the brain gets this pattern of pulses, it knows that what was out there was a baby's face, and if it got a different pattern it would know that what was out there was, say, a dog, or another pattern would be a house. Anyway, you get the idea.
Prin urmare vă voi vorbi azi despre un dispozitiv la care am lucrat care are potențialul să aibă impact, să fie mult mai eficient. Și vroiam să vă arăt cum funcționează. Ok, merg înapoi puțin să vă arăt cum funcționează o retină normală întâi, ca să vedeți problema pe care încercăm s-o rezolvăm. Aveți aici o retină. Aveți o imagine, o retină și un creier. Când vă uitați la ceva ca imaginea feței unui copil, ea ajunge la ochi și apoi la retină, la partea mai proeminentă a celulelor de aici, fotoreceptorii. Apoi ce se întâmplă e că circuitele retinei, partea din mijloc, se duc să lucreze la imagine, efectuează operații, extrag informații din ea și transformă informația într-un cod. Codul e în forma acestor tipare de impulsuri electrice care sunt trimise la creier. Elementul cheie e că imaginea e transformată în cele din urmă într-un cod. Și când spun cod, mă refer literalmente la un cod. Acest tipar de impulsuri chiar înseamnă "fața unui copil", iar când creierul primește acest tipar de impulsuri, știe că era fața unui copil și dacă ar primi alt tipar ar ști că era, să zicem, un câine sau alt tipar ar fi o casă. Oricum, ați prins ideea.
And, of course, in real life, it's all dynamic, meaning that it's changing all the time, so the patterns of pulses are changing all the time because the world you're looking at is changing all the time too. So, you know, it's sort of a complicated thing. You have these patterns of pulses coming out of your eye every millisecond telling your brain what it is that you're seeing. So what happens when a person gets a retinal degenerative disease like macular degeneration? What happens is is that, the front-end cells die, the photoreceptors die, and over time, all the cells and the circuits that are connected to them, they die too. Until the only things that you have left are these cells here, the output cells, the ones that send the signals to the brain, but because of all that degeneration they aren't sending any signals anymore. They aren't getting any input, so the person's brain no longer gets any visual information -- that is, he or she is blind.
Desigur, în viață, totul e dinamic, adică se schimbă tot timpul, deci tiparele de impulsuri se schimbă tot timpul deoarece lumea la care te uiți se schimbă și ea tot timpul. Deci vedeți, e un lucru destul de complicat. Aveți aceste tipare de impulsuri care ies din ochi în fiecare milisecundă spunând creierului ce anume vezi. Deci ce se întâmplă când o persoană are la retină o boală degenerativă ca degenerescența maculară? Ce se întâmplă este că celulele din partea proeminentă mor, fotoreceptorii mor și în timp toate celulele și circuitele concectate la ele mor și ele, până când tot ce-ți rămâne sunt aceste celule, celulele output, cele care trimit semnalele la creier. Dar, din cauza degenerării, nu mai trimit semnale. Nu primesc niciun input, deci creierul persoanei nu mai primește nicio informație vizuală -- adică persoana e oarbă.
So, a solution to the problem, then, would be to build a device that could mimic the actions of that front-end circuitry and send signals to the retina's output cells, and they can go back to doing their normal job of sending signals to the brain. So this is what we've been working on, and this is what our prosthetic does. So it consists of two parts, what we call an encoder and a transducer. And so the encoder does just what I was saying: it mimics the actions of the front-end circuitry -- so it takes images in and converts them into the retina's code. And then the transducer then makes the output cells send the code on up to the brain, and the result is a retinal prosthetic that can produce normal retinal output. So a completely blind retina, even one with no front-end circuitry at all, no photoreceptors, can now send out normal signals, signals that the brain can understand. So no other device has been able to do this.
Așadar, o soluție la problemă ar fi să construim un mecanism care să simuleze acțiunile acelor circuite din față, să trimită semnale la celulele output ale retinei ca ele să-și reia rolul lor de a trimite semnale la creier. Prin urmare la asta am lucrat. Asta-i ce face proteza noastră. E compusă din două părți, ce numim un codificator și un traductor. Codificatorul face ce spuneam: simulează acțiunile circuitelor din față -- prin urmare ia imaginile și le transformă în codul retinei. Apoi traductorul face ca celulele output să trimită mai departe codul la creier. Iar rezultatul este o proteză pentru retină care produce informație "de ieșire" normală. Prin urmare o retină complet oarbă, chiar fără niciun circuit frontal, niciun fotoreceptor, poate acum să trimită semnale normale, semnale pe care creierul le poate înțelege. Niciun alt dispozitiv n-a realizat asta.
Okay, so I just want to take a sentence or two to say something about the encoder and what it's doing, because it's really the key part and it's sort of interesting and kind of cool. I'm not sure "cool" is really the right word, but you know what I mean. So what it's doing is, it's replacing the retinal circuitry, really the guts of the retinal circuitry, with a set of equations, a set of equations that we can implement on a chip. So it's just math. In other words, we're not literally replacing the components of the retina. It's not like we're making a little mini-device for each of the different cell types. We've just abstracted what the retina's doing with a set of equations. And so, in a way, the equations are serving as sort of a codebook. An image comes in, goes through the set of equations, and out comes streams of electrical pulses, just like a normal retina would produce.
În regulă, vreau să spun câte ceva despre codificator și ce face el, pentru că e elementul-cheie și e destul de interesant și 'cool'. Poate 'cool' să nu fie cuvantul potrivit, dar înțelegeți ce vreau să spun. Proteza înlocuiește circuitele retinei, chiar miezul acestor circuite, cu un set de ecuații, ecuații pe care le implementăm pe un cip. E doar matematică. Cu alte cuvinte, nu înlocuim literalmente compenentele retinei. Nu-i ca și când facem un mini-dispozitiv pentru fiecare tip de celululă. Doar am abstractizat ce face retina cu ajutorul unui set de ecuații. Într-un fel ecuațiile servesc ca un fel de listă de coduri. O imagine vine, trece prin setul de ecuații și iese sub forma unor impulsuri electrice, exact cum ar produce o retină normală.
Now let me put my money where my mouth is and show you that we can actually produce normal output, and what the implications of this are. Here are three sets of firing patterns. The top one is from a normal animal, the middle one is from a blind animal that's been treated with this encoder-transducer device, and the bottom one is from a blind animal treated with a standard prosthetic. So the bottom one is the state-of-the-art device that's out there right now, which is basically made up of light detectors, but no encoder. So what we did was we presented movies of everyday things -- people, babies, park benches, you know, regular things happening -- and we recorded the responses from the retinas of these three groups of animals. Now just to orient you, each box is showing the firing patterns of several cells, and just as in the previous slides, each row is a different cell, and I just made the pulses a little bit smaller and thinner so I could show you a long stretch of data.
Acum să trec la treabă și să vă arăt că putem produce informație output, și care sunt implicațiile acestui fapt. Iată 3 seturi de tipare de transfer. Cel de sus e de la un animal normal, cel din mijloc de la un animal orb care a fost tratat cu dispozitivul "codificator-traductor" și cel de jos e de la un animal tratat cu o proteză standard. Cel de jos e cel mai recent și performant dispozitiv care se găsește în prezent pe piață, făcut din detectori de lumină, dar fără codificator. Deci am rulat filme cu aspecte de zi cu zi -- oameni, copii, bănci din parc, lucruri obișnuite și am înregistrat răspunsurile de la retinele acestor 3 grupuri de animale. Acum ca să vă orientez, fiecare cutie arată tiparele câtorva celule, ca în diapozitivele anterioare, fiecare rând e o celulă diferită. Eu doar am făcut impulsurile mai mici și mai subțiri ca să vă arăt un câmp mai mare de informație.
So as you can see, the firing patterns from the blind animal treated with the encoder-transducer really do very closely match the normal firing patterns -- and it's not perfect, but it's pretty good -- and the blind animal treated with the standard prosthetic, the responses really don't. And so with the standard method, the cells do fire, they just don't fire in the normal firing patterns because they don't have the right code. How important is this? What's the potential impact on a patient's ability to see? So I'm just going to show you one bottom-line experiment that answers this, and of course I've got a lot of other data, so if you're interested I'm happy to show more. So the experiment is called a reconstruction experiment. So what we did is we took a moment in time from these recordings and asked, what was the retina seeing at that moment? Can we reconstruct what the retina was seeing from the responses from the firing patterns?
După cum vedeți, tiparele de la animalul orb ajutat de dispozitivul "codificator-traductor" chiar seamănă mult cu tiparul normal. Nu e perfect, dar e destul de bun. La animalul orb tratat cu proteza standard, răspunsurile nu seamănă. Deci cu metoda standard, celulele trimit semnale, dar nu după tipar normal pentru că n-au codul corect. Cât de important este? Care-i impactul potențial asupra abilității pacientului de-a vedea? O să vă arăt un experiment elocvent care răspunde la întrebare, și desigur am multe alte informații, așa că dacă sunteți interesați, vă arăt mai multe. Experimentul se numește experiment de "reconstruire". Ce am făcut a fost să izolăm un moment din aceste înregistrări și ne-am întrebat, ce vedea retina în acel moment? Putem reconstrui ce vedea retina pornind de la răspunsuri, de la tiparele codificate?
So, when we did this for responses from the standard method and from our encoder and transducer. So let me show you, and I'm going to start with the standard method first. So you can see that it's pretty limited, and because the firing patterns aren't in the right code, they're very limited in what they can tell you about what's out there. So you can see that there's something there, but it's not so clear what that something is, and this just sort of circles back to what I was saying in the beginning, that with the standard method, patients can see high-contrast edges, they can see light, but it doesn't easily go further than that. So what was the image? It was a baby's face. So what about with our approach, adding the code? And you can see that it's much better. Not only can you tell that it's a baby's face, but you can tell that it's this baby's face, which is a really challenging task. So on the left is the encoder alone, and on the right is from an actual blind retina, so the encoder and the transducer. But the key one really is the encoder alone, because we can team up the encoder with the different transducer.
Am aplicat asta la răspunsurile de la metoda standard și de la sistemul nostru codificator-traductor. Așadar dați-mi voie să vă arăt. Voi începe întâi cu metoda standard. Vedeți că e destul de limitată, și pentru că tiparele de trimitere nu au codul corect sunt foarte limitate în ce pot spune despre ce se întâmplă. Vedeți că este ceva acolo dar nu e clar ce e acel ceva. Și asta oarecum se întoarce la ce spuneam la început. Cu metoda standard pacienții văd margini de contrast puternic, văd lumină, dar nu se reușește mai mult de atât. Prin urmare care era imaginea? Era fața unui bebeluș. Dar abordarea noastră cu adăugare de cod? Vedeți că este mult mai bine. Nu numai că vă dați seamna că e fața unui bebeluș, dar vedeți că e fața acestui bebeluș, o sarcină destul de greu de îndeplinit. În stânga e codificatorul singur iar în dreapta de la o retină oarbă, așadar codificatorul și traductorul. Dar elementul-cheie e codificatorul însuși, pentru că-l putem cupla cu un alt traductor.
This is just actually the first one that we tried. I just wanted to say something about the standard method. When this first came out, it was just a really exciting thing, the idea that you even make a blind retina respond at all. But there was this limiting factor, the issue of the code, and how to make the cells respond better, produce normal responses, and so this was our contribution. Now I just want to wrap up, and as I was mentioning earlier of course I have a lot of other data if you're interested, but I just wanted to give this sort of basic idea of being able to communicate with the brain in its language, and the potential power of being able to do that. So it's different from the motor prosthetics where you're communicating from the brain to a device. Here we have to communicate from the outside world into the brain and be understood, and be understood by the brain.
Acesta e primul pe care l-am încercat. Voiam să vă spun ceva despre metoda standard. Când a ieșit pe piață a fost un lucru nemaipomenit, ideea că puteai face o retină oarbă să răspundă cât de cât. Dar exista un factor limită: emiterea codului și inducerea celulelor de-a răspunde mai bine, de-a produce răspunsuri normale. Asta a fost contribuția noastră. Acum aș vrea să fac un sumar. Așa cum am menționat mai devreme, am desigur multe alte date dacă sunteți interesați, dar am vrut să transmit această idee de bază a posibilității de-a comunica cu creierul în limba lui și potențiala putere de-a face asta. În concluzie, e diferită de alte proteze motorii unde comunici de la creier cu un dispozitiv. Aici trebuie să comunicăm dinspre lumea exterioară înspre creier și să fim înțeleși, să fim înțeleși de creier.
And then the last thing I wanted to say, really, is to emphasize that the idea generalizes. So the same strategy that we used to find the code for the retina we can also use to find the code for other areas, for example, the auditory system and the motor system, so for treating deafness and for motor disorders. So just the same way that we were able to jump over the damaged circuitry in the retina to get to the retina's output cells, we can jump over the damaged circuitry in the cochlea to get the auditory nerve, or jump over damaged areas in the cortex, in the motor cortex, to bridge the gap produced by a stroke.
Ultimul lucru pe care doream să-l spun, țin să subliniez faptul că ideea poate fi generalizată. Aceeași strategie pe care am folosit-o să găsim codul pentru retină o putem folosi să găsim codul pentru alte zone, de ex. sistemul audtitiv, sistemul motor, adică pentru tratarea surdității și bolilor motorii. În același mod în care am putut sări peste circuitele defecte din retină pentru a ajunge la celulele output din retină putem sări și peste circuite nefuncționale din cohlee pentru a ajunge la nervul auditiv, ori peste zone afectate din cortex, din cortexul motor, pentru a înlocui conexiunile distruse de un atac cerebral.
I just want to end with a simple message that understanding the code is really, really important, and if we can understand the code, the language of the brain, things become possible that didn't seem obviously possible before. Thank you.
Doresc să închei cu un simplu mesaj că înțelegerea codului este foarte, foarte importantă. Și dacă înțelegem codul, limbajul creierului, lucruri care nu păreau posibile devin posibile acum. Mulțumesc.
(Applause)
(Aplauze)