I study how the brain processes information. That is, how it takes information in from the outside world, and converts it into patterns of electrical activity, and then how it uses those patterns to allow you to do things -- to see, hear, to reach for an object. So I'm really a basic scientist, not a clinician, but in the last year and a half I've started to switch over, to use what we've been learning about these patterns of activity to develop prosthetic devices, and what I wanted to do today is show you an example of this. It's really our first foray into this. It's the development of a prosthetic device for treating blindness.
Io studio l'informazione nei processi cerebrali. Ossia il modo di convogliare le informazioni dal mondo esterno e convertirle in schemi di attività elettrica, e poi usarli per poter compiere delle azioni - vedere, udire, prendere oggetti. In realtà sono uno scienziato teorico, ma nell'ultimo anno e mezzo ho cominciato a sconfinare nella sperimentazione, usando quel che avevo imparato su questi schemi di attività per sviluppare congegni prostetici, e oggi volevo mostrarvi uno di questi congegni. E' la prima volta che ne parlo in pubblico. E' lo sviluppo di una protesi per il trattamento della cecità.
So let me start in on that problem. There are 10 million people in the U.S. and many more worldwide who are blind or are facing blindness due to diseases of the retina, diseases like macular degeneration, and there's little that can be done for them. There are some drug treatments, but they're only effective on a small fraction of the population. And so, for the vast majority of patients, their best hope for regaining sight is through prosthetic devices. The problem is that current prosthetics don't work very well. They're still very limited in the vision that they can provide. And so, you know, for example, with these devices, patients can see simple things like bright lights and high contrast edges, not very much more, so nothing close to normal vision has been possible.
Lasciate che vi spieghi il problema. Vi sono 10 milioni di persone negli USA e molte altre nel mondo che sono cieche o a rischio di cecità a causa di malattie della retina, come la degenerazione maculare, per cui c'è poco da fare. Esistono cure farmacologiche, ma funzionano solo per una piccola parte della popolazione. Per la gran parte dei pazienti l'unica speranza è poter riacquistare la vista grazie a delle protesi. Il problema è che le protesi esistenti non funzionano bene. Sono ancora molto limitate nell'amplificazione della vista. Ad esempio, sapete, con questi congegni i pazienti possono vedere oggetti semplici, come luci brillanti o profili ad alto contrasto, non molto di più, niente che si avvicini alla normale capacità visiva.
So what I'm going to tell you about today is a device that we've been working on that I think has the potential to make a difference, to be much more effective, and what I wanted to do is show you how it works. Okay, so let me back up a little bit and show you how a normal retina works first so you can see the problem that we were trying to solve. Here you have a retina. So you have an image, a retina, and a brain. So when you look at something, like this image of this baby's face, it goes into your eye and it lands on your retina, on the front-end cells here, the photoreceptors. Then what happens is the retinal circuitry, the middle part, goes to work on it, and what it does is it performs operations on it, it extracts information from it, and it converts that information into a code. And the code is in the form of these patterns of electrical pulses that get sent up to the brain, and so the key thing is that the image ultimately gets converted into a code. And when I say code, I do literally mean code. Like this pattern of pulses here actually means "baby's face," and so when the brain gets this pattern of pulses, it knows that what was out there was a baby's face, and if it got a different pattern it would know that what was out there was, say, a dog, or another pattern would be a house. Anyway, you get the idea.
Ma oggi vi parlerò di un congegno su cui ho lavorato che credo abbia il potenziale per essere diverso e molto più efficace, e volevo mostrarvi come funziona. Bene, ora faccio un passo indietro e vi mostro il funzionamento di una retina normale, così capirete che tipo di problemi abbiamo cercato di risolvere. Ecco una retina. Dunque avete un'immagine, una retina e un cervello. Quando guardate qualcosa, come l'immagine di questo bimbo, questa passa attraverso l'occhio e arriva sulla retina, dove viene catturata da cellule chiamate fotorecettori. Questo dà il via al circuito elettrico della retina, la parte centrale comincia a lavorarci ed effettua delle operazioni, estraendo le informazioni e trasformandole in codici. Il codice prende la forma di impulsi elettrici che vengono convogliati al cervello, e dunque la cosa fondamentale è che l'immagine viene trasformata in codice. E quando dico codice intendo letteralmente codice. Questo schema di impulsi significa proprio "volto di bimbo", e quando gli impulsi arrivano al cervello, questo capisce che si trova di fronte al viso di un bambino, e se avesse ricevuto uno schema di impulsi diverso, magari l'avrebbe associato a un cane o forse a un cavallo. Ad ogni modo avete capito.
And, of course, in real life, it's all dynamic, meaning that it's changing all the time, so the patterns of pulses are changing all the time because the world you're looking at is changing all the time too. So, you know, it's sort of a complicated thing. You have these patterns of pulses coming out of your eye every millisecond telling your brain what it is that you're seeing. So what happens when a person gets a retinal degenerative disease like macular degeneration? What happens is is that, the front-end cells die, the photoreceptors die, and over time, all the cells and the circuits that are connected to them, they die too. Until the only things that you have left are these cells here, the output cells, the ones that send the signals to the brain, but because of all that degeneration they aren't sending any signals anymore. They aren't getting any input, so the person's brain no longer gets any visual information -- that is, he or she is blind.
Naturalmente nella vita vera è tutto dinamico, cioè in continuo cambiamento, e gli schemi di impulsi cambiano sempre, perché il mondo che osservate cambia in ogni istante. Dunque è una cosa alquanto complicata. Avete questi impulsi provenienti dagli occhi ogni millisecondo che dicono al cervello cosa state vedendo. E quello che succede quando una persona ha una malattia degenerativa della retina, come la degenerazione maculare, è che le cellule, i fotoricettori muoiono, e con il passare del tempo tutte le cellule e i circuiti ad essi collegati muoiono anche loro. Finché l'unica cosa che rimane sono queste cellule, quelle che inviano i segnali al cervello, ma a causa della degenerazione non hanno più niente da trasmettere. Dato che non ricevono informazioni, al cervello non arriva più nessuna informazione visiva - ossia si diventa ciechi.
So, a solution to the problem, then, would be to build a device that could mimic the actions of that front-end circuitry and send signals to the retina's output cells, and they can go back to doing their normal job of sending signals to the brain. So this is what we've been working on, and this is what our prosthetic does. So it consists of two parts, what we call an encoder and a transducer. And so the encoder does just what I was saying: it mimics the actions of the front-end circuitry -- so it takes images in and converts them into the retina's code. And then the transducer then makes the output cells send the code on up to the brain, and the result is a retinal prosthetic that can produce normal retinal output. So a completely blind retina, even one with no front-end circuitry at all, no photoreceptors, can now send out normal signals, signals that the brain can understand. So no other device has been able to do this.
Perciò una soluzione potrebbe essere un congegno che mimi le azioni svolte dai fotorecettori e che invii le informazioni alle cellule preposte ai segnali in uscita dalla retina, così che possano tornare al loro compito di inviare i segnali al cervello. Dunque questo è ciò a cui stiamo lavorando e questo è ciò che riesce a fare la nostra protesi. E' costituita da due parti: un codificatore e un trasduttore. Quello che fa il codificatore è mimare le azioni del circuito anteriore della retina, in modo da raccogliere le immagini e convertirle in un codice che la retina comprende. E il trasduttore fa sì che le cellule della parte posteriore inviino il codice al cervello, e il risultato è una protesi retinica in grado di reagire come una normale retina. E così una retina completamente cieca, in cui sia assente il circuito anteriore, quello dei fotorecettori, è ora in grado di inviare segnali normali, segnali che il cervello riesce a comprendere. Nessun altro congegno è mai riuscito a fare tanto.
Okay, so I just want to take a sentence or two to say something about the encoder and what it's doing, because it's really the key part and it's sort of interesting and kind of cool. I'm not sure "cool" is really the right word, but you know what I mean. So what it's doing is, it's replacing the retinal circuitry, really the guts of the retinal circuitry, with a set of equations, a set of equations that we can implement on a chip. So it's just math. In other words, we're not literally replacing the components of the retina. It's not like we're making a little mini-device for each of the different cell types. We've just abstracted what the retina's doing with a set of equations. And so, in a way, the equations are serving as sort of a codebook. An image comes in, goes through the set of equations, and out comes streams of electrical pulses, just like a normal retina would produce.
Bene, voglio dirvi brevemente qualcosa sul codificatore e sul suo funzionamento, perché è davvero la parte fondamentale ed è ed è proprio interessante e forte. Non so se 'forte' sia la parola più adatta, ma sapete cosa intendo dire. Dunque ciò che fa è sostituire il circuito retinico, la sua parte preminente, con una serie di equazioni che possiamo affidare ad un chip elettronico. Si tratta solo di matematica. In altre parole, non stiamo proprio rimpiazzando le parti della retina. Non costruiamo un mini apparato per ogni tipologia di cellule. Abbiamo solo sintetizzato il compito della retina con una serie di equazioni. E in un certo senso le equazioni costituiscono un dizionario dei codici. Arriva un'immagine, passa attraverso i sistemi di equazioni e ne esce sotto forma di impulsi elettrici, proprio come li produrrebbe una normale retina.
Now let me put my money where my mouth is and show you that we can actually produce normal output, and what the implications of this are. Here are three sets of firing patterns. The top one is from a normal animal, the middle one is from a blind animal that's been treated with this encoder-transducer device, and the bottom one is from a blind animal treated with a standard prosthetic. So the bottom one is the state-of-the-art device that's out there right now, which is basically made up of light detectors, but no encoder. So what we did was we presented movies of everyday things -- people, babies, park benches, you know, regular things happening -- and we recorded the responses from the retinas of these three groups of animals. Now just to orient you, each box is showing the firing patterns of several cells, and just as in the previous slides, each row is a different cell, and I just made the pulses a little bit smaller and thinner so I could show you a long stretch of data.
Adesso lasciate che vi mostri, in pratica, come possiamo ottenere una visione normale, e quali sono le implicazioni. Qui abbiamo tre modalità di elaborazione immagine. In alto, quella di un animale normale, al centro di un animale cieco a cui è stato applicato il congegno codificatore-trasduttore, e in basso quella di un animale cieco dotato di protesi standard. Dunque in basso c'è l'ultima tecnologia disponibile oggi, costituita essenzialmente da rilevatori di luce, ma che non fa uso di codificatori. E così abbiamo realizzato dei filmati con immagini comuni - persone, bambini, panchine, insomma cose normali - e abbiamo registrato la risposta della retina dei tre animali. Ora, tanto per farvi capire, ogni riquadro mostra gli schemi di attivazione di diverse cellule, e come per le immagini precedenti, ogni fila corrisponde a cellule diverse, e ho rimpicciolito gli impulsi in modo da farvi vedere una lunga serie di dati.
So as you can see, the firing patterns from the blind animal treated with the encoder-transducer really do very closely match the normal firing patterns -- and it's not perfect, but it's pretty good -- and the blind animal treated with the standard prosthetic, the responses really don't. And so with the standard method, the cells do fire, they just don't fire in the normal firing patterns because they don't have the right code. How important is this? What's the potential impact on a patient's ability to see? So I'm just going to show you one bottom-line experiment that answers this, and of course I've got a lot of other data, so if you're interested I'm happy to show more. So the experiment is called a reconstruction experiment. So what we did is we took a moment in time from these recordings and asked, what was the retina seeing at that moment? Can we reconstruct what the retina was seeing from the responses from the firing patterns?
Come potete vedere, gli schemi di attivazione dell'animale cieco con il codificatore-trasduttore si avvicinano di molto a quelli normali - non è ancora perfetto, ma è abbastanza buono - mentre per l'animale con la protesi standard, i risultati lasciano a desiderare. Perché con il metodo standard le cellule si attivano, ma non secondo uno schema normale, perché non hanno il codice corretto. Ma quanto è importante averlo? Qual è l'impatto potenziale sulla capacità visiva di un paziente? Ora vi mostrerò un esperimento concreto per farvelo capire, e certamente dispongo di molti altri dati, e se siete interessati sarò lieta di condividerli con voi. L'esperimento si chiama esperimento di ricostruzione. Abbiamo preso un determinato fotogramma della registrazione e ci siamo chiesti cosa stesse vedendo la retina in quel momento. Possiamo ricostruire ciò che ha visto la retina in base alla reazione delle cellule?
So, when we did this for responses from the standard method and from our encoder and transducer. So let me show you, and I'm going to start with the standard method first. So you can see that it's pretty limited, and because the firing patterns aren't in the right code, they're very limited in what they can tell you about what's out there. So you can see that there's something there, but it's not so clear what that something is, and this just sort of circles back to what I was saying in the beginning, that with the standard method, patients can see high-contrast edges, they can see light, but it doesn't easily go further than that. So what was the image? It was a baby's face. So what about with our approach, adding the code? And you can see that it's much better. Not only can you tell that it's a baby's face, but you can tell that it's this baby's face, which is a really challenging task. So on the left is the encoder alone, and on the right is from an actual blind retina, so the encoder and the transducer. But the key one really is the encoder alone, because we can team up the encoder with the different transducer.
E abbiamo fatto lo stesso per le risposte da metodo standard e quelle da codificatore-trasduttore. Ora ve le mostro, e inizierò con il metodo standard. Potete constatare che è alquanto limitato, e dato che gli schemi di attivazione non hanno il codice corretto, possono dirvi ben poco di cio' che succede là fuori Capite che c'è qualcosa, ma non è chiaro cosa sia quel qualcosa, quindi torniamo a quello che dicevo all'inizio, che con il metodo standard i pazienti percepiscono solo profili ad alto contrasto, percepiscono la luce, ma non molto di più. Qual era l'immagine? il volto di un bambino. Ma che succede con il nostro metodo, quando aggiungiamo il codice? Va molto meglio. Non solo riuscite a capire che è il viso di un bambino, ma che è proprio di questo bambino, una cosa davvero difficile. A sinistra l'immagine recepita dal solo codificatore, e a destra da una retina cieca, con l'ausilio del codificatore-trasduttore. Ma la più importante è quella con il solo codificatore, dato che abbiamo la possibilità di abbinarlo a diversi trasduttori.
This is just actually the first one that we tried. I just wanted to say something about the standard method. When this first came out, it was just a really exciting thing, the idea that you even make a blind retina respond at all. But there was this limiting factor, the issue of the code, and how to make the cells respond better, produce normal responses, and so this was our contribution. Now I just want to wrap up, and as I was mentioning earlier of course I have a lot of other data if you're interested, but I just wanted to give this sort of basic idea of being able to communicate with the brain in its language, and the potential power of being able to do that. So it's different from the motor prosthetics where you're communicating from the brain to a device. Here we have to communicate from the outside world into the brain and be understood, and be understood by the brain.
Questo è solo il primo che abbiamo provato. Volevo parlarvi un attimo del metodo standard. Quando questo venne alla ribalta fu una cosa entusiasmante, l'idea di riuscire a far funzionare una retina del tutto cieca. Ma c'era un fattore limitante, il problema del codice e di come far reagire meglio le cellule perché rispondessero normalmente, e questo è stato il nostro contributo. Ora vorrei concludere, e come vi dicevo prima, dispongo di molti altri dati, se vi interessano, ma volevo lasciarvi con questa idea di base, sulla possibilità di comunicare con il cervello nel suo linguaggio e sulle possibilità che questo dischiude. Cosa diversa dalle protesi motorizzate in cui la comunicazione va dal cervello al congegno. Qui dobbiamo comunicare il mondo esterno al cervello e far sì che possa essere compreso.
And then the last thing I wanted to say, really, is to emphasize that the idea generalizes. So the same strategy that we used to find the code for the retina we can also use to find the code for other areas, for example, the auditory system and the motor system, so for treating deafness and for motor disorders. So just the same way that we were able to jump over the damaged circuitry in the retina to get to the retina's output cells, we can jump over the damaged circuitry in the cochlea to get the auditory nerve, or jump over damaged areas in the cortex, in the motor cortex, to bridge the gap produced by a stroke.
E l'ultima cosa che volevo dire, davvero, è sottolineare come l'idea funzioni anche per altro. La stessa strategia usata per trovare il codice per la retina si può usare anche per i codici di altre aree, ad esempio per il sistema uditivo e quello motorio, e dunque per il trattamento di sordità e di disordini motori. E come siamo riusciti ad aggirare i circuiti danneggiati della retina per raggiungere le cellule posteriori, possiamo aggirare i circuiti danneggiati della coclea per raggiungere il nervo uditivo, oppure oltrepassare le zone danneggiate della corteccia cerebrale per colmare il divario creato da un ictus.
I just want to end with a simple message that understanding the code is really, really important, and if we can understand the code, the language of the brain, things become possible that didn't seem obviously possible before. Thank you.
Volevo concludere con un semplice messaggio: comprendere il codice è estremamente importante, perché in questo modo, conoscendo il linguaggio del cervello, cose prima impossibili diventano possibili. Grazie.
(Applause)
(Applausi)