The kind of neuroscience that I do and my colleagues do is almost like the weatherman. We are always chasing storms. We want to see and measure storms -- brainstorms, that is. And we all talk about brainstorms in our daily lives, but we rarely see or listen to one. So I always like to start these talks by actually introducing you to one of them.
Il tipo di neuroscienza che facciamo io e i miei colleghi è come la meteorologia. Siamo sempre a caccia di tempeste. Vogliamo vedere e misurare le tempeste -- le tempeste cerebrali. Tutti parliamo di tempeste di idee nelle nostre vite, ma è raro vederne o ascoltarne una. Vorrei quindi iniziare questo talk presentandovene una.
Actually, the first time we recorded more than one neuron -- a hundred brain cells simultaneously -- we could measure the electrical sparks of a hundred cells in the same animal, this is the first image we got, the first 10 seconds of this recording. So we got a little snippet of a thought, and we could see it in front of us.
La prima volta in cui abbiamo registrato più di un neurone -- un centinaio di cellule cerebrali allo stesso tempo -- misurando la scintilla elettrica di un centinaio di cellule dello stesso animale, abbiamo ottenuto questa immagine, i primi 10 secondi di questa registrazione. Abbiamo ottenuto un piccolo frammento di un pensiero e potevamo vederlo davanti a noi.
I always tell the students that we could also call neuroscientists some sort of astronomer, because we are dealing with a system that is only comparable in terms of number of cells to the number of galaxies that we have in the universe. And here we are, out of billions of neurons, just recording, 10 years ago, a hundred. We are doing a thousand now. And we hope to understand something fundamental about our human nature. Because, if you don't know yet, everything that we use to define what human nature is comes from these storms, comes from these storms that roll over the hills and valleys of our brains and define our memories, our beliefs, our feelings, our plans for the future. Everything that we ever do, everything that every human has ever done, do or will do, requires the toil of populations of neurons producing these kinds of storms.
Dico sempre agli studenti che noi neuroscienziati potremmo anche definirci una sorta di astronomi, perché abbiamo a che fare con un sistema che è comparabile, in termini di cellule, soltanto al numero di galassie nell'Universo. Dei miliardi di neuroni che abbiamo, ne abbiamo registrati un centinaio, 10 anni fa. Ora siamo arrivati ad un migliaio. Speriamo di capire qualcosa di fondamentale sulla natura umana. Perché, se ancora non lo sapete, tutto ciò che usiamo per definire la natura umana deriva da queste tempeste, che scorrazzano per le colline e le valli dei nostri cervelli e definiscono i nostri ricordi, ciò in cui crediamo, i nostri sentimenti, i nostri progetti per il futuro. Dietro a tutto ciò che facciamo, tutto ciò che ogni umano ha mai fatto, fa o farà, ci sono popolazioni di neuroni che producono questa sorta di tempeste.
And the sound of a brainstorm, if you've never heard one, is somewhat like this. You can put it louder if you can. My son calls this "making popcorn while listening to a badly-tuned A.M. station." This is a brain. This is what happens when you route these electrical storms to a loudspeaker and you listen to a hundred brain cells firing, your brain will sound like this -- my brain, any brain. And what we want to do as neuroscientists in this time is to actually listen to these symphonies, these brain symphonies, and try to extract from them the messages they carry.
Il suono di una tempesta cerebrale, se non l'avete mai sentito, somiglia un po' a questo. Si può anche alzare il volume se si riesce. Mio figlio lo chiama "fare i popcorn mentre si ascolta una stazione radio AM mal sintonizzata." Questo è un cervello. Questo è ciò che succede quando si ascoltano le tempeste elettriche con un altoparlante e si ascoltano un centinaio di cellule cerebrali accendersi; il vostro cervello farà questo rumore -- il mio cervello, ogni cervello. Come neuroscienziati, in questo momento vogliamo ascoltare queste sinfonie cerebrali, e cercare di estrarre il messaggio che portano con sé.
In particular, about 12 years ago we created a preparation that we named brain-machine interfaces. And you have a scheme here that describes how it works. The idea is, let's have some sensors that listen to these storms, this electrical firing, and see if you can, in the same time that it takes for this storm to leave the brain and reach the legs or the arms of an animal -- about half a second -- let's see if we can read these signals, extract the motor messages that are embedded in it, translate it into digital commands and send it to an artificial device that will reproduce the voluntary motor wheel of that brain in real time. And see if we can measure how well we can translate that message when we compare to the way the body does that.
In particolare, circa 12 anni fa abbiamo creato un'interfaccia mente-macchina. Questo è uno schema che descrive come funziona. L'idea è: facciamo ascoltare ad alcuni sensori queste tempeste, questa attività elettrica, e vediamo se si può, nello stesso tempo in cui questa tempesta lascia il cervello e raggiunge le gambe o le braccia di un animale -- circa mezzo secondo -- leggere questi segnali, estrarre i messaggi motori che veicolano, tradurli in comandi digitali e inviarli a un dispositivo artificiale che riprodurrà in tempo reale il moto volontario di quel cervello. Vediamo di misurare quanto bene riusciamo a tradurre quel messaggio rispetto a come lo fa il corpo.
And if we can actually provide feedback, sensory signals that go back from this robotic, mechanical, computational actuator that is now under the control of the brain, back to the brain, how the brain deals with that, of receiving messages from an artificial piece of machinery.
Vediamo se possiamo produrre un feedback: questo attuatore robotico, meccanico e di calcolo che è sotto il controllo del cervello, gli rimanda segnali sensoriali. [Vediamo] come fa il cervello a gestire il fatto di ricevere messaggi da una macchina artificiale.
And that's exactly what we did 10 years ago. We started with a superstar monkey called Aurora that became one of the superstars of this field. And Aurora liked to play video games. As you can see here, she likes to use a joystick, like any one of us, any of our kids, to play this game. And as a good primate, she even tries to cheat before she gets the right answer. So even before a target appears that she's supposed to cross with the cursor that she's controlling with this joystick, Aurora is trying to find the target, no matter where it is. And if she's doing that, because every time she crosses that target with the little cursor, she gets a drop of Brazilian orange juice. And I can tell you, any monkey will do anything for you if you get a little drop of Brazilian orange juice. Actually any primate will do that. Think about that.
È ciò che abbiamo fatto 10 anni fa. Abbiamo iniziato con una scimmia, di nome Aurora, che è diventata una superstar del settore. Ad Aurora piacevano i video game. Come potete vedere qui, le piace usare il joystick per giocare, come a noi, ai nostri figli. E da buon primate, cerca anche di imbrogliare prima di dare la risposta giusta. Prima che appaia un bersaglio che lei deve intercettare con il cursore che controlla con il joystick, Aurora cerca di trovare il bersaglio, non importa dove sia. E se lo fa, è perché ogni volta che intercetta un bersaglio con il piccolo cursore, ottiene un sorso di succo d'arancia brasiliano. Vi assicuro: qualsiasi scimmia farebbe qualsiasi cosa per voi per un sorso di succo d'arancia brasiliano. A dire il vero, ogni primate lo farebbe. Pensateci.
Well, while Aurora was playing this game, as you saw, and doing a thousand trials a day and getting 97 percent correct and 350 milliliters of orange juice, we are recording the brainstorms that are produced in her head and sending them to a robotic arm that was learning to reproduce the movements that Aurora was making. Because the idea was to actually turn on this brain-machine interface and have Aurora play the game just by thinking, without interference of her body. Her brainstorms would control an arm that would move the cursor and cross the target. And to our shock, that's exactly what Aurora did. She played the game without moving her body.
Mentre Aurora giocava, come avete visto, e faceva un migliaio di tentativi al giorno vincendo nel 97% dei casi e ottenendo 350 millilitri di succo d'arancia, noi registravamo le tempeste cerebrali prodotte nella sua testa e le inviavamo a un braccio robotico che imparava a riprodurre i movimenti che Aurora stava facendo. L'idea era di accendere questa interfaccia neurale e far giocare Aurora con il solo pensiero, senza che il suo corpo si intromettesse. Le sue tempeste cerebrali avrebbero controllato un braccio per muovere il cursore e intercettare il bersaglio. E, con nostra sorpresa, questo è esattamente ciò che Aurora ha fatto. Ha giocato senza muovere il suo corpo.
So every trajectory that you see of the cursor now, this is the exact first moment she got that. That's the exact first moment a brain intention was liberated from the physical domains of a body of a primate and could act outside, in that outside world, just by controlling an artificial device. And Aurora kept playing the game, kept finding the little target and getting the orange juice that she wanted to get, that she craved for.
Ogni traiettoria del cursore che potete vedere ora, corrisponde all'esatto momento in cui lo ha fatto lei. È il momento in cui l'intenzione di un cervello è stata liberata dal vincolo fisico del corpo di un primate e ha potuto agire all'esterno, nel mondo esterno, solo controllando un dispositivo artificiale. Aurora ha continuato a giocare, a trovare il piccolo obiettivo e a ottenere il succo di arancia per cui andava matta.
Well, she did that because she, at that time, had acquired a new arm. The robotic arm that you see moving here 30 days later, after the first video that I showed to you, is under the control of Aurora's brain and is moving the cursor to get to the target. And Aurora now knows that she can play the game with this robotic arm, but she has not lost the ability to use her biological arms to do what she pleases. She can scratch her back, she can scratch one of us, she can play another game. By all purposes and means, Aurora's brain has incorporated that artificial device as an extension of her body. The model of the self that Aurora had in her mind has been expanded to get one more arm.
Lo faceva perché aveva acquisito un nuovo braccio. Il braccio robotico che vedete muoversi, 30 giorni dopo, dopo il video che vi ho mostrato prima, è sotto il controllo del cervello di Aurora che sta muovendo il cursore per colpire l'obiettivo. Aurora sa che ora può giocare con il suo braccio robotico, ma non ha perso l'abilità di usare il suo braccio biologico per fare ciò che vuole. Può grattarsi la schiena, può grattare uno di noi, può giocare a un altro gioco. Sotto ogni profilo, il cervello di Aurora ha incorporato quel dispositivo artificiale come un'estensione del suo corpo. Il modello di sé che Aurora aveva in mente è stato esteso fino ad includere un braccio in più.
Well, we did that 10 years ago. Just fast forward 10 years. Just last year we realized that you don't even need to have a robotic device. You can just build a computational body, an avatar, a monkey avatar. And you can actually use it for our monkeys to either interact with them, or you can train them to assume in a virtual world the first-person perspective of that avatar and use her brain activity to control the movements of the avatar's arms or legs.
Tutto questo comunque, risale a 10 anni fa. Andiamo avanti di 10 anni. L'anno scorso abbiamo capito che non c'è neanche bisogno di un dispositivo robotico. Si può costruire un corpo al computer, un avatar, una scimmia avatar. E lo si può usare per interagire con le nostre scimmie, o si possono addestrare le scimmie ad assumere nel mondo virtuale la prospettiva personale di quell'avatar e usare la loro attività cerebrale per controllare i movimenti degli arti dell'avatar.
And what we did basically was to train the animals to learn how to control these avatars and explore objects that appear in the virtual world. And these objects are visually identical, but when the avatar crosses the surface of these objects, they send an electrical message that is proportional to the microtactile texture of the object that goes back directly to the monkey's brain, informing the brain what it is the avatar is touching. And in just four weeks, the brain learns to process this new sensation and acquires a new sensory pathway -- like a new sense. And you truly liberate the brain now because you are allowing the brain to send motor commands to move this avatar. And the feedback that comes from the avatar is being processed directly by the brain without the interference of the skin.
Abbiamo addestrato gli animali a controllare questi avatar e a esplorare gli oggetti del mondo virtuale. Questi oggetti sono visivamente identici, ma quando l'avatar attraversa la superficie di questi oggetti essi inviano un messaggio elettrico che è proporzionale alla consistenza dell'oggetto che ritorna direttamente al cervello della scimmia, comunicando al cervello cosa l'avatar sta toccando. In sole 4 settimane, il cervello impara a gestire questa sensazione e acquisisce una nuova via sensoriale -- una specie di nuovo senso. E così liberi davvero il cervello perché gli permetti di inviare comandi motori per muovere l'avatar. Il feedback che deriva dall'avatar è gestito dal cervello senza l'interferenza della pelle.
So what you see here is this is the design of the task. You're going to see an animal basically touching these three targets. And he has to select one because only one carries the reward, the orange juice that they want to get. And he has to select it by touch using a virtual arm, an arm that doesn't exist. And that's exactly what they do.
Quello che vedete è il progetto del lavoro. Vedrete un animale toccare questi tre obiettivi. Ne deve scegliere uno, perché solo uno gli darà il premio, il succo di arancia desiderato. Deve selezionarlo toccandolo con un braccio virtuale, un braccio che non esiste. E questo è esattamente ciò che fanno.
This is a complete liberation of the brain from the physical constraints of the body and the motor in a perceptual task. The animal is controlling the avatar to touch the targets. And he's sensing the texture by receiving an electrical message directly in the brain. And the brain is deciding what is the texture associated with the reward. The legends that you see in the movie don't appear for the monkey. And by the way, they don't read English anyway, so they are here just for you to know that the correct target is shifting position. And yet, they can find them by tactile discrimination, and they can press it and select it.
È una completa liberazione del cervello dai vincoli fisici del corpo durante un compito percettivo. L'animale controlla l'avatar che tocca l'obiettivo. Percepisce la consistenza ricevendo un messaggio elettrico al cervello. Il cervello decide qual è la consistenza associata al premio. Le legende che vedete nel video non appaiono alla scimmia. E comunque loro non leggerebbero l'inglese, quindi servono solo a voi per sapere che l'obiettivo corretto si sta spostando. Ma loro riescono a trovarlo attraverso le differenze tattili, e possono premere e selezionarlo.
So when we look at the brains of these animals, on the top panel you see the alignment of 125 cells showing what happens with the brain activity, the electrical storms, of this sample of neurons in the brain when the animal is using a joystick. And that's a picture that every neurophysiologist knows. The basic alignment shows that these cells are coding for all possible directions. The bottom picture is what happens when the body stops moving and the animal starts controlling either a robotic device or a computational avatar. As fast as we can reset our computers, the brain activity shifts to start representing this new tool, as if this too was a part of that primate's body. The brain is assimilating that too, as fast as we can measure.
Se guardiamo i cervelli di questi animali, nella figura in alto vediamo l'allineamento di 125 cellule; vediamo cosa succede all'attività cerebrale, alle tempeste elettriche, di questo campione di neuroni del cervello quando l'animale sta usando un joystick. Questa è una figura che tutti i neurofisiologi conoscono. L'allineamento di base mostra che queste cellule stanno codificando per tutte le direzioni possibili. La figura in basso mostra cosa succede quando il corpo smette di muoversi e l'animale inizia a controllare o un dispositivo robotico o un avatar computazionale. Nel tempo in cui riavviamo i nostri computer, l'attività del cervello cambia per inziare a rappresentare questo nuovo strumento, come se fosse una parte del corpo del primate. Anche il cervello lo sta assimilando, tanto velocemente quanto noi riusciamo a misurarlo.
So that suggests to us that our sense of self does not end at the last layer of the epithelium of our bodies, but it ends at the last layer of electrons of the tools that we're commanding with our brains. Our violins, our cars, our bicycles, our soccer balls, our clothing -- they all become assimilated by this voracious, amazing, dynamic system called the brain.
Questo ci suggerisce che il nostro senso del sé non finisce all'ultimo strato di epitelio dei nostri corpi, ma all'ultimo livello di elettroni dello strumento che stiamo comandando con i nostri cervelli. I nostri violini, auto, biciclette, palloni da calcio, vestiti -- vengono assimilati da questo sistema vorace, sorprendente e dinamico chiamato cervello.
How far can we take it? Well, in an experiment that we ran a few years ago, we took this to the limit. We had an animal running on a treadmill at Duke University on the East Coast of the United States, producing the brainstorms necessary to move. And we had a robotic device, a humanoid robot, in Kyoto, Japan at ATR Laboratories that was dreaming its entire life to be controlled by a brain, a human brain, or a primate brain.
Quanto in là possiamo spingerci? In un esperimento di qualche anno fa, lo abbiamo portato al limite. Un animale correva su un tapis roulant alla Duke University, costa est degli USA, producendo le tempeste cerebrali utili per muoversi. C'era un dispositivo robotico, un androide, a Kyoto, Giappone, ai laboratori ATR che sognava di essere controllato da un cervello, umano o di un primate.
What happens here is that the brain activity that generated the movements in the monkey was transmitted to Japan and made this robot walk while footage of this walking was sent back to Duke, so that the monkey could see the legs of this robot walking in front of her. So she could be rewarded, not by what her body was doing but for every correct step of the robot on the other side of the planet controlled by her brain activity.
In questo caso l'attività del cervello che generava i movimenti della scimmia veniva trasmessa in Giappone e faceva camminare questo robot e il filmato della camminata veniva inviato alla Duke in modo che la scimmia potesse vedere le gambe del robot camminare davanti a lei. Così poteva essere premiata, non per ciò che il suo corpo stava facendo ma per ogni passo corretto del robot dall'altra parte del pianeta controllato dalla sua attività cerebrale.
Funny thing, that round trip around the globe took 20 milliseconds less than it takes for that brainstorm to leave its head, the head of the monkey, and reach its own muscle. The monkey was moving a robot that was six times bigger, across the planet. This is one of the experiments in which that robot was able to walk autonomously. This is CB1 fulfilling its dream in Japan under the control of the brain activity of a primate.
È curioso che questo viaggio per il mondo abbia impiegato 20 millisecondi in meno di quanto impieghi la tempesta cerebrale a lasciare la testa della scimma e a raggiungere il suo muscolo. La scimmia muoveva un robot 6 volte la sua stazza, dall'altra parte del pianeta. Questo è uno degli esperimenti in cui quel robot è riuscito a camminare da solo. Questo è CB1 che realizza il suo sogno in Giappone, sotto il controllo del cervello di un primate.
So where are we taking all this? What are we going to do with all this research, besides studying the properties of this dynamic universe that we have between our ears? Well the idea is to take all this knowledge and technology and try to restore one of the most severe neurological problems that we have in the world. Millions of people have lost the ability to translate these brainstorms into action, into movement. Although their brains continue to produce those storms and code for movements, they cannot cross a barrier that was created by a lesion on the spinal cord.
Dove stiamo portando tutto questo? Cosa facciamo di tutta questa ricerca, oltre a studiare le proprietà di questo universo dinamico che abbiamo tra le orecchie? L'idea è di prendere tutta questa conoscenza e tecnologia e cercare di risolvere uno dei problemi neurologici più seri al mondo. Milioni di persone hanno perso l'abilità di tradurre queste tempeste cerebrali in azioni e movimenti. Sebbene i loro cervelli continuino a produrre queste tempeste e a codificarne i movimenti, non possono attraversare la barriera creata da una lesione al modollo spinale.
So our idea is to create a bypass, is to use these brain-machine interfaces to read these signals, larger-scale brainstorms that contain the desire to move again, bypass the lesion using computational microengineering and send it to a new body, a whole body called an exoskeleton, a whole robotic suit that will become the new body of these patients.
La nostra idea è di oltrepassarla, usare le interfacce neurali per leggere questi segnali, le tempeste cerebrali di più larga scala che contengono il desiderio di muoversi di nuovo, di scavalcare la lesione, con la microingegneria computazionale e inviare i segnali a un nuovo corpo, un esoscheletro, un vestito robotico che diventerà il nuovo corpo di questi pazienti.
And you can see an image produced by this consortium. This is a nonprofit consortium called the Walk Again Project that is putting together scientists from Europe, from here in the United States, and in Brazil together to work to actually get this new body built -- a body that we believe, through the same plastic mechanisms that allow Aurora and other monkeys to use these tools through a brain-machine interface and that allows us to incorporate the tools that we produce and use in our daily life. This same mechanism, we hope, will allow these patients, not only to imagine again the movements that they want to make and translate them into movements of this new body, but for this body to be assimilated as the new body that the brain controls.
Potete vedere un'immagine prodotta da questo consorzio. È un consorzio non profit chiamato Walk Again Project che sta mettendo insieme scienziati dall'Europa, dagli Stati Uniti e dal Brasile per lavorare alla costruzione di questo nuovo corpo -- un corpo che, crediamo, attraverso gli stessi meccanismi plastici che permettono ad Aurora ed altre scimmie di usare questi strumenti con un'interfaccia neurale, e a noi di incorporare gli strumenti che produciamo e usiamo nella nostra vita, speriamo che permettano a questi pazienti, attraverso gli stessi meccanismi, non solo di immaginare i movimenti che vogliono fare e tradurli in movimenti di questo nuovo corpo, ma anche di assimilare questo nuovo corpo come controllato dal cervello.
So I was told about 10 years ago that this would never happen, that this was close to impossible. And I can only tell you that as a scientist, I grew up in southern Brazil in the mid-'60s watching a few crazy guys telling [us] that they would go to the Moon. And I was five years old, and I never understood why NASA didn't hire Captain Kirk and Spock to do the job; after all, they were very proficient -- but just seeing that as a kid made me believe, as my grandmother used to tell me, that "impossible is just the possible that someone has not put in enough effort to make it come true."
10 anni fa mi è stato detto che questo non sarebbe mai successo, che sarebbe stato quasi impossibile. Posso dire che, come scienziato, sono cresciuto in Brasile a metà degli anni '60 guardando un gruppo di matti che ci prometteva di andare sulla Luna. Avevo 5 anni, e non capivo perché la NASA non avesse assunto per quel lavoro il capitano Kirk e Spock -- dopotutto, erano esperti -- ma vederlo da bambino mi ha fatto credere, come mi diceva mia nonna, che "l'impossibile è solo il possibile che qualcuno non si è sforzato abbastanza di far diventare vero."
So they told me that it's impossible to make someone walk. I think I'm going to follow my grandmother's advice.
Mi è stato detto che è impossibile far camminare qualcuno: be', credo che seguirò il consiglio di mia nonna.
Thank you.
Grazie.
(Applause)
(Applausi)