Den slags neurovidenskab som jeg laver og mine kolleger laver er næsten ligesom manden fra vejrudsigten. Vi jagter altid storme. Vi vil se og måle storme -- det vil sige, brainstorme. Og vi taler om brainstorms i vores daglige liv, men vi ser eller lytter sjældent til en. Så jeg kan godt lide at starte disse foredrag ved faktisk at introducere jer for en af dem.
The kind of neuroscience that I do and my colleagues do is almost like the weatherman. We are always chasing storms. We want to see and measure storms -- brainstorms, that is. And we all talk about brainstorms in our daily lives, but we rarely see or listen to one. So I always like to start these talks by actually introducing you to one of them.
Faktisk, den første gang vi optog mere end en neuron -- hundrede hjerneceller samtidig -- kunne vi måle de elektriske gnister af hundrede celler i det samme dyr, dette er det første billede vi fik, de første 10 sekunder af denne optagelse. Så vi fik en lille bid af en tanke, og vi kunne se det foran os.
Actually, the first time we recorded more than one neuron -- a hundred brain cells simultaneously -- we could measure the electrical sparks of a hundred cells in the same animal, this is the first image we got, the first 10 seconds of this recording. So we got a little snippet of a thought, and we could see it in front of us.
Jeg fortæller altid de studerende at vi også kunne kalder neuroforskere en slags astronomer, fordi vi har at gøre med et system der kun er sammenligneligt med hensyn til antallet af celler med antallet af galakser som vi har i universet. Og her er vi, ud af milliarder af neuroner, kun optagelser, 10 år siden, et hundrede. Vi laver tusind nu. Og vi håber på at kunne forstå noget fundamentalt om vores menneskelige natur. Fordi, hvis I ikke ved det endnu, alt det vi bruger til at definere hvad den menneskelige natur er, kommer fra disse storme, det kommer fra disse storme der ruller hen over bakkerne og dalene i vores hjerne og definere vores minder, vores overbevisninger, vores følelser, vores planer for fremtiden. Det eneste vi nogensinde gør, alt det mennesket nogensinde har gjort, gør eller vil gøre, kræver mange neuroners hårde arbejde at producere denne slags storme.
I always tell the students that we could also call neuroscientists some sort of astronomer, because we are dealing with a system that is only comparable in terms of number of cells to the number of galaxies that we have in the universe. And here we are, out of billions of neurons, just recording, 10 years ago, a hundred. We are doing a thousand now. And we hope to understand something fundamental about our human nature. Because, if you don't know yet, everything that we use to define what human nature is comes from these storms, comes from these storms that roll over the hills and valleys of our brains and define our memories, our beliefs, our feelings, our plans for the future. Everything that we ever do, everything that every human has ever done, do or will do, requires the toil of populations of neurons producing these kinds of storms.
Og lyden af en brainstorm, hvis I nogensinde har hørt en, er noget der ligner dette. Man kan sætte det højere hvis man kan. Min søn kalder dette "at lave popcorn mens man lytter til en dårlig indstillet A.M. station." Dette er hjernen. Dette er hvad der sker når man tilslutter disse elektriske storme til en højtaler og man lytter til hundrede aktive hjerneceller, vil ens hjerne lyde som dette -- min hjerne, enhver hjerne. Og det vi vil gøre som neuroforskere på denne tid er faktisk at lytte til disse symfonier, disse hjernesymfonier, og prøve at udtrække de signaler der kommer fra dem.
And the sound of a brainstorm, if you've never heard one, is somewhat like this. You can put it louder if you can. My son calls this "making popcorn while listening to a badly-tuned A.M. station." This is a brain. This is what happens when you route these electrical storms to a loudspeaker and you listen to a hundred brain cells firing, your brain will sound like this -- my brain, any brain. And what we want to do as neuroscientists in this time is to actually listen to these symphonies, these brain symphonies, and try to extract from them the messages they carry.
I særdeleshed, for omkring 12 år siden skabte vi en forberedelse som vi kaldte hjerne-maskine grænseflader. Og der er et skema her der beskriver hvordan det fungerer. Ideen er, lad os have nogle sensorer der lytter til disse storme, disse elektriske udledninger, og se om I kan, på den samme tid som det tager for denne storm at forlade hjernen og nå benene eller armene af et dyr -- omkring et halvt sekund -- lad os se om vi kan læse disse signaler, udtrække de motoriske signaler der er indlejret i dem, oversætte dem til digitale kommandoer og sende dem til et kunstigt apparat der vil reproducere det motoriske arbejde for den hjerne i realtid. Og se om vi kan måle hvor godt vi kan oversætte det signal når vi sammenligner det med måden som kroppen gør det.
In particular, about 12 years ago we created a preparation that we named brain-machine interfaces. And you have a scheme here that describes how it works. The idea is, let's have some sensors that listen to these storms, this electrical firing, and see if you can, in the same time that it takes for this storm to leave the brain and reach the legs or the arms of an animal -- about half a second -- let's see if we can read these signals, extract the motor messages that are embedded in it, translate it into digital commands and send it to an artificial device that will reproduce the voluntary motor wheel of that brain in real time. And see if we can measure how well we can translate that message when we compare to the way the body does that.
Og hvis vi faktisk kan give feedback, kan sanse signaler der går tilbage fra denne robotagtige, mekaniske beregningsmæssige aktiveringsenhed, der nu er under hjernens kontrol, tilbage til hjernen, hvordan hjernen håndterer det, at modtage signaler fra et kunstigt stykke maskineri.
And if we can actually provide feedback, sensory signals that go back from this robotic, mechanical, computational actuator that is now under the control of the brain, back to the brain, how the brain deals with that, of receiving messages from an artificial piece of machinery.
Og det er faktisk hvad vi gjorde for 10 år siden. Vi begyndte med en superstjerneabe der hedder Aurora der blev en af superstjernerne i dette felt. Og Aurora kunne godt lide at spille computerspil. Som I kan se her, hun kan godt lide at bruge et joystick, ligesom vi, ligesom jeres børn, at spille dette spil. Og som en god primat, prøver hun endda at snyde inden hun giver det rigtige svar. Så selv inden der viser sig et mål som hun skal krydse af med markøren som hun kontrollerer med dette joystick, prøver Aurora at finde målet, uanset hvor det er. Og hvis hun gør det, fordi hver gang hun krydser det mål med den lille markør, får hun en dråbe brasiliansk appelsinjuice. Og jeg kan fortælle jer, at enhver abe vil gøre hvad som helst for dig hvis man får en lille dråbe brasiliansk appelsinjuice. Det vil alle primater faktisk. Tænk over det.
And that's exactly what we did 10 years ago. We started with a superstar monkey called Aurora that became one of the superstars of this field. And Aurora liked to play video games. As you can see here, she likes to use a joystick, like any one of us, any of our kids, to play this game. And as a good primate, she even tries to cheat before she gets the right answer. So even before a target appears that she's supposed to cross with the cursor that she's controlling with this joystick, Aurora is trying to find the target, no matter where it is. And if she's doing that, because every time she crosses that target with the little cursor, she gets a drop of Brazilian orange juice. And I can tell you, any monkey will do anything for you if you get a little drop of Brazilian orange juice. Actually any primate will do that. Think about that.
Jamen, mens Aurora spillede dette spil, som I så, og lavede tusinde forsøg hver dag og fik 97 procent rigtige og 350 milliliter appelsinjuice, optager vi de brainstorms der bliver produceret i hendes hoved og sender dem tilbage til en robotarm der lærte at reproducere bevægelserne som Aurora lavede. Fordi ideen var faktisk at tænde for denne hjerne-maskine grænseflade og få Aurora til at spille spillet bare ved at tænke, uden at blive forstyrret af hendes krop. Hendes brainstorms ville kontrollere en arm der ville flytte markøren og krydse målet. Og til vores chok, er det præcis det Aurora gjorde. Hun spillede spillet uden at flytte sin krop.
Well, while Aurora was playing this game, as you saw, and doing a thousand trials a day and getting 97 percent correct and 350 milliliters of orange juice, we are recording the brainstorms that are produced in her head and sending them to a robotic arm that was learning to reproduce the movements that Aurora was making. Because the idea was to actually turn on this brain-machine interface and have Aurora play the game just by thinking, without interference of her body. Her brainstorms would control an arm that would move the cursor and cross the target. And to our shock, that's exactly what Aurora did. She played the game without moving her body.
Så enhver kurs som I ser markøren lave nu, dette er præcis det første øjeblik hun forstod det. Det er præcis det første øjeblik en hjerneintention blev frigjort fra det fysiske domæne af en primatkrop og kunne agere udenfor, i den verden udenfor, bare ved at kontrollere et kunstigt apparat. Og Aurora blev ved med at spille spillet, blev ved med at finde målet og fik den appelsinjuice som hun ville have, som hun havde trang til.
So every trajectory that you see of the cursor now, this is the exact first moment she got that. That's the exact first moment a brain intention was liberated from the physical domains of a body of a primate and could act outside, in that outside world, just by controlling an artificial device. And Aurora kept playing the game, kept finding the little target and getting the orange juice that she wanted to get, that she craved for.
Jamen, hun gjorde det fordi hun, på det tidspunkt, havde fået en ny arm. Den robotarm I kan se flytte sig her 30 dage senere, efter det første videoklip jeg viste jer, bliver kontrolleret af Auroras hjerne og flytter markøren for at komme hen til målet. Og Aurora ved nu at hun kan spille spillet med denne robotarm, men hun har ikke mistet mulighederne for at bruge hendes biologiske arme til at gøre hvad hun vil. Hun kan klø sig på ryggen, hun kan klø en af os, hun kan spille endnu et spil. I alle hensigter og betydninger, havde Auroras hjerne integreret det kunstige apparat som en forlængelse af hendes krop. Modellen af det selv som Aurora havde i sit sind er blevet udvidet til at få endnu en arm.
Well, she did that because she, at that time, had acquired a new arm. The robotic arm that you see moving here 30 days later, after the first video that I showed to you, is under the control of Aurora's brain and is moving the cursor to get to the target. And Aurora now knows that she can play the game with this robotic arm, but she has not lost the ability to use her biological arms to do what she pleases. She can scratch her back, she can scratch one of us, she can play another game. By all purposes and means, Aurora's brain has incorporated that artificial device as an extension of her body. The model of the self that Aurora had in her mind has been expanded to get one more arm.
Jamen, det gjorde vi for 10 år siden. Bare spol 10 år frem. Bare sidste år blev vi klar over at man ikke engang har brug for et robotagtige apparat. Man kan bare bygge en beregningsmæssig krop, en avatar, en abeavatar. Og man kan faktisk bruge den til vores aber til enten at interagere med dem, eller man kan træne dem til at indtage i en virtuel verden et førstepersons perspektiv med den avatar og bruge hendes hjerneaktivitet til at kontrollere bevægelserne af avatarens arme eller ben.
Well, we did that 10 years ago. Just fast forward 10 years. Just last year we realized that you don't even need to have a robotic device. You can just build a computational body, an avatar, a monkey avatar. And you can actually use it for our monkeys to either interact with them, or you can train them to assume in a virtual world the first-person perspective of that avatar and use her brain activity to control the movements of the avatar's arms or legs.
Og det vi dybest set gjorde var at træne dyrene til at lære hvordan man kontrollerer disse avatarer og udforske objekter der forekommer i den virtuelle verden. Og disse objekter er visuelt identiske, men når en avatar overskrider disse objekters overflade, sender de et elektrisk signal der er proportionalt med den mikrotaktile tekstur af objektet der går direkte tilbage til abens hjerne, og informerer hjernen om hvad det er avataren rører. Og på bare fire uger, lærer hjernen at behandle denne nye oplevelse og tilegner sig en ny sanse sti -- som en ny sans. Og man kan i sandhed frigøre hjernen nu fordi man tillader hjernen at sende motorsignaler til at flytte denne avatar. Og feedbacken der kommer fra avataren bliver behandlet direkte i hjernen uden hudens interferens.
And what we did basically was to train the animals to learn how to control these avatars and explore objects that appear in the virtual world. And these objects are visually identical, but when the avatar crosses the surface of these objects, they send an electrical message that is proportional to the microtactile texture of the object that goes back directly to the monkey's brain, informing the brain what it is the avatar is touching. And in just four weeks, the brain learns to process this new sensation and acquires a new sensory pathway -- like a new sense. And you truly liberate the brain now because you are allowing the brain to send motor commands to move this avatar. And the feedback that comes from the avatar is being processed directly by the brain without the interference of the skin.
Så det man ser her er designet af opgaven. Man vil se et dyr der dybest set rører disse tre mål. Og han skal selektere en, fordi kun en bærer på belønningen, appelsinjuicen som de vil have. Og han skal vælge den ved at røre ved den, ved hjælp af en virtuel arm, en arm der ikke eksisterer. Og det er præcis det de gør.
So what you see here is this is the design of the task. You're going to see an animal basically touching these three targets. And he has to select one because only one carries the reward, the orange juice that they want to get. And he has to select it by touch using a virtual arm, an arm that doesn't exist. And that's exactly what they do.
Dette er en komplet frigørelse af hjernen fra kroppens og motorikkens fysiske begrænsninger i en perceptuel opgave. Dyret kontrollerer avataren for at røre ved målene. Og han mærker teksturen ved at modtage et elektrisk signal direkte ind i hjernen. Og hjernen beslutter hvad hvilken tekstur der er forbundet med belønningen. Signaturforklaringerne som man ser i filmen viser sig ikke for aben. Og for øvrigt, kan de alligevel ikke læse engelsk, så de er der bare så I ved at det rigtige mål flytter sig. Og alligevel, kan de finde dem gennem berøringsmæssig sondring, og de kan trykke på den og selektere den.
This is a complete liberation of the brain from the physical constraints of the body and the motor in a perceptual task. The animal is controlling the avatar to touch the targets. And he's sensing the texture by receiving an electrical message directly in the brain. And the brain is deciding what is the texture associated with the reward. The legends that you see in the movie don't appear for the monkey. And by the way, they don't read English anyway, so they are here just for you to know that the correct target is shifting position. And yet, they can find them by tactile discrimination, and they can press it and select it.
Så når vi ser på disse dyrs hjerner, i det øverste panel ser man grupperingen af 125 celler der viser hvad der sker med hjerneaktiviteten, de elektriske storme, af denne prøve af neuroner i hjernen når dyret bruger joysticket. Og det er et billede som alle neurofysiologer kender. Den grundlæggende gruppering viser at disse celler koder i alle mulige retninger. Det nederste billede er det der sker når kroppen holder op med at bevæge sig og dyret begynder at kontrollere enten et robotagtigt apparat eller en beregningsmæssig avatar. Så hurtigt som vi kan genstarte vores computere, begynder hjerneaktiviteten at repræsentere dette nye redskab, som om dette også er en del af den primats krop. Hjernen assimilerer også det, så hurtigt som vi kan måle det.
So when we look at the brains of these animals, on the top panel you see the alignment of 125 cells showing what happens with the brain activity, the electrical storms, of this sample of neurons in the brain when the animal is using a joystick. And that's a picture that every neurophysiologist knows. The basic alignment shows that these cells are coding for all possible directions. The bottom picture is what happens when the body stops moving and the animal starts controlling either a robotic device or a computational avatar. As fast as we can reset our computers, the brain activity shifts to start representing this new tool, as if this too was a part of that primate's body. The brain is assimilating that too, as fast as we can measure.
Så for os tyder det på at vores jeg-følelse ikke ender ved det sidste lag af epitel af vores krop, men det ender ved det sidste lag af elektroner af de redskaber som vi kontrollerer med vores hjerner. Vores violiner, vores biler, vores cykler, vores fodbolde, vores tøj -- de bliver alle assimileret af dette forslugne, fantastiske, dynamiske system der hedder hjernen.
So that suggests to us that our sense of self does not end at the last layer of the epithelium of our bodies, but it ends at the last layer of electrons of the tools that we're commanding with our brains. Our violins, our cars, our bicycles, our soccer balls, our clothing -- they all become assimilated by this voracious, amazing, dynamic system called the brain.
Hvor langt kan vi gå med dette? Jamen, i et eksperiment vi udførte for nogle år siden, tog vi dette til grænsen. Vi havde et dyr der løb i en trædemølle ved Duke University på USAs østkyst, der producerede de brainstorms der var nødvendige for at bevæge sig. Og vi havde et robotagtige apparat, en humanoid robot, i Kyoto, Japan ved ATR Laboratories der hele sit liv drømte om at blive kontrolleret af en hjerne, en menneskelig hjerne, eller en primat hjerne.
How far can we take it? Well, in an experiment that we ran a few years ago, we took this to the limit. We had an animal running on a treadmill at Duke University on the East Coast of the United States, producing the brainstorms necessary to move. And we had a robotic device, a humanoid robot, in Kyoto, Japan at ATR Laboratories that was dreaming its entire life to be controlled by a brain, a human brain, or a primate brain.
Det der sker her er at hjerne aktiviteten der genererede bevægelserne i aben blev sendt til Japan og fik denne robot til at gå mens optagelser af denne gang blev sendt tilbage til Duke, så aben kunne se benene af denne robot der gik rundt foran hende. Så hun kunne belønnes, ikke ved det hendes krop gjorde men for hvert af robottens korrekte skridt, på den anden side af planeten kontrolleret af hendes hjerneaktivitet.
What happens here is that the brain activity that generated the movements in the monkey was transmitted to Japan and made this robot walk while footage of this walking was sent back to Duke, so that the monkey could see the legs of this robot walking in front of her. So she could be rewarded, not by what her body was doing but for every correct step of the robot on the other side of the planet controlled by her brain activity.
En sjov ting, den tur rundt om jorden var 20 millisekunder hurtigere end det tager for hendes hjernestorm at forlade hovedet, abens hoved, og nå dens egne muskler. Aben bevægede en robot der var seks gange større, tværs over planeten. Dette er et af eksperimenterne hvor robotten var i stand til at gå selvstændigt. Dette er CB1 der opfylder sin drøm i Japan under primatens hjerneaktivitets kontrol.
Funny thing, that round trip around the globe took 20 milliseconds less than it takes for that brainstorm to leave its head, the head of the monkey, and reach its own muscle. The monkey was moving a robot that was six times bigger, across the planet. This is one of the experiments in which that robot was able to walk autonomously. This is CB1 fulfilling its dream in Japan under the control of the brain activity of a primate.
Så hvor vil vi hen med alt dette? Hvad vil vi gøre med al denne forskning, ud over at studere egenskaberne ved dette dynamiske univers vi har mellem vores ører? Jamen ideen er at tage al denne viden og teknologi og prøve at genoprette en af de mest alvorlige neurologiske problemer som vi har i verden. Millioner af mennesker har mistet evnen til at oversætte disse brainstorms til handling, til bevægelse. Selvom deres hjerner fortsætter med at producere disse storme og kode bevægelserne, de kan ikke krydse en barriere der blev skabt af en kvæstelse på rygraden.
So where are we taking all this? What are we going to do with all this research, besides studying the properties of this dynamic universe that we have between our ears? Well the idea is to take all this knowledge and technology and try to restore one of the most severe neurological problems that we have in the world. Millions of people have lost the ability to translate these brainstorms into action, into movement. Although their brains continue to produce those storms and code for movements, they cannot cross a barrier that was created by a lesion on the spinal cord.
Så vores ide er at skabe en omledning, at bruge disse hjerne-maskine grænseflader til at læse disse signaler, større brainstorms der indeholder ønsket om at bevæge sig igen, omlede kvæstelsen ved hjælp af beregningsmæssig mikroingeniørarbejde og sende det til en ny krop, en hel krop der hedder et exoskelet, en hel robotagtig dragt der bliver den nye krop af disse patienter.
So our idea is to create a bypass, is to use these brain-machine interfaces to read these signals, larger-scale brainstorms that contain the desire to move again, bypass the lesion using computational microengineering and send it to a new body, a whole body called an exoskeleton, a whole robotic suit that will become the new body of these patients.
Og man kan se et billede der er produceret af dette konsortium. Dette er et nonprofit konsortium der hedder Walk Again Project der samler forskere fra Europa, her fra USA, og i Brasilien til at arbejde sammen og faktisk bygge denne nye krop -- en krop som vi mener, gennem de samme plastic mekanisme der tillader Aurora og andre aber til at bruge disse redskaber gennem en hjerne-maskine grænseflade og det tillader os at inkorporere de redskaber som vi producerer og bruger i vores daglige liv. Denne samme mekanisme, håber vi, vil tillade disse patienter, ikke kun igen at forestille sig de bevægelser som de vil lave og oversætte dem til bevægelser af denne nye krop, men for at denne krop kan assimilere sig som den nye krop som hjernen kontrollerer.
And you can see an image produced by this consortium. This is a nonprofit consortium called the Walk Again Project that is putting together scientists from Europe, from here in the United States, and in Brazil together to work to actually get this new body built -- a body that we believe, through the same plastic mechanisms that allow Aurora and other monkeys to use these tools through a brain-machine interface and that allows us to incorporate the tools that we produce and use in our daily life. This same mechanism, we hope, will allow these patients, not only to imagine again the movements that they want to make and translate them into movements of this new body, but for this body to be assimilated as the new body that the brain controls.
For 10 år siden fik jeg fortalt at dette aldrig ville ske, at dette var tæt på umuligt. Og jeg kan kun fortælle jer at som forsker, voksede jeg op i det sydlige Brasilien i midten af 60'erne og så et par skøre gutter der fortalte [os] at de ville tage til månen. Og jeg var fem år gammel, og jeg forstod aldrig hvorfor NASA ikke hyrede kaptajn Kirk og Spock til at klare jobbet; de var trods alt meget dygtige -- men bare at se det som barn fik mig til at tro på, som min bedstemor plejede at fortælle mig, at "det umulige er bare det mulige som nogen ikke har lagt nok anstrengelse i at gøre sandt."
So I was told about 10 years ago that this would never happen, that this was close to impossible. And I can only tell you that as a scientist, I grew up in southern Brazil in the mid-'60s watching a few crazy guys telling [us] that they would go to the Moon. And I was five years old, and I never understood why NASA didn't hire Captain Kirk and Spock to do the job; after all, they were very proficient -- but just seeing that as a kid made me believe, as my grandmother used to tell me, that "impossible is just the possible that someone has not put in enough effort to make it come true."
Så de fortalte mig at det er umuligt at få nogen til at gå. Jeg tror at jeg vil følge min bedstemors råd.
So they told me that it's impossible to make someone walk. I think I'm going to follow my grandmother's advice.
Tak.
Thank you.
(Bifald)
(Applause)