The kind of neuroscience that I do and my colleagues do is almost like the weatherman. We are always chasing storms. We want to see and measure storms -- brainstorms, that is. And we all talk about brainstorms in our daily lives, but we rarely see or listen to one. So I always like to start these talks by actually introducing you to one of them.
Het soort neurowetenschap dat ik en mijn collega's bedrijven, lijkt veel op het werk van een weersvoorspeller. We zijn altijd op zoek naar stormen. We willen stormen zien en meten - dat wil zeggen, breinstormen. En we hebben het allemaal wel eens over breinstormen in het dagelijkse leven, maar we zien of horen ze maar zelden. Ik begin deze talks altijd graag door jullie er kennis mee te laten maken.
Actually, the first time we recorded more than one neuron -- a hundred brain cells simultaneously -- we could measure the electrical sparks of a hundred cells in the same animal, this is the first image we got, the first 10 seconds of this recording. So we got a little snippet of a thought, and we could see it in front of us.
Toen we voor het eerst meer dan een neuron opnamen - honderd hersencellen tegelijkertijd - toen we de elektrische signalen konden meten van honderd cellen in één dier kregen we dit beeld: de eerste tien seconden van deze opname. We hadden dus een klein stukje van een gedachte en we konden het met eigen ogen zien.
I always tell the students that we could also call neuroscientists some sort of astronomer, because we are dealing with a system that is only comparable in terms of number of cells to the number of galaxies that we have in the universe. And here we are, out of billions of neurons, just recording, 10 years ago, a hundred. We are doing a thousand now. And we hope to understand something fundamental about our human nature. Because, if you don't know yet, everything that we use to define what human nature is comes from these storms, comes from these storms that roll over the hills and valleys of our brains and define our memories, our beliefs, our feelings, our plans for the future. Everything that we ever do, everything that every human has ever done, do or will do, requires the toil of populations of neurons producing these kinds of storms.
Ik vertel de studenten altijd dat we de neurowetenschapper ook een soort astronoom kunnen noemen omdat het gaat om een systeem dat qua hoeveelheid cellen alleen vergelijkbaar is met het aantal sterrenstelsels in het universum. Uit die miljarden neuronen registreerden we er tien jaar geleden 100. Uit die miljarden neuronen registreerden we er tien jaar geleden 100. Nu zijn het er duizend. We hopen iets fundamenteels te begrijpen over onze menselijke aard, want alles wat we gebruiken om die aard te bepalen, komt uit de stormen want alles wat we gebruiken om die aard te bepalen, komt uit de stormen die over de heuvels en dalen van ons brein razen en onze herinneringen bepalen, onze opvattingen, onze gevoelens, onze toekomstplannen. Alles dat we ooit doen, alles wat elke mens ooit heeft gedaan, doet of zal doen, vereist de inspanning van grote aantallen neuronen die dit soort stormen produceren.
And the sound of a brainstorm, if you've never heard one, is somewhat like this. You can put it louder if you can. My son calls this "making popcorn while listening to a badly-tuned A.M. station." This is a brain. This is what happens when you route these electrical storms to a loudspeaker and you listen to a hundred brain cells firing, your brain will sound like this -- my brain, any brain. And what we want to do as neuroscientists in this time is to actually listen to these symphonies, these brain symphonies, and try to extract from them the messages they carry.
Het geluid van een breinstorm, mocht je er nog nooit één hebben gehoord, klinkt ongeveer zo. Het mag harder. Mijn zoon noemt dit "popcorn maken terwijl je luistert naar een slecht afgestemde AM-radiozender." Dit is een brein. Dit gebeurt er wanneer je de elektrische stormen door een luidspreker leidt en je luistert naar honderd hersencellen die pulsen afgeven, dan zal je brein zo klinken - mijn brein, ieder brein. Wat wij als neurowetenschappers willen doen, is luisteren naar deze symfonieën, deze hersensymfonieën, en proberen de signalen die ze bevatten eruit te halen.
In particular, about 12 years ago we created a preparation that we named brain-machine interfaces. And you have a scheme here that describes how it works. The idea is, let's have some sensors that listen to these storms, this electrical firing, and see if you can, in the same time that it takes for this storm to leave the brain and reach the legs or the arms of an animal -- about half a second -- let's see if we can read these signals, extract the motor messages that are embedded in it, translate it into digital commands and send it to an artificial device that will reproduce the voluntary motor wheel of that brain in real time. And see if we can measure how well we can translate that message when we compare to the way the body does that.
Zo creëerden we ongeveer twaalf jaar geleden een opstelling die we de brein-machine-interface noemden. Hier is een schema dat beschrijft hoe het werkt. We laten hier een aantal sensoren luisteren naar de elektrische pulsen van de stormen. We kijken of we, in de tijd die nodig is voor deze storm om het brein te verlaten en de armen of benen van een dier te bereiken - ongeveer een halve seconde - deze signalen kunnen uitlezen, de motorische signalen eruit kunnen halen, ze kunnen omzetten in digitale opdrachten en ze naar een apparaat kunnen sturen dat de motorische aansturing van dat brein in real time reproduceert. We gaan na of we kunnen meten hoe goed we deze signalen kunnen vertalen, vergeleken met hoe het lichaam dat doet.
And if we can actually provide feedback, sensory signals that go back from this robotic, mechanical, computational actuator that is now under the control of the brain, back to the brain, how the brain deals with that, of receiving messages from an artificial piece of machinery.
En of we feedback kunnen geven, zintuiglijke signalen die terugkomen van deze robotische, mechanische, computationele actuator die nu wordt bestuurd door het brein, terug naar het brein. We willen weten hoe het brein omgaat met het ontvangen van signalen van een machine. We willen weten hoe het brein omgaat met het ontvangen van signalen van een machine.
And that's exactly what we did 10 years ago. We started with a superstar monkey called Aurora that became one of the superstars of this field. And Aurora liked to play video games. As you can see here, she likes to use a joystick, like any one of us, any of our kids, to play this game. And as a good primate, she even tries to cheat before she gets the right answer. So even before a target appears that she's supposed to cross with the cursor that she's controlling with this joystick, Aurora is trying to find the target, no matter where it is. And if she's doing that, because every time she crosses that target with the little cursor, she gets a drop of Brazilian orange juice. And I can tell you, any monkey will do anything for you if you get a little drop of Brazilian orange juice. Actually any primate will do that. Think about that.
Dat is precies wat we tien jaar geleden hebben gedaan. We begonnen met de 'superaap' Aurora die een superster werd op dit gebied. Aurora speelde graag computerspellen. Ze speelt met een joystick zoals ieder ander kind. Ze speelt met een joystick zoals ieder ander kind. Zoals elke primaat probeert ze zelfs vals te spelen voor ze het goede antwoord geeft. Nog voor het doel verschijnt, probeert ze al te voorspellen waar het gaat opduiken. Ze doet het omdat ze bij elke treffer Ze doet het omdat ze bij elke treffer een druppel Braziliaans sinaasappelsap krijgt. Van een aap krijg je alles gedaan voor een druppeltje Braziliaans sinaasappelsap. Eigenlijk doet elke primaat dat. Goed om weten.
Well, while Aurora was playing this game, as you saw, and doing a thousand trials a day and getting 97 percent correct and 350 milliliters of orange juice, we are recording the brainstorms that are produced in her head and sending them to a robotic arm that was learning to reproduce the movements that Aurora was making. Because the idea was to actually turn on this brain-machine interface and have Aurora play the game just by thinking, without interference of her body. Her brainstorms would control an arm that would move the cursor and cross the target. And to our shock, that's exactly what Aurora did. She played the game without moving her body.
Terwijl Aurora hiermee bezig was en in duizend rondes per dag met 97 % treffers 350 ml sinaasappelsap verdiende, registreerden wij de breinstormen in haar hoofd en stuurden ze naar een robotarm die de bewegingen van Aurora leerde reproduceren. De bedoeling was om met deze brein-machine-interface Aurora het spel te laten spelen met alleen haar gedachten, zonder tussenkomst van haar lichaam. Haar breinstormen moesten een arm besturen die de cursor beweegt en het doel raakt. Tot onze verbazing is dat precies wat Aurora deed. Ze speelde het spel zonder haar lichaam te bewegen.
So every trajectory that you see of the cursor now, this is the exact first moment she got that. That's the exact first moment a brain intention was liberated from the physical domains of a body of a primate and could act outside, in that outside world, just by controlling an artificial device. And Aurora kept playing the game, kept finding the little target and getting the orange juice that she wanted to get, that she craved for.
Elke beweging die de cursor nu maakt - dit is precies de eerste keer dat ze het doorhad. Dit is precies het eerste moment dat een breinintentie werd losgemaakt van het lichaam van een primaat. Hij kon nu die buitenwereld beïnvloeden, simpelweg door het besturen van een kunstmatig apparaat. Aurora speelde nog altijd het spel, vond nog altijd het doel en kreeg nog altijd het zo verlangde sinaasappelsap.
Well, she did that because she, at that time, had acquired a new arm. The robotic arm that you see moving here 30 days later, after the first video that I showed to you, is under the control of Aurora's brain and is moving the cursor to get to the target. And Aurora now knows that she can play the game with this robotic arm, but she has not lost the ability to use her biological arms to do what she pleases. She can scratch her back, she can scratch one of us, she can play another game. By all purposes and means, Aurora's brain has incorporated that artificial device as an extension of her body. The model of the self that Aurora had in her mind has been expanded to get one more arm.
Het was alsof ze er een arm bij had. De robotarm die je hier ziet bewegen, dertig dagen na de eerste video wordt bestuurd door Aurora's brein en beweegt de cursor om bij het doel te komen. Aurora weet nu dat ze het spel kan spelen met deze robotarm maar ze behoudt het vermogen om haar natuurlijke armen te gebruiken. Ze kan haar rug krabben, één van ons krabben of een ander spel spelen. In de praktijk betekent dit dat Aurora's brein dat kunstmatige apparaat heeft opgenomen In de praktijk betekent dit dat Aurora's brein dat kunstmatige apparaat heeft opgenomen als een verlengstuk van haar lichaam. Het model van zichzelf dat Aurora in haar geest had, is uitgebreid met een extra arm.
Well, we did that 10 years ago. Just fast forward 10 years. Just last year we realized that you don't even need to have a robotic device. You can just build a computational body, an avatar, a monkey avatar. And you can actually use it for our monkeys to either interact with them, or you can train them to assume in a virtual world the first-person perspective of that avatar and use her brain activity to control the movements of the avatar's arms or legs.
Dat deden we tien jaar geleden. Nu spoelen we tien jaar vooruit. Vorig jaar ontdekten we dat je niet eens een robotachtig apparaat nodig hebt. Je kunt gewoon een digitaal lichaam bouwen, een avatar van een aap. Je kunt deze avatar ofwel gebruiken voor interactie met onze apen of je kunt ze trainen om in een virtuele wereld het eerstepersoons-perspectief van deze avatar aan te nemen en haar hersenactiviteit gebruiken om de armen of benen van de avatar te besturen.
And what we did basically was to train the animals to learn how to control these avatars and explore objects that appear in the virtual world. And these objects are visually identical, but when the avatar crosses the surface of these objects, they send an electrical message that is proportional to the microtactile texture of the object that goes back directly to the monkey's brain, informing the brain what it is the avatar is touching. And in just four weeks, the brain learns to process this new sensation and acquires a new sensory pathway -- like a new sense. And you truly liberate the brain now because you are allowing the brain to send motor commands to move this avatar. And the feedback that comes from the avatar is being processed directly by the brain without the interference of the skin.
In feite trainden we de dieren om de avatars te leren besturen en objecten te verkennen die verschijnen in de virtuele wereld. Deze objecten zijn uiterlijk identiek, maar wanneer de avatar het oppervlak van deze objecten aanraakt, stuurt het een elektrisch signaal dat evenredig is met de voelbare textuur van het object. Dat gaat direct terug naar het brein van de aap en informeert het brein wat de avatar aanraakt. In slechts vier weken leert het brein deze nieuwe ervaring verwerken en verkrijgt het een nieuwe zintuiglijke baan - een soort nieuw zintuig. Dit bevrijdt het brein echt want nu kan het brein motorische opdrachten naar deze avatar sturen. De feedback van de avatar wordt direct verwerkt door het brein zonder tussenkomst van de huid.
So what you see here is this is the design of the task. You're going to see an animal basically touching these three targets. And he has to select one because only one carries the reward, the orange juice that they want to get. And he has to select it by touch using a virtual arm, an arm that doesn't exist. And that's exactly what they do.
Hier zie je het ontwerp van de taak. Je zult een dier de drie doelen zien aanraken. Het moet er één kiezen omdat slechts één doel het verlangde sinaasappelsap oplevert. Het dier moet het doel aanraken met een virtuele arm. Dat is precies wat ze doen.
This is a complete liberation of the brain from the physical constraints of the body and the motor in a perceptual task. The animal is controlling the avatar to touch the targets. And he's sensing the texture by receiving an electrical message directly in the brain. And the brain is deciding what is the texture associated with the reward. The legends that you see in the movie don't appear for the monkey. And by the way, they don't read English anyway, so they are here just for you to know that the correct target is shifting position. And yet, they can find them by tactile discrimination, and they can press it and select it.
Het brein wordt volledig bevrijd van de fysieke beperkingen van het lichaam en de motoriek in een perceptuele taak. Het dier bestuurt de avatar om de doelen aan te raken. Het voelt de textuur door direct in het brein een elektrisch signaal te ontvangen. Het brein beoordeelt wat de textuur is die geassocieerd wordt met de beloning. De beschrijvingen die je ziet in de opname verschijnen niet voor de aap. Ze kunnen trouwens ook geen Engels lezen. Ze zijn er alleen zodat je weet dat het juiste doel van positie verandert. Toch kunnen ze de doelen vinden door het verschil in textuur te voelen, en kunnen ze erop duwen en selecteren.
So when we look at the brains of these animals, on the top panel you see the alignment of 125 cells showing what happens with the brain activity, the electrical storms, of this sample of neurons in the brain when the animal is using a joystick. And that's a picture that every neurophysiologist knows. The basic alignment shows that these cells are coding for all possible directions. The bottom picture is what happens when the body stops moving and the animal starts controlling either a robotic device or a computational avatar. As fast as we can reset our computers, the brain activity shifts to start representing this new tool, as if this too was a part of that primate's body. The brain is assimilating that too, as fast as we can measure.
Als we kijken naar het brein van deze dieren zie je in het bovenste diagram de opstelling van 125 cellen. Ze laten zien wat er gebeurt met de hersenactiviteit, de elektrische stormen, van deze verzameling neuronen in het brein wanneer het dier een joystick gebruikt. Dit is een afbeelding die iedere neurofysioloog kent. De basisopstelling laat zien dat deze cellen coderen voor alle mogelijke richtingen. Het onderste diagram toont wat er gebeurt als het lichaam ophoudt met bewegen en het dier een robot of een digitale avatar gaat besturen. Zo snel als we onze computers kunnen herstarten, verschuift de hersenactiviteit naar het voorstellen van dit nieuwe instrument alsof het ook een onderdeel van het lichaam van die primaat is. Het brein assimileert het ook zo snel als we kunnen meten.
So that suggests to us that our sense of self does not end at the last layer of the epithelium of our bodies, but it ends at the last layer of electrons of the tools that we're commanding with our brains. Our violins, our cars, our bicycles, our soccer balls, our clothing -- they all become assimilated by this voracious, amazing, dynamic system called the brain.
Dat doet ons vermoeden dat ons zelfbewustzijn niet stopt bij de laatste huidlaag van het lichaam, maar bij de laatste laag elektronen van de instrumenten die we met ons brein besturen. Violen, auto's, fietsen, voetballen, kledij - worden allemaal opgenomen door dit gulzige, wonderbaarlijke, dynamische systeem: ons brein.
How far can we take it? Well, in an experiment that we ran a few years ago, we took this to the limit. We had an animal running on a treadmill at Duke University on the East Coast of the United States, producing the brainstorms necessary to move. And we had a robotic device, a humanoid robot, in Kyoto, Japan at ATR Laboratories that was dreaming its entire life to be controlled by a brain, a human brain, or a primate brain.
Hoe ver kunnen we hiermee gaan? We zochten de grens op in een experiment dat we een paar jaar geleden deden. We lieten een dier rennen op een lopende band bij Duke University aan de oostkust van de VS om de breinstormen te maken die nodig zijn om te bewegen. We hadden een mensachtige robot in Kyoto, Japan, bij ATR Laboratories die zijn hele leven ervan droomde door een brein bestuurd te worden, een brein van mens of primaat.
What happens here is that the brain activity that generated the movements in the monkey was transmitted to Japan and made this robot walk while footage of this walking was sent back to Duke, so that the monkey could see the legs of this robot walking in front of her. So she could be rewarded, not by what her body was doing but for every correct step of the robot on the other side of the planet controlled by her brain activity.
We stuurden de hersenactiviteit die de aap deed bewegen naar Japan en lieten deze robot lopen terwijl videobeelden hiervan werden teruggestuurd naar Duke zodat de aap de benen van deze robot voor zich zag lopen. Ze werd beloond, niet voor wat haar lichaam deed, maar voor elke correcte stap die de robot aan de andere kant van de wereld maakte dankzij de besturing door haar hersenactiviteit.
Funny thing, that round trip around the globe took 20 milliseconds less than it takes for that brainstorm to leave its head, the head of the monkey, and reach its own muscle. The monkey was moving a robot that was six times bigger, across the planet. This is one of the experiments in which that robot was able to walk autonomously. This is CB1 fulfilling its dream in Japan under the control of the brain activity of a primate.
Grappig dat die reis rond de aarde 20 milliseconden minder lang duurde dan de breinstorm nodig heeft om het hoofd van de aap te verlaten en aan te komen bij zijn eigen spier. De aap bewoog een robot aan de andere kant van de planeet die zes keer groter was dan hijzelf. Dit is een van de experimenten waarin die robot zelfstandig kon lopen. Dit is CB1 terwijl zijn droom werkelijkheid wordt in Japan en hij bestuurd wordt door de hersenactiviteit van een primaat.
So where are we taking all this? What are we going to do with all this research, besides studying the properties of this dynamic universe that we have between our ears? Well the idea is to take all this knowledge and technology and try to restore one of the most severe neurological problems that we have in the world. Millions of people have lost the ability to translate these brainstorms into action, into movement. Although their brains continue to produce those storms and code for movements, they cannot cross a barrier that was created by a lesion on the spinal cord.
Waar gaat dit allemaal naartoe? Wat gaan we doen met al dit onderzoek, afgezien van het bestuderen van dat dynamische universum tussen onze oren? Het idee is om al deze kennis en technologie te gebruiken om een van de ernstigste neurologische problemen die we kennen, op te lossen. Miljoenen mensen kunnen deze breinstormen niet meer omzetten in bewegingen. Miljoenen mensen kunnen deze breinstormen niet meer omzetten in bewegingen. Hoewel hun brein deze stormen nog steeds aanmaakt kunnen ze niet langs de barrière die ontstaan is door een dwarslaesie.
So our idea is to create a bypass, is to use these brain-machine interfaces to read these signals, larger-scale brainstorms that contain the desire to move again, bypass the lesion using computational microengineering and send it to a new body, a whole body called an exoskeleton, a whole robotic suit that will become the new body of these patients.
Ons idee is om de dwarslaesie te omzeilen, om deze brein-machine-interface te gebruiken om de signalen te lezen, grotere breinstormen die het verlangen naar beweging bevatten, om de dwarslaesie te omzeilen met computationele microtechniek en het naar een nieuw lichaam te sturen, een compleet lichaam, een exoskelet, een 'robotpak' dat het nieuwe lichaam van deze patiënten wordt.
And you can see an image produced by this consortium. This is a nonprofit consortium called the Walk Again Project that is putting together scientists from Europe, from here in the United States, and in Brazil together to work to actually get this new body built -- a body that we believe, through the same plastic mechanisms that allow Aurora and other monkeys to use these tools through a brain-machine interface and that allows us to incorporate the tools that we produce and use in our daily life. This same mechanism, we hope, will allow these patients, not only to imagine again the movements that they want to make and translate them into movements of this new body, but for this body to be assimilated as the new body that the brain controls.
Hier is een afbeelding gemaakt door dit consortium. Het is een non-profit consortium, het Walk Again Project genaamd dat wetenschappers samenbrengt uit Europa, de VS en Brazilië dat wetenschappers samenbrengt uit Europa, de VS en Brazilië om te werken aan het bouwen van dit nieuwe lichaam - een lichaam dat werkt via dezelfde plastische mechanismen die Aurora en andere apen deze instrumenten laten gebruiken via een brein-machine-interface en er de instrumenten nodig voor ons dagelijks leven in op te nemen. Hopelijk kunnen deze patiënten dankzij dit mechanisme zich niet alleen de bewegingen inbeelden die ze willen maken en deze vertalen in bewegingen van dit nieuwe lichaam, maar ook dit lichaam opnemen als het nieuwe lichaam dat het brein bestuurt.
So I was told about 10 years ago that this would never happen, that this was close to impossible. And I can only tell you that as a scientist, I grew up in southern Brazil in the mid-'60s watching a few crazy guys telling [us] that they would go to the Moon. And I was five years old, and I never understood why NASA didn't hire Captain Kirk and Spock to do the job; after all, they were very proficient -- but just seeing that as a kid made me believe, as my grandmother used to tell me, that "impossible is just the possible that someone has not put in enough effort to make it come true."
Zo'n tien jaar geleden werd me verteld dat dit nooit zou gebeuren, dat het bijna onmogelijk was. Als wetenschapper denk ik vaak terug aan het Brazilië van mijn jeugd, rond 1965, toen een paar maffe kerels ons vertelden dat ze naar de maan zouden gaan. Ik was vijf en begreep niet waarom ze bij NASA Captain Kirk en Spock niet inhuurden - Ik was vijf en begreep niet waarom ze bij NASA Captain Kirk en Spock niet inhuurden - die waren er toch heel goed in - maar toen ik dat zag als kind geloofde ik, zoals mijn oma vaak zei: "Het onmogelijke is gewoon het mogelijke waarvoor niemand nog genoeg moeite heeft gedaan om het voor elkaar te krijgen."
So they told me that it's impossible to make someone walk. I think I'm going to follow my grandmother's advice.
Ze vertelden me dat het onmogelijk is om iemand weer te laten lopen. Ik denk dat ik het advies van mijn oma ga opvolgen.
Thank you.
Dank je wel.
(Applause)
(Applaus)