Die Neurowissenschaft, die meine Kollegen und ich praktizieren ähnelt der Meteorologie. Wir suchen ständig nach Gewittern. Wir beobachten und messen Gewitter – Geistesblitze. Wir alle sprechen in unserem Alltagsleben über Geistesblitze, aber wir sehen oder hören selten einen. Ich beginne Vorträge gerne damit, Ihnen einen davon vorzustellen.
The kind of neuroscience that I do and my colleagues do is almost like the weatherman. We are always chasing storms. We want to see and measure storms -- brainstorms, that is. And we all talk about brainstorms in our daily lives, but we rarely see or listen to one. So I always like to start these talks by actually introducing you to one of them.
Als wir erstmals mehr als ein Neuron aufgezeichnet haben – hundert Gehirnzellen gleichzeitig – konnten wir die elektrischen Entladungen von hundert Zellen bei einem Tier messen, das ist das erste Bild davon, die ersten 10 Sekunden dieser Aufnahme. Wir haben hier ein Gedankenbruchstück, das wir vor uns sehen konnten.
Actually, the first time we recorded more than one neuron -- a hundred brain cells simultaneously -- we could measure the electrical sparks of a hundred cells in the same animal, this is the first image we got, the first 10 seconds of this recording. So we got a little snippet of a thought, and we could see it in front of us.
Ich sage den Studenten, dass man Neurowissenschaftler auch Astronomen nennen könnte, denn es geht um ein System, dessen Anzahl an Zellen nur vergleichbar ist mit der Anzahl an Galaxien im Universum. Wir haben von Milliarden von Neuronen, vor 10 Jahren nur 100 aufgezeichnet. Jetzt erfassen wir 1.000. Wir hoffen, Wesentliches über die menschliche Natur zu erfahren. Vielleicht war Ihnen das bisher nicht bewusst, aber wir definieren die menschliche Natur ausschließlich über diese Stürme, die über die Hügel und Täler unseres Gehirns rollen und unsere Erinnerung, unsere Vorstellungen, unsere Gefühle, unsere Zukunftspläne. Alles was wir machen, alles was ein Mensch je getan hat, tut oder tun wird, erfordert den Einsatz von Neuronenpopulationen, um diese Gewitter zu erzeugen.
I always tell the students that we could also call neuroscientists some sort of astronomer, because we are dealing with a system that is only comparable in terms of number of cells to the number of galaxies that we have in the universe. And here we are, out of billions of neurons, just recording, 10 years ago, a hundred. We are doing a thousand now. And we hope to understand something fundamental about our human nature. Because, if you don't know yet, everything that we use to define what human nature is comes from these storms, comes from these storms that roll over the hills and valleys of our brains and define our memories, our beliefs, our feelings, our plans for the future. Everything that we ever do, everything that every human has ever done, do or will do, requires the toil of populations of neurons producing these kinds of storms.
Der Klang eines Gehirnsturms, falls Sie noch keinen gehört haben, ist ungefähr so. Man kann es noch lauter drehen. Mein Sohn nennt das "Popcorn machen, wenn das Radio rauscht". Das ist ein Gehirn. So klingen diese elektrischen Stürme über einen Lautsprecher. Sie hören die Entladung hunderter Gehirnzellen, so hört sich jedes Gehirn an. Als Neurowissenschaftler wollen wir uns diese Symphonien des Gehirns anhören, und ihre Botschaften herausfiltern.
And the sound of a brainstorm, if you've never heard one, is somewhat like this. You can put it louder if you can. My son calls this "making popcorn while listening to a badly-tuned A.M. station." This is a brain. This is what happens when you route these electrical storms to a loudspeaker and you listen to a hundred brain cells firing, your brain will sound like this -- my brain, any brain. And what we want to do as neuroscientists in this time is to actually listen to these symphonies, these brain symphonies, and try to extract from them the messages they carry.
Vor etwa 12 Jahren schufen wir ein Präparat, das wir die Schnittstelle von Gehirn und Maschine nannten. Dieses Schema beschreibt, wie es funktioniert. Die Sensoren sollen den Stürmen, dieser elektrischen Entladung, lauschen, und feststellen, ob man in der Zeit, die der Sturm braucht, um vom Gehirn zu den Beinen oder Armen eines Tieres zu gelangen – etwa eine halbe Sekunde – die Signale lesen kann, die enthaltenen motorischen Signale entnehmen, sie in digitale Befehle verwandeln und sie an ein Gerät senden kann, das die willkürliche Motorik des Gehirns in Echtzeit abbildet. Wir beobachten, wie gut wir das Signal übertragen können, im Vergleich zur körpereigenen Weise.
In particular, about 12 years ago we created a preparation that we named brain-machine interfaces. And you have a scheme here that describes how it works. The idea is, let's have some sensors that listen to these storms, this electrical firing, and see if you can, in the same time that it takes for this storm to leave the brain and reach the legs or the arms of an animal -- about half a second -- let's see if we can read these signals, extract the motor messages that are embedded in it, translate it into digital commands and send it to an artificial device that will reproduce the voluntary motor wheel of that brain in real time. And see if we can measure how well we can translate that message when we compare to the way the body does that.
Und ob wir wirklich eine Rückkopplung über sensorische Signale vom roboter-mechanischen, rechnerbasierten Auslöser, der jetzt vom Gehirn kontrolliert wird, zurück zum Gehirn, erzeugen können, und wie das Gehirn Signale verarbeitet, die von einem künstlichen Mechanismus ausgehen.
And if we can actually provide feedback, sensory signals that go back from this robotic, mechanical, computational actuator that is now under the control of the brain, back to the brain, how the brain deals with that, of receiving messages from an artificial piece of machinery.
Genau das taten wir vor 10 Jahren. Wir begannen mit dem Affen-Superstar Aurora, der auf diesem Gebiet zu einem Superstar wurde. Aurora spielte gerne Videospiele. Wie Sie hier sehen, sie benutzte, wie jeder von uns, beim Spielen gern einen Joystick. Als braver Primat, versuchte sie sogar zu mogeln, um die richtige Antwort rauszufinden. Sogar bevor ein Ziel erscheint, das sie mit dem Joystick gesteuerten Cursor anzielen soll. versucht Aurora das Ziel zu finden, egal wo es ist. Und wenn sie das macht, erhält sie, jedes Mal wenn sie das Ziel mit dem kleinen Cursor erfasst, einen Tropfen brasilianischen Orangensafts. Und jeder Affe wird alles für Sie tun, wenn er einen Tropfen dieses Orangensafts bekommt. Eigentlich würde das jeder Primat machen. Überlegen Sie sich das mal.
And that's exactly what we did 10 years ago. We started with a superstar monkey called Aurora that became one of the superstars of this field. And Aurora liked to play video games. As you can see here, she likes to use a joystick, like any one of us, any of our kids, to play this game. And as a good primate, she even tries to cheat before she gets the right answer. So even before a target appears that she's supposed to cross with the cursor that she's controlling with this joystick, Aurora is trying to find the target, no matter where it is. And if she's doing that, because every time she crosses that target with the little cursor, she gets a drop of Brazilian orange juice. And I can tell you, any monkey will do anything for you if you get a little drop of Brazilian orange juice. Actually any primate will do that. Think about that.
Während Aurora dieses Spiel spielte und tausend Versuche am Tag machte und 97% richtig machte und 350 ml Orangensaft bekam, zeichneten wir die Gehirnstürme auf, die in ihrem Kopf enstanden und sendeten sie an einen Roboterarm, der lernte die Bewegungen Auroras zu reproduzieren. Die Idee war diese Schnittstelle von Gehirn und Maschine einzuschalten und Aurora dieses Spiel allein durch Denken spielen zu lassen, ohne Eingriff ihres Körpers. Ihre Gehirnströme würden einen Arm kontrollieren, der den Cursor bewegt und das Ziel erfasst. Zu unserem Entsetzen, tat Aurora genau das. Sie spielte das Spiel, ohne ihren Körper zu bewegen.
Well, while Aurora was playing this game, as you saw, and doing a thousand trials a day and getting 97 percent correct and 350 milliliters of orange juice, we are recording the brainstorms that are produced in her head and sending them to a robotic arm that was learning to reproduce the movements that Aurora was making. Because the idea was to actually turn on this brain-machine interface and have Aurora play the game just by thinking, without interference of her body. Her brainstorms would control an arm that would move the cursor and cross the target. And to our shock, that's exactly what Aurora did. She played the game without moving her body.
Jede Bewegungslinie des Cursors, die Sie jetzt sehen, ist vom ersten Moment, wo es ihr gelang. Das ist das allererste Mal, dass ein Gehirnbefehl vom physischen Bereich eines Primatenkörpers befreit wurde und außerhalb davon agieren konnte, allein durch Steuerung eines Geräts. Und Aurora spielte weiter, fand weiter das kleine Ziel, bekam weiterhin den Orangensaft, den sie wollte.
So every trajectory that you see of the cursor now, this is the exact first moment she got that. That's the exact first moment a brain intention was liberated from the physical domains of a body of a primate and could act outside, in that outside world, just by controlling an artificial device. And Aurora kept playing the game, kept finding the little target and getting the orange juice that she wanted to get, that she craved for.
Sie tat das, weil sie damals einen neuen Arm bekommen hatte. Der Roboterarm, den Sie hier 30 Tage nach dem vorhin gezeigten Video in Bewegung sehen, ist unter der Kontrolle von Auroras Gehirn und bewegt den Cursor, um das Ziel zu erreichen. Aurora weiß, dass Sie das Spiel mit Hilfe dieses Roboterarms spielen kann, aber sie hat nicht die Fähigkeit verloren, ihren biologischen Arm zu benutzen. Sie kann ihren Rücken und jeden von uns kratzen, sie kann auch etwas anderes spielen. In jeder Hinsicht hatte Auroras Gehirn das Gerät als eine Erweiterung ihres Körpers integriert. Auroras Selbstbild, das sie im Kopf hatte, hatte sich erweitert, um einen weiteren Arm aufzunehmen.
Well, she did that because she, at that time, had acquired a new arm. The robotic arm that you see moving here 30 days later, after the first video that I showed to you, is under the control of Aurora's brain and is moving the cursor to get to the target. And Aurora now knows that she can play the game with this robotic arm, but she has not lost the ability to use her biological arms to do what she pleases. She can scratch her back, she can scratch one of us, she can play another game. By all purposes and means, Aurora's brain has incorporated that artificial device as an extension of her body. The model of the self that Aurora had in her mind has been expanded to get one more arm.
Das haben wir vor 10 Jahren gemacht. Spulen Sie bloß 10 Jahre vor. Erst letztes Jahr merkten wir, dass wir nicht mal ein roboterhaftes Gerät brauchen. Man baut einfach einen rechnerbasierten Körper, einen Affen-Avatar. Diesen kann man nutzen, damit die Affen entweder damit interagieren können oder man kann sie so trainieren, dass sie in einer künstlichen Welt die Ich-Perspektive des Avatars einnehmen und mit ihrem Gehirn die Bewegungen der Arme oder Beine des Avatars kontrollieren.
Well, we did that 10 years ago. Just fast forward 10 years. Just last year we realized that you don't even need to have a robotic device. You can just build a computational body, an avatar, a monkey avatar. And you can actually use it for our monkeys to either interact with them, or you can train them to assume in a virtual world the first-person perspective of that avatar and use her brain activity to control the movements of the avatar's arms or legs.
Grundsätzlich trainierten wir die Tiere, damit sie lernten, diese Avatare zu kontrollieren und Objekte in der virtuellen Welt zu erforschen. Diese Objekte sind optisch identisch, aber wenn der Avatar die Oberfläche dieser Objekte durchbricht, senden sie ein elektrisches Signal, angepasst an die mikrotaktilen Textur des Objekts. Dieses geht direkt an das Gehirn des Affen zurück und teilt dem Gehirn mit, was der Avatar berührt. In nur vier Wochen lernt das Gehirn diesen neuen Sinneseindruck zu verarbeiten und erzeugt eine neue Sinnesbahn – ähnlich einem neuen Sinn. Das Gehirn wird jetzt wirklich befreit, denn es kann Befehle senden, um den Avatar zu bewegen. Und die Rückmeldung vom Avatar wird direkt vom Gehirn verarbeitet, ohne die Einbindung der Haut.
And what we did basically was to train the animals to learn how to control these avatars and explore objects that appear in the virtual world. And these objects are visually identical, but when the avatar crosses the surface of these objects, they send an electrical message that is proportional to the microtactile texture of the object that goes back directly to the monkey's brain, informing the brain what it is the avatar is touching. And in just four weeks, the brain learns to process this new sensation and acquires a new sensory pathway -- like a new sense. And you truly liberate the brain now because you are allowing the brain to send motor commands to move this avatar. And the feedback that comes from the avatar is being processed directly by the brain without the interference of the skin.
Hier sieht man den Aufbau dieser Aufgabe. Sie sehen, wie ein Tier diese drei Ziele berührt. Und er muss eins auswählen, denn nur eins führt zur Belohnung, den Orangensaft, den sie haben wollen. Und er muss es mit einem nicht existierenden, virtuellen Arm auswählen. Und genau das machen sie.
So what you see here is this is the design of the task. You're going to see an animal basically touching these three targets. And he has to select one because only one carries the reward, the orange juice that they want to get. And he has to select it by touch using a virtual arm, an arm that doesn't exist. And that's exactly what they do.
Das ist eine völlige Befreiung des Gehirns von physischen Beschränkungen des Körpers und der Motorik in einer Wahrnehmungsaufgabe. Das Tier kontrolliert den Avatar, um die Ziele zu berühren. Und es fühlt die Textur durch elektrische Signale, die er direkt im Gehirn empfängt. Das Gehirn bestimmt dann, welche Textur mit der Belohnung verknüpft ist. Die Beschriftungen, die Sie im Film sehen, sieht der Affe nicht. Und außerdem lesen sie sowieso kein Englisch, sind also nur für Sie, damit Sie wissen, dass das Ziel die Position wechselt. Sie finden sie durch taktile Unterscheidung und sie können sie drücken und auswählen.
This is a complete liberation of the brain from the physical constraints of the body and the motor in a perceptual task. The animal is controlling the avatar to touch the targets. And he's sensing the texture by receiving an electrical message directly in the brain. And the brain is deciding what is the texture associated with the reward. The legends that you see in the movie don't appear for the monkey. And by the way, they don't read English anyway, so they are here just for you to know that the correct target is shifting position. And yet, they can find them by tactile discrimination, and they can press it and select it.
Wenn wir nun die Gehirne dieser Tiere betrachten, sieht man auf der obersten Tafel die Ausrichtung von 125 Zellen, was zeigt, was mit der Gehirnaktivität passiert, den elektrischen Stürmen, dieser Auswahl von Neuronen im Gehirn, wenn das Tier einen Joystick benutzt. Das ist ein Bild, das jeder Neurophysiologe kennt. Die Grundausrichtung zeigt, dass diese Zellen für alle möglichen Richtungen kodiert sind. Das untere Bild zeigt, was passiert, wenn der Körper sich nicht mehr bewegt und das Tier beginnt, eine roboterhaftes Gerät oder einen Computer-Avatar zu kontrollieren. So schnell wie wir unsere Computer neu einstellen können, verlagert sich die Gehirnaktivität um dieses neue Werkzeug abzubilden, als wenn es ein Körperteil des Primaten wäre. Das Gehirn erfasst das schneller als wir messen können.
So when we look at the brains of these animals, on the top panel you see the alignment of 125 cells showing what happens with the brain activity, the electrical storms, of this sample of neurons in the brain when the animal is using a joystick. And that's a picture that every neurophysiologist knows. The basic alignment shows that these cells are coding for all possible directions. The bottom picture is what happens when the body stops moving and the animal starts controlling either a robotic device or a computational avatar. As fast as we can reset our computers, the brain activity shifts to start representing this new tool, as if this too was a part of that primate's body. The brain is assimilating that too, as fast as we can measure.
Das deutet darauf hin, dass unser Selbstbild nicht bei der Haut unseres Körpers aufhört, sondern beim letzten Elektron der Werkzeuge, die wir mit unseren Gehirnen steuern. Unsere Violinen, Autos, Fahrräder, Fußbälle, Kleidung — sie alle werden in das unersättliche, dynamische System namens Gehirn integriert.
So that suggests to us that our sense of self does not end at the last layer of the epithelium of our bodies, but it ends at the last layer of electrons of the tools that we're commanding with our brains. Our violins, our cars, our bicycles, our soccer balls, our clothing -- they all become assimilated by this voracious, amazing, dynamic system called the brain.
Wie weit können wir das treiben? In einem Experiment, das wir vor einigen Jahren machten, gingen wir ans Limit. Wir hatten ein Tier, das in einer Tretmühle lief — an der Duke Universität an der Ostküste der USA — und das die notwendigen Gehirnstürme für die Bewegung produzierte. Und es gab einen humanoiden Roboter, in Kyoto, Japan, in den ATR-Laboratorien, der sein ganzes Leben davon geträumt hatte, von einem Gehirn, einem menschlichen oder einem Primatengehirn, kontrolliert zu werden.
How far can we take it? Well, in an experiment that we ran a few years ago, we took this to the limit. We had an animal running on a treadmill at Duke University on the East Coast of the United States, producing the brainstorms necessary to move. And we had a robotic device, a humanoid robot, in Kyoto, Japan at ATR Laboratories that was dreaming its entire life to be controlled by a brain, a human brain, or a primate brain.
Die Gehirnaktivität, die die Bewegung im Affen erzeugte, wurde nach Japan gesendet und ließ den Roboter laufen, während eine Videoaufzeichnung dieser Bewegung wieder an Duke gesendet wurde, damit der Affe vor sich sah, wie sich die Beine des Roboters bewegten. So wurde sie nicht für etwas belohnt, was ihr Körper machte, sondern für jeden richtigen Schritt des Roboters auf der anderen Seite der Erde, den sie mit ihrer Gehirnaktivität kontrollierte.
What happens here is that the brain activity that generated the movements in the monkey was transmitted to Japan and made this robot walk while footage of this walking was sent back to Duke, so that the monkey could see the legs of this robot walking in front of her. So she could be rewarded, not by what her body was doing but for every correct step of the robot on the other side of the planet controlled by her brain activity.
Witzigerweise brauchte die Reise um den Globus 20 Millisekunden weniger, als der Geistesblitz braucht, um den Kopf des Affen zu verlassen und seinen eigenen Muskel zu erreichen. Der Affe bewegte einen Roboter, auf der anderen Seite des Planeten, der sechsmal größer war. In diesem Experiment konnte der Roboter selbständig laufen. Hier lebt CB1 gerade seinen Traum in Japan, kontrolliert von der Gehirnaktivität eines Primaten.
Funny thing, that round trip around the globe took 20 milliseconds less than it takes for that brainstorm to leave its head, the head of the monkey, and reach its own muscle. The monkey was moving a robot that was six times bigger, across the planet. This is one of the experiments in which that robot was able to walk autonomously. This is CB1 fulfilling its dream in Japan under the control of the brain activity of a primate.
Wie weit treiben wir das alles? Was machen wir mit der ganzen Forschung, außer das dynamische Universum zwischen unseren Ohren zu studieren? Wir wollen mit diesem Wissen und dieser Technologie eines der schwersten neurologischen Probleme der Welt auflösen. Millionen von Menschen haben die Fähigkeit verloren, diese Hirnströme in Bewegung umzusetzen. Obwohl die Gehirne weiterhin diese Stürme und Bewegungscodes erzeugen, gelangen sie nicht über die Barriere, die durch eine Verletzung des Rückenmarks entstanden ist.
So where are we taking all this? What are we going to do with all this research, besides studying the properties of this dynamic universe that we have between our ears? Well the idea is to take all this knowledge and technology and try to restore one of the most severe neurological problems that we have in the world. Millions of people have lost the ability to translate these brainstorms into action, into movement. Although their brains continue to produce those storms and code for movements, they cannot cross a barrier that was created by a lesion on the spinal cord.
Wir wollen einen Bypass schaffen, um mit der Schnittstelle von Gehirn und Maschine diese Signale zu lesen, größere Hirnstürme, die das Verlangen nach Bewegung in sich tragen, umgehen die Verletzung unter Nutzung von Mikrotechnologie und senden es an einen komplett neuen Korpus namens Ektoskelett, ein Roboteranzug, der zum neuen Körper dieser Patienten wird.
So our idea is to create a bypass, is to use these brain-machine interfaces to read these signals, larger-scale brainstorms that contain the desire to move again, bypass the lesion using computational microengineering and send it to a new body, a whole body called an exoskeleton, a whole robotic suit that will become the new body of these patients.
Sie sehen hier ein Bild, das von dieser Gruppe produziert wurde. Diese gemeinnützige Organisation nennt sich "Walk Again Project". Sie führt Wissenschaftler zusammen, aus Europa, den Vereinigten Staaten und Brasilien, um diesen neuen Körper zu bauen – ein Körper, der es uns ermöglicht, durch dieselben plastischen Mechanismen, die Aurora und die anderen Affen ermächtigte, dieses Instrument über diese Schnittstelle zu nutzen, die Hilfsmittel zu integrieren, die wir im Alltag produzieren und verwenden. Wir hoffen, dass genau dieser Mechanismus diesen Patienten dazu befähigt, sich die Bewegungen, die sie machen wollen, nicht nur vorzustellen und in Bewegungen des neuen Körpers zu übertragen, sondern dass dies als neuer, vom Gehirn gesteuerter, Körper einverleibt wird.
And you can see an image produced by this consortium. This is a nonprofit consortium called the Walk Again Project that is putting together scientists from Europe, from here in the United States, and in Brazil together to work to actually get this new body built -- a body that we believe, through the same plastic mechanisms that allow Aurora and other monkeys to use these tools through a brain-machine interface and that allows us to incorporate the tools that we produce and use in our daily life. This same mechanism, we hope, will allow these patients, not only to imagine again the movements that they want to make and translate them into movements of this new body, but for this body to be assimilated as the new body that the brain controls.
Vor 10 Jahren wurde mir gesagt, dass es so gut wie unmöglich wäre. Und ich kann Ihnen das nur als Wissenschaftler sagen, der in den '60ern im Süden Brasiliens aufwuchs, und ein paar Verrückte sah, die sagten, dass sie zum Mond gehen würden. Ich war fünf Jahre alt und ich habe nie verstanden, warum die NASA nicht Captain Kirk und Spock für den Job angeheuerte hat; schließlich waren sie sehr erfahren – aber das als Kind zu sehen, ließ mich, wie meine Großmutter mir oft sagte, glauben, dass "das Unmögliche nur das Mögliche ist, um dessen Verwirklichung sich noch niemand genügend bemüht hat."
So I was told about 10 years ago that this would never happen, that this was close to impossible. And I can only tell you that as a scientist, I grew up in southern Brazil in the mid-'60s watching a few crazy guys telling [us] that they would go to the Moon. And I was five years old, and I never understood why NASA didn't hire Captain Kirk and Spock to do the job; after all, they were very proficient -- but just seeing that as a kid made me believe, as my grandmother used to tell me, that "impossible is just the possible that someone has not put in enough effort to make it come true."
Sie sagten mir, es wäre unmöglich jemanden zum Laufen zu bringen. Ich werde wohl den Rat meiner Großmutter befolgen.
So they told me that it's impossible to make someone walk. I think I'm going to follow my grandmother's advice.
Danke.
Thank you.
(Applaus)
(Applause)