The kind of neuroscience that I do and my colleagues do is almost like the weatherman. We are always chasing storms. We want to see and measure storms -- brainstorms, that is. And we all talk about brainstorms in our daily lives, but we rarely see or listen to one. So I always like to start these talks by actually introducing you to one of them.
Le genre de neurosciences à laquelle mes collègues et moi nous nous consacrons, est presque comme le présentateur de la météo. On est à la recherche d'orages en permanence. On veut voir et mesurer des orages -- c'est-à-dire des orages de cerveau -- ou <i>brainstorm<i>. Et on parle tous de <i>brainstorming <i> au quotidien, mais on en voit ou en écoute rarement un. Alors j'aime bien commencer ces discours en en présentant un.
Actually, the first time we recorded more than one neuron -- a hundred brain cells simultaneously -- we could measure the electrical sparks of a hundred cells in the same animal, this is the first image we got, the first 10 seconds of this recording. So we got a little snippet of a thought, and we could see it in front of us.
En fait, la première fois qu'on a enregistré plus d'un neurone -- une centaine de cellules cérébrales en même temps -- on a pu mesurer les étincelles électriques d'une centaine de cellules dans le même animal, voici la première image qu'on a obtenue, les 10 premières secondes de cet enregistrement. Donc on a obtenu un petit fragment de pensée, qu'on pouvait voir devant nos yeux.
I always tell the students that we could also call neuroscientists some sort of astronomer, because we are dealing with a system that is only comparable in terms of number of cells to the number of galaxies that we have in the universe. And here we are, out of billions of neurons, just recording, 10 years ago, a hundred. We are doing a thousand now. And we hope to understand something fundamental about our human nature. Because, if you don't know yet, everything that we use to define what human nature is comes from these storms, comes from these storms that roll over the hills and valleys of our brains and define our memories, our beliefs, our feelings, our plans for the future. Everything that we ever do, everything that every human has ever done, do or will do, requires the toil of populations of neurons producing these kinds of storms.
Je dis tout le temps aux étudiants qu'on pourrait aussi appeler les neuro-scientifiques des astronomes d'une certaine sorte, parce qu'on a affaire à un système qui est uniquement comparable en termes de nombre de cellules au nombre de galaxies dans l'univers. Et nous y voilà, enregistrant il y a 10 ans une centaine de neurones sur les milliards qui existent. Maintenant, on en enregistre un millier. Et on espère comprendre quelque chose de fondamental sur notre nature humaine. Parce que, au cas où vous ne le sauriez pas déjà, tout ce qu'on utilise pour définir ce qu'est la nature humaine vient de ces orages, de ces orages qui éclatent sur les collines et les vallées de nos cerveaux et définissent nos souvenirs, nos croyances, nos sentiments, nos plans pour le futur. Tout ce qu'on a fait jusqu'ici, tout ce que chaque être humain a fait, fait ou fera, nécessite le dur labeur de populations entières de neurones qui produisent ce genre d'orages.
And the sound of a brainstorm, if you've never heard one, is somewhat like this. You can put it louder if you can. My son calls this "making popcorn while listening to a badly-tuned A.M. station." This is a brain. This is what happens when you route these electrical storms to a loudspeaker and you listen to a hundred brain cells firing, your brain will sound like this -- my brain, any brain. And what we want to do as neuroscientists in this time is to actually listen to these symphonies, these brain symphonies, and try to extract from them the messages they carry.
Et le son d'un orage de cerveau, au cas où vous n'en avez jamais entendu un, ça ressemble à ça. On peut monter le son si vous voulez. Mon fils appelle ça "faire du popcorn en écoutant une station de radio grandes ondes mal réglée." Ceci est un cerveau. Voici ce qui arrive quand on branche ces orages électriques à des enceintes et qu'on écoute une centaine de cellules du cerveau s'activer, votre cerveau va faire ce genre de bruit -- mon cerveau, n'importe quel cerveau. Et nous, neuroscientifiques, ce qu'on veut faire à cet instant, c'est écouter ces symphonies, ces symphonies de cerveau, et essayer d'en extraire les messages qu'elles contiennent.
In particular, about 12 years ago we created a preparation that we named brain-machine interfaces. And you have a scheme here that describes how it works. The idea is, let's have some sensors that listen to these storms, this electrical firing, and see if you can, in the same time that it takes for this storm to leave the brain and reach the legs or the arms of an animal -- about half a second -- let's see if we can read these signals, extract the motor messages that are embedded in it, translate it into digital commands and send it to an artificial device that will reproduce the voluntary motor wheel of that brain in real time. And see if we can measure how well we can translate that message when we compare to the way the body does that.
En particulier, il y a environ 12 ans, nous avons créé une préparation que nous avons appelée interfaces cerveau-machine. Et voici un schéma qui montre comment ça marche. L'idée c'est d'avoir des senseurs qui écoutent ces orages, ces incendies électriques, et voir si on peut, pendant le temps que ça prend à cet orage pour quitter le cerveau et atteindre les jambes ou les bras d'un animal -- environ une demi-seconde -- voir si on peut lire ces signaux, extraire les messages moteurs qui y sont intégrés, les traduire en commandes digitales et les envoyer à un équipement artificiel qui reproduira la roue motrice volontaire de ce cerveau en temps réel. Et voir si on peut mesurer la qualité de la traduction de ce message en le comparant à la manière dont le corps se comporte.
And if we can actually provide feedback, sensory signals that go back from this robotic, mechanical, computational actuator that is now under the control of the brain, back to the brain, how the brain deals with that, of receiving messages from an artificial piece of machinery.
Et si on arrive à fournir un retour, des signaux sensoriels qui vont de cet équipement informatique, robotique, mécanique qui est maintenant sous l'emprise du cerveau, vers le cerveau, comment le cerveau se comporte, quand il reçoit des messages d'une machine artificielle.
And that's exactly what we did 10 years ago. We started with a superstar monkey called Aurora that became one of the superstars of this field. And Aurora liked to play video games. As you can see here, she likes to use a joystick, like any one of us, any of our kids, to play this game. And as a good primate, she even tries to cheat before she gets the right answer. So even before a target appears that she's supposed to cross with the cursor that she's controlling with this joystick, Aurora is trying to find the target, no matter where it is. And if she's doing that, because every time she crosses that target with the little cursor, she gets a drop of Brazilian orange juice. And I can tell you, any monkey will do anything for you if you get a little drop of Brazilian orange juice. Actually any primate will do that. Think about that.
Et c'est exactement ce qu'on a fait il y a 10 ans. On a commencé avec un singe superstar qui s'appelle Aurora et qui est devenu une des superstars dans ce domaine. Aurora aimait jouer aux jeux vidéo. Comme vous pouvez le voir ici, elle aime utiliser un joystick, comme nous tous, comme tous nos enfants, pour jouer à ce jeu. Et en bon primate, elle essaie même de tricher avant d'obtenir la bonne réponse. Alors, avant même que n'apparaisse une cible qu'elle est censée marquer d'une croix à l'aide du curseur qu'elle contrôle avec le joystick, Aurora essaie de trouver la cible, peu importe où elle est. Et si elle fait ça, c'est parce que chaque fois qu'elle marque d'une croix cette cible avec le curseur, on lui donne une goutte de jus d'orange du Brésil. Et je peux vous dire que n'importe quel singe fait tout ce que vous voulez tant que vous lui donnez une goutte de jus d'orange du Brésil. En fait, c'est vrai pour n'importe quel primate. Pensez-y.
Well, while Aurora was playing this game, as you saw, and doing a thousand trials a day and getting 97 percent correct and 350 milliliters of orange juice, we are recording the brainstorms that are produced in her head and sending them to a robotic arm that was learning to reproduce the movements that Aurora was making. Because the idea was to actually turn on this brain-machine interface and have Aurora play the game just by thinking, without interference of her body. Her brainstorms would control an arm that would move the cursor and cross the target. And to our shock, that's exactly what Aurora did. She played the game without moving her body.
Alors pendant qu'Aurora jouait à ce jeu, comme vous venez de le voir, faisant un millier de tentatives par jour et obtenant 97% de réponses correctes et 350 millilitres de jus d'orange, on enregistrait les orages de cerveau qui se produisaient dans sa tête et on les envoyait à un bras robotique qui apprenait à reproduire les mouvements d'Aurora. Parce que l'idée était en fait de faire fonctionner cette interface entre le cerveau et la machine afin qu'Aurora puisse jouer en ne faisant que penser, sans interférence avec son corps. Ses orages de cerveau contrôleraient un bras qui ferait bouger le curseur et marquerait la cible d'une croix. Et à notre grande surprise, c'est exactement ce qu'Aurora a fait. Elle a joué à ce jeu sans bouger son corps.
So every trajectory that you see of the cursor now, this is the exact first moment she got that. That's the exact first moment a brain intention was liberated from the physical domains of a body of a primate and could act outside, in that outside world, just by controlling an artificial device. And Aurora kept playing the game, kept finding the little target and getting the orange juice that she wanted to get, that she craved for.
Alors la trajectoire du curseur que vous voyez maintenant, est exactement le premier mouvement qu'elle a fait. C'est l'instant même où l'intention du cerveau a été libérée du domaine physique du corps d'un primate et a pu agir à l'extérieur, dans ce monde extérieur, en contrôlant simplement un équipement artificiel. Et Aurora a continué à jouer, a continué à trouver la petite cible et a continué à obtenir le jus d'orange qu'elle souhaitait, auquel elle aspirait.
Well, she did that because she, at that time, had acquired a new arm. The robotic arm that you see moving here 30 days later, after the first video that I showed to you, is under the control of Aurora's brain and is moving the cursor to get to the target. And Aurora now knows that she can play the game with this robotic arm, but she has not lost the ability to use her biological arms to do what she pleases. She can scratch her back, she can scratch one of us, she can play another game. By all purposes and means, Aurora's brain has incorporated that artificial device as an extension of her body. The model of the self that Aurora had in her mind has been expanded to get one more arm.
Elle a continué parce qu'à ce moment-là, elle avait un nouveau bras. Le bras robotique que vous voyez bouger ici 30 jours plus tard, après la première vidéo que je vous ai montrée, et sous le contrôle du cerveau d'Aurora et qui déplace le curseur pour atteindre la cible. Aurora sait maintenant qu'elle peut jouer à ce jeu en utilisant ce bras robotique, mais elle n'a pas pour autant perdu sa capacité à utiliser son bras biologique pour faire ce qui lui plaît. Elle peut se gratter le dos, elle peut gratter l'un d'entre-nous, et peut jouer à un autre jeu. À toute fin utile et par tous les moyens, le cerveau d'Aurora s'est approprié cet équipement artificiel comme une extension de son corps. La perception qu'Aurora avait d'elle-même à l'esprit s'est trouvée modifiée par l'addition d'un bras supplémentaire.
Well, we did that 10 years ago. Just fast forward 10 years. Just last year we realized that you don't even need to have a robotic device. You can just build a computational body, an avatar, a monkey avatar. And you can actually use it for our monkeys to either interact with them, or you can train them to assume in a virtual world the first-person perspective of that avatar and use her brain activity to control the movements of the avatar's arms or legs.
Eh bien, on a fait ça il y a 10 ans. Nous allons avancer de 10 ans. L'année dernière, on a réalisé qu'on n'a même pas besoin d'un équipement robotique. Il suffit de créer un corps virtuel, un avatar, un singe avatar. Et en fait on peut l'utiliser soit pour interagir avec nos singes soit pour les entraîner à s'approprier, dans un monde virtuel, la perspective de cet avatar lui-même et utiliser leur activité cérébrale pour contrôler le mouvement des bras ou des jambes de l'avatar.
And what we did basically was to train the animals to learn how to control these avatars and explore objects that appear in the virtual world. And these objects are visually identical, but when the avatar crosses the surface of these objects, they send an electrical message that is proportional to the microtactile texture of the object that goes back directly to the monkey's brain, informing the brain what it is the avatar is touching. And in just four weeks, the brain learns to process this new sensation and acquires a new sensory pathway -- like a new sense. And you truly liberate the brain now because you are allowing the brain to send motor commands to move this avatar. And the feedback that comes from the avatar is being processed directly by the brain without the interference of the skin.
En gros ce qu'on a fait, c'est entraîner les animaux à apprendre comment contrôler ces avatars et examiner des objets qui apparaissent dans le monde virtuel. Et ces objets sont visuellement identiques mais quand l'avatar touche la surface de ces objets, ils envoient un message électrique qui est proportionnel à la texture micro tactile de l'objet qui est envoyé directement au cerveau du singe, informant ainsi le cerveau de ce que l'avatar touche. Et en seulement quatre semaines, le cerveau apprend à incorporer cette nouvelle sensation et acquiert un nouveau chemin sensoriel -- comme un nouveau sens. À ce stade, on libère réellement le cerveau parce qu'on lui permet d'envoyer des commandes motrices afin de déplacer cet avatar. Et le feedback qui vient de l'avatar est traité directement par le cerveau sans interférence de la peau.
So what you see here is this is the design of the task. You're going to see an animal basically touching these three targets. And he has to select one because only one carries the reward, the orange juice that they want to get. And he has to select it by touch using a virtual arm, an arm that doesn't exist. And that's exactly what they do.
Ce que vous voyez ici, c'est la conception de la tâche. Vous allez voir un animal qui touche tout simplement ces trois cibles. Et il doit en sélectionner une car seule l'une d'entre elles donne droit à une récompense, le jus d'orange qu'il veut obtenir. Et il doit la sélectionner en utilisant un bras virtuel, un bras qui n'existe pas. Et c'est exactement ce qu'il fait.
This is a complete liberation of the brain from the physical constraints of the body and the motor in a perceptual task. The animal is controlling the avatar to touch the targets. And he's sensing the texture by receiving an electrical message directly in the brain. And the brain is deciding what is the texture associated with the reward. The legends that you see in the movie don't appear for the monkey. And by the way, they don't read English anyway, so they are here just for you to know that the correct target is shifting position. And yet, they can find them by tactile discrimination, and they can press it and select it.
C'est une libération totale du cerveau des contraintes physiques du corps et de la motricité pour une tâche conceptuelle. L'animal contrôle l'avatar pour atteindre les cibles. Et il ressent la texture grâce à la réception d'un message électrique directement dans le cerveau. Et le cerveau décide quelle texture associer à la récompense. Le singe ne voit pas la légende que vous voyez dans la vidéo. Et de toute façon, les singes ne parlent pas anglais, donc elle est là uniquement pour que vous sachiez que la bonne cible change de position. Et ils arrivent à la trouver grâce à la reconnaissance tactile, et ils arrivent à appuyer sur la cible et à la sélectionner.
So when we look at the brains of these animals, on the top panel you see the alignment of 125 cells showing what happens with the brain activity, the electrical storms, of this sample of neurons in the brain when the animal is using a joystick. And that's a picture that every neurophysiologist knows. The basic alignment shows that these cells are coding for all possible directions. The bottom picture is what happens when the body stops moving and the animal starts controlling either a robotic device or a computational avatar. As fast as we can reset our computers, the brain activity shifts to start representing this new tool, as if this too was a part of that primate's body. The brain is assimilating that too, as fast as we can measure.
Alors quand on regarde le cerveau de ces animaux, sur le panneau du haut, on voit l'alignement de 125 cellules qui exposent l'activité cérébrale, les orages électriques, de cet échantillon de neurones du cerveau quand l'animal utilise un joystick. Et c'est une photo que tout neurophysiologue connaît. L'alignement basique montre que ces cellules ont un code pour toutes les directions possibles. La photo du bas montre ce qui se passe quand le corps est immobile et que l'animal commence à contrôler soit un appareil robotique, soit un avatar informatique. Aussi vite qu'on arrive à redémarrer nos ordinateurs, l'activité cérébrale se modifie pour représenter ce nouvel outil, comme s'il faisait partie intégrante du corps du primate. Le cerveau assimile ça aussi, aussi vite qu'on arrive à le mesurer.
So that suggests to us that our sense of self does not end at the last layer of the epithelium of our bodies, but it ends at the last layer of electrons of the tools that we're commanding with our brains. Our violins, our cars, our bicycles, our soccer balls, our clothing -- they all become assimilated by this voracious, amazing, dynamic system called the brain.
Donc cela suggère que la perception que nous avons de nous-mêmes ne s'arrête pas à la dernière couche d'épithélium de notre corps, elle prend fin avec la dernière couche d'électrons des outils que nous contrôlons avec notre cerveau. Nos violons, nos voitures, nos vélos, nos ballons de football, nos vêtements -- tous sont assimilés par cet incroyable et vorace système dynamique qu'on appelle le cerveau.
How far can we take it? Well, in an experiment that we ran a few years ago, we took this to the limit. We had an animal running on a treadmill at Duke University on the East Coast of the United States, producing the brainstorms necessary to move. And we had a robotic device, a humanoid robot, in Kyoto, Japan at ATR Laboratories that was dreaming its entire life to be controlled by a brain, a human brain, or a primate brain.
Jusqu'où peut-on aller ? Eh bien, lors d'une expérience que nous avons menée il y a quelques années, on est allé jusqu'au bout. Un animal courait sur un tapis de course à l'Université de Duke sur la côte Est des États-Unis, et produisait les orages de cerveau nécessaires au mouvement. Et on avait disposé un appareil robotique, un robot humanoïde, à Kyoto, au Japon, dans les laboratoires ATR qui rêvait depuis toujours d'être contrôlé par un cerveau, un cerveau humain, ou un cerveau de primate.
What happens here is that the brain activity that generated the movements in the monkey was transmitted to Japan and made this robot walk while footage of this walking was sent back to Duke, so that the monkey could see the legs of this robot walking in front of her. So she could be rewarded, not by what her body was doing but for every correct step of the robot on the other side of the planet controlled by her brain activity.
Et ce qui s'est passé, c'est qu'on a transmis au Japon l'activité cérébrale qui générait les mouvements du singe et on a fait marcher le robot, et on a renvoyé à Duke les images de cette marche, afin que le singe puisse voir les jambes de ce robot marcher face à elle. Ainsi elle pouvait être récompensée, non pas pour ce que son corps faisait mais pour chaque pas correct du robot à l'autre bout de la planète, contrôlé à l'aide son activité cérébrale.
Funny thing, that round trip around the globe took 20 milliseconds less than it takes for that brainstorm to leave its head, the head of the monkey, and reach its own muscle. The monkey was moving a robot that was six times bigger, across the planet. This is one of the experiments in which that robot was able to walk autonomously. This is CB1 fulfilling its dream in Japan under the control of the brain activity of a primate.
Ce qui est amusant, c'est que cet aller-retour d'un point à l'autre du globe a pris 20 millisecondes de moins que le temps nécessaire à l'orage de cerveau pour quitter la tête, la tête du singe, et atteindre son propre muscle. Le singe déplaçait un robot qui était six fois plus gros, à l'autre bout de la planète. C'est l'une des expériences durant laquelle ce robot a réussi à marcher de manière autonome, Il s'agit de CB1 accomplissant son rêve au Japon sous le contrôle de l'activité cérébrale d'un primate.
So where are we taking all this? What are we going to do with all this research, besides studying the properties of this dynamic universe that we have between our ears? Well the idea is to take all this knowledge and technology and try to restore one of the most severe neurological problems that we have in the world. Millions of people have lost the ability to translate these brainstorms into action, into movement. Although their brains continue to produce those storms and code for movements, they cannot cross a barrier that was created by a lesion on the spinal cord.
Mais que va-t-on faire de tout ça ? Que va-t-on faire grâce à cette recherche, si ce n'est étudier les propriétés de cet univers dynamique qui est entre nos oreilles ? Eh bien l'idée, grâce à ce savoir et cette technologie c'est d'essayer de résoudre un des problèmes neurologiques les plus graves qui existent. Des millions de personnes perdent leur capacité à traduire ces orages de cerveau en action, en mouvement. Bien que leur cerveau continue à produire ces orages et codes pour les mouvements, ils n'arrivent pas à franchir la barrière créée par une lésion à la moelle épinière.
So our idea is to create a bypass, is to use these brain-machine interfaces to read these signals, larger-scale brainstorms that contain the desire to move again, bypass the lesion using computational microengineering and send it to a new body, a whole body called an exoskeleton, a whole robotic suit that will become the new body of these patients.
Alors notre idée est de créer un détour, d'utiliser ces interfaces cerveau-machine pour lire ces signaux, des orages de cerveau à grande échelle qui contiennent le désir de bouger à nouveau, de contourner la lésion en utilisant un micro-procédé informatique et de l'envoyer à un corps nouveau, un corps entier appelé exosquelette, un costume robotique entier qui deviendra le nouveau corps de ces patients.
And you can see an image produced by this consortium. This is a nonprofit consortium called the Walk Again Project that is putting together scientists from Europe, from here in the United States, and in Brazil together to work to actually get this new body built -- a body that we believe, through the same plastic mechanisms that allow Aurora and other monkeys to use these tools through a brain-machine interface and that allows us to incorporate the tools that we produce and use in our daily life. This same mechanism, we hope, will allow these patients, not only to imagine again the movements that they want to make and translate them into movements of this new body, but for this body to be assimilated as the new body that the brain controls.
Et vous voyez une image produite par ce consortium. Il s'agit d'un consortium sans but lucratif, appelé le <i>Projet Marcher à Nouveau<i>, qui rassemble des scientifiques d'Europe, d'ici aux États-Unis et du Brésil pour travailler à la réalisation effective de ce nouveau corps -- un corps qui selon nous, grâce aux mêmes mécanismes de plastique qui permettent à Aurora et à d'autres singes d'utiliser ces outils à l'aide d'une interface cerveau-machine, permette d'incorporer les outils que nous fabriquons et utilisons dans notre vie courante. Nous espérons que ce même mécanisme permettra à ces patients non seulement d'imaginer à nouveau les mouvements qu'ils souhaitent faire et les traduire en mouvements de ce nouveau corps, mais aussi d'assimiler ce nouveau corps contrôlé par le cerveau comme étant leur propre corps.
So I was told about 10 years ago that this would never happen, that this was close to impossible. And I can only tell you that as a scientist, I grew up in southern Brazil in the mid-'60s watching a few crazy guys telling [us] that they would go to the Moon. And I was five years old, and I never understood why NASA didn't hire Captain Kirk and Spock to do the job; after all, they were very proficient -- but just seeing that as a kid made me believe, as my grandmother used to tell me, that "impossible is just the possible that someone has not put in enough effort to make it come true."
Alors on m'a dit il y a environ 10 ans que ça n'arriverait jamais, que c'était quasiment impossible. Et je ne peux que vous dire en tant que scientifique, que j'ai grandi dans la partie Sud du Brésil au milieu des années 60 et je regardais quelques fous qui nous disaient qu'ils iraient sur la lune. J'avais alors cinq ans, et je n'ai jamais compris pourquoi la NASA n'a pas engagé le Capitaine Kirk et Spock pour faire ça ; après tout, ils étaient des experts -- mais le fait d'avoir vu ça quand j'étais enfant m'a porté à croire, comme ma grand-mère me disait, que « ce qui est impossible est tout simplement quelque chose de possible sans que quelqu'un n'aie fait l'effort suffisant pour que ça se réalise. »
So they told me that it's impossible to make someone walk. I think I'm going to follow my grandmother's advice.
Donc, on m'a dit que c'est impossible de faire marcher quelqu'un. Je pense que je vais suivre le conseil de ma grand-mère.
Thank you.
Merci.
(Applause)
(Applaudissements)