The kind of neuroscience that I do and my colleagues do is almost like the weatherman. We are always chasing storms. We want to see and measure storms -- brainstorms, that is. And we all talk about brainstorms in our daily lives, but we rarely see or listen to one. So I always like to start these talks by actually introducing you to one of them.
El tipo de neurociencia que hacemos mis colegas y yo es casi como de meteorólogo. Estamos siempre persiguiendo tormentas. Queremos ver y medir tormentas; tormentas de ideas, claro está. Todos hablamos de tormentas de ideas en nuestra vida cotidiana, pero rara vez vemos o escuchamos una. Por eso a mi me gusta comenzar siempre estas charlas presentando una.
Actually, the first time we recorded more than one neuron -- a hundred brain cells simultaneously -- we could measure the electrical sparks of a hundred cells in the same animal, this is the first image we got, the first 10 seconds of this recording. So we got a little snippet of a thought, and we could see it in front of us.
La primera vez que registramos más de una neurona, 100 células cerebrales, simultáneamente, pudimos medir las chispas eléctricas de 100 células del mismo animal. Esta es la primera imagen que conseguimos, los primeros 10 segundos de esta grabación. Tomamos un pequeño fragmento de un pensamiento, y lo pudimos ver al frente.
I always tell the students that we could also call neuroscientists some sort of astronomer, because we are dealing with a system that is only comparable in terms of number of cells to the number of galaxies that we have in the universe. And here we are, out of billions of neurons, just recording, 10 years ago, a hundred. We are doing a thousand now. And we hope to understand something fundamental about our human nature. Because, if you don't know yet, everything that we use to define what human nature is comes from these storms, comes from these storms that roll over the hills and valleys of our brains and define our memories, our beliefs, our feelings, our plans for the future. Everything that we ever do, everything that every human has ever done, do or will do, requires the toil of populations of neurons producing these kinds of storms.
Siempre les digo a los estudiantes que también podríamos considerar a los neurocientíficos como una especie de astrónomos, porque estamos tratando con un sistema que solo es comparable, en términos del número de células, con el número de galaxias en el universo. Y aquí estamos hace 10 años, grabando apenas un centenar de los miles de millones de neuronas. Ahora lo hacemos con un millar. Y esperamos entender algo fundamental sobre la naturaleza humana. Porque, si no lo sabían, todo lo que utilizamos para definir la naturaleza humana proviene de estas tormentas que ruedan por las colinas y valles de nuestro cerebro y definen nuestros recuerdos, nuestras creencias, nuestros sentimientos, nuestros planes para el futuro. Todo lo que hacemos, lo que alguna vez ha hecho, hace o hará todo ser humano, requiere del trabajo de conglomerados de neuronas que producen este tipo de tormentas.
And the sound of a brainstorm, if you've never heard one, is somewhat like this. You can put it louder if you can. My son calls this "making popcorn while listening to a badly-tuned A.M. station." This is a brain. This is what happens when you route these electrical storms to a loudspeaker and you listen to a hundred brain cells firing, your brain will sound like this -- my brain, any brain. And what we want to do as neuroscientists in this time is to actually listen to these symphonies, these brain symphonies, and try to extract from them the messages they carry.
Y el sonido de una tormenta de ideas, si no han escuchado uno, es algo parecido a esto. Se puede poner más fuerte si quieren. Mi hijo llama a esto "haciendo palomitas de maiz mientras se escucha una emisora AM mal sintonizada". Esto es un cerebro. Esto es lo que sucede cuando se enrutan estas tormentas eléctricas a un altavoz y se escucha un centenar de neuronas disparando. Tu cerebro sonará así; mi cerebro, cualquier cerebro. Y lo que queremos hacer como neurocientíficos actualmente es, en efecto, escuchar estas sinfonías del cerebro, y tratar de extraer de ellas los mensajes que llevan.
In particular, about 12 years ago we created a preparation that we named brain-machine interfaces. And you have a scheme here that describes how it works. The idea is, let's have some sensors that listen to these storms, this electrical firing, and see if you can, in the same time that it takes for this storm to leave the brain and reach the legs or the arms of an animal -- about half a second -- let's see if we can read these signals, extract the motor messages that are embedded in it, translate it into digital commands and send it to an artificial device that will reproduce the voluntary motor wheel of that brain in real time. And see if we can measure how well we can translate that message when we compare to the way the body does that.
En particular, hace unos 12 años, creamos lo que llamamos interfaz cerebro-máquina. Aquí se ve un esquema que describe cómo funciona. La idea es tener unos sensores que escuchan estas tormentas, estos disparos eléctricos, y ver si se puede, en el mismo tiempo que tarda esta tormenta en dejar el cerebro y llegar a las piernas o los brazos de un animal, cerca de medio segundo, ver si podemos leer estas señales, extractar el mensaje motor que está inmerso en ellas, traducirlo a comandos digitales y enviarlo a un dispositivo artificial que reproduzca el impulso motor voluntario de ese cerebro en tiempo real. Ver si podemos medir qué tan bien podemos traducir ese mensaje comparado con la forma como lo hace el cuerpo.
And if we can actually provide feedback, sensory signals that go back from this robotic, mechanical, computational actuator that is now under the control of the brain, back to the brain, how the brain deals with that, of receiving messages from an artificial piece of machinery.
Y ver si realmente podemos dar retroalimentación; señales sensoriales que regresen de este actor robótico, mecánico, computacional, ahora bajo el control del cerebro, de regreso al cerebro, y ver cómo el cerebro maneja esto de recibir mensajes de una máquina artificial.
And that's exactly what we did 10 years ago. We started with a superstar monkey called Aurora that became one of the superstars of this field. And Aurora liked to play video games. As you can see here, she likes to use a joystick, like any one of us, any of our kids, to play this game. And as a good primate, she even tries to cheat before she gets the right answer. So even before a target appears that she's supposed to cross with the cursor that she's controlling with this joystick, Aurora is trying to find the target, no matter where it is. And if she's doing that, because every time she crosses that target with the little cursor, she gets a drop of Brazilian orange juice. And I can tell you, any monkey will do anything for you if you get a little drop of Brazilian orange juice. Actually any primate will do that. Think about that.
Eso es exactamente lo que hicimos hace 10 años. Empezamos con una mona llamada Aurora que se convirtió en una de las superestrellas en este campo. A Aurora le gustaban los videojuegos. Como se puede ver aquí, le gustaba usar un comando, como a cualquiera de nosotros, de nuestros hijos, para este juego. Y como buena primate, incluso intenta hacer trampa para obtener la respuesta correcta. Incluso antes de que aparezca el objetivo que ella debe cazar con el cursor que está controlando con este comando, Aurora trata de dar con el objetivo, adivinando. Y si ella está haciendo eso, es porque cada vez que caza el objetivo con el pequeño cursor, consigue una gota de jugo de naranja brasileño. Y puedo decirles que cualquier mono hará lo que sea, si consigue una pequeña gota de jugo de naranja brasileño a cambio. A decir verdad, cualquier primate lo hará. Piensen en eso.
Well, while Aurora was playing this game, as you saw, and doing a thousand trials a day and getting 97 percent correct and 350 milliliters of orange juice, we are recording the brainstorms that are produced in her head and sending them to a robotic arm that was learning to reproduce the movements that Aurora was making. Because the idea was to actually turn on this brain-machine interface and have Aurora play the game just by thinking, without interference of her body. Her brainstorms would control an arm that would move the cursor and cross the target. And to our shock, that's exactly what Aurora did. She played the game without moving her body.
Bien, mientras Aurora estaba jugando este juego, como vieron, haciendo mil ensayos al día consiguiendo un 97 % de aciertos y 350 ml de jugo de naranja, estábamos grabando las sesiones de tormenta de ideas que se producían en su cabeza y enviándolas a un brazo robótico que estaba aprendiendo a reproducir los movimientos que hacía Aurora. Porque la idea era hacer realidad esta interfaz cerebro-máquina y tener a Aurora jugando solo con el pensamiento, sin la interferencia de su cuerpo. Sus tormentas cerebrales controlarían un brazo que movería el cursor y cazaría el objetivo. Y para nuestro asombro, eso fue exactamente lo que hizo Aurora. Ella jugaba sin mover su cuerpo.
So every trajectory that you see of the cursor now, this is the exact first moment she got that. That's the exact first moment a brain intention was liberated from the physical domains of a body of a primate and could act outside, in that outside world, just by controlling an artificial device. And Aurora kept playing the game, kept finding the little target and getting the orange juice that she wanted to get, that she craved for.
Cada trayectoria del cursor que están viendo, corresponde a la primera vez que ella lo logró. Esta es exactamente la primera vez en que una orden del cerebro fue liberada de los dominios físicos del cuerpo de un primate y pudo actuar afuera, en el mundo exterior, simplemente controlando un dispositivo artificial. Y Aurora se mantuvo jugando, tratando de encontrar el pequeño objetivo y consiguiendo el jugo de naranja que quería, que anhelaba.
Well, she did that because she, at that time, had acquired a new arm. The robotic arm that you see moving here 30 days later, after the first video that I showed to you, is under the control of Aurora's brain and is moving the cursor to get to the target. And Aurora now knows that she can play the game with this robotic arm, but she has not lost the ability to use her biological arms to do what she pleases. She can scratch her back, she can scratch one of us, she can play another game. By all purposes and means, Aurora's brain has incorporated that artificial device as an extension of her body. The model of the self that Aurora had in her mind has been expanded to get one more arm.
Lo hizo porque ella, en ese momento, había adquirido un nuevo brazo. El brazo robótico que ven moviéndose aquí, 30 días después del primer video que les mostré, está bajo el control del cerebro de Aurora, y ella mueve el cursor para alcanzar el objetivo. Aurora ahora sabe que puede jugar con este brazo robótico. Pero no ha perdido la capacidad de utilizar sus brazos biológicos para hacer lo que le agrada. Puede rascarse la espalda, puede rascar a uno de nosotros, puede jugar otro juego. Para todos los fines y propósitos, el cerebro de Aurora ha incorporado ese dispositivo artificial como una extensión de su cuerpo. La imagen de sí misma que ella tenía en su mente se ha ampliado con un brazo adicional.
Well, we did that 10 years ago. Just fast forward 10 years. Just last year we realized that you don't even need to have a robotic device. You can just build a computational body, an avatar, a monkey avatar. And you can actually use it for our monkeys to either interact with them, or you can train them to assume in a virtual world the first-person perspective of that avatar and use her brain activity to control the movements of the avatar's arms or legs.
Esto fue hace 10 años. Demos un salto rápido adelante de 10 años. El año pasado nos dimos cuenta que ni siquiera es necesario tener un dispositivo robótico. Se puede simplemente crear un cuerpo computacional, un avatar, un avatar de mono. Se lo puede usar bien sea para que los monos interactúen con él, o para entrenarlos para asumir la perspectiva de primera persona de ese avatar, en un mundo virtual, y usar su actividad cerebral para controlar los movimientos de brazos o piernas del avatar.
And what we did basically was to train the animals to learn how to control these avatars and explore objects that appear in the virtual world. And these objects are visually identical, but when the avatar crosses the surface of these objects, they send an electrical message that is proportional to the microtactile texture of the object that goes back directly to the monkey's brain, informing the brain what it is the avatar is touching. And in just four weeks, the brain learns to process this new sensation and acquires a new sensory pathway -- like a new sense. And you truly liberate the brain now because you are allowing the brain to send motor commands to move this avatar. And the feedback that comes from the avatar is being processed directly by the brain without the interference of the skin.
Y lo que hicimos básicamente fue entrenar a los animales para aprender a controlar esos avatares y explorar los objetos que aparecen en el mundo virtual. Estos objetos son visualmente idénticos, pero cuando el avatar caza la superficie de estos objetos, mandan un mensaje eléctrico según la textura microtáctil del objeto que vuelve directamente al cerebro del mono, informándole lo que el avatar está tocando. Y en solo 4 semanas, el cerebro aprende a procesar esta nueva sensación y adquiere una nueva vía sensorial, como un nuevo sentido. El cerebro está efectivamente liberado ahora porque se le permite enviar comandos motores para mover el avatar y la retroalimentación que proviene del avatar es procesada directamente por el cerebro, sin interferencia de la piel.
So what you see here is this is the design of the task. You're going to see an animal basically touching these three targets. And he has to select one because only one carries the reward, the orange juice that they want to get. And he has to select it by touch using a virtual arm, an arm that doesn't exist. And that's exactly what they do.
Lo que ven aquí es el diseño de la tarea. Van a ver un animal que, básicamente, toca estos 3 objetivos y que tiene que seleccionar uno, porque solo uno tiene recompensa, el deseado jugo de naranja. Debe seleccionarlo por tacto, usando un brazo virtual, un brazo que no existe. Y eso es exactamente lo que hacen.
This is a complete liberation of the brain from the physical constraints of the body and the motor in a perceptual task. The animal is controlling the avatar to touch the targets. And he's sensing the texture by receiving an electrical message directly in the brain. And the brain is deciding what is the texture associated with the reward. The legends that you see in the movie don't appear for the monkey. And by the way, they don't read English anyway, so they are here just for you to know that the correct target is shifting position. And yet, they can find them by tactile discrimination, and they can press it and select it.
Se trata de una liberación completa del cerebro de las restricciones físicas del cuerpo y del sistema motor, en una tarea perceptual. El animal está controlando el avatar para tocar los objetivos. Y siente la textura al recibir un mensaje eléctrico directamente en el cerebro. El cerebro está decidiendo la textura asociada con la recompensa. Las leyendas que se ven en la película no aparecen para el mono. Y por cierto, de todas formas no sabe leer, Estan ahí solo para que ustedes sepan que el objetivo correcto está cambiando de posición. Y aún así, ellos son capaces de encontrarlos por discriminación táctil, y son capaces de presionar y seleccionarlo.
So when we look at the brains of these animals, on the top panel you see the alignment of 125 cells showing what happens with the brain activity, the electrical storms, of this sample of neurons in the brain when the animal is using a joystick. And that's a picture that every neurophysiologist knows. The basic alignment shows that these cells are coding for all possible directions. The bottom picture is what happens when the body stops moving and the animal starts controlling either a robotic device or a computational avatar. As fast as we can reset our computers, the brain activity shifts to start representing this new tool, as if this too was a part of that primate's body. The brain is assimilating that too, as fast as we can measure.
Observamos los cerebros de estos animales y en el panel superior se puede ver la alineación de 125 células que muestran lo que sucede con la actividad del cerebro, las tormentas eléctricas de esa muestra de neuronas en el cerebro cuando el animal está usando un comando. Esta es una imagen que todo neurofisiólogo reconoce. La alineación básica muestra que estas células están codificadas para todas las direcciones posibles. En la foto de abajo está lo que ocurre cuando el cuerpo se detiene y el animal comienza a controlar un dispositivo robótico o un avatar computacional. No hemos acabado de reiniciar las computadoras, cuando la actividad cerebral cambia para empezar a representar esta nueva herramienta, como si fuera una parte más del cuerpo de ese primate. El cerebro está asimilando eso también, tan rápido que casi no podemos medirlo.
So that suggests to us that our sense of self does not end at the last layer of the epithelium of our bodies, but it ends at the last layer of electrons of the tools that we're commanding with our brains. Our violins, our cars, our bicycles, our soccer balls, our clothing -- they all become assimilated by this voracious, amazing, dynamic system called the brain.
Esto nos sugiere que nuestro sentido del yo no termina en la última capa del epitelio del cuerpo, sino que termina en la última capa de electrones de las herramientas que manejamos con el cerebro. Nuestros violines, nuestros coches, nuestras bicicletas, los balones de fútbol, nuestra ropa, todos son asimilados por este sistema voraz, asombroso, dinámico, llamado cerebro.
How far can we take it? Well, in an experiment that we ran a few years ago, we took this to the limit. We had an animal running on a treadmill at Duke University on the East Coast of the United States, producing the brainstorms necessary to move. And we had a robotic device, a humanoid robot, in Kyoto, Japan at ATR Laboratories that was dreaming its entire life to be controlled by a brain, a human brain, or a primate brain.
¿Qué tan lejos podemos llevar esto? Verán. En un experimento que hicimos hace unos años, lo llevamos al límite. Pusimos un animal a correr en una caminadora en la Universidad de Duke, en la costa este de los EE.UU., produciendo las tormentas de ideas necesarias para moverse. Teniamos un dispositivo robótico, un robot humanoide, en Kyoto, Japón, en los laboratorios ATR, que estaba esperando toda su vida ser controlado por un cerebro, un cerebro humano, o uno de primate.
What happens here is that the brain activity that generated the movements in the monkey was transmitted to Japan and made this robot walk while footage of this walking was sent back to Duke, so that the monkey could see the legs of this robot walking in front of her. So she could be rewarded, not by what her body was doing but for every correct step of the robot on the other side of the planet controlled by her brain activity.
Y sucedió que la actividad del cerebro del mono que generaba los movimientos fue transmitida a Japón e hizo que este robot caminara mientras tanto las imágenes de esta caminata fueron devueltas a Duke, para que el mono pudiera ver las piernas del robot caminar frente a el. La recompensa, no era por lo que estaba haciendo su cuerpo, sino por cada paso correcto del robot controlado por su actividad cerebral al otro lado del planeta.
Funny thing, that round trip around the globe took 20 milliseconds less than it takes for that brainstorm to leave its head, the head of the monkey, and reach its own muscle. The monkey was moving a robot that was six times bigger, across the planet. This is one of the experiments in which that robot was able to walk autonomously. This is CB1 fulfilling its dream in Japan under the control of the brain activity of a primate.
Lo divertido es que el viaje redondo alrededor de la Tierra tomó 20 milisegundos menos de lo que tarda esta tormenta en salir de la cabeza del mono, y llegar a sus músculos. El mono estaba moviendo un robot 6 veces más grande que él en el otro extremo del planeta. Este es uno de los experimentos en que ese robot pudo caminar autónomamente. Este es CB1 cumpliendo su sueño en Japón bajo el control de la actividad del cerebro de un primate.
So where are we taking all this? What are we going to do with all this research, besides studying the properties of this dynamic universe that we have between our ears? Well the idea is to take all this knowledge and technology and try to restore one of the most severe neurological problems that we have in the world. Millions of people have lost the ability to translate these brainstorms into action, into movement. Although their brains continue to produce those storms and code for movements, they cannot cross a barrier that was created by a lesion on the spinal cord.
¿Hasta dónde vamos a llevar todo esto? ¿Qué vamos a hacer con toda esta investigación, además de estudiar las propiedades de este universo dinámico que tenemos entre oreja y oreja? Verán. La idea es tomar todo este conocimiento y tecnología para tratar de resolver uno de los más graves problemas neurológicos del mundo. Millones de personas han perdido la capacidad para traducir estas tormentas cerebrales en acción, en movimiento. Aunque sus cerebros continúan produciendo esas tormentas y códigos para el movimiento, no pueden cruzar una barrera creada por una lesión en la médula espinal.
So our idea is to create a bypass, is to use these brain-machine interfaces to read these signals, larger-scale brainstorms that contain the desire to move again, bypass the lesion using computational microengineering and send it to a new body, a whole body called an exoskeleton, a whole robotic suit that will become the new body of these patients.
Así, nuestra idea es crear un puente, utilizar estas interfaces cerebro-máquina para leer esas señales, esas tormentas cerebrales de gran escala que contienen el deseo de moverse otra vez, sortear la lesión usando la microtécnica computacional y enviarlas a un nuevo cuerpo, un cuerpo entero llamado exoesqueleto, un traje entero robótico que se convertirá en el nuevo cuerpo de estos pacientes.
And you can see an image produced by this consortium. This is a nonprofit consortium called the Walk Again Project that is putting together scientists from Europe, from here in the United States, and in Brazil together to work to actually get this new body built -- a body that we believe, through the same plastic mechanisms that allow Aurora and other monkeys to use these tools through a brain-machine interface and that allows us to incorporate the tools that we produce and use in our daily life. This same mechanism, we hope, will allow these patients, not only to imagine again the movements that they want to make and translate them into movements of this new body, but for this body to be assimilated as the new body that the brain controls.
Pueden ver una imagen producida por un consorcio. Se trata de un consorcio sin ánimo de lucro llamado Proyecto Volver a Caminar, que ha puesto a trabajar juntos a científicos de Europa, de aquí de los EE.UU. y de Brasil para lograr efectivamente construir este nuevo cuerpo. Un cuerpo que con los mismos mecanismos plásticos que permiten a Aurora y a otros monos utilizar estas herramientas a través de una interfaz cerebro-máquina, nos permita incorporar las herramientas que producimos y utilizamos en nuestra vida diaria. Este mismo mecanismo, esperamos, permitirá que estos pacientes, no solo imaginen otra vez los movimientos que quieren hacer y que los traduzcan en movimientos para este nuevo cuerpo, sino que este sea asimilado como el nuevo cuerpo que el cerebro controla.
So I was told about 10 years ago that this would never happen, that this was close to impossible. And I can only tell you that as a scientist, I grew up in southern Brazil in the mid-'60s watching a few crazy guys telling [us] that they would go to the Moon. And I was five years old, and I never understood why NASA didn't hire Captain Kirk and Spock to do the job; after all, they were very proficient -- but just seeing that as a kid made me believe, as my grandmother used to tell me, that "impossible is just the possible that someone has not put in enough effort to make it come true."
Me dijeron hace unos 10 años que esto nunca pasaría, que esto estaba cerca de lo imposible. Solo diré que crecí en el sur de Brasil a mediados de los 60 viendo a unos locos diciéndo que irían a la luna. Yo tenía 5 años, y no entendía por qué la NASA no contrataba al capitán Kirk y a Spock para hacer el trabajo; ¿no eran acaso bien eficientes? Pero fue ver esto de niño lo que me hizo creer, como mi abuela solía decirme, "imposible es solo lo posible que nadie se ha esforzado lo suficiente en realizar".
So they told me that it's impossible to make someone walk. I think I'm going to follow my grandmother's advice.
Me dijeron que es imposible hacer que alguien impedido camine. Creo que voy a seguir el consejo de mi abuela.
Thank you.
Gracias.
(Applause)
(Aplausos)