The kind of neuroscience that I do and my colleagues do is almost like the weatherman. We are always chasing storms. We want to see and measure storms -- brainstorms, that is. And we all talk about brainstorms in our daily lives, but we rarely see or listen to one. So I always like to start these talks by actually introducing you to one of them.
O tipo de neurociência que eu e os meus colegas fazemos é quase como o de um meteorologista. Estamos sempre à procura de tempestades. Queremos ver e medir tempestades — tempestades cerebrais. Todos nós falamos de "brainstorms" no nosso dia-a-dia mas raramente vemos ou ouvimos uma. Gosto sempre de começar estas palestras apresentando-vos a uma delas.
Actually, the first time we recorded more than one neuron -- a hundred brain cells simultaneously -- we could measure the electrical sparks of a hundred cells in the same animal, this is the first image we got, the first 10 seconds of this recording. So we got a little snippet of a thought, and we could see it in front of us.
A primeira vez que gravámos mais de um neurónio — uma centena de células cerebrais simultaneamente — conseguimos medir os impulsos elétricos de uma centena de células num mesmo animal. Esta é a primeira imagem que obtivemos, os primeiros 10 segundos de gravação. Tínhamos um pequeno fragmento de um pensamento, e conseguimos vê-lo à nossa frente.
I always tell the students that we could also call neuroscientists some sort of astronomer, because we are dealing with a system that is only comparable in terms of number of cells to the number of galaxies that we have in the universe. And here we are, out of billions of neurons, just recording, 10 years ago, a hundred. We are doing a thousand now. And we hope to understand something fundamental about our human nature. Because, if you don't know yet, everything that we use to define what human nature is comes from these storms, comes from these storms that roll over the hills and valleys of our brains and define our memories, our beliefs, our feelings, our plans for the future. Everything that we ever do, everything that every human has ever done, do or will do, requires the toil of populations of neurons producing these kinds of storms.
Eu digo sempre aos estudantes que também podemos chamar aos neurocientistas uma espécie de astrónomo, porque lidamos com um sistema que, em relação ao número de células, só é comparável ao número de galáxias que temos no universo. Aqui estamos, entre milhares de milhões de neurónios, há 10 anos, a gravar apenas uma centena deles. Agora, estamos a gravar mil. Esperamos compreender algo fundamental sobre a natureza humana. Porque, se ainda não sabem, tudo o que usamos para definir a natureza humana vem destas tempestades, vem destas tempestades que percorrem as montanhas e vales do nosso cérebro e definem as nossas memórias, as nossas crenças os nossos sentimentos, os nossos planos para o futuro, tudo o que fazemos. Tudo o que cada ser humano já fez, faz ou irá fazer, necessita do trabalho incessante de uma população de neurónios
And the sound of a brainstorm, if you've never heard one, is somewhat like this. You can put it louder if you can. My son calls this "making popcorn while listening to a badly-tuned A.M. station." This is a brain. This is what happens when you route these electrical storms to a loudspeaker and you listen to a hundred brain cells firing, your brain will sound like this -- my brain, any brain. And what we want to do as neuroscientists in this time is to actually listen to these symphonies, these brain symphonies, and try to extract from them the messages they carry.
a produzir este tipo de tempestades. O som de uma tempestade cerebral — se nunca ouviram nenhuma — é parecido com isso. Podem aumentar o volume? (Crepitação) O meu filho chama-lhe: "Fazer pipocas a ouvir uma estação de rádio mal sintonizada". Isto é o cérebro. Ouvimos isto quando direcionamos estas tempestades elétricas para um autofalante e ouvimos uma centena de células cerebrais a disparar. O cérebro soa desta maneira — o meu cérebro, qualquer cérebro. O que queremos fazer neste momento, enquanto neurocientistas, é ouvir estas sinfonias, estas sinfonias cerebrais, e tentar extrair delas a mensagem que transportam.
In particular, about 12 years ago we created a preparation that we named brain-machine interfaces. And you have a scheme here that describes how it works. The idea is, let's have some sensors that listen to these storms, this electrical firing, and see if you can, in the same time that it takes for this storm to leave the brain and reach the legs or the arms of an animal -- about half a second -- let's see if we can read these signals, extract the motor messages that are embedded in it, translate it into digital commands and send it to an artificial device that will reproduce the voluntary motor wheel of that brain in real time. And see if we can measure how well we can translate that message when we compare to the way the body does that.
Em particular, há cerca de 12 anos, criámos um modelo a que chamamos interface homem-máquina. Temos aqui um esquema que descreve como funciona. A ideia é ter sensores que escutam estas tempestades, estes disparos elétricos, e ver se conseguimos, no mesmo tempo que essa tempestade leva a sair do cérebro e a chegar às pernas ou aos braços de um animal — cerca de meio segundo — ver se conseguimos ler esses sinais, extrair as mensagens motoras que estão contidas neles, traduzi-las para comandos digitais e mandar para um aparelho artificial que vai reproduzir a roda motora voluntária daquele cérebro em tempo real. E ver se podemos medir até que ponto traduzimos bem essa mensagem em comparação com a maneira como o corpo faz isso.
And if we can actually provide feedback, sensory signals that go back from this robotic, mechanical, computational actuator that is now under the control of the brain, back to the brain, how the brain deals with that, of receiving messages from an artificial piece of machinery.
E se conseguimos dar "feedback", sinais sensórios que vão desse equipamento informático, mecânico, robótico, que está sob o controlo do cérebro de volta para o cérebro, como o cérebro lida com isso, com receber mensagens saídas de um aparelho artificial.
And that's exactly what we did 10 years ago. We started with a superstar monkey called Aurora that became one of the superstars of this field. And Aurora liked to play video games. As you can see here, she likes to use a joystick, like any one of us, any of our kids, to play this game. And as a good primate, she even tries to cheat before she gets the right answer. So even before a target appears that she's supposed to cross with the cursor that she's controlling with this joystick, Aurora is trying to find the target, no matter where it is. And if she's doing that, because every time she crosses that target with the little cursor, she gets a drop of Brazilian orange juice. And I can tell you, any monkey will do anything for you if you get a little drop of Brazilian orange juice. Actually any primate will do that. Think about that.
Foi isso exatamente o que fizemos há dez anos. Começámos com uma macaca superstar chamada Aurora que se tornou numa das estrelas desta área. Aurora gostava de jogar videogames. Como vemos aqui, ela gosta de usar um "joystick", como qualquer um de nós, qualquer uma das nossas crianças, para jogar este jogo. Como boa primata, até tenta fazer batota antes de conseguir a resposta correta. Antes de aparecer o alvo que ela supostamente deve cruzar com o cursor que ela controla com o "joystick", Aurora está a tentar encontrar o alvo, onde quer que ele esteja. Ela faz isto, porque sempre que ela cruza aquele alvo com o cursor, ganha uma gota de sumo de laranja brasileiro. Posso dizer que qualquer macaco fará tudo se lhe dermos uma gotinha de sumo de laranja brasileiro. Qualquer primata fará isso. Pensem nisso.
Well, while Aurora was playing this game, as you saw, and doing a thousand trials a day and getting 97 percent correct and 350 milliliters of orange juice, we are recording the brainstorms that are produced in her head and sending them to a robotic arm that was learning to reproduce the movements that Aurora was making. Because the idea was to actually turn on this brain-machine interface and have Aurora play the game just by thinking, without interference of her body. Her brainstorms would control an arm that would move the cursor and cross the target. And to our shock, that's exactly what Aurora did. She played the game without moving her body.
Enquanto Aurora estava a jogar este jogo, a fazer milhares de tentativas diariamente, acertando 97% das vezes e ganhando 350 mililitros de sumo de laranja, nós estávamos a gravar as tempestades produzidas no seu cérebro e a enviá-las para um braço robótico que estava a aprender a reproduzir os movimentos que Aurora estava a fazer. Porque a ideia era fazer funcionar essa interface cérebro-máquina e fazer com que Aurora jogasse apenas com o pensamento, sem interferência do corpo dela. As tempestades cerebrais dela controlariam o seu braço que moveria o cursor e cruzaria o alvo. Para nosso espanto, foi exatamente isso que Aurora fez. Ela jogava o jogo sem sequer mover o corpo.
So every trajectory that you see of the cursor now, this is the exact first moment she got that. That's the exact first moment a brain intention was liberated from the physical domains of a body of a primate and could act outside, in that outside world, just by controlling an artificial device. And Aurora kept playing the game, kept finding the little target and getting the orange juice that she wanted to get, that she craved for.
Cada trajetória do cursor que estamos a ver agora, foi exatamente a primeira vez que ela fez isso. Esta é precisamente a primeira vez que uma intenção cerebral se libertou do domínio físico do corpo de um primata e pôde atuar fora, no mundo exterior, apenas a controlar um aparelho artificial. Aurora continuou a jogar, continuou a procurar o pequeno alvo e a ganhar o sumo de laranja que queria ganhar, que tanto desejava.
Well, she did that because she, at that time, had acquired a new arm. The robotic arm that you see moving here 30 days later, after the first video that I showed to you, is under the control of Aurora's brain and is moving the cursor to get to the target. And Aurora now knows that she can play the game with this robotic arm, but she has not lost the ability to use her biological arms to do what she pleases. She can scratch her back, she can scratch one of us, she can play another game. By all purposes and means, Aurora's brain has incorporated that artificial device as an extension of her body. The model of the self that Aurora had in her mind has been expanded to get one more arm.
Ela fez isso porque, naquele momento, tinha adquirido um novo braço. Um braço robótico que vemos aqui a mexer, 30 dias depois, depois do primeiro vídeo que eu vos mostrei, está sob o controlo do cérebro de Aurora e está a mover o cursor para acertar no alvo. Aurora agora sabe que pode jogar com esse braço robótico, mas não perdeu a capacidade de usar os braços biológicos para fazer o que bem entender. Pode coçar as costas, pode coçar um de nós, pode jogar outro jogo. Por todos os motivos e razões, o cérebro de Aurora incorporou o aparelho artificial como uma extensão de seu corpo. O modelo de si própria que Aurora tinha na sua cabeça
Well, we did that 10 years ago. Just fast forward 10 years. Just last year we realized that you don't even need to have a robotic device. You can just build a computational body, an avatar, a monkey avatar. And you can actually use it for our monkeys to either interact with them, or you can train them to assume in a virtual world the first-person perspective of that avatar and use her brain activity to control the movements of the avatar's arms or legs.
expandiu-se para obter um braço a mais. Fizemos isso há 10 anos. Avancemos rapidamente 10 anos. No ano passado percebemos que nem sequer precisamos de ter um aparelho robótico. Podemos construir apenas um corpo informático, um avatar, um macaco avatar. Podemos usá-lo para os nossos macacos interagirem com eles, ou para podermos treiná-los a controlar um mundo virtual a perspetiva de primeira pessoa de um avatar e usar a sua atividade cerebral
And what we did basically was to train the animals to learn how to control these avatars and explore objects that appear in the virtual world. And these objects are visually identical, but when the avatar crosses the surface of these objects, they send an electrical message that is proportional to the microtactile texture of the object that goes back directly to the monkey's brain, informing the brain what it is the avatar is touching. And in just four weeks, the brain learns to process this new sensation and acquires a new sensory pathway -- like a new sense. And you truly liberate the brain now because you are allowing the brain to send motor commands to move this avatar. And the feedback that comes from the avatar is being processed directly by the brain without the interference of the skin.
para controlar os movimentos das pernas e braços do avatar. Treinámos os animais a aprender a controlar esses avatares e a explorar objetos que aparecem no mundo virtual. Esses objetos são visualmente idênticos, mas quando o avatar cruza a superfície desses objetos, eles enviam uma mensagem elétrica que é proporcional à microtextura tátil do objeto e ela vai diretamente de volta para o cérebro do macaco, informando o cérebro do que o avatar está a tocar. Em apenas quatro semanas, o cérebro aprende a processar essa nova sensação e adquire um novo caminho sensorial — como um novo sentido. E assim libertamos o cérebro porque permitimos que o cérebro envie comandos para mover o avatar. O "feedback" que vem do avatar é processado diretamente pelo cérebro
So what you see here is this is the design of the task. You're going to see an animal basically touching these three targets. And he has to select one because only one carries the reward, the orange juice that they want to get. And he has to select it by touch using a virtual arm, an arm that doesn't exist. And that's exactly what they do.
sem interferência da pele. Então o que vemos aqui é o "design" de uma tarefa. Vamos ver um animal a tocar nestes três alvos. Tem que escolher um porque só um terá uma recompensa, o sumo de laranja que eles querem obter. Tem que o selecionar pelo toque usando um braço virtual, um braço que não existe.
This is a complete liberation of the brain from the physical constraints of the body and the motor in a perceptual task. The animal is controlling the avatar to touch the targets. And he's sensing the texture by receiving an electrical message directly in the brain. And the brain is deciding what is the texture associated with the reward. The legends that you see in the movie don't appear for the monkey. And by the way, they don't read English anyway, so they are here just for you to know that the correct target is shifting position. And yet, they can find them by tactile discrimination, and they can press it and select it.
É exatamente isso que eles fazem. Esta é a libertação total do cérebro dos limites físicos do corpo e do motor numa tarefa de perceção. O animal está a controlar o avatar para tocar nos alvos. E está a sentir a textura ao receber mensagens elétricas diretamente no cérebro. O cérebro está a decidir qual é a textura associada à recompensa. As legendas que vemos no filme não aparecem para o macaco De qualquer modo, eles não leem inglês, elas estão ali para sabermos que o alvo correto está a mudar de posição. Mesmo assim, eles encontram-no através da discriminação tátil, e podem pressioná-lo e selecioná-lo
So when we look at the brains of these animals, on the top panel you see the alignment of 125 cells showing what happens with the brain activity, the electrical storms, of this sample of neurons in the brain when the animal is using a joystick. And that's a picture that every neurophysiologist knows. The basic alignment shows that these cells are coding for all possible directions. The bottom picture is what happens when the body stops moving and the animal starts controlling either a robotic device or a computational avatar. As fast as we can reset our computers, the brain activity shifts to start representing this new tool, as if this too was a part of that primate's body. The brain is assimilating that too, as fast as we can measure.
Quando olhamos para o cérebro desses animais, no painel mais alto, vemos o alinhamento de 125 células que mostra o que acontece com a atividade cerebral, as tempestades elétricas dessa amostra de neurónios no cérebro quando o animal está a usar um "joystick" Esta é a imagem que todos os neurocientistas conhecem. O alinhamento básico mostra que estas células estão a codificar para todas as possíveis direções A figura de baixo é o que acontece quando o corpo deixa de se mover e o animal começa a controlar quer o aparelho robótico quer o avatar informático. Tão depressa quanto podemos reiniciar os nossos computadores a atividade cerebral muda para começar a representar a nova ferramenta, como se a ferramenta fosse parte do corpo do primata.
So that suggests to us that our sense of self does not end at the last layer of the epithelium of our bodies, but it ends at the last layer of electrons of the tools that we're commanding with our brains. Our violins, our cars, our bicycles, our soccer balls, our clothing -- they all become assimilated by this voracious, amazing, dynamic system called the brain.
O cérebro também está a assimilar isso tão depressa quanto podemos medir. Então isto sugere que a nossa noção de 'eu' não termina na última camada epitelial do nosso corpo, mas termina na última camada de eletrões das ferramentas que estamos a comandar com o cérebro. Os nossos violinos, os carros, as nossas bicicletas, as bolas de futebol, as nossas roupas,
How far can we take it? Well, in an experiment that we ran a few years ago, we took this to the limit. We had an animal running on a treadmill at Duke University on the East Coast of the United States, producing the brainstorms necessary to move. And we had a robotic device, a humanoid robot, in Kyoto, Japan at ATR Laboratories that was dreaming its entire life to be controlled by a brain, a human brain, or a primate brain.
tudo é assimilado por esse sistema voraz, incrível e dinâmico chamado cérebro. Onde podemos chegar? Numa experiência que fizemos há uns anos, levámos isto até ao limite. Tínhamos um animal a correr numa esteira na universidade de Duke na costa leste dos EUA, que produzia as tempestades cerebrais necessárias para se mover. Tínhamos um aparelho robótico, um robô humanoide, nos laboratórios ATR em Quioto, no Japão que sonhara toda a vida em ser controlado por um cérebro,
What happens here is that the brain activity that generated the movements in the monkey was transmitted to Japan and made this robot walk while footage of this walking was sent back to Duke, so that the monkey could see the legs of this robot walking in front of her. So she could be rewarded, not by what her body was doing but for every correct step of the robot on the other side of the planet controlled by her brain activity.
um cérebro humano, ou o cérebro de um primata. A atividade cerebral que gerou os movimentos do macaco foi transmitida para o Japão e fez o robô andar enquanto a filmagem dessa caminhada era enviada de volta para Duke, para o macaco poder ver as pernas do robô a caminhar à sua frente. Assim, ele podia ser recompensado, não pelo que o seu corpo estava a fazer, mas por cada passo correto que o robô dava do outro lado do planeta
Funny thing, that round trip around the globe took 20 milliseconds less
controlado pela atividade cerebral dele.
than it takes for that brainstorm to leave its head, the head of the monkey, and reach its own muscle. The monkey was moving a robot that was six times bigger, across the planet. This is one of the experiments in which that robot was able to walk autonomously. This is CB1 fulfilling its dream in Japan under the control of the brain activity of a primate.
O engraçado é que a ida e volta em torno do globo demorou 20 milissegundos menos do que levaria para a tempestade cerebral deixar a cabeça do macaco, e chegar aos seus próprios músculos. O macaco movia um robô seis vezes maior do que ele, do outro lado do planeta. Esta é uma das experiências em que os robôs conseguiram andar com autonomia. Esse é o CB1 realizando o seu sonho, no Japão,
So where are we taking all this? What are we going to do with all this research, besides studying the properties of this dynamic universe that we have between our ears? Well the idea is to take all this knowledge and technology and try to restore one of the most severe neurological problems that we have in the world. Millions of people have lost the ability to translate these brainstorms into action, into movement. Although their brains continue to produce those storms and code for movements, they cannot cross a barrier that was created by a lesion on the spinal cord.
sob o controlo da atividade cerebral de um primata. Então para onde estamos a levar tudo isto? O que faremos com toda essa pesquisa, para além de estudar as propriedades deste dinâmico universo que temos entre as nossas orelhas? A ideia é pegar em todo este conhecimento e tecnologia e tentar solucionar um dos problemas neurológicos mais graves que temos no mundo. Milhões de pessoas perderam a capacidade de traduzir essas tempestades cerebrais em ações, em movimento. Embora o cérebro continue a produzir essas tempestades e a codificar movimentos, elas não podem cruzar a barreira
So our idea is to create a bypass, is to use these brain-machine interfaces to read these signals, larger-scale brainstorms that contain the desire to move again, bypass the lesion using computational microengineering and send it to a new body, a whole body called an exoskeleton, a whole robotic suit that will become the new body of these patients.
que foi criada por uma lesão na espinal medula. Então a nossa ideia é criar um "bypass", é usar a interface cérebro-máquina para ler esses sinais, tempestades cerebrais em alta escala que contêm o desejo de mover novamente fazer um "bypass" na lesão usando microengenharia informática e enviar para um novo corpo, um corpo inteiro chamado exosqueleto, um traje robótico completo
And you can see an image produced by this consortium. This is a nonprofit consortium called the Walk Again Project that is putting together scientists from Europe, from here in the United States, and in Brazil together to work to actually get this new body built -- a body that we believe, through the same plastic mechanisms that allow Aurora and other monkeys to use these tools through a brain-machine interface and that allows us to incorporate the tools that we produce and use in our daily life. This same mechanism, we hope, will allow these patients, not only to imagine again the movements that they want to make and translate them into movements of this new body, but for this body to be assimilated as the new body that the brain controls.
que vai tornar-se no novo corpo desses pacientes. Vemos uma imagem produzida por um consórcio. É um consórcio sem fins lucrativos chamado "Caminhe Novamente" que está a reunir cientistas da Europa, daqui dos EUA e do Brasil para trabalhar e construir esse novo corpo, um corpo que, através dos mesmos mecanismos plásticos que permitem a Aurora e a outros macacos usarem essas ferramentas através de uma interface cérebro-máquina e que nos permite incorporar as ferramentas que produzimos e usamos na nossa vida diária. Esse mesmo mecanismo, esperamos, vai permitir a esses pacientes não apenas a imaginar novamente os movimentos que eles querem fazer e traduzi-los em movimentos desse novo corpo,
So I was told about 10 years ago that this would never happen, that this was close to impossible. And I can only tell you that as a scientist, I grew up in southern Brazil in the mid-'60s watching a few crazy guys telling [us] that they would go to the Moon. And I was five years old, and I never understood why NASA didn't hire Captain Kirk and Spock to do the job; after all, they were very proficient -- but just seeing that as a kid made me believe, as my grandmother used to tell me, that "impossible is just the possible that someone has not put in enough effort to make it come true."
mas assimilar esse corpo como um novo corpo que o cérebro controla. Há 10 anos, disseram-me que isso nunca aconteceria, que isso era impossível. Enquanto cientista, apenas posso dizer, eu cresci no sul do Brasil, na década de 60, a ver uns loucos a dizer que iriam até à Lua. Eu tinha cinco anos, e nunca entendi porque é que a NASA não contratou para isso o capitão Kirk e o Spock. Afinal de contas, eles eram muito competentes. Mas ver aquilo, enquanto criança, fez-me acreditar, como a minha avó costumava dizer: "O impossível é apenas o possível "que alguém ainda não se esforçou bastante para tornar realidade"
So they told me that it's impossible to make someone walk. I think I'm going to follow my grandmother's advice.
Disseram-me que era impossível fazer alguém andar. Eu acho que vou seguir o conselho da minha avó.
Thank you.
Obrigado.
(Applause)
(Aplausos)