Greg Gage: Mind-reading. You've seen this in sci-fi movies: machines that can read our thoughts. However, there are devices today that can read the electrical activity from our brains. We call this the EEG. Is there information contained in these brainwaves? And if so, could we train a computer to read our thoughts?
Greg Gage: Leitura da mente. Já o viste em filmes de ficção: máquinas que lêem o nosso pensamento. Contudo, existem hoje dispositivos que conseguem ler a atividade dos nossos cérebros. Chamamos a isto EEG. Existe informação contida nestas ondas cerebrais? E se sim, podemos treinar um computador a ler o pensamento?
My buddy Nathan has been working to hack the EEG to build a mind-reading machine.
O meu amigo Nathan tem estado a tentar descodificar o EEG e criar uma máquina de leitura da mente.
[DIY Neuroscience]
[Faça a sua própria Neurociência]
So this is how the EEG works. Inside your head is a brain, and that brain is made out of billions of neurons. Each of those neurons sends an electrical message to each other. These small messages can combine to make an electrical wave that we can detect on a monitor. Now traditionally, the EEG can tell us large-scale things, for example if you're asleep or if you're alert. But can it tell us anything else? Can it actually read our thoughts? We're going to test this, and we're not going to start with some complex thoughts. We're going to do something very simple. Can we interpret what someone is seeing using only their brainwaves?
Portanto, o EEG funciona assim. Dentro da tua cabeça está um cérebro, e esse cérebro é feito de biliões de neurónios. Cada um desses neurónios envia uma mensagem elétrica entre si. Estas mensagens podem combinar-se numa onda elétrica que podemos detetar num monitor. Agora, por norma, o EEG pode dizer-nos coisas em escala, por exemplo, se está a dormir ou se está alerta. Mas pode dizer-nos algo mais? Pode mesmo ler o nosso pensamento? Vamos testar isto, e não vamos começar com pensamentos complexos. Vamos fazer algo muito simples. Podemos interpretar o que alguém vê usando apenas as ondas cerebrais?
Nathan's going to begin by placing electrodes on Christy's head.
O Nathan vai começar por colocar elétrodos na cabeça da Christy.
Nathan: My life is tangled.
Nathan: A minha vida é confusa.
(Laughter)
(Risos)
GG: And then he's going to show her a bunch of pictures from four different categories.
GG: E depois ele vai mostrar-lhe um monte de imagens de quatro categorias diferentes.
Nathan: Face, house, scenery and weird pictures.
Nathan: Rosto, casa, cenário e imagens estranhas.
GG: As we show Christy hundreds of these images, we are also capturing the electrical waves onto Nathan's computer. We want to see if we can detect any visual information about the photos contained in the brainwaves, so when we're done, we're going to see if the EEG can tell us what kind of picture Christy is looking at, and if it does, each category should trigger a different brain signal.
GG: Ao mostrarmos à Christy centenas de imagens, captamos também as ondas elétricas no computador do Nathan. Queremos ver se detetamos qualquer informação visual sobre as fotos contida nas ondas, por isso, quando terminarmos, vamos ver se o EEG pode dizer-nos que tipo de imagem a Christy está a ver, e se o fizer, cada categoria deve acionar um sinal cerebral diferente.
OK, so we collected all the raw EEG data, and this is what we got. It all looks pretty messy, so let's arrange them by picture. Now, still a bit too noisy to see any differences, but if we average the EEG across all image types by aligning them to when the image first appeared, we can remove this noise, and pretty soon, we can see some dominant patterns emerge for each category.
Ok, recolhemos os dados em bruto do EEG, e é isto que temos. Parece muito confuso, por isso vamos organizá-los por imagem. Bom, ainda é difícil ver quaisquer diferenças, mas se calcularmos a média do EEG em todos os tipos de imagem alinhando-as pelo momento em que a imagem apareceu, podemos remover este ruído, e cedo podemos ver alguns padrões dominantes emergirem para cada categoria.
Now the signals all still look pretty similar. Let's take a closer look. About a hundred milliseconds after the image comes on, we see a positive bump in all four cases, and we call this the P100, and what we think that is is what happens in your brain when you recognize an object. But damn, look at that signal for the face. It looks different than the others. There's a negative dip about 170 milliseconds after the image comes on.
Bom, os sinais ainda parecem muito similares. Vamos ver mais de perto. Cerca de cem milissegundos após a imagem aparecer, vemos um salto positivo nos quatro casos, e chamamos a isto P100, e pensamos que é o que acontece no teu cérebro quando reconheces um objeto. Mas, raios, vejam o sinal para o rosto. Parece diferente dos outros. Há uma queda negativa à volta dos 170 milissegundos depois de a imagem aparecer.
What could be going on here? Research shows that our brain has a lot of neurons that are dedicated to recognizing human faces, so this N170 spike could be all those neurons firing at once in the same location, and we can detect that in the EEG.
O que poderá estar a acontecer aqui? A investigação mostra que o cérebro tem muitos neurónios dedicados a reconhecer rostos humanos, portanto, este pico N170 pode ser todos esses neurónios a disparar ao mesmo tempo no mesmo local, e podemos detetar isso no EEG.
So there are two takeaways here. One, our eyes can't really detect the differences in patterns without averaging out the noise, and two, even after removing the noise, our eyes can only pick up the signals associated with faces.
Por isso, há aqui duas conclusões. Um, os olhos não conseguem detetar as diferenças nos padrões sem fazer a média do ruído, e dois, mesmo após a remoção do ruído, os olhos só conseguem captar os sinais associados aos rostos.
So this is where we turn to machine learning. Now, our eyes are not very good at picking up patterns in noisy data, but machine learning algorithms are designed to do just that, so could we take a lot of pictures and a lot of data and feed it in and train a computer to be able to interpret what Christy is looking at in real time?
Portanto, recorremos à aprendizagem automática. Bem, os nossos olhos não são muito bons a reconhecer padrões em dados ruidosos, mas os algoritmos de aprendizagem foram concebidos para isso, por isso podemos pegar em muitas imagens e muitos dados e introduzi-los e treinar uma máquina para ser capaz de interpretar o que a Christy está a ver em tempo real?
We're trying to code the information that's coming out of her EEG in real time and predict what it is that her eyes are looking at. And if it works, what we should see is every time that she gets a picture of scenery, it should say scenery, scenery, scenery, scenery. A face -- face, face, face, face, but it's not quite working that way, is what we're discovering.
Estamos a tentar codificar a informação que está a sair do seu EEG em tempo real e prever o que é que os seus olhos estão a ver. E se funcionar, o que devemos ver é cada vez que ela recebe uma imagem de cenário, deverá dizer cenário, cenário, cenário, cenário. Um rosto - rosto, rosto, rosto, rosto, mas estamos a descobrir, que não está a funcionar bem assim.
(Laughter)
(Risos)
OK.
Ok.
Director: So what's going on here? GG: We need a new career, I think.
Realizador: Então, o que se passa? GG: Precisamos de uma nova carreira.
(Laughter)
(Risos)
OK, so that was a massive failure. But we're still curious: How far could we push this technology? And we looked back at what we did. We noticed that the data was coming into our computer very quickly, without any timing of when the images came on, and that's the equivalent of reading a very long sentence without spaces between the words. It would be hard to read, but once we add the spaces, individual words appear and it becomes a lot more understandable.
Ok, isto foi um enorme fracasso. Mas estávamos curiosos: Até que ponto podemos levar a tecnologia? E olhámos para o que fizemos. Reparámos que os dados chegavam ao nosso computador muito rápido, sem a temporização do aparecimento das imagens, e isso é o equivalente a ler uma frase muito longa sem espaços entre as palavras. Seria difícil de ler, mas uma vez acrescentados os espaços, aparecem palavras individuais e torna-se muito mais compreensível.
But what if we cheat a little bit? By using a sensor, we can tell the computer when the image first appears. That way, the brainwave stops being a continuous stream of information, and instead becomes individual packets of meaning. Also, we're going to cheat a little bit more, by limiting the categories to two. Let's see if we can do some real-time mind-reading.
Mas e se fizermos um pouco de batota? Ao usar um sensor, dizemos ao computador quando a imagem aparece primeiro. Dessa forma, a onda cerebral deixa de ser um fluxo contínuo de informação, e, em vez disso, torna-se em pacotes de significado. Além disso, vamos fazer um pouco mais de batota, limitando as categorias a duas. Vamos ver se podemos ler a mente em tempo real.
In this new experiment, we're going to constrict it a little bit more so that we know the onset of the image and we're going to limit the categories to "face" or "scenery."
Nesta nova experiência, vamos limitá-la um pouco mais para que saibamos o início da imagem e vamos limitar as categorias a “rosto” ou “cenário”.
Nathan: Face. Correct. Scenery. Correct.
Nathan: Rosto. Correto. Cenário. Correto.
GG: So right now, every time the image comes on, we're taking a picture of the onset of the image and decoding the EEG. It's getting correct.
GG: Bom, agora, de cada vez que a imagem aparece, tiramos uma fotografia do início da imagem e a descodificar o EEG. Está a ficar correto.
Nathan: Yes. Face. Correct.
Nathan: Sim. Rosto. Correto.
GG: So there is information in the EEG signal, which is cool. We just had to align it to the onset of the image.
GG: Portanto, há informação no sinal EEG, o que é fixe. Só tínhamos de a alinhar com o início da imagem.
Nathan: Scenery. Correct. Face. Yeah.
Nathan: Cenário. Correto. Rosto. Sim.
GG: This means there is some information there, so if we know at what time the picture came on, we can tell what type of picture it was, possibly, at least on average, by looking at these evoked potentials.
GG: Isto significa que há alguma informação lá, por isso, se soubermos a que momento a imagem chegou, podemos discernir que tipo de imagem era, possivelmente, pelo menos em média, ao olhar para estes potenciais evocados.
Nathan: Exactly.
Nathan: Exatamente.
GG: If you had told me at the beginning of this project this was possible, I would have said no way. I literally did not think we could do this.
GG: Se me tivesses dito no início deste projeto que era possível, Eu teria dito nem pensar. Literalmente não pensava que era possível.
Did our mind-reading experiment really work? Yes, but we had to do a lot of cheating. It turns out you can find some interesting things in the EEG, for example if you're looking at someone's face, but it does have a lot of limitations. Perhaps advances in machine learning will make huge strides, and one day we will be able to decode what's going on in our thoughts. But for now, the next time a company says that they can harness your brainwaves to be able to control devices, it is your right, it is your duty to be skeptical.
A experiência de leitura da mente funcionou? Sim, mas tivemos de fazer muita batota. Parece que se pode encontrar coisas interessantes no EEG, por exemplo, se estiver a ver o rosto de alguém, mas tem muitas limitações. Talvez avanços na aprendizagem automática levem a melhorias, e um dia sejamos capazes de descodificar o que acontece no pensamento. Para já, da próxima vez que uma empresa disser que podem usar ondas cerebrais para poder controlar dispositivos, é um direito teu, é um dever teu, ser cético.