Greg Gage: Mind-reading. You've seen this in sci-fi movies: machines that can read our thoughts. However, there are devices today that can read the electrical activity from our brains. We call this the EEG. Is there information contained in these brainwaves? And if so, could we train a computer to read our thoughts?
Greg Gage : Lire dans les esprits. Vous l'avez vu dans la SF : des machines pouvant lire nos pensées. Il y a actuellement des appareils pouvant lire l'activité électrique de notre cerveau. Cela s'appelle l'EEG. Y a-t-il des informations dans ces ondes cérébrales ? Pourrions-nous entraîner un ordinateur à lire nos pensées ?
My buddy Nathan has been working to hack the EEG to build a mind-reading machine.
Mon pote Nathan a travaillé à décoder l'EEG pour élaborer une machine qui lise les pensées.
[DIY Neuroscience]
[De la neuroscience à faire soi-même]
So this is how the EEG works. Inside your head is a brain, and that brain is made out of billions of neurons. Each of those neurons sends an electrical message to each other. These small messages can combine to make an electrical wave that we can detect on a monitor. Now traditionally, the EEG can tell us large-scale things, for example if you're asleep or if you're alert. But can it tell us anything else? Can it actually read our thoughts? We're going to test this, and we're not going to start with some complex thoughts. We're going to do something very simple. Can we interpret what someone is seeing using only their brainwaves?
Voici comment l'EEG fonctionne. Dans votre tête, il y a un cerveau et ce cerveau est formé de milliards de neurones. Chacun de ces neurones envoie un message électrique à un autre. Ces petits messages peuvent se combiner en une onde électrique détectable sur un moniteur. Traditionnellement, l'EEG nous dit des choses à grande échelle comme si vous dormez ou si vous êtes éveillé. Peut-il nous dire autre chose ? Peut-il lire nos pensées ? Nous allons tester cela et nous n'allons pas commencer par des pensées complexes. Nous allons faire une chose très simple. Pouvons interpréter ce que quelqu'un voit avec ces ondes cérébrales ?
Nathan's going to begin by placing electrodes on Christy's head.
Nathan va commencer par placer les électrodes sur la tête de Christy.
Nathan: My life is tangled.
Nathan : Ma vie est enchevêtrée.
(Laughter)
(Rires)
GG: And then he's going to show her a bunch of pictures from four different categories.
GG : Puis il va lui montrer quelques images de quatre catégories différentes.
Nathan: Face, house, scenery and weird pictures.
Nathan : Visage, maison, paysage et images bizarres.
GG: As we show Christy hundreds of these images, we are also capturing the electrical waves onto Nathan's computer. We want to see if we can detect any visual information about the photos contained in the brainwaves, so when we're done, we're going to see if the EEG can tell us what kind of picture Christy is looking at, and if it does, each category should trigger a different brain signal.
GG : En montrant des centaines de ces images à Christy, nous enregistrons les ondes électriques sur l'ordinateur de Nathan. Nous voulons essayer de détecter une information visuelle sur les photos dans les ondes cérébrales. Quand nous aurons fini, nous verrons si l'EEG peut nous dire quel genre d'image Christy regarde et si oui, chaque catégorie devrait entraîner un signal cérébral différent.
OK, so we collected all the raw EEG data, and this is what we got. It all looks pretty messy, so let's arrange them by picture. Now, still a bit too noisy to see any differences, but if we average the EEG across all image types by aligning them to when the image first appeared, we can remove this noise, and pretty soon, we can see some dominant patterns emerge for each category.
Nous avons collecté les données brutes de l'EEG et voici ce que nous avons obtenu. Tout cela est confus, organisons cela par image. Toujours un peu trop embrouillé pour voir des différences mais si nous faisons la moyenne de l'EEG sur les types d'images en les alignant à la première apparition de l'image, nous pouvons ôter ce bruit et vite, nous pouvons voir des tendances dominantes émerger pour chaque catégorie.
Now the signals all still look pretty similar. Let's take a closer look. About a hundred milliseconds after the image comes on, we see a positive bump in all four cases, and we call this the P100, and what we think that is is what happens in your brain when you recognize an object. But damn, look at that signal for the face. It looks different than the others. There's a negative dip about 170 milliseconds after the image comes on.
Les signaux semblent tous similaires. Regardons-y de plus près. Environ 100 millisecondes après l'apparition de l'image, nous voyons un pic positif dans les quatre cas que nous appelons le P100 et nous pensons que c'est ce qui arrive dans votre cerveau quand vous reconnaissez un objet. Regardez ce signal pour le visage : il semble différent des autres. Il y a une chute négative environ 170 millisecondes après l'apparition de l'image.
What could be going on here? Research shows that our brain has a lot of neurons that are dedicated to recognizing human faces, so this N170 spike could be all those neurons firing at once in the same location, and we can detect that in the EEG.
Que se passe-t-il là ? La recherche montre que notre cerveau a beaucoup de neurones dédiés à la reconnaissance des visages humains donc ce pic N170 pourrait être tous ces neurones s'activant en même temps au même endroit et nous le détectons via l'EEG.
So there are two takeaways here. One, our eyes can't really detect the differences in patterns without averaging out the noise, and two, even after removing the noise, our eyes can only pick up the signals associated with faces.
Il y a deux choses à retenir. Un : nos yeux ne peuvent pas détecter les différences de motifs sans faire la moyenne et éliminer le bruit. Deux : même après avoir éliminé le bruit, nos yeux ne peuvent détecter que les signaux associés à des visages.
So this is where we turn to machine learning. Now, our eyes are not very good at picking up patterns in noisy data, but machine learning algorithms are designed to do just that, so could we take a lot of pictures and a lot of data and feed it in and train a computer to be able to interpret what Christy is looking at in real time?
On se tourne alors vers l'apprentissage automatique. Nos yeux ne sont pas bons pour déceler des tendances dans des données indémêlables, mais les algorithmes d'apprentissage automatique sont faits pour. Pourrions-nous prendre beaucoup d'images et de données, les introduire et entraîner un ordinateur pour qu'il puisse interpréter ce que Christy regarde en temps réel ?
We're trying to code the information that's coming out of her EEG in real time and predict what it is that her eyes are looking at. And if it works, what we should see is every time that she gets a picture of scenery, it should say scenery, scenery, scenery, scenery. A face -- face, face, face, face, but it's not quite working that way, is what we're discovering.
Nous essayons de coder les informations issues de son EEG en temps réel et de prédire ce que ses yeux regardent. Si cela fonctionne, nous devrions voir qu'à chaque fois qu'elle a une photo de paysage, cela indiquerait que c'est un paysage. Un visage -- cela indiquerait « visage », mais cela ne fonctionne pas ainsi, comme nous le découvrons.
(Laughter)
(Rires)
OK.
D'accord.
Director: So what's going on here? GG: We need a new career, I think.
Réalisateur : Que se passe-t-il ? GG : Il nous faut changer de métier.
(Laughter)
(Rires)
OK, so that was a massive failure. But we're still curious: How far could we push this technology? And we looked back at what we did. We noticed that the data was coming into our computer very quickly, without any timing of when the images came on, and that's the equivalent of reading a very long sentence without spaces between the words. It would be hard to read, but once we add the spaces, individual words appear and it becomes a lot more understandable.
C'était un échec cuisant. Mais restons curieux : jusqu'où cette technologie peut-elle aller ? Nous avons reconsidéré ce qui était fait. Les données arrivaient très vite sur notre ordinateur, sans savoir quand l'image était apparue, et c'est l'équivalent de la lecture d'une très longue phrase sans espace entre les mots. Ce serait difficile à lire, mais une fois les espaces ajoutés, les mots apparaissent et cela devient bien plus compréhensible.
But what if we cheat a little bit? By using a sensor, we can tell the computer when the image first appears. That way, the brainwave stops being a continuous stream of information, and instead becomes individual packets of meaning. Also, we're going to cheat a little bit more, by limiting the categories to two. Let's see if we can do some real-time mind-reading.
Et si nous trichions un peu ? Avec un capteur, nous pouvons dire à l'ordinateur quand l'image apparaît. Ainsi, l'onde cérébrale n'est plus un flux continu d'informations et devient des paquets individuels emplis de sens. Nous allons tricher un peu plus en nous limitant à deux catégories. Voyons si nous pouvons lire un esprit en temps réel.
In this new experiment, we're going to constrict it a little bit more so that we know the onset of the image and we're going to limit the categories to "face" or "scenery."
Durant cette expérience, nous allons restreindre cela un peu pour savoir quand l'image apparaît et nous allons limiter les catégories à un visage ou un paysage.
Nathan: Face. Correct. Scenery. Correct.
Nathan : Visage. Correct. Paysage. Correct.
GG: So right now, every time the image comes on, we're taking a picture of the onset of the image and decoding the EEG. It's getting correct.
GG : A chaque fois qu'une image apparaît, nous prenons une photo à l'apparition de l'image et nous décodons l'EEG. Le résultat est correct.
Nathan: Yes. Face. Correct.
Nathan : Oui. Visage. Correct.
GG: So there is information in the EEG signal, which is cool. We just had to align it to the onset of the image.
GG : Il y a des informations dans le signal EEG, cool. Nous devions juste l'aligner à l'apparition de l'image.
Nathan: Scenery. Correct. Face. Yeah.
Nathan : Paysage. Correct. Visage. Oui.
GG: This means there is some information there, so if we know at what time the picture came on, we can tell what type of picture it was, possibly, at least on average, by looking at these evoked potentials.
GG : Cela signifie qu'il y a là des informations donc si nous savons à quel moment l'image est apparue, nous pouvons déterminer le type d'image possiblement, au moins avec la moyenne, en regardant les potentiels évoqués.
Nathan: Exactly.
Nathan : Exactement.
GG: If you had told me at the beginning of this project this was possible, I would have said no way. I literally did not think we could do this.
GG : Si vous m'aviez dit au début de ce projet que cela était possible, je n'y aurais pas cru. Je ne pensais pas que nous le pouvions.
Did our mind-reading experiment really work? Yes, but we had to do a lot of cheating. It turns out you can find some interesting things in the EEG, for example if you're looking at someone's face, but it does have a lot of limitations. Perhaps advances in machine learning will make huge strides, and one day we will be able to decode what's going on in our thoughts. But for now, the next time a company says that they can harness your brainwaves to be able to control devices, it is your right, it is your duty to be skeptical.
Notre lecture des pensées a-t-elle fonctionné ? Oui, mais nous avons dû tricher. Vous pouvez trouver des choses intéressantes dans l'EEG, comme le fait que vous regardiez un visage, mais cela a de nombreuses limites. Peut-être qu'il y aura de gros progrès en apprentissage automatique et qu'un jour nous pourrons décoder ce qu'il se passe dans vos pensées. Pour l'instant, la prochaine fois qu'une entreprise dit capter vos ondes cérébrales pour contrôler des appareils, c'est votre droit, c'est votre devoir, d'être sceptique.