Greg Gage: Mind-reading. You've seen this in sci-fi movies: machines that can read our thoughts. However, there are devices today that can read the electrical activity from our brains. We call this the EEG. Is there information contained in these brainwaves? And if so, could we train a computer to read our thoughts?
Leggere la mente è comune nei film di fantascienza. Macchine futuristiche che leggono i pensieri. Oggi, però, esistono solo dispositivi che rilevano le onde cerebrali. È l’elettroencefalogramma, EEG. Ma le onde cerebrali contengono delle informazioni? Se sì, possiamo addestrare un pc a leggere i pensieri?
My buddy Nathan has been working to hack the EEG to build a mind-reading machine.
Il mio amico Nathan vuole trasformare un EEG in una macchina per leggere la mente.
[DIY Neuroscience]
[Neuroscienza fai da te]
So this is how the EEG works. Inside your head is a brain, and that brain is made out of billions of neurons. Each of those neurons sends an electrical message to each other. These small messages can combine to make an electrical wave that we can detect on a monitor. Now traditionally, the EEG can tell us large-scale things, for example if you're asleep or if you're alert. But can it tell us anything else? Can it actually read our thoughts? We're going to test this, and we're not going to start with some complex thoughts. We're going to do something very simple. Can we interpret what someone is seeing using only their brainwaves?
Ecco come funziona un EEG. Nella nostra testa c'è un cervello fatto da miliardi di neuroni. I neuroni si scambiano messaggi elettrici. Questi messaggi si uniscono creando delle onde elettriche che possiamo vedere su un monitor. L’EEG ci dà informazioni generiche, come se stai dormendo o se sei sveglio. Ma può dirci dell'altro? Può leggere i nostri pensieri? È quello che testeremo. Non inizieremo con pensieri complessi, ma con qualcosa di semplice. Si può interpretare ciò che si vede usando solamente le onde cerebrali? Nathan inizierà posizionando elettrodi sulla testa di Christy.
Nathan's going to begin by placing electrodes on Christy's head.
N: La mia vita è appesa a un filo.
Nathan: My life is tangled.
(Laughter)
(Risate)
GG: And then he's going to show her a bunch of pictures from four different categories.
GG: Poi le mostrerà delle foto appartenenti a quattro categorie. N: Volti, case, paesaggi e foto strane.
Nathan: Face, house, scenery and weird pictures.
GG: As we show Christy hundreds of these images, we are also capturing the electrical waves onto Nathan's computer. We want to see if we can detect any visual information about the photos contained in the brainwaves, so when we're done, we're going to see if the EEG can tell us what kind of picture Christy is looking at, and if it does, each category should trigger a different brain signal.
GG: Mentre mostriamo a Christy centinaia di immagini, acquisiamo le onde elettriche sul computer di Nathan. Vogliamo sapere se possiamo rilevare informazioni sulle foto con le onde cerebrali. Quando avremo finito, vedremo se l’EEG può dirci che tipo di foto sta guardando Christy. Se lo fa, ogni tipo dovrebbe scatenare un segnale cerebrale diverso.
OK, so we collected all the raw EEG data, and this is what we got. It all looks pretty messy, so let's arrange them by picture. Now, still a bit too noisy to see any differences, but if we average the EEG across all image types by aligning them to when the image first appeared, we can remove this noise, and pretty soon, we can see some dominant patterns emerge for each category.
Abbiamo raccolto tutti i dati dell'EEG e questo è ciò che abbiamo. Sembra complicato, perciò vediamo le foto. C’è ancora troppo rumore per notare le differenze, ma se facciamo una media dell’EEG tra le tipologie di foto allineandole dove la foto appare per la prima volta possiamo rimuovere il rumore e vedere pattern dominanti emergere per ogni categoria.
Now the signals all still look pretty similar. Let's take a closer look. About a hundred milliseconds after the image comes on, we see a positive bump in all four cases, and we call this the P100, and what we think that is is what happens in your brain when you recognize an object. But damn, look at that signal for the face. It looks different than the others. There's a negative dip about 170 milliseconds after the image comes on.
I segnali sembrano ancora molto simili. Approfondiamo. Dopo circa 100 millisecondi dall’apparizione della foto, in tutti i casi si nota un trend positivo che chiamiamo P100 e crediamo che sia ciò che accade nel cervello quando riconosce un oggetto. Ma guardate il segnale del volto. Sembra diverso dagli altri. C’è un trend negativo di circa 170 millescondi dopo che la foto appare sullo schermo.
What could be going on here? Research shows that our brain has a lot of neurons that are dedicated to recognizing human faces, so this N170 spike could be all those neurons firing at once in the same location, and we can detect that in the EEG.
Quale potrebbe essere il motivo? Ricerche dimostrano che molti neuroni del nostro cervello servono a riconoscere i volti umani. Perciò il picco N170 potrebbero essere tutti i neuroni che si accedono insieme nello stesso punto e noi possiamo rilevarlo nell'EEG.
So there are two takeaways here. One, our eyes can't really detect the differences in patterns without averaging out the noise, and two, even after removing the noise, our eyes can only pick up the signals associated with faces.
Possiamo fare due interpretazioni. La prima: i nostri occhi non rilevano la differenza tra modelli senza fare una media tra il rumore. La seconda: anche dopo aver tolto il rumore possiamo solo cogliere i segnali legati ai volti.
So this is where we turn to machine learning. Now, our eyes are not very good at picking up patterns in noisy data, but machine learning algorithms are designed to do just that, so could we take a lot of pictures and a lot of data and feed it in and train a computer to be able to interpret what Christy is looking at in real time?
Ci siamo dunque affidati al <i>machine learning</i>. I nostri occhi non sanno cogliere pattern da dati rumorosi, ma gli algoritmi delle macchine sono progettati per questo. Quindi, possiamo prendere molte foto e dati, inserirli e addestrare un computer per poter interpretare ciò che Christy guarda in tempo reale?
We're trying to code the information that's coming out of her EEG in real time and predict what it is that her eyes are looking at. And if it works, what we should see is every time that she gets a picture of scenery, it should say scenery, scenery, scenery, scenery. A face -- face, face, face, face, but it's not quite working that way, is what we're discovering.
Cerchiamo di codificare le informazioni che escono dal suo EEG in tempo reale e capire che cosa stanno guardando i suoi occhi. Se funziona, dovremmo vedere che ogni volta che appare un paesaggio dovrebbe dire paesaggio, paesaggio, paesaggio. Un volto: volto, volto, volto. Ma abbiamo scoperto che non funziona in questo modo.
(Laughter)
(Risate)
OK.
Va bene.
Director: So what's going on here? GG: We need a new career, I think.
Regista: Cosa succede? GG: Dobbiamo cercare un nuovo lavoro.
(Laughter)
(Risate)
OK, so that was a massive failure. But we're still curious: How far could we push this technology? And we looked back at what we did. We noticed that the data was coming into our computer very quickly, without any timing of when the images came on, and that's the equivalent of reading a very long sentence without spaces between the words. It would be hard to read, but once we add the spaces, individual words appear and it becomes a lot more understandable.
È stato un enorme fallimento. Ma la curiosità rimane, fin dove può arrivare questa tecnologia? Abbiamo rivisto quanto fatto. Abbiamo notato che i dati arrivavano molto velocemente, senza nessuna sequenza di apparizione della foto. L’equivalente di leggere una frase molto lunga senza spazi. Difficile da leggere, ma una volta aggiunti gli spazi, compaiono le singole parole e tutto diventa molto più comprensibile.
But what if we cheat a little bit? By using a sensor, we can tell the computer when the image first appears. That way, the brainwave stops being a continuous stream of information, and instead becomes individual packets of meaning. Also, we're going to cheat a little bit more, by limiting the categories to two. Let's see if we can do some real-time mind-reading.
E se imbrogliassimo un pochino? Usando un sensore che dice al pc quando compare una foto, le onde cerebrali non saranno più un flusso continuo di informazioni, ma diventeranno singole unità di significato. Imbroglieremo un altro po' limitando le categorie a due. Vediamo se riusciamo a leggere la mente.
In this new experiment, we're going to constrict it a little bit more so that we know the onset of the image and we're going to limit the categories to "face" or "scenery."
Limiteremo ancora un po’ il nuovo esperimento così sapremo quando è l'inizio di una foto e ridurremo le categorie a “volto” e “paesaggio”.
Nathan: Face. Correct. Scenery. Correct.
Nathan: Volto. Corretto. Paesaggio. Corretto.
GG: So right now, every time the image comes on, we're taking a picture of the onset of the image and decoding the EEG. It's getting correct.
GG: Ora, quando appare una foto scattiamo una foto dell’inizio dell’immagine e decodifichiamo l'EEG. Sta andando bene.
Nathan: Yes. Face. Correct.
N: Sì. Volto. Corretto.
GG: So there is information in the EEG signal, which is cool. We just had to align it to the onset of the image.
GG: Ci sono informazioni nel segnale dell’EEG, è fantastico. Dobbiamo allinearlo all'inizio della foto.
Nathan: Scenery. Correct. Face. Yeah.
N: Paesaggio. Corretto. Volto. Sì.
GG: This means there is some information there, so if we know at what time the picture came on, we can tell what type of picture it was, possibly, at least on average, by looking at these evoked potentials.
GG: Significa che ci sono informazioni, perciò se noi sappiamo quando appare l’immagine possiamo dire che tipo di foto era, almeno in teoria, guardando questi potenziali evocati.
Nathan: Exactly.
N: Esatto.
GG: If you had told me at the beginning of this project this was possible, I would have said no way. I literally did not think we could do this.
GG: Se mi avessi detto che sarebbe stato possibile non ti avrei creduto. Non pensavo che ci saremmo riusciti.
Did our mind-reading experiment really work? Yes, but we had to do a lot of cheating. It turns out you can find some interesting things in the EEG, for example if you're looking at someone's face, but it does have a lot of limitations. Perhaps advances in machine learning will make huge strides, and one day we will be able to decode what's going on in our thoughts. But for now, the next time a company says that they can harness your brainwaves to be able to control devices, it is your right, it is your duty to be skeptical.
Il nostro esperimento ha veramente funzionato? Sì, ma abbiamo imbrogliato molto. A quanto pare si trovano cose interessanti in un EEG, per esempio, se stai guardando il volto di qualcuno, ma ci sono molti limiti. Forse la <i>machine learning</i> farà grandi passi in avanti e un giorno potremmo decodificare i nostri pensieri. Per ora, se un’azienda dice di poter usare le vostre onde cerebrali per controllare i dispositivi, è un vostro diritto e un vostro dovere essere scettici.