Up until now, our communication with machines has always been limited to conscious and direct forms. Whether it's something simple like turning on the lights with a switch, or even as complex as programming robotics, we have always had to give a command to a machine, or even a series of commands, in order for it to do something for us. Communication between people, on the other hand, is far more complex and a lot more interesting because we take into account so much more than what is explicitly expressed. We observe facial expressions, body language, and we can intuit feelings and emotions from our dialogue with one another. This actually forms a large part of our decision-making process. Our vision is to introduce this whole new realm of human interaction into human-computer interaction so that computers can understand not only what you direct it to do, but it can also respond to your facial expressions and emotional experiences. And what better way to do this than by interpreting the signals naturally produced by our brain, our center for control and experience.
Fino ad ora, la nostra comunicazione con le macchine si è sempre limitata a forme coscienti e dirette. Che si tratti di un'operazione semplice come accendere le luci con un interruttore, o complessa come la programmazione robotica, abbiamo sempre dovuto dare un comando a una macchina, o una serie di comandi, in modo che questa facesse qualcosa per noi. La comunicazione tra persone, d'altra parte, è decisamente più complessa e molto più interessante in quanto noi prendiamo in considerazione molto più di quanto è espresso esplicitamente. Osservando le espressioni del volto, il linguaggio del corpo, siamo in grado di intuire sentimenti ed emozioni dialogando con un altro essere umano. E ciò ha un ruolo molto importante nel processo attraverso cui prendiamo le decisioni. Ciò che intendiamo fare è introdurre questo mondo complesso di interazione umana nell'interazione tra essere umano e computer, così che i computer possano capire non solo ciò per cui ricevono dei comandi ma possano anche reagire alle espressioni del volto e alle esperienze emotive. E quale miglior modo per farlo dell'interpretare i segnali prodotti naturalmente dal nostro cervello, il nostro centro di controllo e di esperienza.
Well, it sounds like a pretty good idea, but this task, as Bruno mentioned, isn't an easy one for two main reasons: First, the detection algorithms. Our brain is made up of billions of active neurons, around 170,000 km of combined axon length. When these neurons interact, the chemical reaction emits an electrical impulse, which can be measured. The majority of our functional brain is distributed over the outer surface layer of the brain, and to increase the area that's available for mental capacity, the brain surface is highly folded. Now this cortical folding presents a significant challenge for interpreting surface electrical impulses. Each individual's cortex is folded differently, very much like a fingerprint. So even though a signal may come from the same functional part of the brain, by the time the structure has been folded, its physical location is very different between individuals, even identical twins. There is no longer any consistency in the surface signals.
Beh, sembra un'idea piuttosto interessante, ma il compito, come ha detto Bruno, non è dei più facili, e in particolare per due motivi. La prima sono gli algoritmi di rilevamento. Il nostro cervello è composto da miliardi di neuroni attivi. La lunghezza complessiva degli assoni ammonta a un totale di circa 170.000 km. Quando questi neuroni interagiscono la reazione chimica emette un impulso elettrico misurabile. La maggior parte delle nostre capacità mentali è distribuita sullo strato superficiale esterno del cervello. E per aumentare la superficie a disposizione della capacità mentale lo strato superficiale del cervello presenta innumerevoli pieghe. Ora, queste pieghe corticali rappresentano una sfida complessa all'interpretazione degli impulsi elettrici dello strato superficiale. La corteccia cerebrale di ogni individuo presenta pieghe differenti, molto simili a un'impronta digitale. Quindi, sebbene un segnale possa provenire dalla stessa area di attività del cervello, una volta che le pieghe strutturali sono state definite la sua ubicazione fisica differisce di molto da individuo e individuo, persino nei gemelli omozigoti. Non c'è più alcuna coerenza nei segnali superficiali.
Our breakthrough was to create an algorithm that unfolds the cortex, so that we can map the signals closer to its source, and therefore making it capable of working across a mass population. The second challenge is the actual device for observing brainwaves. EEG measurements typically involve a hairnet with an array of sensors, like the one that you can see here in the photo. A technician will put the electrodes onto the scalp using a conductive gel or paste and usually after a procedure of preparing the scalp by light abrasion. Now this is quite time consuming and isn't the most comfortable process. And on top of that, these systems actually cost in the tens of thousands of dollars.
La nostra innovazione è stata la creazione di un algoritmo in grado di districare la corteccia cerebrale, così da creare una mappatura dei segnali più vicino alla fonte in modo da poter funzionare sull'intera popolazione. La seconda sfida è stato il macchinario con il quale osservare le onde cerebrali. Un elettroencefalogramma richiede l'uso di una retina con una serie di sensori come quella che vedete qui nell'immagine. Un tecnico sistema gli elettrodi sul cuoio capelluto aiutandosi con un conduttore o una pasta solitamente dopo una procedura di preparazione del cuoio capelluto attraverso una leggera abrasione. Tale procedura richiede del tempo e non è delle più piacevoli. Oltre a tutto ciò, quei sistemi costano in realtà decine di migliaia di dollari.
So with that, I'd like to invite onstage Evan Grant, who is one of last year's speakers, who's kindly agreed to help me to demonstrate what we've been able to develop.
Ora, detto questo, vorrei invitare sul palco Evan Grant, uno degli oratori dello scorso anno, il quale ha gentilmente accettato di aiutarmi a dimostrare ciò che siamo riusciti a sviluppare.
(Applause)
(Applausi)
So the device that you see is a 14-channel, high-fidelity EEG acquisition system. It doesn't require any scalp preparation, no conductive gel or paste. It only takes a few minutes to put on and for the signals to settle. It's also wireless, so it gives you the freedom to move around. And compared to the tens of thousands of dollars for a traditional EEG system, this headset only costs a few hundred dollars. Now on to the detection algorithms. So facial expressions -- as I mentioned before in emotional experiences -- are actually designed to work out of the box with some sensitivity adjustments available for personalization. But with the limited time we have available, I'd like to show you the cognitive suite, which is the ability for you to basically move virtual objects with your mind.
Il dispositivo che vedete è un sistema a 14 canali, in alta fedeltà per l'acquisizione di un EEG. Non richiede alcuna preparazione del cuoio capelluto, nessun gel conduttore, nessuna pasta. Sono necessari solo pochi minuti per indossarlo e perché i segnali si stabilizzino. Ed è anche senza fili, quindi da' la possibilità di muoversi liberamente. E paragonata alle decine di migliaia di dollari di un sistema di EEG tradizionale, questa cuffia costa solo poche centinaia di dollari. Passiamo ora agli algoritmi di rilevamento. Dunque, le espressioni facciali - come ho accennato prima nelle esperienze emotive - hanno la funzione di sortire un effetto immediato con qualche adattamento alla sensibilità disponibile per la personalizzazione. Ma con il poco tempo che abbiamo a disposizione vorrei mostrarvi la suite cognitiva, vale a dire la capacità di spostare oggetti virtuali con la mente.
Now, Evan is new to this system, so what we have to do first is create a new profile for him. He's obviously not Joanne -- so we'll "add user." Evan. Okay. So the first thing we need to do with the cognitive suite is to start with training a neutral signal. With neutral, there's nothing in particular that Evan needs to do. He just hangs out. He's relaxed. And the idea is to establish a baseline or normal state for his brain, because every brain is different. It takes eight seconds to do this, and now that that's done, we can choose a movement-based action. So Evan, choose something that you can visualize clearly in your mind.
Ora, per Evan il sistema è nuovo, quindi per prima cosa dobbiamo creare un nuovo profilo per lui. Ovviamente lui non è Joanne - quindi aggiungiamo l'utente. Evan. Ok. La prima cosa che dobbiamo fare con la suite cognitiva è cominciare a familiarizzare con un segnale neutro. Con il segnale neutro, Evan non deve fare niente di particolare. Resta qui, si rilassa. Il concetto è quello di stabilire una linea di base, una condizione di normalità per il suo cervello, perché ogni cervello è diverso. L'operazione richiede 8 secondi. Ora che questo è fatto, possiamo scegliere un'azione basata sul movimento. Quindi, Evan, scegli qualcosa che puoi visualizzare con precisione nella mente.
Evan Grant: Let's do "pull."
Facciamo 'Tira'.
Tan Le: Okay, so let's choose "pull." So the idea here now is that Evan needs to imagine the object coming forward into the screen, and there's a progress bar that will scroll across the screen while he's doing that. The first time, nothing will happen, because the system has no idea how he thinks about "pull." But maintain that thought for the entire duration of the eight seconds. So: one, two, three, go. Okay. So once we accept this, the cube is live. So let's see if Evan can actually try and imagine pulling. Ah, good job! (Applause) That's really amazing.
Ok. Allora scegliamo 'Tira'. Il concetto adesso è che Evan deve immaginare che l'oggetto venga verso di lui all'interno dello schermo. E la barra che scorre attraverso lo schermo misura il progresso di ciò che Evan sta facendo. La prima volta non accadrà nulla perché il sistema non ha idea di come lui pensi a 'Tirare'. Ma mantieni quel pensiero per tutta la durata degli 8 secondi. Uno, due, tre, via! Ok. Una volta che accettiamo questo il cubo è attivo. E ora vediamo se Evan può veramente immaginare di tirare. Ah, bravissimo! (Applausi) Davvero incredibile.
(Applause)
(Applausi)
So we have a little bit of time available, so I'm going to ask Evan to do a really difficult task. And this one is difficult because it's all about being able to visualize something that doesn't exist in our physical world. This is "disappear." So what you want to do -- at least with movement-based actions, we do that all the time, so you can visualize it. But with "disappear," there's really no analogies -- so Evan, what you want to do here is to imagine the cube slowly fading out, okay. Same sort of drill. So: one, two, three, go. Okay. Let's try that. Oh, my goodness. He's just too good. Let's try that again.
Dunque, visto che abbiamo un po' di tempo a disposizione chiederò a Evan di svolgere un compito molto difficile. Ed è davvero difficile perché si tratta di essere in grado di visualizzare qualcosa che non esiste nel nostro mondo fisico. Si tratta di 'Sparire'. Quindi ciò che vogliamo - per lo meno con azioni basate sul movimento, lo facciamo sempre, quindi lo si può visualizzare. Ma con 'sparire' non esistono analogie. Allora Evan, quello che devi fare ora è immaginare che il cubo lentamente svanisca. Stessa procedura. Uno, due, tre, via! Ok. Proviamoci. Oh, è incredibile. E' troppo bravo! Proviamoci di nuovo.
EG: Losing concentration.
Sto perdendo la concentrazione.
(Laughter)
(Risate)
TL: But we can see that it actually works, even though you can only hold it for a little bit of time. As I said, it's a very difficult process to imagine this. And the great thing about it is that we've only given the software one instance of how he thinks about "disappear." As there is a machine learning algorithm in this --
Ma noi vediamo che in realtà funziona, anche se riesci a concentrarti solo per qualche attimo. Come ho detto, è molto difficile immaginare una sparizione. E la cosa incredibile è che abbiamo dato al sofware solo un esempio di come Evan pensi a 'sparire'. Dato che qui dentro c'è una macchina che apprende gli algoritmi -
(Applause)
(Applausi)
Thank you. Good job. Good job.
Grazie. Bravo. Bravo.
(Applause)
(Applausi)
Thank you, Evan, you're a wonderful, wonderful example of the technology.
Grazie Evan, sei un esempio fantastico, una esempio fantastico di questa tecnologia.
So, as you can see, before, there is a leveling system built into this software so that as Evan, or any user, becomes more familiar with the system, they can continue to add more and more detections, so that the system begins to differentiate between different distinct thoughts. And once you've trained up the detections, these thoughts can be assigned or mapped to any computing platform, application or device.
Quindi, come avete visto prima, esiste un sistema livellante all'interno di questo software in modo che man mano che Evan, o qualsiasi altro fruitore familiarizza con il sistema, si possono continuare ad aggiungere sempre più rilevamenti così che il sistema cominci a differenziare tra pensieri distinti con precisione crescente. E una volta determinati i rilevamenti questi pensieri possono venir assegnati, o mappati su qualunque piattaforma, applicazione o dispositivo informatico.
So I'd like to show you a few examples, because there are many possible applications for this new interface. In games and virtual worlds, for example, your facial expressions can naturally and intuitively be used to control an avatar or virtual character. Obviously, you can experience the fantasy of magic and control the world with your mind. And also, colors, lighting, sound and effects can dynamically respond to your emotional state to heighten the experience that you're having, in real time. And moving on to some applications developed by developers and researchers around the world, with robots and simple machines, for example -- in this case, flying a toy helicopter simply by thinking "lift" with your mind.
Ora vorrei mostrarvi alcuni esempi, perché esistono molte applicazioni possibili di questa nuova interfaccia. Nei video giochi e nei mondi virtuali, per esempio, la vostra espressione facciale può venir usata naturalmente e intuitivamente per controllare un avatar o un personaggio virtuale. Ovviamente, potete provare la magia della simulazione e controllare il mondo con la mente. Inoltre i colori, le luci, il suono e gli effetti rispondono in manera dinamica al vostro stato emotivo in tempo reale, per intensificare la vostra esperienza. Passiamo ora ad alcune applicazioni sviluppate da imprenditori e ricercatori di tutto il mondo con robot e semplici macchinari. Per esempio - in questo caso, si fa volare un elicottero giocattolo semplicemente pensando 'solleva' nella propria testa.
The technology can also be applied to real world applications -- in this example, a smart home. You know, from the user interface of the control system to opening curtains or closing curtains. And of course, also to the lighting -- turning them on or off. And finally, to real life-changing applications, such as being able to control an electric wheelchair. In this example, facial expressions are mapped to the movement commands.
La tecnologia si impiega anche ad applicazioni del mondo reale: in questo caso, una casa intelligente. Vedete, dal sistema di controllo dell'interfaccia dell'utente si aprono o si chiudono le tende. E certamente anche l'illuminazione, si accende o si spegne. Passiamo infine a quelle applicazioni che cambiano la vita come la possibilità di controllare una sedia a rotelle elettrica. In questo caso le espressioni facciali vengono collegate ai comandi per il movimento.
Man: Now blink right to go right. Now blink left to turn back left. Now smile to go straight.
Ora chiudi l'occhio destro per andare a destra. Ora il sinistro per girare a sinistra. Ora sorridi per andare dritto.
TL: We really -- Thank you.
Noi, veramente - Grazie.
(Applause)
(Applausi)
We are really only scratching the surface of what is possible today, and with the community's input, and also with the involvement of developers and researchers from around the world, we hope that you can help us to shape where the technology goes from here. Thank you so much.
E oggi stiamo solo agli inizi di ciò che è possibile. E con il contributo della comunità e il coinvolgimento degli sviluppatori e dei ricercatori di tutto il mondo speriamo che voi possiate aiutarci a dare forma alla direzione che da qui prenderà la tecnologia.Grazie infinite.