Up until now, our communication with machines has always been limited to conscious and direct forms. Whether it's something simple like turning on the lights with a switch, or even as complex as programming robotics, we have always had to give a command to a machine, or even a series of commands, in order for it to do something for us. Communication between people, on the other hand, is far more complex and a lot more interesting because we take into account so much more than what is explicitly expressed. We observe facial expressions, body language, and we can intuit feelings and emotions from our dialogue with one another. This actually forms a large part of our decision-making process. Our vision is to introduce this whole new realm of human interaction into human-computer interaction so that computers can understand not only what you direct it to do, but it can also respond to your facial expressions and emotional experiences. And what better way to do this than by interpreting the signals naturally produced by our brain, our center for control and experience.
Jusqu'à maintenant, notre communication avec les machines a toujours été limitée à des formes conscientes et directes. Que ce soit quelque chose de simple comme allumer les lumières à l'aide d'un interrupteur ou quelque chose de plus complexe, comme la programmation d'un robot il nous a toujours fallu donner une commande à une machine ou même une série de commandes pour qu'elle fasse quelque chose pour nous. Par contre, la communication entre personnes est beaucoup plus complexe et beaucoup plus intéressante, parce que nous prenons en compte beaucoup plus que ce qui est exprimé de façon explicite. Nous observons les expressions faciales, le language corporel, et nous pouvons deviner intuitivement des sentiments et des émotions en dialoguant avec l'autre. Cela constitue en fait une grande partie de notre processus décisionnel. Notre vision est d'introduire ces interactions humaines dans l'intéraction homme-machine, afin que l'ordinateur puisse comprendre non seulement ce que vous lui demandez de faire, mais il pour qu'il puisse également réagir à vos expressions faciales et vos expressions émotionelles. Et la meilleure façon de le faire est d'interpréter les signaux que notre cerveau produit naturellement, notre cerveau qui est notre centre de contrôle et d'expériences.
Well, it sounds like a pretty good idea, but this task, as Bruno mentioned, isn't an easy one for two main reasons: First, the detection algorithms. Our brain is made up of billions of active neurons, around 170,000 km of combined axon length. When these neurons interact, the chemical reaction emits an electrical impulse, which can be measured. The majority of our functional brain is distributed over the outer surface layer of the brain, and to increase the area that's available for mental capacity, the brain surface is highly folded. Now this cortical folding presents a significant challenge for interpreting surface electrical impulses. Each individual's cortex is folded differently, very much like a fingerprint. So even though a signal may come from the same functional part of the brain, by the time the structure has been folded, its physical location is very different between individuals, even identical twins. There is no longer any consistency in the surface signals.
Eh bien, ça semble une bonne idée, mais cette tâche, comme Bruno l'a mentionné, n'est pas facile, pour deux raisons principales: Tout d'abord, les algorithmes de détection. Notre cerveau est composé de milliards de neurones actifs, d'environs 170 000 km de long si on met les axones bout à bout. Lorsque ces neurones interagissent, la réaction chimique émet une impulsion électrique qui peut être mesurée. Notre cerveau fonctionnel est principalement situé sur la couche superficielle du cerveau. Et pour augmenter la superficie disponible pour la capacité mentale, la surface du cerveau comporte un grand nombre de plis. Ce plissement cortical représente un défi de taille pour l'interprétation des impulsions électriques superficielles. Le cortex de chaque individu est plié différemment, un peu comme une empreinte digitale. Alors même si un signal peut provenir de la même zone fonctionnelle du cerveau, au moment où cette zone a été pliée, son emplacement physique est très différent d'un individu à un autre, même chez des jumeaux identiques. In n'y a donc pas d'uniformité dans les signaux de surface.
Our breakthrough was to create an algorithm that unfolds the cortex, so that we can map the signals closer to its source, and therefore making it capable of working across a mass population. The second challenge is the actual device for observing brainwaves. EEG measurements typically involve a hairnet with an array of sensors, like the one that you can see here in the photo. A technician will put the electrodes onto the scalp using a conductive gel or paste and usually after a procedure of preparing the scalp by light abrasion. Now this is quite time consuming and isn't the most comfortable process. And on top of that, these systems actually cost in the tens of thousands of dollars.
Notre découverte a été de créer un algorithme qiu déplie le cortex, afin que nous puissions cartographier les signaux plus près de leur source, et d'ainsi pouvoir travailler sur une entière population. Le deuxième défi réside dans la conception du casque pour mesurer les ondes cérébrales. La mesure d'un EEG implique généralement une résille avec un réseau de capteurs, comme celui que vous pouvez voir ici sur cette photo. Un technicien va poser les électrodes sur le cuir chevelu en utilisant un gel ou une pâte conductrice et généralement, le cuir chevelu devra d'abord subir à cet endroit une légère abrasion. Tout ceci prends bien du temps et n'est pas très confortable. Et pour couronner le tout, ces systèmes coûtent en fait des dizaines de milliers de dollars.
So with that, I'd like to invite onstage Evan Grant, who is one of last year's speakers, who's kindly agreed to help me to demonstrate what we've been able to develop.
J'aimerais maintenant inviter sur la scène Evan Grant, un présentateur de l'année dernière, qui a gentiment accepté de m'aider à faire la démonstration ce que nous avons été en mesure de développer.
(Applause)
(Applaudissements)
So the device that you see is a 14-channel, high-fidelity EEG acquisition system. It doesn't require any scalp preparation, no conductive gel or paste. It only takes a few minutes to put on and for the signals to settle. It's also wireless, so it gives you the freedom to move around. And compared to the tens of thousands of dollars for a traditional EEG system, this headset only costs a few hundred dollars. Now on to the detection algorithms. So facial expressions -- as I mentioned before in emotional experiences -- are actually designed to work out of the box with some sensitivity adjustments available for personalization. But with the limited time we have available, I'd like to show you the cognitive suite, which is the ability for you to basically move virtual objects with your mind.
Le dispositif que vous voyez a 14 canaux et est un système d'acquisition EEG de haute fidelité. Il ne nécessite aucune préparation du cuir chevelu, pas de gel ou de pâtes conductrice. Il faut seulement quelques minutes pour l'installer et pour que les signaux se règlent. Il est également sans fil, il permet donc de se déplacer. Et par rapport aux dizaines de milliers de dollars pour un système d'EEG traditionnel celui-ci coûte seulement quelques centaines de dollars. Parlons maintenant des algorithmes de détection. Les expressions du visage lors d'expérience émotionnelle, comme je l'ai déjà mentionné, sont en fait conçues pour fonctionner immédiatement avec quelques ajustements pour la sensibilité qui peuvent être personalisés. Étant donné le temps limité dont nous disposons, j'aimerais vous montrer la suite cognitive, qui vous permettra d'essentiellement bouger des objects virtuels avec votre esprit.
Now, Evan is new to this system, so what we have to do first is create a new profile for him. He's obviously not Joanne -- so we'll "add user." Evan. Okay. So the first thing we need to do with the cognitive suite is to start with training a neutral signal. With neutral, there's nothing in particular that Evan needs to do. He just hangs out. He's relaxed. And the idea is to establish a baseline or normal state for his brain, because every brain is different. It takes eight seconds to do this, and now that that's done, we can choose a movement-based action. So Evan, choose something that you can visualize clearly in your mind.
Evan débute avec ce système alors ce que l'on doit d'abord faire c'est de lui créer un nouveau profil. Il n,es tévidemment pas Joanne, alors nous allons "ajouter un utilisateur" Evan. OK. La première chose que l'on doit faire avec la suite cognitive est de commencer par définir ce qu'est un signal neutre. Au neutre, il n'y a rien de particulier qu'Evan doit faire. Il se contente d'être la et de relaxer. L'idée c'est détablir une mesure de référence de l'état normal de son cerveau parce que chaque cerveau est différent. Cela prends 8 secondes. Maintenant que c'est fait, on peut choisir une action à base de mouvement. Alors Evan, choisissez quelque chose que vous pouvez visualiser dans votre esprit de façon très claire.
Evan Grant: Let's do "pull."
Evan Grant: je prendrais "tirer".
Tan Le: Okay, so let's choose "pull." So the idea here now is that Evan needs to imagine the object coming forward into the screen, and there's a progress bar that will scroll across the screen while he's doing that. The first time, nothing will happen, because the system has no idea how he thinks about "pull." But maintain that thought for the entire duration of the eight seconds. So: one, two, three, go. Okay. So once we accept this, the cube is live. So let's see if Evan can actually try and imagine pulling. Ah, good job! (Applause) That's really amazing.
Tan Le: D'accord, alors choisissons "tirer". Alors l'idée maintenant c'est qu'Evan doit imaginer un object qui avance vers lui à partir de l'écran Et il y a une barre de progression sur l'écran pendant qu'il le fait. La première fois, il ne se passe rien, parce que le système ne sait pas comment il pense l'action "tirer". Il fait conserver cette idée pendant les 8 secondes entières. Alors: un, deux, trois, go. OK. Maintenant que l'on a fait OK le cube est prêt à bouger. Alors voyons si Evan peut effectivement penser à l'action de "tirer". Ah! Bravo! (Applaudissements) C'est vraiment fantastique.
(Applause)
(Applaudissements)
So we have a little bit of time available, so I'm going to ask Evan to do a really difficult task. And this one is difficult because it's all about being able to visualize something that doesn't exist in our physical world. This is "disappear." So what you want to do -- at least with movement-based actions, we do that all the time, so you can visualize it. But with "disappear," there's really no analogies -- so Evan, what you want to do here is to imagine the cube slowly fading out, okay. Same sort of drill. So: one, two, three, go. Okay. Let's try that. Oh, my goodness. He's just too good. Let's try that again.
Il nous reste un peu de temps alors je vais demander à Evan d'accomplir une tâche très difficile. Et celle-ci est difficile parce qu'il faut visualiser quelque chose qui n'existe pas dans notre monde physique. Il s'agit de faire "disparaître" Alors ce que l'on veut, du moins avec des actions basées sur les mouvements, on le fait tout le temps, alors c'est facile à visualiser. Mais "disparaître", on n'a pas d'analogie. Donc Evan, ce que vous voulez faire ici c'est d'imaginer un cube qui s'efface doucement, ok? Même genre d'exercice. Alors, un, deux, trois, go. OK. On va essayer. Oh mon dieu! Il est vraiment trop bon! Essayons à nouveau.
EG: Losing concentration.
EG: Perte de concentration.
(Laughter)
(Rires)
TL: But we can see that it actually works, even though you can only hold it for a little bit of time. As I said, it's a very difficult process to imagine this. And the great thing about it is that we've only given the software one instance of how he thinks about "disappear." As there is a machine learning algorithm in this --
TL: Mais nous pouvons voir que ça fonctionne vraiment, même si vous ne pouvez tenir que peu de temps. Comme je le disais, c'est un processus difficile d'imaginer cela. Et ce qui est génial c'est que nous avons seulement donné au logiciel un exemple de la façon dont il pense au concept "disparaître". Puisqu'il y a un algorithme d'apprentissage automatique dans ce ...
(Applause)
(Applaudissements)
Thank you. Good job. Good job.
Merci. Bravo. Bravo.
(Applause)
(Applaudissements)
Thank you, Evan, you're a wonderful, wonderful example of the technology.
Merci Evan, vous êtes un merveilleux, merveilleux exemple de cette technologie.
So, as you can see, before, there is a leveling system built into this software so that as Evan, or any user, becomes more familiar with the system, they can continue to add more and more detections, so that the system begins to differentiate between different distinct thoughts. And once you've trained up the detections, these thoughts can be assigned or mapped to any computing platform, application or device.
Comme vous avez pu le voir précedemment, il y a un système de mise à niveau intégré dans ce logiciel pour qu'Evan, ou n'importe quel autre utilisateur, se familiarise avec le système, ils peuvent ajouter de plus en plus de détections, pour que le système commence à distinguer des pensées distinctes qui sont différentes. Et une fois que l'on a entrainé ces détections, ces pensées peuvent être cartographiées et transférées à n'importe quelle plate-forme informatique, logiciel ou périphérique.
So I'd like to show you a few examples, because there are many possible applications for this new interface. In games and virtual worlds, for example, your facial expressions can naturally and intuitively be used to control an avatar or virtual character. Obviously, you can experience the fantasy of magic and control the world with your mind. And also, colors, lighting, sound and effects can dynamically respond to your emotional state to heighten the experience that you're having, in real time. And moving on to some applications developed by developers and researchers around the world, with robots and simple machines, for example -- in this case, flying a toy helicopter simply by thinking "lift" with your mind.
Alors j'aimerais vous montrez quelques exemples, parce qu'il y a beaucoup d'applications possibles pour cette nouvelle interface. Dans les jeux et les mondes virtuels, par exemple, vos expressions faciales peuvent naturellement et intuitivement être utilisées pour contrôler un avatar ou un pesonnage virtuel. Vous pouvez évidemment expérimenter le monde fantastique de la magie et contrôler le monde avec votre esprit. Et aussi les couleurs et l'éclairage, les sons et les effets sonores, peuvent répondre de façon dynamique à votre état émotionnel pour améliorer l'expérience que vous vivez, en temps réel. Passons maintenant à certaines applications mises au point par des programmeurs et des chercheurs du monde entier, avec des robots et des machines simples, par exemple, ici, le pilotage d'un hélicoptère jouet simplement en pensant à "décoller" avec votre esprit
The technology can also be applied to real world applications -- in this example, a smart home. You know, from the user interface of the control system to opening curtains or closing curtains. And of course, also to the lighting -- turning them on or off. And finally, to real life-changing applications, such as being able to control an electric wheelchair. In this example, facial expressions are mapped to the movement commands.
La technologie peut aussi être appliquée dans le monde réel dans cet exemple, une maison intelligente. De l'interface du système de contrôle à l'ouverture des rideaux ou la fermeture des rideaux. Et aussi évidemment à l'éclairage allumer ou éteindre. Et enfin, des applications qui changent vraiment la vie comme de pouvoir contrôler une chaise roulante électrique. Dans cet exemple, les expressions faciales sont traduites en commandes de mouvement.
Man: Now blink right to go right. Now blink left to turn back left. Now smile to go straight.
Homme: Maintenant cligne l'oeil droit pour aller à droite Maintenant cligne l'oeil gauche pour retourner à gauche. Maintenant souris pour aller tout droit.
TL: We really -- Thank you.
TL: En fait nous ... merci.
(Applause)
(Applaudissements)
We are really only scratching the surface of what is possible today, and with the community's input, and also with the involvement of developers and researchers from around the world, we hope that you can help us to shape where the technology goes from here. Thank you so much.
Ces exemples étaient une infime partie de tout ce qui serait possible. Et avec la participation de la communauté et l'implication des développeurs et chercheurs du monde entier nous espérons que vous nous aiderez à décider dans quelle direction ira cette technologie. Merci beaucoup.