Bis jetzt war unsere Kommunikation mit Maschinen immer begrenzt auf bewusste und direkte Formen. Sei es irgendwas Einfaches, wie das Licht mit dem Lichtschalter einschalten oder selbst etwas Komplexes wie das Programmieren von Robotik, wir mussten einer Maschine immer einen Befehl geben, oder sogar eine Folge von Befehlen, damit sie etwas für uns tut. Auf der anderen Seite ist Kommunikation zwischen Menschen viel komplexer und viel interessanter, denn wir berücksichtigen viel mehr als das nur explizit Geäußerte. Wir beobachten Gesichtsausdrücke, Körpersprache, und wir können Gefühle und Emotionen intuitiv erahnen durch unseren Dialog miteinander. Das macht einen großen Teil unseres Entscheidungsprozesses aus. Unsere Vision ist es, dieses ganz neue Reich menschlicher Interaktion in eine Mensch-Computer-Interaktion einzuführen. So, dass Computer nicht nur verstehen können, was man ihnen befiehlt zu tun, sondern dass sie auch reagieren können auf Ihre Gesichtsausdrücke und emotionale Erfahrungen. Und welchen besseren Weg gibt es, als die Signale, die natürlich von unserem Gehirn produziert werden, zu interpretieren. Das Gehirn, unserem Zentrum für Kontrolle und Erfahrungen.
Up until now, our communication with machines has always been limited to conscious and direct forms. Whether it's something simple like turning on the lights with a switch, or even as complex as programming robotics, we have always had to give a command to a machine, or even a series of commands, in order for it to do something for us. Communication between people, on the other hand, is far more complex and a lot more interesting because we take into account so much more than what is explicitly expressed. We observe facial expressions, body language, and we can intuit feelings and emotions from our dialogue with one another. This actually forms a large part of our decision-making process. Our vision is to introduce this whole new realm of human interaction into human-computer interaction so that computers can understand not only what you direct it to do, but it can also respond to your facial expressions and emotional experiences. And what better way to do this than by interpreting the signals naturally produced by our brain, our center for control and experience.
Gut, es klingt wie eine ziemlich gute Idee, aber diese Aufgabe, wie Bruno schon erwähnt hat, ist keine einfache, aus zwei Gründen: Erstens, die Aufspürungs-Algorithmen. Unser Gehirn besteht aus Milliarden von aktiven Neuronen, etwa 170.000 km kombinierter Axon-Länge. Wenn diese Neuronen interagieren, sendet eine chemische Reaktion einen elektrischen Impuls aus, der gemessen werden kann. Die Mehrheit unseres funktionellen Gehirns ist verteilt über die äußere Oberflächenschicht des Gehirns. Und um diese für mentale Leistungsfähigkeit verfügbare Fläche zu vergrößern, ist die Gehirnoberfläche stark gefaltet. Dieses kortikale Falten bedeutet eine große Herausforderung, um die elektrischen Impulse der Oberfläche zu interpretieren. Die Kortex jedes Einzelnen ist unterschiedlich gefaltet, ähnlich wie ein Fingerabdruck. Obwohl also ein Signal von demselben funktionellen Teil des Gehirns kommt, wenn die Struktur gefaltet wurde, ist die physische Lage von Mensch zu Mensch unterschiedlich, selbst bei eineiigen Zwillingen. Es gibt da keine Beständigkeit mehr von Oberflächensignalen.
Well, it sounds like a pretty good idea, but this task, as Bruno mentioned, isn't an easy one for two main reasons: First, the detection algorithms. Our brain is made up of billions of active neurons, around 170,000 km of combined axon length. When these neurons interact, the chemical reaction emits an electrical impulse, which can be measured. The majority of our functional brain is distributed over the outer surface layer of the brain, and to increase the area that's available for mental capacity, the brain surface is highly folded. Now this cortical folding presents a significant challenge for interpreting surface electrical impulses. Each individual's cortex is folded differently, very much like a fingerprint. So even though a signal may come from the same functional part of the brain, by the time the structure has been folded, its physical location is very different between individuals, even identical twins. There is no longer any consistency in the surface signals.
Unser Durchbruch war es, einen Algorithmus zu kreieren, der die Kortex entfaltet, sodass wir die Signale lokalisieren können, näher an den Ursprung heran, wodurch es bei einer Massenpopulation anwendbar ist. Die zweite Herausforderung ist der eigentliche Apparat um Gehirnwellen zu beobachten. EEG-Messungen gehen üblicherweise einher mit einem Haarnetz mit einer Reihe Sensoren, wie dieses, das Sie hier auf dem Foto sehen können. Ein Techniker platziert die Elektroden auf die Kopfhaut, und benutzt dabei ein leitendes Gel oder eine Paste, und normalerweise nach der Prozedur der Kopfhautvorbereitung gibt es leichte Abschürfungen. Das ist sehr zeitaufwendig und ist nicht gerade angenehm. Hinzu kommt, dass diese Systeme Zehntausende Dollar kosten.
Our breakthrough was to create an algorithm that unfolds the cortex, so that we can map the signals closer to its source, and therefore making it capable of working across a mass population. The second challenge is the actual device for observing brainwaves. EEG measurements typically involve a hairnet with an array of sensors, like the one that you can see here in the photo. A technician will put the electrodes onto the scalp using a conductive gel or paste and usually after a procedure of preparing the scalp by light abrasion. Now this is quite time consuming and isn't the most comfortable process. And on top of that, these systems actually cost in the tens of thousands of dollars.
So, nun möchte ich Evan Grant auf die Bühne bitten. Er ist einer der Sprecher vom letzten Jahr und hat netterweise zugestimmt, mir bei der Demonstration von dem, was wir entwickelt haben, zu helfen.
So with that, I'd like to invite onstage Evan Grant, who is one of last year's speakers, who's kindly agreed to help me to demonstrate what we've been able to develop.
(Applaus)
(Applause)
Dieses Gerät, das Sie sehen, ist ein 14-Kanal EEG-Erfassungssystem mit hoher Wiedergabetreue. Es benötigt keine Vorbereitung der Kopfhaut, weder Leitgel noch Paste. Es braucht lediglich ein paar Minuten zum Anlegen, und zum Beruhigen der Signale. Weiterhin ist es drahtlos, es gibt Ihnen also die Freiheit sich zu bewegen. Und verglichen mit den Tausenden von Dollar für ein übliches EEG-System kostet dieses Headset nur ein paar Hundert Dollar. Nun zu den Aufspürungs-Algorithmen. Gesichtsausdrücke – wie ich vorhin erwähnte bei emotionalen Erlebnissen – werden vom Gerät, das dafür designt ist, sofort erkannt, mit ein paar Empfindlichkeitseinstellungen, nutzbar für Personalisierung. Aber mit der begrenzten Zeit, die mir zur Verfügung steht, möchte ich Ihnen eine kognitive Folge zeigen, die für Sie die Fähigkeit bedeutet, virtuelle Objekte praktisch mit Ihren Gedanken zu bewegen.
So the device that you see is a 14-channel, high-fidelity EEG acquisition system. It doesn't require any scalp preparation, no conductive gel or paste. It only takes a few minutes to put on and for the signals to settle. It's also wireless, so it gives you the freedom to move around. And compared to the tens of thousands of dollars for a traditional EEG system, this headset only costs a few hundred dollars. Now on to the detection algorithms. So facial expressions -- as I mentioned before in emotional experiences -- are actually designed to work out of the box with some sensitivity adjustments available for personalization. But with the limited time we have available, I'd like to show you the cognitive suite, which is the ability for you to basically move virtual objects with your mind.
Evan ist neu im System, also müssen wir erst ein neues Profil für ihn anlegen. Er ist offensichtlich nicht Joanne – also legen wir einen neuen Benutzer an. Evan. Okay. Für die kognitive Folge müssen wir erst mit dem Training eines neutralen Signals beginnen. Neutral heißt, dass es nichts Besonderes gibt, das Evan tun muss. Er wartet einfach. Er ist entspannt. So wird eine Referenzlinie erstellt. Das ist der normale Zustand für sein Gehirn, denn jedes Gehirn ist anders. Dieser Vorgang dauert acht Sekunden. Und nun, nachdem das getan ist, können wir eine bewegungsorientierte Aktion wählen. Also, Evan, wähle etwas aus, das du dir klar vorstellen kannst.
Now, Evan is new to this system, so what we have to do first is create a new profile for him. He's obviously not Joanne -- so we'll "add user." Evan. Okay. So the first thing we need to do with the cognitive suite is to start with training a neutral signal. With neutral, there's nothing in particular that Evan needs to do. He just hangs out. He's relaxed. And the idea is to establish a baseline or normal state for his brain, because every brain is different. It takes eight seconds to do this, and now that that's done, we can choose a movement-based action. So Evan, choose something that you can visualize clearly in your mind.
Evan Grant: Nehmen wir "ziehen".
Evan Grant: Let's do "pull."
Tan Le: Okay. Wir wählen also "ziehen". Der Grundgedanke hieran ist, dass Evan sich vorstellen muss, wie das Objekt sich nach vorne in den Schirm bewegt. Es gibt einen Fortschrittsbalken, der über den Schirm scrollt, während er das tut. Das erste Mal wird nichts passieren, weil das System noch keine Ahnung hat, dass er "ziehen" denkt. Aber behalte den Gedanken für die ganze Zeit der 8 Sekunden. Okay, eins, zwei, drei, los. Okay. Wenn wir dies nun akzeptieren, ist der Würfel live. Mal sehen, ob Evan es wirklich versuchen und sich das Ziehen vorstellen kann. Ah, gut gemacht! (Applaus) Das ist großartig.
Tan Le: Okay, so let's choose "pull." So the idea here now is that Evan needs to imagine the object coming forward into the screen, and there's a progress bar that will scroll across the screen while he's doing that. The first time, nothing will happen, because the system has no idea how he thinks about "pull." But maintain that thought for the entire duration of the eight seconds. So: one, two, three, go. Okay. So once we accept this, the cube is live. So let's see if Evan can actually try and imagine pulling. Ah, good job! (Applause) That's really amazing.
(Applaus)
(Applause)
Wir haben noch ein bisschen Zeit übrig, also werde ich jetzt Evan bitten, eine wirklich schwere Aufgabe zu lösen. Sie ist schwierig, weil man fähig sein muss, sich etwas vorzustellen, das nicht in unserer physischen Welt existiert. Und zwar ist das "Verschwinden". Zumindest mit den bewegungsbezogenen Aktionen tun wir das die ganze Zeit, man kann es sich also leicht visualisieren. Aber für "Verschwinden" gibt es keine richtigen Analogien. Also Evan, was du hier machen kannst, ist dir vorzustellen, wie sich der Würfel langsam auflöst. Die gleiche Prozedur. Ein, zwei, drei, los. Okay, versuchen wir das. Oh meine Güte, er ist zu gut. Nochmal.
So we have a little bit of time available, so I'm going to ask Evan to do a really difficult task. And this one is difficult because it's all about being able to visualize something that doesn't exist in our physical world. This is "disappear." So what you want to do -- at least with movement-based actions, we do that all the time, so you can visualize it. But with "disappear," there's really no analogies -- so Evan, what you want to do here is to imagine the cube slowly fading out, okay. Same sort of drill. So: one, two, three, go. Okay. Let's try that. Oh, my goodness. He's just too good. Let's try that again.
Evan: Meine Konzentration schwindet.
EG: Losing concentration.
(Lachen)
(Laughter)
Tan Le: Aber wir können sehen, dass es tatsächlich funktioniert, obwohl du es nur für kurze Zeit halten kannst. Wie ich sagte, es ist ein sehr schwieriger Prozess sich das vorzustellen. Und die tolle Sache daran ist, dass wir der Software nur ein einziges Beispiel gegeben haben, von dem, was er von "verschwinden" denkt. Da es einen Lernalgorithmus in der Maschine gibt –
TL: But we can see that it actually works, even though you can only hold it for a little bit of time. As I said, it's a very difficult process to imagine this. And the great thing about it is that we've only given the software one instance of how he thinks about "disappear." As there is a machine learning algorithm in this --
(Applaus)
(Applause)
Danke sehr. Gut gemacht.
Thank you. Good job. Good job.
(Applaus)
(Applause)
Danke Evan, du bist ein tolles Beispiel dieser Technologie.
Thank you, Evan, you're a wonderful, wonderful example of the technology.
Also wie Sie vorher sehen konnten, gibt es ein in die Software eingebautes Nivellierungssystem, sodass, wenn Evan, oder jeder andere Nutzer, mit dem System vertrauter wird, kontinuierlich immer mehr Erkennungen hinzufügen kann. Das System beginnt dann zwischen verschiedenen Gedanken zu differenzieren. Und wenn Sie diese Aufspürungen herangebildet haben, können diese Gedanken an jedem beliebigen Rechner, Anwendung oder Gerät zugewiesen oder abgebildet werden.
So, as you can see, before, there is a leveling system built into this software so that as Evan, or any user, becomes more familiar with the system, they can continue to add more and more detections, so that the system begins to differentiate between different distinct thoughts. And once you've trained up the detections, these thoughts can be assigned or mapped to any computing platform, application or device.
Ich möchte Ihnen ein paar Beispiele zeigen, denn es gibt viele mögliche Anwendungen für dieses neue Interface. In Spielen und virtuellen Welten, zum Beispiel, können Ihre Gesichtsausdrücke natürlich und intuitiv genutzt werden, um einen Avatar oder virtuellen Charakter zu kontrollieren. Natürlich können Sie die Magie selbst erleben und die Welt mit Ihrem Geist kontrollieren. Außerdem können Farben, Beleuchtung, Klänge und Effekte dynamisch auf Ihren emotionalen Zustand reagieren, um das Erlebnis, das Sie haben, in Echtzeit zu intensivieren. Kommen wir zu ein paar Anwendungen, die von Entwicklern und Forschern aus der ganzen Welt entwickelt wurden, mit Robotern und einfachen Maschinen zum Beispiel – in diesem Fall ist es ein Spielzeughelikopter, der einfach durch den geistigen Befehl "Abheben" fliegt.
So I'd like to show you a few examples, because there are many possible applications for this new interface. In games and virtual worlds, for example, your facial expressions can naturally and intuitively be used to control an avatar or virtual character. Obviously, you can experience the fantasy of magic and control the world with your mind. And also, colors, lighting, sound and effects can dynamically respond to your emotional state to heighten the experience that you're having, in real time. And moving on to some applications developed by developers and researchers around the world, with robots and simple machines, for example -- in this case, flying a toy helicopter simply by thinking "lift" with your mind.
Diese Technologie kann auch für Anwendungen der realen Welt eingesetzt werden. Zum Beispiel ein smartes Zuhause. Von der Benutzerschnittstelle des Kontrollsystems können die Vorhänge geöffnet oder geschlossen werden. Und natürlich auch die Beleuchtung – die Lampen anschalten oder ausschalten. Und zuletzt kommen wir zu wirklichen lebensverändernden Anwendungsgebieten, wie einen elektrischen Rollstuhl zu kontrollieren. In diesem Beispiel sind Gesichtsausdrücke mit Bewegungsbefehlen verbunden.
The technology can also be applied to real world applications -- in this example, a smart home. You know, from the user interface of the control system to opening curtains or closing curtains. And of course, also to the lighting -- turning them on or off. And finally, to real life-changing applications, such as being able to control an electric wheelchair. In this example, facial expressions are mapped to the movement commands.
Mann: Blinzle mit dem rechten Auge, um nach rechts zu fahren. Nun mit dem linken, um nach links zu fahren. Nun lächle, um geradeaus zu fahren.
Man: Now blink right to go right. Now blink left to turn back left. Now smile to go straight.
TL: Vielen Dank.
TL: We really -- Thank you.
(Applaus)
(Applause)
Wir kratzen wirklich nur an der Oberfläche von dem, was heute möglich ist. Und mit dem Input der Gemeinschaft, und auch mit der Hilfe der Entwickler und Forscher aus der ganzen Welt hoffen wir, dass Sie uns helfen können, die Zukunft dieser Technologie zu formen. Vielen Dank.
We are really only scratching the surface of what is possible today, and with the community's input, and also with the involvement of developers and researchers from around the world, we hope that you can help us to shape where the technology goes from here. Thank you so much.