Až doposud byla naše komunikace se stroji vždy omezená na vědomé a přímé způsoby. Ať už to bylo něco tak jednoduchého jako rozsvícení světel vypínačem, nebo něco tak složitého jako programování v robotice, vždy jsme museli zadat stroji příkaz nebo dokonce sérii příkazů, aby něco udělal. Naproti tomu komunikace mezi lidmi je mnohem složitější a daleko zajímavější, protože bereme v úvahu o mnoho více, než co je explicitně vyjádřeno. Všímáme si výrazů tváře, řeči těla a můžeme intuitivně vnímat pocity a emoce z našeho hovoru s druhými. Toto ve skutečnosti formuje velikou část našeho procesu rozhodování se. Naší vizí je přinést celou tuto novou sféru lidských vazeb do interakce člověka s počítačem, tak aby počítače mohli rozumět nejen tomu, co jim přikážete dělat, ale aby mohli reagovat na váš výraz tváře a emoční stav. A jaký je lepší způsob jak to udělat než interpretováním signálů, které jsou přirozeně vytvářené naším mozkem v našem centru pro řízení a zkušenosti.
Up until now, our communication with machines has always been limited to conscious and direct forms. Whether it's something simple like turning on the lights with a switch, or even as complex as programming robotics, we have always had to give a command to a machine, or even a series of commands, in order for it to do something for us. Communication between people, on the other hand, is far more complex and a lot more interesting because we take into account so much more than what is explicitly expressed. We observe facial expressions, body language, and we can intuit feelings and emotions from our dialogue with one another. This actually forms a large part of our decision-making process. Our vision is to introduce this whole new realm of human interaction into human-computer interaction so that computers can understand not only what you direct it to do, but it can also respond to your facial expressions and emotional experiences. And what better way to do this than by interpreting the signals naturally produced by our brain, our center for control and experience.
No, to zní jako docela dobrý nápad, ale tento úkol, jak už Bruno zmínil, není lehký ze dvou hlavních důvodů: Zaprvé, detekční algoritmy. Náš mozek se skládá z miliard aktivních neuronů, okolo 170 000 kilometrů délky všech axonů. Když dochází k interakci neuronů, chemická reakce vyšle elektrický impulz, který se dá změřit. Většina našeho fungujícího mozku je rozložená na vnější povrchové vrstvě mozku. A aby se zvýšila plocha, která je volná pro mentální kapacitu, tak je povrch mozku vysoce zvrásněný. Tedy tato korová vrstvení představují nemalou výzvu pro interpretaci povrchových elektrických impulzů. Mozková kůra každého je zvrásněná jinak, podobně jako otisk prstu. Takže i když signál vychází ze stejné funkční části mozku, tak ve chvíli, kdy prochází navrstvenou strukturou, se jeho fyzická poloha se mezi jednotlivci velmi liší, dokonce i mezi jednovaječnými dvojčaty. Neexistuje žádná shoda v povrchových signálech.
Well, it sounds like a pretty good idea, but this task, as Bruno mentioned, isn't an easy one for two main reasons: First, the detection algorithms. Our brain is made up of billions of active neurons, around 170,000 km of combined axon length. When these neurons interact, the chemical reaction emits an electrical impulse, which can be measured. The majority of our functional brain is distributed over the outer surface layer of the brain, and to increase the area that's available for mental capacity, the brain surface is highly folded. Now this cortical folding presents a significant challenge for interpreting surface electrical impulses. Each individual's cortex is folded differently, very much like a fingerprint. So even though a signal may come from the same functional part of the brain, by the time the structure has been folded, its physical location is very different between individuals, even identical twins. There is no longer any consistency in the surface signals.
Průlomem bylo vytvoření algoritmu, který vyrovná kůru tak, abychom mohli zmapovat signály blíže u jejich zdroje, a tak zajistit, aby to mohlo fungovat na celé populaci. Druhou výzvou je samotné zařízení na pozorování mozkových vln. Měření EEG zpravidla zahrnují síť na vlasy s množstvím senzorů, jak můžete vidět na fotografii. Technik rozloží elektrody přímo na hlavu pomocí vodivého gelu nebo pasty a zpravidla po proceduře přípravy hlavy lehkými oděrkami. Tohle trvá opravdu dlouho a není to nic pohodlného. A navíc, tyto systémy stojí desítky tisíc dolarů.
Our breakthrough was to create an algorithm that unfolds the cortex, so that we can map the signals closer to its source, and therefore making it capable of working across a mass population. The second challenge is the actual device for observing brainwaves. EEG measurements typically involve a hairnet with an array of sensors, like the one that you can see here in the photo. A technician will put the electrodes onto the scalp using a conductive gel or paste and usually after a procedure of preparing the scalp by light abrasion. Now this is quite time consuming and isn't the most comfortable process. And on top of that, these systems actually cost in the tens of thousands of dollars.
Takže, ráda bych na pódiu přivítala Evana Granta, jednoho z loňských řečníků, který laskavě souhlasil s tím, že mi pomůže demonstrovat, co jsme byli schopni vyvinou.
So with that, I'd like to invite onstage Evan Grant, who is one of last year's speakers, who's kindly agreed to help me to demonstrate what we've been able to develop.
(Potlesk)
(Applause)
Takže zařízení, které zde vidíte, je 14-kanálový, vysoce spolehlivý systém zaznamenávání EEG. Nevyžaduje žádnou přípravu hlavy, žádný vodivý gel nebo pastu. Trvá pouze pár minut si ho nasadit a počkat na ustálení signálu. Je též bezdrátový, takže se můžete volně pohybovat. A v porovnání s desítkami tisíc dolarů za tradiční EEG systém, tento headsest stojí pouze pár stovek dolarů. Teď k detekčním algoritmům. Takže výrazy tváře -- jak jsem zmínila dříve u emočních zážitků -- jsou v podstatě navrhnuté tak, aby ihned fungovali s nějakými úpravami citlivosti kvůli přizpůsobení. Ale s omezeným časem, který máme k dispozici, bych vám ráda ukázala kognitivní sadu, která vám dává možnost v podstatě pohybovat virtuálními objekty pouhou myšlenkou.
So the device that you see is a 14-channel, high-fidelity EEG acquisition system. It doesn't require any scalp preparation, no conductive gel or paste. It only takes a few minutes to put on and for the signals to settle. It's also wireless, so it gives you the freedom to move around. And compared to the tens of thousands of dollars for a traditional EEG system, this headset only costs a few hundred dollars. Now on to the detection algorithms. So facial expressions -- as I mentioned before in emotional experiences -- are actually designed to work out of the box with some sensitivity adjustments available for personalization. But with the limited time we have available, I'd like to show you the cognitive suite, which is the ability for you to basically move virtual objects with your mind.
Takže, Evan je v tomto systému nový takže nejprve mu musíme vytvořit nový profil. Očividně nenní Joanne -- takže dáme "přidat uživatele". Evan. Okej. Takže první věcí, kterou potřebujeme udělat s kognitivní sadou je nacvičit neutrální signál. Při neutrálním nemusí Evan dělat nic zvláštního. Jen odpočívá, je uvolněný. A cílem je stanovit počáteční čáru nebo normální stav jeho mozku, protože každý mozek je jiný. Trvá to osm sekund. A nyní, když je to hotové, si můžeme vybat nějakou akci založenou na pohybu. Takže Evane, vyber si něco, co si dokážeš jednoduše představit ve své hlavě.
Now, Evan is new to this system, so what we have to do first is create a new profile for him. He's obviously not Joanne -- so we'll "add user." Evan. Okay. So the first thing we need to do with the cognitive suite is to start with training a neutral signal. With neutral, there's nothing in particular that Evan needs to do. He just hangs out. He's relaxed. And the idea is to establish a baseline or normal state for his brain, because every brain is different. It takes eight seconds to do this, and now that that's done, we can choose a movement-based action. So Evan, choose something that you can visualize clearly in your mind.
Evan Grant: Pojďme udělat "tahej".
Evan Grant: Let's do "pull."
Tan Le: Dobře. Tak si vybereme "tahej". Takže je to o tom, že si Evan musí představit objekt posouvající se k obrazovce A tady se nám zobrazuje, jak pokročil, když se soustředí. Napoprvé se nic nestane, protože systém nemá představu o tom, jak on přemýšlí o "tahání". Ale udrž si tu představu po celou dobu těch osmi sekund. Takže, jedna, dva, tři, teď. Dobře. Když jsme to odsouhlasili, tak kostka ožila. Tak se podívejme, jestli se Evan opravdu může pokusit představit si tahání. Á, dobrá práce! (Potlesk) To je fakt působivé.
Tan Le: Okay, so let's choose "pull." So the idea here now is that Evan needs to imagine the object coming forward into the screen, and there's a progress bar that will scroll across the screen while he's doing that. The first time, nothing will happen, because the system has no idea how he thinks about "pull." But maintain that thought for the entire duration of the eight seconds. So: one, two, three, go. Okay. So once we accept this, the cube is live. So let's see if Evan can actually try and imagine pulling. Ah, good job! (Applause) That's really amazing.
(Potlesk)
(Applause)
Ještě máme trochu času, takže poprosíme Evana, aby splnil opravdu težký úkol. A je těžký, protože si má představit něco, co neexistuje v našem fyzickém světě. Je to "zmiz". Takže co chcete -- přinejmenším všechny akce založené na pohybu, to děláme pořád, takže si je dokážeme představit. Ale "zmiz", nic takového neznáme. Takže Evane, teď si představ, že ta kostka pomalů mizí, dobře. Zbytek je stejný. Takže, jedna, dva, tři, teď. Dobře. Zkusíme to. Můj bože. On je vážně dobrý. Zkusíme to znovu.
So we have a little bit of time available, so I'm going to ask Evan to do a really difficult task. And this one is difficult because it's all about being able to visualize something that doesn't exist in our physical world. This is "disappear." So what you want to do -- at least with movement-based actions, we do that all the time, so you can visualize it. But with "disappear," there's really no analogies -- so Evan, what you want to do here is to imagine the cube slowly fading out, okay. Same sort of drill. So: one, two, three, go. Okay. Let's try that. Oh, my goodness. He's just too good. Let's try that again.
EG: Nemohu se soustředit.
EG: Losing concentration.
(Smích)
(Laughter)
TL: Ale můžeme vidět, že to opravdu funguje, i když je to možné udržet jen na chvíli. Jak už jsem řekla, je velmi těžké si to představit. A skvělou věcí na tom je, že jsme programu dali jen jednu představu o tom, jak on přemýšlí o zmizení. A má to taky algoritmus pro strojové učení se --
TL: But we can see that it actually works, even though you can only hold it for a little bit of time. As I said, it's a very difficult process to imagine this. And the great thing about it is that we've only given the software one instance of how he thinks about "disappear." As there is a machine learning algorithm in this --
(Potlesk)
(Applause)
Děkujeme. Dobrá práce. Dobrá práce.
Thank you. Good job. Good job.
(Potlesk)
(Applause)
Děkujeme ti, Evane, jsi úžasný, úžasný příklad této technologie.
Thank you, Evan, you're a wonderful, wonderful example of the technology.
Jak jsme mohli vidět, program má úrovńový systém, takže jak se Evan, nebo kterýkoliv jiný uživatel, bude více seznamovat se systémem, tak může přidávat další a další detekce mozku, aby systém začal rozpoznávat mezi různými myšlenkami. A když jste se naučili detekce, tyto myšlenky mohou být přidané nebo zmapované na kteroukoliv počítačovou platformu, program nebo zařízení.
So, as you can see, before, there is a leveling system built into this software so that as Evan, or any user, becomes more familiar with the system, they can continue to add more and more detections, so that the system begins to differentiate between different distinct thoughts. And once you've trained up the detections, these thoughts can be assigned or mapped to any computing platform, application or device.
Takže bych vám ráda ukázala pár příkladů, protože existuje množství možných aplikací tohoto nového rozhraní. V hrách a virtuálních světech, například, vaše výrazy tváře mohou být přirozené a intuitivně používané na ovládání avatara nebo virtuální postavy. Taky můžete zažít fantazii magie a kontrolovat svět svou myslí. A také barvy, světlo, zvuk a efekty mohou dynamicky reagovat na váš emociální stav, aby zvýšily sílu zážitku, který prožíváte, v reálném čase. Když se podíváme na nějaké aplikace vyvíjené vývojáři a výzkumníky na celém světě, s roboty a jednoduchými stroji, například -- v tomto případě létání s hračkou, helikoptérou jednoduše zaměřením se na "vzlétni" ve své hlavě.
So I'd like to show you a few examples, because there are many possible applications for this new interface. In games and virtual worlds, for example, your facial expressions can naturally and intuitively be used to control an avatar or virtual character. Obviously, you can experience the fantasy of magic and control the world with your mind. And also, colors, lighting, sound and effects can dynamically respond to your emotional state to heighten the experience that you're having, in real time. And moving on to some applications developed by developers and researchers around the world, with robots and simple machines, for example -- in this case, flying a toy helicopter simply by thinking "lift" with your mind.
Technologie může být použitá i v reálném světě -- v tomto případě v inteligentním domě. No víte, od uživatelského rozhraní řídícího systému až po rozhrnutí záclon nebo jejich zahrnutí. A samozřejmě světla -- jejich rozsvícení nebo zhasnutí. A nakonec, použití, které opravdu mění životy, jako je možnost řídit elektrický vozík. V tomto případě jsou výrazy tváře zmapované na příkazy pohybu.
The technology can also be applied to real world applications -- in this example, a smart home. You know, from the user interface of the control system to opening curtains or closing curtains. And of course, also to the lighting -- turning them on or off. And finally, to real life-changing applications, such as being able to control an electric wheelchair. In this example, facial expressions are mapped to the movement commands.
Muž: Teď mrkněte pravým okem, abys jel doprava. Teď mrkni levým okem, abys jel zatočil doleva. Teď se usměj, abys jel rovně.
Man: Now blink right to go right. Now blink left to turn back left. Now smile to go straight.
TL: Opravdu vám děkujeme.
TL: We really -- Thank you.
(Potlesk)
(Applause)
V současné době opravdu jen nahlížíme pod povrch toho, co je možné. A s přínosem společnosti a také se zahrnutím vývojářů a výzkumníků z celého světa, doufáme, že nám můžete pomoci určit to kam až může zajít technologie. Moc vám děkuji.
We are really only scratching the surface of what is possible today, and with the community's input, and also with the involvement of developers and researchers from around the world, we hope that you can help us to shape where the technology goes from here. Thank you so much.