Up until now, our communication with machines has always been limited to conscious and direct forms. Whether it's something simple like turning on the lights with a switch, or even as complex as programming robotics, we have always had to give a command to a machine, or even a series of commands, in order for it to do something for us. Communication between people, on the other hand, is far more complex and a lot more interesting because we take into account so much more than what is explicitly expressed. We observe facial expressions, body language, and we can intuit feelings and emotions from our dialogue with one another. This actually forms a large part of our decision-making process. Our vision is to introduce this whole new realm of human interaction into human-computer interaction so that computers can understand not only what you direct it to do, but it can also respond to your facial expressions and emotional experiences. And what better way to do this than by interpreting the signals naturally produced by our brain, our center for control and experience.
Až doteraz naša komunikácia so strojmi bola vždy obmedzená na vedomé a priame formy. Či už to bolo niečo tak jednoduché ako zapnutie svetla vypínačom, alebo niečo tak zložité ako programovanie robotov, vždy sme museli dali stroju príkaz alebo dokonca sériu príkazov, aby niečo pre nás urobil. Komunikácia medzi ľuďmi je, na druhej strane, omnoho zložitejšia a oveľa zaujímavejšia, pretože berieme do úvahy omnoho viac než je explicitne vyjadrené. Pozorujeme výraz tváre, reč tela, a môžeme vnímať pocity a emócie z nášho rozhovoru s druhým. Toto v skutočnosti formuje veľkú časť nášho procesu rozhodovania sa. Naša vízia je vniesť celú túto novú oblasť ľudskej interakcie do interakcie človeka s počítačom, tak aby počítače mohli rozumieť nielen čo im prikážete robiť, ale aby mohli aj reagovať na váš výraz tváre a emocionálne prežívanie. A aký je lepší spôsob ako to urobiť, než interpretovaním signálov, ktoré sa prirodzene vytvárajú v našom mozgu, v našom centre pre riadenie a skúsenosti.
Well, it sounds like a pretty good idea, but this task, as Bruno mentioned, isn't an easy one for two main reasons: First, the detection algorithms. Our brain is made up of billions of active neurons, around 170,000 km of combined axon length. When these neurons interact, the chemical reaction emits an electrical impulse, which can be measured. The majority of our functional brain is distributed over the outer surface layer of the brain, and to increase the area that's available for mental capacity, the brain surface is highly folded. Now this cortical folding presents a significant challenge for interpreting surface electrical impulses. Each individual's cortex is folded differently, very much like a fingerprint. So even though a signal may come from the same functional part of the brain, by the time the structure has been folded, its physical location is very different between individuals, even identical twins. There is no longer any consistency in the surface signals.
Nuž, to znie ako celkom dobrý nápad, ale táto úloha, ako Bruno spomenul, nie je ľahká z dvoch dôvodov: po prvé, detekčné algoritmy. Náš mozog sa skladá z miliárd aktívnych neurónov, okolo 170 000 km dĺžky všetkých axónov. Keď tieto neuróny interagujú, chemická reakcia vyšle elektrický impulz, ktorý môžeme odmerať. Väčšina nášho funkčného mozgu je rozložená na vonkajšom povrchu mozgu. A aby sa zvýšila plocha, ktorá je voľná pre mentálnu kapacitu, povrch mozgu je veľmi navrstvený. Tieto závity v kôre predstavujú nemalú výzvu pre interpretáciu povrchových elektrických impulzov. Mozgová kôra každého je vrstvená odlišne, podobne ako odtlačok prsta. Takže aj keď signál vyjde z rovnakej funkčnej časti mozgu, kým prejde navrstvenou štruktúrou, jeho fyzická poloha sa medzi jedincami veľmi líši, dokonca aj medzi jednovaječnými dvojičkami. Neexistuje žiadna zhoda v povrchových signáloch.
Our breakthrough was to create an algorithm that unfolds the cortex, so that we can map the signals closer to its source, and therefore making it capable of working across a mass population. The second challenge is the actual device for observing brainwaves. EEG measurements typically involve a hairnet with an array of sensors, like the one that you can see here in the photo. A technician will put the electrodes onto the scalp using a conductive gel or paste and usually after a procedure of preparing the scalp by light abrasion. Now this is quite time consuming and isn't the most comfortable process. And on top of that, these systems actually cost in the tens of thousands of dollars.
Prelomom bolo vytvorenie algoritmu, ktorý vyrovná kôru, aby sme mohli namapovať signály bližšie k ich zdroju, aby to fungovalo na celej populácii. Druhou výzvou je samotné zariadenie na pozorovanie mozgových vĺn. Merania EEG obyčajne zahŕňajú sieť na vlasy s množstvom senzorov, ako môžete vidieť na fotografii. Technik poukladá elektródy na lebku pomocou vodivého gélu alebo pasty a po procedúre prípravy je lebka obyčajne trochu odretá. Toto trvá dosť dlho a nie je to ani pohodlné. A navyše, tieto systémy stoja desiatky tisíc dolárov.
So with that, I'd like to invite onstage Evan Grant, who is one of last year's speakers, who's kindly agreed to help me to demonstrate what we've been able to develop.
Takže, rada by som na pódiu privítala Evana Granta, jedného z minuloročných rečníkov, ktorý láskavo súhlasil s tým, že mi pomôže demoštrovať, čo sme boli schopní vyvinúť.
(Applause)
(Potlesk)
So the device that you see is a 14-channel, high-fidelity EEG acquisition system. It doesn't require any scalp preparation, no conductive gel or paste. It only takes a few minutes to put on and for the signals to settle. It's also wireless, so it gives you the freedom to move around. And compared to the tens of thousands of dollars for a traditional EEG system, this headset only costs a few hundred dollars. Now on to the detection algorithms. So facial expressions -- as I mentioned before in emotional experiences -- are actually designed to work out of the box with some sensitivity adjustments available for personalization. But with the limited time we have available, I'd like to show you the cognitive suite, which is the ability for you to basically move virtual objects with your mind.
Takže zariadenie, ktoré vidíte, je 14-kanálový, vysoko spoľahlivý systém získavania EEG. Nevyžaduje žiadnu prípravu lebky, žiadny vodivý gél alebo pastu. Trvá to iba pár minút nasadiť si ho a signálom než sa ustália. Je tiež bezdrôtový, takže sa môžete slobodne pohybovať. A v porovnaní s desiatkami tisíc dolárov tradičného EEG systému, tento headset stojí iba pár stoviek dolárov. Teraz k detekčným algoritmom. Takže výrazy tváre -- ako som spomínala pri emocionálnych zážitkoch -- sú v podstate navrhnuté tak, aby ihneď po vybalení fungovali s nejakými úpravami citlivosti kvôli prispôsobeniu. Ale s obmedzeným časoch, ktorý máme k dispozícii, by som vám rada ukázala kognitívnu sadu, ktorá vám dáva schopnosť v podstate pohybovať virtuálnymi objektami vašou mysľou.
Now, Evan is new to this system, so what we have to do first is create a new profile for him. He's obviously not Joanne -- so we'll "add user." Evan. Okay. So the first thing we need to do with the cognitive suite is to start with training a neutral signal. With neutral, there's nothing in particular that Evan needs to do. He just hangs out. He's relaxed. And the idea is to establish a baseline or normal state for his brain, because every brain is different. It takes eight seconds to do this, and now that that's done, we can choose a movement-based action. So Evan, choose something that you can visualize clearly in your mind.
Takže, Evan je pre tento systém nový, takže najprv mu musíme vytvoriť nový profil. Zjavne nie je Joanne -- takže dáme "pridaj používateľa". Evan. Okej. Takže prvá vec, ktorú potrebujeme urobiť s kognitívnou sadou je nacvičiť neutrálny signál. S neutrálnym nemusí Evan robiť nič špeciálne. Nič nerobí, je uvoľnený. A myšlienka je stanoviť základnú čiaru alebo normálny stav jeho mozgu, pretože každý mozog je iný. Trvá to osem sekúnd. A teraz, keď je to hotové, môžeme si vybrať nejakú akciu založenú na pohybe. Takže Evan, vyber si niečo, čo si vieš ľahko predstaviť vo svojej hlave.
Evan Grant: Let's do "pull."
Evan Grant: Poďme urobiť "ťahaj".
Tan Le: Okay, so let's choose "pull." So the idea here now is that Evan needs to imagine the object coming forward into the screen, and there's a progress bar that will scroll across the screen while he's doing that. The first time, nothing will happen, because the system has no idea how he thinks about "pull." But maintain that thought for the entire duration of the eight seconds. So: one, two, three, go. Okay. So once we accept this, the cube is live. So let's see if Evan can actually try and imagine pulling. Ah, good job! (Applause) That's really amazing.
Tan Le: Dobre. Tak si vyberme "ťahaj". Takže je to o tom, že Evan si potrebuje predstaviť objekt posúvajúci sa k obrazovke. A tu sa nám ukazuje, ako pokročil, kým sa sústredí. Po prvý raz sa nič nestane, pretože systém nemá predstavu o tom, ako on rozmýšľa o "ťahaní". Ale udrž tú myšlienku celý čas počas tých ôsmich sekúnd. Takže, raz, dva, tri, ideš. Dobre. Keď sme to odsúhlasili, kocka ožila. Tak sa pozrime, či sa Evan môže naozaj pokúsiť a predstaviť si ťahanie. A, dobrá práca! (Potlesk) To je fakt pôsobivé.
(Applause)
(Potlesk)
So we have a little bit of time available, so I'm going to ask Evan to do a really difficult task. And this one is difficult because it's all about being able to visualize something that doesn't exist in our physical world. This is "disappear." So what you want to do -- at least with movement-based actions, we do that all the time, so you can visualize it. But with "disappear," there's really no analogies -- so Evan, what you want to do here is to imagine the cube slowly fading out, okay. Same sort of drill. So: one, two, three, go. Okay. Let's try that. Oh, my goodness. He's just too good. Let's try that again.
Ešte máme nejaký čas, takže idem poprosiť Evana, aby splnil naozaj ťažkú úlohu. A je ťažká, pretože si má predstaviť niečo, čo neexistuje v našom fyzickom svete. Je to "zmizni". Takže čo chcete -- prinajmenšom všetky akcie založené na pohybe, to robíme celý čas, takže si ich vieme predstaviť. Ale "zmiznúť", nič podobné nepoznáme. Takže Evan, teraz si chceš predstaviť kocku pomaly miznúť, dobre. Ostatné je rovnaké. Takže, raz, dva, tri, ideš. Dobre. Skúsme to. Môj ty bože. On je príliš dobrý. Skúsme to znovu.
EG: Losing concentration.
EG: Prestávam sa sústrediť.
(Laughter)
(Smiech)
TL: But we can see that it actually works, even though you can only hold it for a little bit of time. As I said, it's a very difficult process to imagine this. And the great thing about it is that we've only given the software one instance of how he thinks about "disappear." As there is a machine learning algorithm in this --
TL: Ale môžeme vidieť, že to naozaj funguje, aj keď to môžete udržať len nakrátko. Ako som povedala, je veľmi ťažké predstaviť si to. A skvelou vecou na tom je, že sme dali programu len jednu predstavu o tom, ako on rozmýšľa o zmiznutí. A má to aj algoritmus pre strojové učenie sa --
(Applause)
(Potlesk)
Thank you. Good job. Good job.
Ďakujem. Dobrá práca. Dobrá práca.
(Applause)
(Potlesk)
Thank you, Evan, you're a wonderful, wonderful example of the technology.
Ďakujem ti, Evan, si úžasný, úžasný príklad danej technológie.
So, as you can see, before, there is a leveling system built into this software so that as Evan, or any user, becomes more familiar with the system, they can continue to add more and more detections, so that the system begins to differentiate between different distinct thoughts. And once you've trained up the detections, these thoughts can be assigned or mapped to any computing platform, application or device.
Ako ste mohli vidieť, program má úrovňový systém, takže ako sa Evan, alebo hocijaký iný používateľ, bude viac zoznamovať so systémom, môže pridávať ďalšie a ďalšie detekcie mozgu, aby systém začal rozpoznávať medzi rôznymi myšlienkami. A keď ste nacvičili detekcie, tieto myšlienky môžu byť priradené alebo namapované na ktorúkoľvek počítačovú platformu, program alebo zariadenie.
So I'd like to show you a few examples, because there are many possible applications for this new interface. In games and virtual worlds, for example, your facial expressions can naturally and intuitively be used to control an avatar or virtual character. Obviously, you can experience the fantasy of magic and control the world with your mind. And also, colors, lighting, sound and effects can dynamically respond to your emotional state to heighten the experience that you're having, in real time. And moving on to some applications developed by developers and researchers around the world, with robots and simple machines, for example -- in this case, flying a toy helicopter simply by thinking "lift" with your mind.
Takže by som vám rada ukázala niekoľko príkladov, pretože existuje množstvo možných aplikácií tohto nového rozhrania. V hrách a virtuálnych svetoch, napríklad, vaše výrazy tváre môžu byť prirodzene a intuitívne použité na kontrolovanie avatara alebo virtuálnej osoby. Tiež môžete zažiť fantáziu mágie a kontrolovať svet svojou mysľou. A tiež farby, svetlo, zvuk a efekty môžu dynamicky reagovať na váš emocionálny stav, aby zvýšili silu zážitku, ktorý prežívate, v reálnom čase. Keď sa presunieme na nejaké aplikácie vyvíjané vývojármi a výskumníkmi na celom svete, s robotmi a jednoduchými strojmi, napríklad -- v tomto prípade lietanie s hračkou, helikoptérou jednoducho myslením na vzlietni vo svojej hlave.
The technology can also be applied to real world applications -- in this example, a smart home. You know, from the user interface of the control system to opening curtains or closing curtains. And of course, also to the lighting -- turning them on or off. And finally, to real life-changing applications, such as being able to control an electric wheelchair. In this example, facial expressions are mapped to the movement commands.
Technológia môže byť použitá aj v reálnom svete -- v tomto príklade v inteligentnom dome. Viete, od používateľského rozhrania riadiaceho systému až po rozhrnutie záclon alebo ich zastrenie. A samozrejme svetlá -- ich zapínanie alebo vypínanie. A napokon, použitia, ktoré naozaj menia životy, ako je byť schopný riadiť elektrický vozík. V tomto príklade sú výrazy tváre namapované na príkazy pohybu.
Man: Now blink right to go right. Now blink left to turn back left. Now smile to go straight.
Muž: Teraz žmurknite pravým okom, aby ste šli doprava. Teraz žmurknite ľavým okom, aby ste sa otočili doľava. Teraz sa usmejte, aby ste šli rovno.
TL: We really -- Thank you.
TL: My sme naozaj -- Ďakujem.
(Applause)
(Potlesk)
We are really only scratching the surface of what is possible today, and with the community's input, and also with the involvement of developers and researchers from around the world, we hope that you can help us to shape where the technology goes from here. Thank you so much.
V súčasnosti naozaj len kĺžeme po povrchu toho, čo je možné. A s prínosom spoločnosti a tiež so zahrnutím vývojárov a výskumníkov z celého sveta dúfame, že nám môžete pomôcť určovať to, kam až môže zájsť technológia. Ďakujem veľmi pekne.