Up until now, our communication with machines has always been limited to conscious and direct forms. Whether it's something simple like turning on the lights with a switch, or even as complex as programming robotics, we have always had to give a command to a machine, or even a series of commands, in order for it to do something for us. Communication between people, on the other hand, is far more complex and a lot more interesting because we take into account so much more than what is explicitly expressed. We observe facial expressions, body language, and we can intuit feelings and emotions from our dialogue with one another. This actually forms a large part of our decision-making process. Our vision is to introduce this whole new realm of human interaction into human-computer interaction so that computers can understand not only what you direct it to do, but it can also respond to your facial expressions and emotional experiences. And what better way to do this than by interpreting the signals naturally produced by our brain, our center for control and experience.
Vuorovaikutuksemme koneiden kanssa on aina ollut rajoittunutta tietoisiin ja suoriin muotoihin. Olipa asia yksinkertainen, kuten valokatkaisimen käyttö, tai monimutkainen, kuten robottien ohjelmointi -- olemme aina antaneet käskyjä koneille komentojen sarjana, jotta saisimme ne tekemään jotain. Ihmisten välinen kommunikointi on sen sijaan monimutkaisempaa ja kiinnostavampaa koska otamme huomioon enemmän, kuin mitä suoranaisesti sanotaan. Seuraamme ilmeitä, ruumiinkieltä ja voimme tunnistaa tunteita keskuteluissamme toisten kanssa. Tällä on iso osa päätöksentekoprosesseissamme. Visiomme on esitellä kokonaan uusi alue vuorovaikutusmahdollisuuksia ihmisten ja koneiden välille, niin että koneen ymmärtäisivät -- ei vain mitä niitä käsketään tekemään -- vaan myös vastaisivat ilmeisiin ja tunteisiin. Tähän tuskin on parempaa tapaa kuin tulkita niitä signaaleja jotka syntyvät luontaisesti aivoissamme, kokemuksen ja hallinnan keskuksessamme.
Well, it sounds like a pretty good idea, but this task, as Bruno mentioned, isn't an easy one for two main reasons: First, the detection algorithms. Our brain is made up of billions of active neurons, around 170,000 km of combined axon length. When these neurons interact, the chemical reaction emits an electrical impulse, which can be measured. The majority of our functional brain is distributed over the outer surface layer of the brain, and to increase the area that's available for mental capacity, the brain surface is highly folded. Now this cortical folding presents a significant challenge for interpreting surface electrical impulses. Each individual's cortex is folded differently, very much like a fingerprint. So even though a signal may come from the same functional part of the brain, by the time the structure has been folded, its physical location is very different between individuals, even identical twins. There is no longer any consistency in the surface signals.
Se kuulostaa hyvältä idealta, mutta tämä, kuten Bruno sanoi, ei ole helppo tehtävä kahdesta syystä: Ensimmäiseksi, tunnistusalgoritmit. Aivomme koostuvat miljardeista aktiivisista neuroneista, noin 170 000 kilometrin yhteenlasketulla pituudella. Kun nuo neuronit vuorovaikuttavat, kemikaalinen reaktio synnyttää mitattavissa olevan sähköisen impulssin. Valtaosa aivotoiminnoistamme jakaantuu aivojen kuorikerrokseen. Kuorikerroksen pinta-alan kasvattamiseksi, se on erittäin poimuttunut. Tämä aivokuoren poimuttuneisuus aiheuttaa suuren haasteen kerroksen sähköisten impulssien tulkintaan. Jokaisen yksilön aivokuori on poimuttunut eri lailla, aivan kuten sormenjäljet. Joten vaikka signaali tulisi samasta aivojen toiminnallisesta alueesta, niin poimuttumisen vuoksi sen fyysinen sijainti on hyvin erilainen eri yksilöillä, jopa identtisten kaksosten välillä. Pinnalta mitatuissa signaaleissa ei ole johdonmukaisuutta.
Our breakthrough was to create an algorithm that unfolds the cortex, so that we can map the signals closer to its source, and therefore making it capable of working across a mass population. The second challenge is the actual device for observing brainwaves. EEG measurements typically involve a hairnet with an array of sensors, like the one that you can see here in the photo. A technician will put the electrodes onto the scalp using a conductive gel or paste and usually after a procedure of preparing the scalp by light abrasion. Now this is quite time consuming and isn't the most comfortable process. And on top of that, these systems actually cost in the tens of thousands of dollars.
Läpimurtomme oli luoda algoritmi, joka tasoittaa aivokuoren poimutuksen, jotta voimme kartoittaa signaalin lähemmäs sen lähdettä, saaden sen toimimaan läpi ihmisjoukkojen. Toinen haaste on aivoaaltojen lukemiseen käytetty laite. EEG-mittaukset tyypillisesti vaativat sensorein varustetun hiusverkon, kuten tässä kuvassa nähdään. Teknikko asettelee elektrodit kallon pinnalle käyttäen johtavaa geeliä tai pastaa, usein valmisteltuaan ensin päänahkaa raapimalla sen ihoa kevyesti. Tämä kestää melko kauan eikä ole kovin miellyttävää. Kaiken lisäksi, nämä järjestelmät maksavat kymmeniä tuhansia dollareita.
So with that, I'd like to invite onstage Evan Grant, who is one of last year's speakers, who's kindly agreed to help me to demonstrate what we've been able to develop.
Tällä pohjustuksella, haluaisin kutsua lavalle Evan Grantin, yhden viime vuoden puhujista, joka ystävällisesti suostui auttamaan minua esittelemään mitä olemme saaneet aikaiseksi.
(Applause)
(Aplodeja)
So the device that you see is a 14-channel, high-fidelity EEG acquisition system. It doesn't require any scalp preparation, no conductive gel or paste. It only takes a few minutes to put on and for the signals to settle. It's also wireless, so it gives you the freedom to move around. And compared to the tens of thousands of dollars for a traditional EEG system, this headset only costs a few hundred dollars. Now on to the detection algorithms. So facial expressions -- as I mentioned before in emotional experiences -- are actually designed to work out of the box with some sensitivity adjustments available for personalization. But with the limited time we have available, I'd like to show you the cognitive suite, which is the ability for you to basically move virtual objects with your mind.
Laite, jonka näette on 14-kanavainen, korkealaatuinen EEG-tallennuslaite. Se ei vaadi päänahan valmistelua johtavalla geelillä tai pastalla. Sen pukemiseen ja signaalien tasoittumiseen menee vain muutamia minuutteja. Se on myös langaton, joten sen kanssa voi liikkua ympäriinsä. Ja verrattuna perinteisten EEG-järjestelmien kymmenien tuhansien hintaan, tämä päähine maksaa vain muutamia satasia. Ja nyt tunnistusalgoritmeihin. Kasvojen ilmeet -- kuten sanoin aiemmin tunteiden ilmenemisestä -- on suunniteltu toimimaan suoraan, muutamilla henkilökohtaisilla herkkyyden asetuksilla. Mutta tällä rajoitetulla ajallamme, haluaisin esitellä kognitiivista ohjelmistoamme, jonka avulla on mahdollista liikuttaa virtuaalisia esineitä ajatuksen voimalla.
Now, Evan is new to this system, so what we have to do first is create a new profile for him. He's obviously not Joanne -- so we'll "add user." Evan. Okay. So the first thing we need to do with the cognitive suite is to start with training a neutral signal. With neutral, there's nothing in particular that Evan needs to do. He just hangs out. He's relaxed. And the idea is to establish a baseline or normal state for his brain, because every brain is different. It takes eight seconds to do this, and now that that's done, we can choose a movement-based action. So Evan, choose something that you can visualize clearly in your mind.
Evan on uusi käyttäjä, joten luomme ensin hänelle profiilin järjestelmään. Hän ei selvästikään ole Joanne -- joten lisäämme uuden käyttäjän. Evan. Ok. Aluksi harjoittaaksemme ohjelmistoa, tarvitsemme neutraalin signaalin. Neuraalissa ei ole mitään erityistä mitä Evanin tarvitsisi tehdä. Hän vain on. Rentona. Tarkoituksena on määritellä hänen aivojensa normaalitila, koska jokainen aivo on omanlaisensa. Tämä kestää kahdeksan sekuntia. Ja kun se on tehty, voimme valita liikkeeseen perustuvan toiminnon. Evan valitse jotakin jonka voit visualisoida helposti mielessäsi.
Evan Grant: Let's do "pull."
EG: Valitaan kohti vetäminen.
Tan Le: Okay, so let's choose "pull." So the idea here now is that Evan needs to imagine the object coming forward into the screen, and there's a progress bar that will scroll across the screen while he's doing that. The first time, nothing will happen, because the system has no idea how he thinks about "pull." But maintain that thought for the entire duration of the eight seconds. So: one, two, three, go. Okay. So once we accept this, the cube is live. So let's see if Evan can actually try and imagine pulling. Ah, good job! (Applause) That's really amazing.
TL: Okei, valitaan 'veto'. Tarkoituksena tässä on, että Evan kuvittelee kohteen tulevan lähemmäs ruutua kohti. Palkki kasvaa ruudussa hänen tekiessään sitä. Ensimmäisellä kerralla mitään ei tapahtu koska järjestelmä ei tiedä miten hän 'vetää'. Mutta pidetään se ajatus koko kahdeksan sekunnin ajan. Yksi, kaksi, kolme, nyt. Okei. Kunhan hyväksymme tämän, kuutio on käytössä. Katsotaan jos Evan saa todella vedettyä sitä kuvittelemalla. Aa, hyvin tehty! (Aplodeja) Tämä on hämmästyttävää.
(Applause)
(Aplodeja)
So we have a little bit of time available, so I'm going to ask Evan to do a really difficult task. And this one is difficult because it's all about being able to visualize something that doesn't exist in our physical world. This is "disappear." So what you want to do -- at least with movement-based actions, we do that all the time, so you can visualize it. But with "disappear," there's really no analogies -- so Evan, what you want to do here is to imagine the cube slowly fading out, okay. Same sort of drill. So: one, two, three, go. Okay. Let's try that. Oh, my goodness. He's just too good. Let's try that again.
Meillä on vähän aikaa jäljellä, joten pyydän Evania suorittamaan vaikean tehtävän. Se on vaikea, koska hän tulee kuvittelemaan jotain, mitä ei tapahtu fyysisessä maailmassa. Tämä on 'katoaminen'. Liikkeeseen pohjautuva toiminta on helppoa, sillä teemme sitä koko ajan; se on helppoa kuvitella. Mutta 'katoaminen' -- sille ei ole vastineita. Joten Evan, seuraavaksi haluat kuvitella kuution hitaasti katoavan. Sama toimintatapa. Eli; yksi, kaksi, kolme, nyt. Okei, koetetaan sitä. Oho, hän on todella hyvä tässä. Yritetään uudestaan.
EG: Losing concentration.
EG: Keskittyminen hukkuu.
(Laughter)
(Naurua)
TL: But we can see that it actually works, even though you can only hold it for a little bit of time. As I said, it's a very difficult process to imagine this. And the great thing about it is that we've only given the software one instance of how he thinks about "disappear." As there is a machine learning algorithm in this --
TL: Mutta näemme, että se toimii, vaikka saat sen pysymään vain hetken ajan. Kuten sanottua, on erittäin vaikeaa kuvitella tätä. Ja hienointa tässä on, että olemme antaneet ohjelmistolle vain yhden esimerkin 'katoamisesta'. Koneoppimisen algoritmi tämän takana ---
(Applause)
(Aplodeja)
Thank you. Good job. Good job.
Kiitos. Hyvin tehty.
(Applause)
(Aplodeja)
Thank you, Evan, you're a wonderful, wonderful example of the technology.
Kiitos Evan, olet loistava esimerkki tästä teknologiasta.
So, as you can see, before, there is a leveling system built into this software so that as Evan, or any user, becomes more familiar with the system, they can continue to add more and more detections, so that the system begins to differentiate between different distinct thoughts. And once you've trained up the detections, these thoughts can be assigned or mapped to any computing platform, application or device.
Kuten näitte aiemmin, järjestelmään on rakennettu tasorakenne, joten kun Evan, tai kuka tahansa, tulee tutummaksi järjestelmään, he voivat lisätä lisää tunnistimia, jolloin järjestelmä oppii erottamaan erilaisia ajatustyyppejä toisistaan. Kun on opettanut tunnistimet, nämä ajatukset voidaan liittää mihin tahansa tietokoneen toimintoon, ohjelmistoon tai oheislaitteeseen.
So I'd like to show you a few examples, because there are many possible applications for this new interface. In games and virtual worlds, for example, your facial expressions can naturally and intuitively be used to control an avatar or virtual character. Obviously, you can experience the fantasy of magic and control the world with your mind. And also, colors, lighting, sound and effects can dynamically respond to your emotional state to heighten the experience that you're having, in real time. And moving on to some applications developed by developers and researchers around the world, with robots and simple machines, for example -- in this case, flying a toy helicopter simply by thinking "lift" with your mind.
Haluaisin näyttää muutaman esimerkin, koska tälle uudelle tekniikalle on monia mahdollisia käyttötapoja Peleissä ja virtuaalimaailmoissa, esimerkiksi kasvonilmeitä voidaan helposti ja luonnollisesti käyttää ohjaamaan virtuaalihahmoa. Näin pääsee taianomaisesti kokemaan miten hallita maailmaa ajatuksilla. Myös värit, valaistus, äänet ja efektit voivat dynaamisesti reagoida käyttäjän mielentilaan korostaen kokemusta reaaliajassa. Siirrytäänpä muutamiin muihin tutkijoiden ja suunnittelijoiden kehittämiin sovelluksiin, robotteihin ja yksinkertaisiin laitteisiin, esimerkiksi -- tässä tapauksessa, lelukopterin lennättämiseen vain ajattelemalla 'nousua' mielessään.
The technology can also be applied to real world applications -- in this example, a smart home. You know, from the user interface of the control system to opening curtains or closing curtains. And of course, also to the lighting -- turning them on or off. And finally, to real life-changing applications, such as being able to control an electric wheelchair. In this example, facial expressions are mapped to the movement commands.
Tätä teknologiaa voidaan soveltaa reaalimaailman sovelluksiin -- kuten tässä, älykkääseen kotiin. Käyttöliittymäksi, jolla hallita verhojen avaaminen ja sulkeminen. Sekä valaistus -- valojen kytkeminen päälle tai pois. Ja lopuksi, todellisen muutoksten tekeviin sovelluksiin, kuten sähköisen pyörätuolin ohjaamiseen. Tässä tapauksessa, kasvojen ilmeet on liitetty liikekomentoihin.
Man: Now blink right to go right. Now blink left to turn back left. Now smile to go straight.
Mies: Vinkkaa oikeaa silmää mennäksesi oikealle. Nyt vasenta mennäksesi vasemmalle. Hymyile mennäksesi suoraan.
TL: We really -- Thank you.
TL: Me todella -- Kiitos.
(Applause)
(Aplodeja)
We are really only scratching the surface of what is possible today, and with the community's input, and also with the involvement of developers and researchers from around the world, we hope that you can help us to shape where the technology goes from here. Thank you so much.
Olemme vasta raapaisemassa mahdollisuuksien pintaa. Yhteisön palaute, ja kehittäjien ja tutkijoiden osallistuminen eri puolilla maailmaa auttavat meitä muokkaamaan teknologiaa tästä eteenpäin. Kiitos paljon.