Up until now, our communication with machines has always been limited to conscious and direct forms. Whether it's something simple like turning on the lights with a switch, or even as complex as programming robotics, we have always had to give a command to a machine, or even a series of commands, in order for it to do something for us. Communication between people, on the other hand, is far more complex and a lot more interesting because we take into account so much more than what is explicitly expressed. We observe facial expressions, body language, and we can intuit feelings and emotions from our dialogue with one another. This actually forms a large part of our decision-making process. Our vision is to introduce this whole new realm of human interaction into human-computer interaction so that computers can understand not only what you direct it to do, but it can also respond to your facial expressions and emotional experiences. And what better way to do this than by interpreting the signals naturally produced by our brain, our center for control and experience.
Până acum, comunicarea noastră cu aparatele a fost întotdeauna limitată la forme conştiente şi directe. Fie că este vorba despre ceva simplu precum aprinderea luminii folosind un întrerupător, sau chiar ceva atât de complex precum programarea roboţilor întotdeauna i-am dat aparatului o comandă sau chiar o serie de comenzi pentru a face ceva pentru noi. Pe de altă parte, comunicarea între oameni este cu mult mai complexă şi mai interesantă pentru că luăm în calcul mult mai multe aspecte decât ce se exprimă explicit. Observăm expresiile feţei, limbajul trupului şi putem intui sentimente şi emoţii din dialogul dintre noi. De fapt, acestea constituie o mare parte din procesul nostru de luare a deciziilor. Viziunea noastră este să introducem tot acest nou tărâm al interacţiunii umane în interacţiunea om-computer, astfel încât computerele să poată înţelege nu doar ce îi comanzi să facă ci şi să poată răspunde expresiilor feţei tale şi experienţelor emoţionale. Şi cum faci mai bine asta decât interpretând semnalele produse natural de creierul nostru, centrul nostru al controlului şi al experienţei.
Well, it sounds like a pretty good idea, but this task, as Bruno mentioned, isn't an easy one for two main reasons: First, the detection algorithms. Our brain is made up of billions of active neurons, around 170,000 km of combined axon length. When these neurons interact, the chemical reaction emits an electrical impulse, which can be measured. The majority of our functional brain is distributed over the outer surface layer of the brain, and to increase the area that's available for mental capacity, the brain surface is highly folded. Now this cortical folding presents a significant challenge for interpreting surface electrical impulses. Each individual's cortex is folded differently, very much like a fingerprint. So even though a signal may come from the same functional part of the brain, by the time the structure has been folded, its physical location is very different between individuals, even identical twins. There is no longer any consistency in the surface signals.
Ei bine, pare a fi o idee destul de bună, dar, aşa cum a menţionat Bruno, această misiune nu este una uşoară din două motive principale: Mai întâi, algoritmii de detecţie. Creierul nostru este format din miliarde de neuroni activi, în jur de 170,000 km este lungimea cumulată a axonilor. Când aceşti neuroni interacţionează, reacţia chimică emite un impuls electric care poate fi măsurat. Mare parte din creierul nostru funcţional este distribuită spre stratul de suprafaţă al creierului. Iar pentru a creşte zona disponibilă capacităţii mentale, suprafaţa creierului este extrem de cutată. Acum, această pliere corticală reprezintă o provocare semnificativă pentru interpretarea impulsurilor electrice de suprafaţă. Cortexul fiecărui individ este cutat diferit, aduce foarte mult cu o amprentă. Astfel, chiar dacă un semnal poate veni din aceeaşi parte funcţională a creierului, după ce structura a fost pliată, localizarea fizică a semnalului diferă foarte mult de la un individ la altul chiar şi la gemeni identici. Nu mai există nicio consistenţă a semnalelor de suprafaţă.
Our breakthrough was to create an algorithm that unfolds the cortex, so that we can map the signals closer to its source, and therefore making it capable of working across a mass population. The second challenge is the actual device for observing brainwaves. EEG measurements typically involve a hairnet with an array of sensors, like the one that you can see here in the photo. A technician will put the electrodes onto the scalp using a conductive gel or paste and usually after a procedure of preparing the scalp by light abrasion. Now this is quite time consuming and isn't the most comfortable process. And on top of that, these systems actually cost in the tens of thousands of dollars.
Progresul marcat de noi a fost crearea unui algoritm care netezeşte cortexul astfel încât să putem marca semnalele mai aproape de sursa lor şi astfel făcând posibilă funcţionarea la nivelul întregii populaţii. A doua provocare este chiar aparatul pentru observarea undelor emise de creier. Măsurătorilor prin electroencefalogramă implică de obicei o reţea fină cu un şir de senzori precum cea pe care o puteţi vedea aici în imagine. Un tehnician va pune electrozii pe scalp folosind un gel sau o pastă conductibilă şi, de obicei, după o procedură de pregătire a scalpului printr-o frecare uşoară. Ia destul de mult timp şi nu e nici pe departe cel mai confortabil proces. Şi mai mult, aceste sisteme costă de fapt în jurul a câteva zeci de mii de dolari.
So with that, I'd like to invite onstage Evan Grant, who is one of last year's speakers, who's kindly agreed to help me to demonstrate what we've been able to develop.
Aşa că, vreau să-l invit pe scenă pe Evan Grant, unul dintre vorbitorii de anul trecut, care a fost de acord să mă ajute să demonstrez ceea ce am reuşit să dezvoltăm.
(Applause)
(Aplauze)
So the device that you see is a 14-channel, high-fidelity EEG acquisition system. It doesn't require any scalp preparation, no conductive gel or paste. It only takes a few minutes to put on and for the signals to settle. It's also wireless, so it gives you the freedom to move around. And compared to the tens of thousands of dollars for a traditional EEG system, this headset only costs a few hundred dollars. Now on to the detection algorithms. So facial expressions -- as I mentioned before in emotional experiences -- are actually designed to work out of the box with some sensitivity adjustments available for personalization. But with the limited time we have available, I'd like to show you the cognitive suite, which is the ability for you to basically move virtual objects with your mind.
Aşadar, aparatul pe care îl vedeţi este un sistem cu 14 canale şi de înaltă fidelitate în recepţia electroencefalogramelor. Nu necesită deloc pregătirea scalpului, nici gel sau pastă conductibilă. Durează doar câteva minute să-l pregăteşti şi ca semnalele să se stabilizeze. De asemenea, este wireless, deci îţi dă libertate de mişcare. Iar comparativ cu zecile de mii de dolari pentru un sistem tradiţional de electroencefalogramă aceste căşti costă doar câteva sute de dolari. Acum legat de algoritmii de detecţie. Expresiile feţei -- aşa cum am precizat mai devreme referitor la experienţele emoţionale -- sunt de fapt proiectate să funcţioneze atipic prin câteva ajustări legate de senzitivitate şi care sunt disponibile spre personalizare. Mai având puţin timp la dispoziţie, vreau să vă arăt întregul echipament cognitiv care vă dă posibilitatea în esenţă, să mişcaţi obiecte virtual cu mintea.
Now, Evan is new to this system, so what we have to do first is create a new profile for him. He's obviously not Joanne -- so we'll "add user." Evan. Okay. So the first thing we need to do with the cognitive suite is to start with training a neutral signal. With neutral, there's nothing in particular that Evan needs to do. He just hangs out. He's relaxed. And the idea is to establish a baseline or normal state for his brain, because every brain is different. It takes eight seconds to do this, and now that that's done, we can choose a movement-based action. So Evan, choose something that you can visualize clearly in your mind.
Acum, Evan n-a mai folosit sistemul, aşa că, mai întâi trebuie să-i creăm un nou profil. În mod evident, nu este Joanne -- aşa că vom "adăuga un utilizator". Evan. În regulă. Primul lucru pe care trebuie să-l facem cu echipamentul cognitiv este să începem antrenamentul cu un semnal neutru. Nu e nimic special ce trebuie să facă Evan. Doar stă. Este relaxat. Iar ideea este să se stabilească un reper sau o stare normală a creierului lui. pentru că fiecare creier este diferit. Durează opt secunde. Acum că am terminat, putem alege o acţiune bazată pe mişcare. Aşadar, Evan alege ceva ce poţi vizualiza cu claritate în minte.
Evan Grant: Let's do "pull."
Evan Grant: Să zicem "trage".
Tan Le: Okay, so let's choose "pull." So the idea here now is that Evan needs to imagine the object coming forward into the screen, and there's a progress bar that will scroll across the screen while he's doing that. The first time, nothing will happen, because the system has no idea how he thinks about "pull." But maintain that thought for the entire duration of the eight seconds. So: one, two, three, go. Okay. So once we accept this, the cube is live. So let's see if Evan can actually try and imagine pulling. Ah, good job! (Applause) That's really amazing.
Tan Le: Ok. Să alegem "trage". Acum ideea este că Evan trebuie să-şi imagineze obiectul venind în faţă înspre ecran. Şi avem pe ecran o bară care marchează progresul în timp ce face asta. Prima dată nu se întâmplă nimic pentru că sistemul habar n-are cum gândeşte el când "trage". Dar gândul este menţinut pe întreaga durată de opt secunde. Aşadar: unu, doi, trei, începe. În regulă. De îndată ce acceptăm cubul prinde viaţă. Să vedem dacă Evan chiar poate încerca şi să-şi imagineze că trage obiectul. Ah, foarte bine! (Aplauze) E destul de uimitor.
(Applause)
(Aplauze)
So we have a little bit of time available, so I'm going to ask Evan to do a really difficult task. And this one is difficult because it's all about being able to visualize something that doesn't exist in our physical world. This is "disappear." So what you want to do -- at least with movement-based actions, we do that all the time, so you can visualize it. But with "disappear," there's really no analogies -- so Evan, what you want to do here is to imagine the cube slowly fading out, okay. Same sort of drill. So: one, two, three, go. Okay. Let's try that. Oh, my goodness. He's just too good. Let's try that again.
Mai avem puţin timp la dispoziţie, aşa că îl voi ruga pe Evan să facă ceva foarte dificil. Şi este greu pentru că ţine exclusiv de abilitatea de a vizualiza ceva ce nu există în lumea noastră fizică. Şi anume, "să dispară". Ceea ce vrem -- cel puţin prin acţiuni bazate pe mişcare, facem tot timpul, deci putem vizualiza. Dar cu a face ceva "să dispară", nu prea avem analogii. Aşadar, Evan, ceea ce trebuie să faci este să-ţi imaginezi cubul dispărând treptat. În regulă? Acelaşi tip de exerciţiu. Deci: unu, doi, trei, începe. Ok. Să încercăm. Oh, doamne. Este mult prea bun. Să mai încercăm o dată.
EG: Losing concentration.
EG: Îmi pierd concentrarea.
(Laughter)
(Râsete)
TL: But we can see that it actually works, even though you can only hold it for a little bit of time. As I said, it's a very difficult process to imagine this. And the great thing about it is that we've only given the software one instance of how he thinks about "disappear." As there is a machine learning algorithm in this --
TL: Dar putem vedea că funcţionează chiar dacă pentru puţin timp. După cum am spus, este un proces foarte dificil să-ţi imaginezi aşa ceva. Şi este excepţional că software-ul a avut acces doar pentru câteva momente la felul în care el se gândeşte să facă ceva "să dispară". Pentru vorbim despre un algoritm care permite aparatului să înveţe.
(Applause)
(Aplauze)
Thank you. Good job. Good job.
Mulţumesc. Foarte bine. Foarte bine.
(Applause)
(Aplauze)
Thank you, Evan, you're a wonderful, wonderful example of the technology.
Mulţumesc, Evan, eşti minunat, excelent exemplu al tehnologiei.
So, as you can see, before, there is a leveling system built into this software so that as Evan, or any user, becomes more familiar with the system, they can continue to add more and more detections, so that the system begins to differentiate between different distinct thoughts. And once you've trained up the detections, these thoughts can be assigned or mapped to any computing platform, application or device.
Aşa cum aţi văzut mai devreme, software-ul are construit un sistem de etalonare astfel încât, pe măsură ce Evan sau oricare alt utilizator se obişnuieşte cu sistemul ei pot continua să adauge tot mai multe detecţii astfel încât sistemul începe să diferenţieze între gânduri distincte. Iar odată ce detecţiile au fost repetate, aceste gânduri pot fi atribuite sau marcate în orice platformă de calcul, aplicaţie sau aparat.
So I'd like to show you a few examples, because there are many possible applications for this new interface. In games and virtual worlds, for example, your facial expressions can naturally and intuitively be used to control an avatar or virtual character. Obviously, you can experience the fantasy of magic and control the world with your mind. And also, colors, lighting, sound and effects can dynamically respond to your emotional state to heighten the experience that you're having, in real time. And moving on to some applications developed by developers and researchers around the world, with robots and simple machines, for example -- in this case, flying a toy helicopter simply by thinking "lift" with your mind.
Vreau să vă arăt câteva exemple pentru că există multe posibile aplicaţii ale acestei noi interfeţe. De exemplu, în jocuri şi lumi virtuale, expresiile feţei tale pot fi folosite natural şi intuitiv pentru a controla un avatar sau un personaj virtual. Evident, puteţi experimenta fantezia magiei şi puteţi controla lumea cu mintea. Şi, de asemenea, culorile, lumina, sunetul şi efectele pot răspunde dinamic stărilor voastre emoţionale pentru a intensifica experienţa pe care o trăiţi, în timp real. Trecând la câteva aplicaţii realizate de dezvoltatori şi cercetători din întreaga lume, cu roboţi şi aparate simple, de exemplu -- în acest caz, puteţi controla zborul unul elicopter de jucărie doar gândindu-vă cum se ridică.
The technology can also be applied to real world applications -- in this example, a smart home. You know, from the user interface of the control system to opening curtains or closing curtains. And of course, also to the lighting -- turning them on or off. And finally, to real life-changing applications, such as being able to control an electric wheelchair. In this example, facial expressions are mapped to the movement commands.
Tehnologia poate fi aplicată şi pentru aplicaţiile din lumea reală -- în acest exemplu, o casă inteligentă. Ştiţi, de la interfaţa sistemului de control pe care o vede utilizatorul la deschiderea draperiilor sau închiderea draperiilor. Bineînţeles, şi pentru lumină -- aprinderea ei şi stingerea ei. Şi, în cele din urmă, în cazul aplicaţiilor care chiar pot schimba cu adevărat viaţa precum posibilitatea de a controla un scaun pe rotile electric. În acest exemplu, expresiile feţei sunt corelate cu comenzile de mişcare.
Man: Now blink right to go right. Now blink left to turn back left. Now smile to go straight.
Bărbat: Acum clipeşte din ochiul drept ca să mergi la dreapta. Acum clipeşte din ochiul stâng ca să te întorci prin partea stângă. Acum zâmbeşte ca să mergi drept înainte.
TL: We really -- Thank you.
TL: Doar -- Mulţumesc.
(Applause)
(Aplauze)
We are really only scratching the surface of what is possible today, and with the community's input, and also with the involvement of developers and researchers from around the world, we hope that you can help us to shape where the technology goes from here. Thank you so much.
Doar tangenţial atingem adevăratul potenţial al acestei tehnologii, astăzi. Iar prin părerile venite din partea comunităţii şi, de asemenea, cu implicarea dezvoltatorilor şi a cercetătorilor din întreaga lume sperăm că ne puteţi ajuta să modelăm viitorul acestei tehnologii. Vă mulţumesc foarte mult.