Up until now, our communication with machines has always been limited to conscious and direct forms. Whether it's something simple like turning on the lights with a switch, or even as complex as programming robotics, we have always had to give a command to a machine, or even a series of commands, in order for it to do something for us. Communication between people, on the other hand, is far more complex and a lot more interesting because we take into account so much more than what is explicitly expressed. We observe facial expressions, body language, and we can intuit feelings and emotions from our dialogue with one another. This actually forms a large part of our decision-making process. Our vision is to introduce this whole new realm of human interaction into human-computer interaction so that computers can understand not only what you direct it to do, but it can also respond to your facial expressions and emotional experiences. And what better way to do this than by interpreting the signals naturally produced by our brain, our center for control and experience.
Се досега, нашата комуникација со машините секогаш беше ограничена на свесни и директни форми. Било да се работи за нешто едноставно како вклучување на светлата со прекинувач или дури и нешто комплексно како програмирање роботика, ние секогаш требаше да издадеме команда на машина или дури и серија на команди, со цел таа да направи нешто за нас. Комуникацијата помеѓу луѓето од друга страна, е многу покомплексна и многу поинтересна, бидејќи ние земаме предвид многу повеќе од тоа што е експлицитно искажано. Ние ги набљудуваме изразите на лицето, говорот на телото и можеме интуитивно да ги дознаеме чувствата и емоциите од нашиот взаемен дијалог. Ова всушност претставува голем дел од нашиот процес на носење на одлука. Нашата визија е да ја воведеме таа нова димензија на човечката комуникација во комуникацијата помеѓу човек и компјутер, така што компјутерите ќе разбираат не само она што ќе им наредите да прават, туку ќе можат исто така да реагираат на изразите на вашето лице и емоционалните доживувања. А кој е подобар начин да се постигне тоа од интерпретирање на сигналите природно создадени од нашиот мозок, нашиот центар за управување и доживување.
Well, it sounds like a pretty good idea, but this task, as Bruno mentioned, isn't an easy one for two main reasons: First, the detection algorithms. Our brain is made up of billions of active neurons, around 170,000 km of combined axon length. When these neurons interact, the chemical reaction emits an electrical impulse, which can be measured. The majority of our functional brain is distributed over the outer surface layer of the brain, and to increase the area that's available for mental capacity, the brain surface is highly folded. Now this cortical folding presents a significant challenge for interpreting surface electrical impulses. Each individual's cortex is folded differently, very much like a fingerprint. So even though a signal may come from the same functional part of the brain, by the time the structure has been folded, its physical location is very different between individuals, even identical twins. There is no longer any consistency in the surface signals.
Па звучи како прилично добра идеја, но оваа задача, како што спомна Бруно, не е лесна поради две главни причини: Прво, алгоритмите за детекција. Нашиот мозок е направен од милијарди активни неврони, околу 170 000 км вкупна должина на нервни влакна. Кога овие неврони комуницираат, хемиската реакција емитува електричен импулс кој може да се измери. Поголемиот дел од нашиот функционален мозок е распределен на надворешниот површински слој на мозокот. А за да се зголеми површината на овој умствен капацитет, самат а мозочна површина е многу збрчкана. Е сега ова збрчкување на кората претставува значаен предизвик за интерпретација на електричните импулси на површината. Кората на мозокот на секоја индивудуа е збрчкана различно, многу слично како и отисоците од прст. Па дури и ако еден сигнал може да доаѓа од истиот функционален дел од мозокот, откако стуктурата е збрчкана, физичката локација на тој ист дел многу се разликува помеѓу индивидуи, па дури и помеѓу идентични близнаци. Веќе не постои конзистентност на површинските сигнали.
Our breakthrough was to create an algorithm that unfolds the cortex, so that we can map the signals closer to its source, and therefore making it capable of working across a mass population. The second challenge is the actual device for observing brainwaves. EEG measurements typically involve a hairnet with an array of sensors, like the one that you can see here in the photo. A technician will put the electrodes onto the scalp using a conductive gel or paste and usually after a procedure of preparing the scalp by light abrasion. Now this is quite time consuming and isn't the most comfortable process. And on top of that, these systems actually cost in the tens of thousands of dollars.
Ние направивме пробив со изработка на алгоритам кој ја „израмнува“ кората на мозокот, така што ќе можеме да ги лоцираме сигналите поблиску до нивниот извор, па така уредот ќе може да работи за целата популација. Вториот предизвик е самиот уред за набљудување на мозочните бранови. ЕЕГ мерењата вообичаено вклучуваат мрежа за коса со многу сензори како онаа која се гледа овде на фотографијата. Техничарот ги става електродите на кожата на главата користејќи проводен гел или паста откако претходно е подготвена кожата на главата со лесно нагризување (абразија). За сето тоа е потребно доста време и не е најудобниот процес. А згора на тоа, овие системи всушност чинат десетици илјади долари.
So with that, I'd like to invite onstage Evan Grant, who is one of last year's speakers, who's kindly agreed to help me to demonstrate what we've been able to develop.
Затоа, сакам да го поканам на сцената Еван Грант, кој е еден од презентерите од минатата година и кој со задоволство се сложи да ми помогне да го демонстрираме она што успеавме да го развиеме.
(Applause)
(аплауз)
So the device that you see is a 14-channel, high-fidelity EEG acquisition system. It doesn't require any scalp preparation, no conductive gel or paste. It only takes a few minutes to put on and for the signals to settle. It's also wireless, so it gives you the freedom to move around. And compared to the tens of thousands of dollars for a traditional EEG system, this headset only costs a few hundred dollars. Now on to the detection algorithms. So facial expressions -- as I mentioned before in emotional experiences -- are actually designed to work out of the box with some sensitivity adjustments available for personalization. But with the limited time we have available, I'd like to show you the cognitive suite, which is the ability for you to basically move virtual objects with your mind.
Значи, уредот кој го гледате е 14 канален, многу прецизен ЕЕГ сензорски систем. Не бара претходна подготовка на кожата на главата ниту проведен гел или паста. Потребни се само неколку минути да се намести и да се смират сигналите. Исто така е безжичен, така што ви дава слобода да се движите наоколу. И споредено со десетиците илјади долари за традиционален ЕЕГ систем, овој уред чини само неколку стотини долари. Сега за алгоритмите за детекција. Значи, изразите на лицете ... како што споменав претходно и емоционалните доживувања, се всушност дизајнирани да работат веднаш штом ќе го вклучите со некои нагодувања на осетливоста кои се достапни за персонализација. Но со оглед на ограниченото време кое го имаме, би сакала да ви го покажам когнитивниот софтвер, кој ви овозможува да помрднувате виртуелни објекти со вашиот мозок.
Now, Evan is new to this system, so what we have to do first is create a new profile for him. He's obviously not Joanne -- so we'll "add user." Evan. Okay. So the first thing we need to do with the cognitive suite is to start with training a neutral signal. With neutral, there's nothing in particular that Evan needs to do. He just hangs out. He's relaxed. And the idea is to establish a baseline or normal state for his brain, because every brain is different. It takes eight seconds to do this, and now that that's done, we can choose a movement-based action. So Evan, choose something that you can visualize clearly in your mind.
Сега, Еван е нов за системот, па она што треба да го направиме прво е да создадеме нов профил за него. Тој очигледно не е Јоана, па ќе додадеме нов корисник. Еван. Добро. Првата работа што треба да ја направиме со когнитивниот софтвер е да започнеме со вежбање со неутрален сигнал. За неутрален сигнал, Еван нема потреба да прави ништо. Тој е само мирен и опуштен. Идејата е да се воспостави основна или нормална состојба на неговиот мозок, бидејќи секој мозок е различен. Потребни се осум секунди за ова. И сега кога е тоа готово, можеме да избереме акција за движење. Еван избери нешто кое ќе можеш јасно да го визуелизираш во твојот мозок.
Evan Grant: Let's do "pull."
Еван Грант: Да пробаме „повлечи“.
Tan Le: Okay, so let's choose "pull." So the idea here now is that Evan needs to imagine the object coming forward into the screen, and there's a progress bar that will scroll across the screen while he's doing that. The first time, nothing will happen, because the system has no idea how he thinks about "pull." But maintain that thought for the entire duration of the eight seconds. So: one, two, three, go. Okay. So once we accept this, the cube is live. So let's see if Evan can actually try and imagine pulling. Ah, good job! (Applause) That's really amazing.
Тан Ле: Во ред. Тогаш да избереме „повлечи“. Значи, идејата сега е Еван да замисли како објектот се приближува кон него на екранот. Има и покажувач кој ќе се поместува по екранот додека тој го прави тоа. Првиот пат ништо нема да се случи, бидејќи системот нема претстава како тој мисли за „повлечи“. Но задржи ја таа мисла за целото треаење на осумте секунди. Значи: еден, два, три, може. Во ред. Штом го прифатиме ова, коцката е оживеана. Па ајде да видиме дали Еван може да проба и да замисли влечење. Ааа, одлично! (аплауз) Тоа е неверојатно.
(Applause)
(аплауз)
So we have a little bit of time available, so I'm going to ask Evan to do a really difficult task. And this one is difficult because it's all about being able to visualize something that doesn't exist in our physical world. This is "disappear." So what you want to do -- at least with movement-based actions, we do that all the time, so you can visualize it. But with "disappear," there's really no analogies -- so Evan, what you want to do here is to imagine the cube slowly fading out, okay. Same sort of drill. So: one, two, three, go. Okay. Let's try that. Oh, my goodness. He's just too good. Let's try that again.
Значи имаме малку време на располагање, па ќе го замолам Еван да направи навистина тешка задача. Оваа задача е тешка бидејќи се е во способноста да се визуелизира нешто кое не постои во нашиот физички свет. тоа е „исчезнување“. Значи тоа што сакате, барем кога се работи за акции за движење, го правите постојано, па можете и да го визуелизирате. Но кога се работи за „исчезнување“, навистина не постојат аналогии. Значи Еван, тоа што треба да го направиш овде е да замислиш како коцката полека ја снемува, добро. Еден вид на вежба. Значи: еден, два, три, може. Во ред. Ајде да го пробаме. Ооо, прекрасно. Тој едноставно е премногу добар. Ајде да пробаме уште еднаш
EG: Losing concentration.
Еван Грант: Губам концентрација.
(Laughter)
(смеа)
TL: But we can see that it actually works, even though you can only hold it for a little bit of time. As I said, it's a very difficult process to imagine this. And the great thing about it is that we've only given the software one instance of how he thinks about "disappear." As there is a machine learning algorithm in this --
Тан Ле: Но можеме да видиме дека навистина работи, иако ти можеш да го задржиш само за кратко. Како што реков, многу тешка задача е да се замисли ова. Но најдобрата работа околу ова е што му дадовме на софтверот само еден пример како Еван го замислува “исчезнувањето“. Бидејќи има алгоритам за машинско учење во ова ...
(Applause)
(аплауз)
Thank you. Good job. Good job.
Ти благодарам. Одлично. Одлично.
(Applause)
(аплауз)
Thank you, Evan, you're a wonderful, wonderful example of the technology.
Благодарам, Еван, ти си прекрасен, прекрасен пример за оваа технологија.
So, as you can see, before, there is a leveling system built into this software so that as Evan, or any user, becomes more familiar with the system, they can continue to add more and more detections, so that the system begins to differentiate between different distinct thoughts. And once you've trained up the detections, these thoughts can be assigned or mapped to any computing platform, application or device.
Значи како што можевте да видите претходно, во овој софтвер има вградено систем за нивелирање па како што Еван или било кој корисник, станува поблизок со системот, се продолжува со додавањето на се повеќе детекции, така што системот почнува да прави разлика помеѓу различните мисли. И кога веќе еднаш ќе ги извежбате детекциите, овие мисли може да се префрлат или мапираат на било која компјутерска платформа, апликација или уред.
So I'd like to show you a few examples, because there are many possible applications for this new interface. In games and virtual worlds, for example, your facial expressions can naturally and intuitively be used to control an avatar or virtual character. Obviously, you can experience the fantasy of magic and control the world with your mind. And also, colors, lighting, sound and effects can dynamically respond to your emotional state to heighten the experience that you're having, in real time. And moving on to some applications developed by developers and researchers around the world, with robots and simple machines, for example -- in this case, flying a toy helicopter simply by thinking "lift" with your mind.
Сакам да ви покажам неколку примери, бидејќи има многу можни примени за овој нов интерфејс. Во игрите или виртуелните светови, на пример, вашите изрази на лицето можат природно и интуитивно да се користат за управување со аватар или виртуелен карактер. Очигледно, може да ја доживеете фантазијата на магијата и да го управувате светот со вашите мисли. А исто така и бои, светла, звуци и ефекти, можат динамички да одговорат на вашата емоционална состојба за да го зголемат доживувањето што го имате, во реално време. Да прејдеме на некои примени развиени од програмери и истражувачи од целиот свет, со роботи и едноставни машини, на пример ... во овој случај, летање на играчка хеликоптер едноставно со помислување на подигање со вашиот ум.
The technology can also be applied to real world applications -- in this example, a smart home. You know, from the user interface of the control system to opening curtains or closing curtains. And of course, also to the lighting -- turning them on or off. And finally, to real life-changing applications, such as being able to control an electric wheelchair. In this example, facial expressions are mapped to the movement commands.
Оваа технологија може исто така да се примени и во секојдневниот свет ... во нашиов случај, во умна куќа. Знаете, од корисничкиот интерфејс на управувачкиот систем до отворање на завеси или затворање на завеси. И секако во осветлувањето ... вклучување или исклучување. И на крај, за примени кои вистински можат да го променат животот, како можноста да се управува електрична инвалидска количка. Во овој пример, изразите на лицето се мапирани со командите за движење.
Man: Now blink right to go right. Now blink left to turn back left. Now smile to go straight.
Човекот: Сега трепни со десното око за да одиш десно. Сега трепни со левото око за да свртиш лево. Сега насмевни се за да одиш право.
TL: We really -- Thank you.
Тан Ле: Навистина ... Ви благодариме.
(Applause)
(аплауз)
We are really only scratching the surface of what is possible today, and with the community's input, and also with the involvement of developers and researchers from around the world, we hope that you can help us to shape where the technology goes from here. Thank you so much.
Ние само оддалеку го допираме она што е можно денес. Но со помошта на заедницата и со вклучувањето на програмерите и истражувачите од целиот свет, се надеваме дека вие ќе ни помогнете да ја насочиме технологијата. Ви благодарам многу.