До сега, нашата комуникация с машини винаги е била ограничена до съзнание и директни форми. Дали е нещо просто, като да включите лампите с ключа, или дори сложни като програмиране на роботи, винаги е трябвало да даваме команди на машината дори група от команди, за да може да направи нещо за нас. Комуникацията между хората от друга страна е много по-сложна и много по-интересна, защото взимаме под внимание толкова много повече, отколкото е категорично изразено. Наблюдаваме лицеви изражения, езика на тялото и можем да схванем интуитивно чувствата и емоциите от диалога помежду ни. Това всъщност оформя голяма част от процеса ни на взимане на решения. Нашата идея е да внесем тази изцяло нова област от човешки взаимодействия във взаимодействията между човек и компютър, така, че компютрите да могат да разбират не само каквото им е зададено, но и да могат да реагират на израженията на лицето и на емоционалното състояние. И какъв по-добър начин от това да се интерпретират сигналите естествено произведени от нашия мозък, нашият център на контрола и познанията.
Up until now, our communication with machines has always been limited to conscious and direct forms. Whether it's something simple like turning on the lights with a switch, or even as complex as programming robotics, we have always had to give a command to a machine, or even a series of commands, in order for it to do something for us. Communication between people, on the other hand, is far more complex and a lot more interesting because we take into account so much more than what is explicitly expressed. We observe facial expressions, body language, and we can intuit feelings and emotions from our dialogue with one another. This actually forms a large part of our decision-making process. Our vision is to introduce this whole new realm of human interaction into human-computer interaction so that computers can understand not only what you direct it to do, but it can also respond to your facial expressions and emotional experiences. And what better way to do this than by interpreting the signals naturally produced by our brain, our center for control and experience.
Това звучи като много добра идея, но тази задача, както Бруно спомена, не е лесна поради две важни причини: Първо, алгоритмите на откриване. Нашият мозък е съставен от милиони активни неврона, около 170,000 километра от комбинирани нервни окончания. Когато тези неврони взаимодействат, химичната реакция отделя електрически импулс, който може да бъде измерен. По-голямата част от функциониращия мозък е разпределен върху външния повърхностен пласт на мозъка. И, за да увеличи площта, която е достъпна за умствен капацитет, повърхността на мозъка е много нагъната. Сега, това кортикално нагъване предоставя значително предизвикателство за тълкуване на повърхностните електрически импулси. Всяка мозъчна кора на човек е нагъната различно, точно като пръстов отпечатък. И въпреки, че сигнал може да дойде от същата функционална част на мозъка, докато структурата е била нагъвата неговото физично местонахождение е много различно между хората, дори еднояйчни близнаци. Вече няма постоянство за сигналите на повърхността.
Well, it sounds like a pretty good idea, but this task, as Bruno mentioned, isn't an easy one for two main reasons: First, the detection algorithms. Our brain is made up of billions of active neurons, around 170,000 km of combined axon length. When these neurons interact, the chemical reaction emits an electrical impulse, which can be measured. The majority of our functional brain is distributed over the outer surface layer of the brain, and to increase the area that's available for mental capacity, the brain surface is highly folded. Now this cortical folding presents a significant challenge for interpreting surface electrical impulses. Each individual's cortex is folded differently, very much like a fingerprint. So even though a signal may come from the same functional part of the brain, by the time the structure has been folded, its physical location is very different between individuals, even identical twins. There is no longer any consistency in the surface signals.
Нашето важно научно постижение бе да създадем алгоритъм, който разгъва мозъчната кора, за да можем да нанесем върху карта сигналите по-близо до техния източник и така да го направим способен да работи за масовото население. Второто предизвикателство е самото устройство за наблюдаване на мозъчните вълни. Електроенцефалограмните измервания обикновено включват мрежа с редица от сензори, като тази, която можете да видите тук на тази снимка. Техник ще постави електродите на скалпа, използвайки гел или паста като проводник и обикновено след като е извършена процедура за подготвяне на скапла чрез светлинен кюртеж. Сега това отнема доста време и не е най-удобния процес. И на всичко отгоре, тези системи всъщност струват десетки хиляди долара.
Our breakthrough was to create an algorithm that unfolds the cortex, so that we can map the signals closer to its source, and therefore making it capable of working across a mass population. The second challenge is the actual device for observing brainwaves. EEG measurements typically involve a hairnet with an array of sensors, like the one that you can see here in the photo. A technician will put the electrodes onto the scalp using a conductive gel or paste and usually after a procedure of preparing the scalp by light abrasion. Now this is quite time consuming and isn't the most comfortable process. And on top of that, these systems actually cost in the tens of thousands of dollars.
И с това искам да поканя на сцената Евън Грант, който е един от говорителите от миналата година, който любезно се съгласи да ми помогне да демонстрирам какво сме успяли да създадем.
So with that, I'd like to invite onstage Evan Grant, who is one of last year's speakers, who's kindly agreed to help me to demonstrate what we've been able to develop.
(Аплодисменти)
(Applause)
И така устройството, което виждате е 14 канална, високо прецизна Електроенцефалограмна търсеща система. Не изисква никаква подготовка на скалпа, никакъв проводников гел или паста. Отнема само няколко минути да бъде поставена и за сигналите да се нагласят. Също така е безжична, така че ви дава свободата да се движите наоколо. И сравнена с десетките хиляди долара за традиционната електроенцеалограмна система тези слушалки струват само няколко стотин долара. Сега към засичащите алгоритми. И така лицевите изражения -- както споменах преди в емоционалните преживявания -- всъщност са проектирани да работят извън кутията с няколко нагласяния на чувствителността достъпна за персонализиране. Но с малкото време, което имаме на разположение, бих искала да ви покажа познавателния комплект, който е способността вие всъщност да премествате виртуални обекти с мислите си.
So the device that you see is a 14-channel, high-fidelity EEG acquisition system. It doesn't require any scalp preparation, no conductive gel or paste. It only takes a few minutes to put on and for the signals to settle. It's also wireless, so it gives you the freedom to move around. And compared to the tens of thousands of dollars for a traditional EEG system, this headset only costs a few hundred dollars. Now on to the detection algorithms. So facial expressions -- as I mentioned before in emotional experiences -- are actually designed to work out of the box with some sensitivity adjustments available for personalization. But with the limited time we have available, I'd like to show you the cognitive suite, which is the ability for you to basically move virtual objects with your mind.
Сега, Евън е нов в тази система така, че това, което трябва да направим първо е да създадем нов профил за него. Той очевидно не е Джоан -- така, че ще "добавим потребител." Евън. Добре. И така първото нещо, което трябва да направим с познавателния комплект е да започнем да тренираме неутрален сигнал. С неутралния, няма нищо точно, което Евън трябва да направи. Той просто си седи. Отпуснат е. И идеята е да създаде основа или нормално състояние на мозъка си, защото всеки мозък е различен, Отнема осем секунда да направи това. И сега, когато това е направено, можем да изберем действие основано на движение. И така Евън избира нещо, което можете ясно да си представите в ума си.
Now, Evan is new to this system, so what we have to do first is create a new profile for him. He's obviously not Joanne -- so we'll "add user." Evan. Okay. So the first thing we need to do with the cognitive suite is to start with training a neutral signal. With neutral, there's nothing in particular that Evan needs to do. He just hangs out. He's relaxed. And the idea is to establish a baseline or normal state for his brain, because every brain is different. It takes eight seconds to do this, and now that that's done, we can choose a movement-based action. So Evan, choose something that you can visualize clearly in your mind.
Евън Грант: Нека да направим "дърпане."
Evan Grant: Let's do "pull."
Тан Лий: Добре. Нека да изберем "дърпане." И така идеята тук сега е, че Евън трябва да си представи предмет, който идва на екрана. Има прогресивен скролбар, който ще минава през екрана докато той прави това. Първия път нищо няма да се случи, защото системата няма идея как той мисли за "дърпане." Но поддържайте тази мисъл за целия период от осемте секунди. И така: едно, две, три, давай. Добре. И така веднъж след като приемем тоа кубът оживява. Нека да видим дали Евън всъщност може да се опита и да си представи дърпане. Ах, страхотна работа! (Аплодисменти) Това е доста изумително.
Tan Le: Okay, so let's choose "pull." So the idea here now is that Evan needs to imagine the object coming forward into the screen, and there's a progress bar that will scroll across the screen while he's doing that. The first time, nothing will happen, because the system has no idea how he thinks about "pull." But maintain that thought for the entire duration of the eight seconds. So: one, two, three, go. Okay. So once we accept this, the cube is live. So let's see if Evan can actually try and imagine pulling. Ah, good job! (Applause) That's really amazing.
(Аплодисменти)
(Applause)
И така имаме малко свободно време, така че ще помоля Евън да направи наистина трудна задача. И тази е трудна, защото е изцяло свързана с това да можеш да си представиш нещо, което не съществува в нашия материален свят. Тя е "изчезване." И така, това което искате -- поне с действието основано на движение, правим това през цялото време, за да можете да си го представите. Но с "изчезване" наистина няма аналогии. И така Евън, това което искаш да направиш тук е да си представиш куб, който бавно избледнява, окей. Същия начин на мислене. И така: едно, две, три, давай. Добре. Нека да опитаме това. О Боже мой. Той просто е прекалено добър. Нека да опитаме отново.
So we have a little bit of time available, so I'm going to ask Evan to do a really difficult task. And this one is difficult because it's all about being able to visualize something that doesn't exist in our physical world. This is "disappear." So what you want to do -- at least with movement-based actions, we do that all the time, so you can visualize it. But with "disappear," there's really no analogies -- so Evan, what you want to do here is to imagine the cube slowly fading out, okay. Same sort of drill. So: one, two, three, go. Okay. Let's try that. Oh, my goodness. He's just too good. Let's try that again.
ЕГ: Губя концентрация.
EG: Losing concentration.
(Смях)
(Laughter)
ТЛ: Но можем да видим, че в действителност работи, въпреки, че можете да го задържите за кратък период от време. Както казах, много труден процес е да си представиш това. И прекрасното нещо за това е, че сме дали на софтуера само един пример за това как да мисли за "изчезване." Има ли машина, която учи алгоритъм в цялото това нещо --
TL: But we can see that it actually works, even though you can only hold it for a little bit of time. As I said, it's a very difficult process to imagine this. And the great thing about it is that we've only given the software one instance of how he thinks about "disappear." As there is a machine learning algorithm in this --
(Аплодисменти)
(Applause)
Благодаря ви. Добра работа. Добра рабта.
Thank you. Good job. Good job.
(Аплодисменти)
(Applause)
Благодаря ти Евън за прекрасния, прекрасния пример на технологията.
Thank you, Evan, you're a wonderful, wonderful example of the technology.
И така, както можеше да видите преди има нивелирна система изградена в този софтуеър, така че когато Евън, или всеки друг потребител, стават все по-запознати със системата, могат да продължат да добавят повече и повече разкривания, така че системата започва да различава между определени различни мисли. И веднъж след като сте обучили разкритието тези мисли могат да бъдат насочени или очертани към всяка компютърна платформа, задача или устройство.
So, as you can see, before, there is a leveling system built into this software so that as Evan, or any user, becomes more familiar with the system, they can continue to add more and more detections, so that the system begins to differentiate between different distinct thoughts. And once you've trained up the detections, these thoughts can be assigned or mapped to any computing platform, application or device.
И така искам да ви покажа няколко примера, защото има много възможни задачи за този нов интерфейс. В игрите и виртуалните светове например вашите лицеви изражения могат естествено и интуитивно да бъдат използвани, за да контролират аватар или виртуален герой. Очевидно можете да изживеете фантазията на магията и да контролирате света с вашата мисъл. Също така, цветове, светлина, звук и ефекти могат динамично да отговарят на вашето емоционално състояние и да повишат преживяването, което имате в реално време. И да преминем към някои неща развити от технолозите и изследователите от цял свят, с роботи и прости машини например -- в този случай, летящ хиликоптер играчка просто с мислене за повдигане с вашия разум.
So I'd like to show you a few examples, because there are many possible applications for this new interface. In games and virtual worlds, for example, your facial expressions can naturally and intuitively be used to control an avatar or virtual character. Obviously, you can experience the fantasy of magic and control the world with your mind. And also, colors, lighting, sound and effects can dynamically respond to your emotional state to heighten the experience that you're having, in real time. And moving on to some applications developed by developers and researchers around the world, with robots and simple machines, for example -- in this case, flying a toy helicopter simply by thinking "lift" with your mind.
Технологията също така може да бъде приложена към примери от истинския живот -- в този случай, умен дом. Знаете, че от интерфейса на ползвателя на котролната система до отваряне на пердета или затваряне на пердета. И разбира се за осветлението - да го включвате или да го изключвате. И накрая, към променящи истинския живот примери като да можете да контролирате електрическа инвалидна количка. В този пример лицевите изражения са очертани по командите за движение.
The technology can also be applied to real world applications -- in this example, a smart home. You know, from the user interface of the control system to opening curtains or closing curtains. And of course, also to the lighting -- turning them on or off. And finally, to real life-changing applications, such as being able to control an electric wheelchair. In this example, facial expressions are mapped to the movement commands.
Мъж: Сега намигнете надясно, за да отиде надясно. Сега намигнете наляво, за да отидете наляво. Сега се усмихнете, за да отидете направо.
Man: Now blink right to go right. Now blink left to turn back left. Now smile to go straight.
ТЛ: Ние наистина -- Благодаря.
TL: We really -- Thank you.
(Аплодисменти)
(Applause)
Всъщност ние само почесваме повърхността на това, което е възможно днес. И с помощта на общността и също така с включването на технолози и изследователи от цял свят, се надяваме, че можете да ни помогнете да оформим пътя, по който технологията ще върви оттук. Много ви благодаря.
We are really only scratching the surface of what is possible today, and with the community's input, and also with the involvement of developers and researchers from around the world, we hope that you can help us to shape where the technology goes from here. Thank you so much.