Up until now, our communication with machines has always been limited to conscious and direct forms. Whether it's something simple like turning on the lights with a switch, or even as complex as programming robotics, we have always had to give a command to a machine, or even a series of commands, in order for it to do something for us. Communication between people, on the other hand, is far more complex and a lot more interesting because we take into account so much more than what is explicitly expressed. We observe facial expressions, body language, and we can intuit feelings and emotions from our dialogue with one another. This actually forms a large part of our decision-making process. Our vision is to introduce this whole new realm of human interaction into human-computer interaction so that computers can understand not only what you direct it to do, but it can also respond to your facial expressions and emotional experiences. And what better way to do this than by interpreting the signals naturally produced by our brain, our center for control and experience.
Até agora, a nossa comunicação com máquinas tem sido sempre limitada a formas conscientes e directas. Quer seja algo simples como ligar as luzes com um botão ou algo complexo como programar robôs, tivemos de dar sempre um comando a uma máquina, ou até uma série de comandos, de forma a que ela fizesse algo para nós. A comunicação entre pessoas, por outro lado, é muito mais complexa e também muito mais interessante, porque temos em conta muito mais do que aquilo que é explicitamente expresso. Observamos expressões faciais, linguagem corporal, e podemos intuir sentimentos e emoções do nosso diálogo com outra pessoa. Isto constitui, de facto, uma grande parte do nosso processo de tomada de decisão. A nossa visão é introduzir toda esta nova esfera de interação na interação humano-computador, para que os computadores possam compreender não apenas o que lhes ordenamos, mas que possam também responder às vossas expressões faciais e experiências emocionais. E que melhor maneira de o fazer que interpretar os sinais produzidos naturalmente nos nossos cérebros, o nosso centro de controlo e experiência.
Well, it sounds like a pretty good idea, but this task, as Bruno mentioned, isn't an easy one for two main reasons: First, the detection algorithms. Our brain is made up of billions of active neurons, around 170,000 km of combined axon length. When these neurons interact, the chemical reaction emits an electrical impulse, which can be measured. The majority of our functional brain is distributed over the outer surface layer of the brain, and to increase the area that's available for mental capacity, the brain surface is highly folded. Now this cortical folding presents a significant challenge for interpreting surface electrical impulses. Each individual's cortex is folded differently, very much like a fingerprint. So even though a signal may come from the same functional part of the brain, by the time the structure has been folded, its physical location is very different between individuals, even identical twins. There is no longer any consistency in the surface signals.
Bem, parece uma bela ideia, mas esta tarefa, como o Bruno mencionou, não é fácil por duas razões principais: Primeiro, os algoritmos de detecção. O nosso cérebro é constituído por milhares de milhões de neurónios, cerca de 170 000 Km de comprimento combinado de axónios. Quando estes neurónios interagem, uma reacção química emite um pulso eléctrico que pode ser medido. A maior parte do nosso cérebro funcional está distribuído pela superfície da camada exterior do cérebro. E para aumentar a área disponível para a capacidade mental, a superfície cerebral está altamente dobrada. Estas dobras corticais apresentam-se como um desafio significativo para interpretar os impulsos eléctricos da superfície. Cada cortéx individual está dobrado de maneira diferente, muito como uma impressão digital. Portanto, mesmo que um sinal possa vir da mesma parte funcional do cerébro, na altura desta ser dobrada, a sua localização física é bastante diferente entre indivíduos, até mesmo em gémeos verdadeiros. Não há qualquer consistência nos sinais de superfície.
Our breakthrough was to create an algorithm that unfolds the cortex, so that we can map the signals closer to its source, and therefore making it capable of working across a mass population. The second challenge is the actual device for observing brainwaves. EEG measurements typically involve a hairnet with an array of sensors, like the one that you can see here in the photo. A technician will put the electrodes onto the scalp using a conductive gel or paste and usually after a procedure of preparing the scalp by light abrasion. Now this is quite time consuming and isn't the most comfortable process. And on top of that, these systems actually cost in the tens of thousands of dollars.
A nossa descoberta consistiu em criar um algoritmo que desdobra o cortéx, para que possamos mapear os sinais mais perto da sua superfície, e portanto possibilitá-lo de trabalhar através de uma população em massa. O segundo desafio é o próprio dispositivo para observar as ondas cerebrais. As medições de EEG (Eletroencefalografia) envolvem tipicamente uma rede com uma série de sensores como a que podem ver aqui na foto. Um técnico coloca os eléctrodos no couro cabeludo usando um gel condutor ou uma pasta e tipicamente após o procedimento de preparação do couro cabeludo por abrasão suave. Ora, isto é muito moroso e não é o processo mais confortável. E ainda por cima, estes sistemas custam actualmente dezenas de milhares de dólares.
So with that, I'd like to invite onstage Evan Grant, who is one of last year's speakers, who's kindly agreed to help me to demonstrate what we've been able to develop.
E com isso, gostaria de convidar ao palco Evan Grant, que é um dos oradores do último ano, que gentilmente concordou em ajudar-me a demonstrar o que temos vindo a desenvolver.
(Applause)
(Aplausos)
So the device that you see is a 14-channel, high-fidelity EEG acquisition system. It doesn't require any scalp preparation, no conductive gel or paste. It only takes a few minutes to put on and for the signals to settle. It's also wireless, so it gives you the freedom to move around. And compared to the tens of thousands of dollars for a traditional EEG system, this headset only costs a few hundred dollars. Now on to the detection algorithms. So facial expressions -- as I mentioned before in emotional experiences -- are actually designed to work out of the box with some sensitivity adjustments available for personalization. But with the limited time we have available, I'd like to show you the cognitive suite, which is the ability for you to basically move virtual objects with your mind.
O dispositivo que vêem é um sistema de 14 canais, alta fidelidade de aquisição de EEG. Não requer qualquer preparação do couro cabeludo, nenhum gel condutor ou pasta. Apenas leva alguns minutos para o colocar e para os sinais estabilizarem. Também é wireless, dando a liberdade de movimentação. E comparado às dezenas de milhares de dólares de um sistema EEG tradicional, este headset custa apenas umas centenas de dólares. Agora em relação aos algoritmos de detecção. Portanto, as expressões faciais -- como mencionei antes nas experiências emocionais -- estão, de facto, concebidos para funcionar fora da caixa com alguns ajustes de sensibilidade e disponíveis para personalização. Mas com o tempo limitado que temos disponível, Gostaria de vos mostrar a suite cognitiva, que é a habilidade de vocês basicamente moverem objectos virtuais na vossa mente.
Now, Evan is new to this system, so what we have to do first is create a new profile for him. He's obviously not Joanne -- so we'll "add user." Evan. Okay. So the first thing we need to do with the cognitive suite is to start with training a neutral signal. With neutral, there's nothing in particular that Evan needs to do. He just hangs out. He's relaxed. And the idea is to establish a baseline or normal state for his brain, because every brain is different. It takes eight seconds to do this, and now that that's done, we can choose a movement-based action. So Evan, choose something that you can visualize clearly in your mind.
O Evan é novo para este sistema, portanto o que temos de fazer primeiro é criar um novo perfil para ele. Ele não é obviamente a Joanne -- portanto vamos "adicionar utilizador." Evan. OK. Portanto, a primeira coisa que precisamos de fazer com a suite cognitiva é começar com o treino um sinal neutro. Com o neutro, não há nada em particular que o Evan necessite de fazer. Ele apenas descontrai. Está relaxado. E a ideia é estabelecer uma linha de base ou estado normal para o seu cérebro, porque cada cérebro é diferente. Leva cerca de oito segundos para o fazer. E agora que está feito, podemos escolher uma acção baseada em movimento. Então Evan escolhe algo que possas visualizar claramente na tua mente.
Evan Grant: Let's do "pull."
Even Grant: Vamos fazer "puxar".
Tan Le: Okay, so let's choose "pull." So the idea here now is that Evan needs to imagine the object coming forward into the screen, and there's a progress bar that will scroll across the screen while he's doing that. The first time, nothing will happen, because the system has no idea how he thinks about "pull." But maintain that thought for the entire duration of the eight seconds. So: one, two, three, go. Okay. So once we accept this, the cube is live. So let's see if Evan can actually try and imagine pulling. Ah, good job! (Applause) That's really amazing.
Tan Le: OK. Vamos então escolher "puxar". Portanto a ideia aqui é que o Evan precisa de imaginar o objecto a vir para a frente no ecrã. E há uma barra de progresso que vai rolar pelo ecrã enquanto ele o faz. A primeira vez, não vai acontecer nada, porque o sistema não faz ideia como é que ele pensa acerca sobre "puxar". Mas mantém esse pensamento durante todo o tempo dos oito segundos. Agora: um, dois, três, vai. OK. Portanto, uma vez que aceitamos isto, o cubo está vivo. Vamos então ver se o Evan consegue de facto tentar imaginar puxar. Ah, bom trabalho! (Aplausos) Isto é fantástico.
(Applause)
(Aplausos)
So we have a little bit of time available, so I'm going to ask Evan to do a really difficult task. And this one is difficult because it's all about being able to visualize something that doesn't exist in our physical world. This is "disappear." So what you want to do -- at least with movement-based actions, we do that all the time, so you can visualize it. But with "disappear," there's really no analogies -- so Evan, what you want to do here is to imagine the cube slowly fading out, okay. Same sort of drill. So: one, two, three, go. Okay. Let's try that. Oh, my goodness. He's just too good. Let's try that again.
Portanto, temos algum tempo disponível, então vou pedir ao Evan para fazer uma tarefa bastante difícil. E esta é difícil porque envolve a capacidade de visualizar algo que não existe no nosso mundo físico. Isto é, "desaparecer". Portanto, o que querem -- pelo menos com acções baseadas em movimentos, fazêmo-lo constantemente, portanto podemos visualizá-lo. Mas com "desaparecer", não há de facto analogias. Então Evan, o que queres fazer aqui é imaginar o cubo a desaparecer lentamente, OK. O mesmo tipo de exercício. Então: um, dois, três, vai. OK. Vamos tentar isso. Oh, minha nossa. Ele é muito bom mesmo. Vamos tentar de novo.
EG: Losing concentration.
EG: A perder concentração.
(Laughter)
(Risos)
TL: But we can see that it actually works, even though you can only hold it for a little bit of time. As I said, it's a very difficult process to imagine this. And the great thing about it is that we've only given the software one instance of how he thinks about "disappear." As there is a machine learning algorithm in this --
TL: Mas podemos ver que funciona de facto, mesmo que apenas o possamos manter por um curto período de tempo. Tal como disse, é um processo muito difícil imaginar isto. E a grande coisa acerca disto é que demos apenas uma pequena instância ao software de como ele pensa sobre "desaparecer". Uma vez que há algoritmos de aprendizagem de máguina nisto --
(Applause)
(Aplausos)
Thank you. Good job. Good job.
Obrigado. Bom trabalho. Bom trabalho.
(Applause)
(Aplausos)
Thank you, Evan, you're a wonderful, wonderful example of the technology.
Obrigado, Evan, foste um exemplo maravilhoso, maravilhoso exemplo de tecnologia.
So, as you can see, before, there is a leveling system built into this software so that as Evan, or any user, becomes more familiar with the system, they can continue to add more and more detections, so that the system begins to differentiate between different distinct thoughts. And once you've trained up the detections, these thoughts can be assigned or mapped to any computing platform, application or device.
Então, como puderam ver antes, há um sistema de nivelamento construído neste software para que quando o Evan, ou qualquer utilizador, ficar familiarizado com o sistema, possa continuar a adicionar mais e mais detecções, para que o sistema comece a diferenciar entre pensamentos diferentes. E uma vez que tenham treinado as detecções, estes pensamentos podem ser atribuídos ou mapeados para qualquer plataforma de computação, aplicação ou dispositivo.
So I'd like to show you a few examples, because there are many possible applications for this new interface. In games and virtual worlds, for example, your facial expressions can naturally and intuitively be used to control an avatar or virtual character. Obviously, you can experience the fantasy of magic and control the world with your mind. And also, colors, lighting, sound and effects can dynamically respond to your emotional state to heighten the experience that you're having, in real time. And moving on to some applications developed by developers and researchers around the world, with robots and simple machines, for example -- in this case, flying a toy helicopter simply by thinking "lift" with your mind.
Eu gostaria de vos mostrar alguns exemplos, porque há tantas aplicações possíveis com esta nova interface. Em jogos e mundos virtuais, por exemplo, as vossas expressões faciais podem naturalmente e intuitivamente ser usadas para controlar um avatar ou personagem virtual. Obviamente, podem experimentar a fantasia da magia e controlar o mundo com a vossa mente. E também, cores, iluminação, sons e efeitos, podem responder dinamicamente aos vossos estados emocionais para aumentar a experiência que estão a ter, em tempo real. E avançando para algumas aplicações desenvolvidas por investigadores e programadores de todo o mundo, com robôs e máquinas simples, por exemplo -- neste caso, fazer voar um helicóptero de brinquedo simplesmente ao pensar "levantar" com a vossa mente.
The technology can also be applied to real world applications -- in this example, a smart home. You know, from the user interface of the control system to opening curtains or closing curtains. And of course, also to the lighting -- turning them on or off. And finally, to real life-changing applications, such as being able to control an electric wheelchair. In this example, facial expressions are mapped to the movement commands.
A tecnologia pode também ser aplicada a aplicações do mundo real -- neste exemplo, uma casa inteligente. Desde a interface do utilizador do sistema de controlo a abrir cortinas ou fechar cortinas. E claro também em relação à iluminação -- acender as luzes ou desligá-las. E finalmente, em aplicações radicais tal como ser capaz de controlar uma cadeira de rodas eléctrica. Neste exemplo, as expressões faciais são mapeadas para os comandos de movimento.
Man: Now blink right to go right. Now blink left to turn back left. Now smile to go straight.
Homem: agora pisca o olho direito para ir para a direita. Agora pisca o olho esquerdo para ir para a esquerda. Agora sorri para ir em frente.
TL: We really -- Thank you.
TL: Nós de facto -- Obrigado.
(Applause)
(Aplausos)
We are really only scratching the surface of what is possible today, and with the community's input, and also with the involvement of developers and researchers from around the world, we hope that you can help us to shape where the technology goes from here. Thank you so much.
Nós, de facto, estamos apenas a arranhar a superfície daquilo que é possível hoje. E com a contribuição da comunidade, e também com o envolvimento de programadores e investigadores de todo o mundo, esperamos que possam ajudar-nos a moldar onde a tecnologia irá a partir daqui. Muito obrigada.