I'm a mechanical engineering professor at the University of Pennsylvania, and my favorite hobby is photography. And as I travel around the world, I love taking photographs like these, so I can remember all the beautiful and interesting things that I've seen. But what I can't do is record and share how these objects feel to touch. And that's kind of surprising, because your sense of touch is really important. It's involved in every physical interaction you do every day, every manipulation task, anything you do in the world. So the sense of touch is actually pretty interesting. It has two main components. The first is tactile sensations, things you feel in your skin. And the second is kinesthetic sensations. This has to do with the position of your body and how it's moving, and the forces you encounter. And you're really good at incorporating both of these types of sensations together to understand the physical interactions you have with the world and understand as you touch a surface: is it a rock, is it a cat, is it a bunny, what is it? And so, as an engineer, I'm really fascinated and I have a lot of respect for how good people are with their hands. And I'm intrigued and curious about whether we could make technology better by doing a better job at leveraging the human capability with the sense of touch. Could I improve the interfaces to computers and machines by letting you take advantage of your hands? And indeed, I think we can, and that's at the core of a field called haptics, and this is the area that I work in. It's all about interactive touch technology. And the way it works is, as you move your body through the world, if, as an engineer, I can make a system that can measure that motion, and then present to you sensations over time that kind of make sense, that match up with what you might feel in the real world, I can fool you into thinking you're touching something even though there's nothing there. So here are three examples and these are all done from research in my lab at Penn. The first one is all about that same problem that I was showing you: how can we capture how objects feel and recreate those experiences? So the way we solve this problem is by creating a hand-held tool that has many different sensors inside. It has a force sensor, so we can tell how hard you're pushing; it has motion tracking, so we can tell exactly where you've moved it; and it has a vibration sensor, an accelerometer, inside, that detects the shaking back and forth of the tool that lets you know that's a piece of canvas and not a piece of silk or something else. Then we take the data we record from these interactions. Here's ten seconds of data. You can see how the vibrations get larger and smaller, depending on how you move. And we make a mathematical model of those relationships and program them into a tablet computer so that when you take the stylus and go and touch the screen, that voice-coil actuator in the white bracket plays vibrations to give you the illusion that you're touching the real surface, just like if you touched, dragged back and forth, on the real canvas. We can create very compelling illusions. We can do this for all kinds of surfaces and it's really a lot of fun. We call it haptography -- haptic photography. And I think it has potential benefits in all sorts of areas like online shopping, maybe interactive museum exhibits, where you're not supposed to touch the precious artifacts, but you always want to. The second example I want to tell you about comes from a collaboration I have with Dr. Margrit Maggio at the Penn Dental School. Part of her job is to teach dental students how to tell where in a patient's mouth there are cavities. Of course they look at X-rays, but a large part of this clinical judgment comes from what they feel when they touch your teeth with a dental explorer. You've all had this happen, they go across. What they're feeling for is if the tooth is really hard, then it's healthy, but if it's kind of soft and sticky, that's a signal that the enamel is starting to decay. These types of judgments are hard for a new dental student to make, because they haven't touched a lot of teeth yet. And you want them to learn this before they start practicing on real human patients. So what we do is add an accelerometer on to the dental explorer, and then we record what Dr. Maggio feels as she touches different extracted teeth. And we can play it back for you as a video with a touch track -- not just a sound track, but also a touch track, that you can feel by holding that repeating tool. You feel the same things the dentist felt when they did the recording, and practice making judgments. So here's a sample one. Here's a tooth that looks kind of suspicious, right? It has all those brown stains. You might be thinking, "We should definitely put a filling in this tooth." But if you pay attention to how it feels, all the surfaces of this tooth are hard and healthy, so this patient does not need a filling. And these are exactly the kind of judgments doctors make every day and I think this technology we've invented has a lot of potential for many different things in medical training, because it's really simple and it does a great job at recreating what people feel through tools. I think it could also help make games more interactive and fun and more realistic in the sensations that you feel. The last example I want to tell you about is again about human movement. So if any of you have ever learned sports, how do you get good at something like surfing? You practice. You practice some more and more, right? Making small corrections, maybe getting some input from a coach, learning how to improve your motions. I think we could use computers to help make that process more efficient and more fun. And so here, for example, if I have six different arm movements that I want you to learn, you come into my lab at Penn and try out our system. We use a Kinect to measure your motions, we show graphics on the screen, and then we also give you touch cues, haptic feedback on your arm, delivered by these haptic arm bands which have motors inside, and guide you as you move. So, if we put it together, as you're trying to track this motion, if you deviate -- say, maybe, your arm is a little too high -- we turn on the motors right there on the skin to let you know you should move down, almost like a coach gently guiding you and helping you master these movements more quickly and make more precise corrections. We developed this system for use in stroke rehabilitation, but I think there are a lot of applications, like maybe dance training or all sorts of sports training as well. So now you know a little bit about the field of haptics, which I think you'll hear more about in the coming years. I've shown you three examples. I just want to take a moment to acknowledge the great students who work with me in my lab at Penn and my collaborators. They're a great group. I also want to thank you for your kind attention. (Applause)
Sou professora de engenharia mecânica, na Universidade da Pensilvânia, e meu hobby favorito é a fotografia. E quando viajo pelo mundo, adoro tirar fotos como estas, para poder recordar todas as coisas bonitas e interessantes que eu vi. Mas o que não consigo fazer é registrar e compartilhar como é sentir esses objetos ao toque. Isso é meio surpreendente, porque o sentido do tato é muito importante. Ele participa em todas as interações físicas que realizamos todos os dias, toda atividade que envolva manipulação, o que quer que venhamos a fazer. O sentido do tato é, de fato, bastante interessante. Ele possui dois componentes principais. O primeiro é a sensação tátil, as coisas que você sente em sua pele, e o segundo é a sensação cinestésica, e isso está relacionado com a posição do seu corpo, e como ele se movimenta, e as forças com que se depara. E somos muito bons em unir esses dois tipos de sensação, na percepção das interações físicas que temos com o mundo, e para reconhecer, ao tocarmos uma superfície: "Isso é uma pedra? É um gato? Um coelho? O que é isso?" Então, como engenheira, sou realmente fascinada e respeito muito a agilidade que as pessoas têm com suas mãos. E fico intrigada e curiosa se seria possível melhorarmos a tecnologia, trabalhando mais para alavancar a capacidade humana no que diz repeito ao tato. Seria possível melhorar as interfaces de computadores e máquinas, permitindo que pudéssemos usar nossas mãos? De fato, acho que é possível, e essa é a tarefa mais importante de uma área chamada "háptica", e é nessa área que trabalho. Está relacionada com tecnologias de toque interativas. E funciona assim: ao nos movermos por aí, já que sou engenheira e posso criar um sistema que consiga medir esse movimento, e fazer você experimentar sensações ao longo do tempo que meio que façam sentido, que sejam equivalentes ao que sentiríamos no mundo real, posso fazê-los acreditarem que estão tocando em algo mesmo quando não estão tocando em nada. Muito bem. Então, temos aqui três exemplos e eles foram todos feitos através de pesquisa, no meu laboratório, na universidade. O primeiro tem tudo a ver com aquele mesmo problema que mostrei a vocês: como podemos capturar a impressão do toque dos objetos e reproduzi-la? Então, podemos resolver esse problema criando uma ferramenta manual que possui diversos sensores internos. Ela tem um sensor de força, para medirmos a pressão exercida ao toque, tem sensores de movimento, para detectarmos exatamente o movimento que fez com ela, e tem um sensor de vibração, um acelerômetro interno, que detecta o chacoalhar da ferramenta, o que permite identificar quando se trata de tela e não de um pedaço de seda ou outra coisa qualquer. Aí, pegamos os dados que gravamos nestas interações. Aqui temos 10 segundos de dados. Dá pra ver como as vibrações aumentam e diminuem, dependendo de como nos mexemos. E criamos um modelo matemático para essas interações e o colocamos num "tablet", para que, ao usarmos a caneta para tocar a tela, aquele dispositivo de som na presilha branca reproduza vibrações para dar a impressão de que você está tocando uma superfície real, como se tocasse e rabiscasse uma tela de verdade. É possível criar impressões muito convincentes. É possível fazer isso com todo tipo de superfícies é isso é muito divertido. É o que chamamos de haptografia, ou fotografia háptica. E acho que isso traz grandes benefícios em diversas áreas, como compras "online", ou exposições de museu interativas, em que você não pode tocar peças de valor, como é natural querermos fazer. O segundo exemplo que quero mostrar surgiu de uma parceria que tenho com a Dra. Margritt Maggio, na escola de odontologia da Universidade da Pensilvânia. Parte de seu trabalho é ensinar alunos de odonto a identificar cáries na boca de pacientes. Claro que eles usam radiografias, mas grande parte dessa avaliação clínica vem daquilo que sentem quando tocam nossos dentes com um instrumento odontológico. Vocês já passaram por isso. Eles olham tudo. Eles querem sentir se o dente está firme o bastante, porque aí está saudável, mas se estiver meio mole e pegajoso, é sinal de que o esmalte está começando cariar. Essas avaliações são difíceis de fazer para um aluno de odonto, porque não tocou em muitos dentes ainda. Eles precisam aprender isso antes de começarem a praticar em pacientes de verdade. O que fazemos é acoplar um acelerômetro ao instrumento odontológico e registramos o que a Dra. Maggio sente enquanto toca em vários dentes extraídos. E podemos reproduzir isso para vocês num vídeo com uma trilha de toque. Não apenas uma trilha sonora, mas também uma trilha de toque que você pode sentir ao segurar o simulador. Você vai sentir as mesmas sensações que o dentista sentiu quando a gravação foi feita e praticar o diagnóstico de cáries. Aqui temos uma amostra. Este é um dente que parece meio suspeito, não? Tem essas manchas escuras e deve estar pensando: "Ah, esse dente precisa ser obturado". Mas na verdade, se avaliá-lo a partir do toque, toda a superfície desse dente está firme e saudável e por isso o paciente não precisa de obturação. São exatamente essas avaliações que os dentistas fazem todos os dias e acredito que a tecnologia que criamos é bastante promissora em diversas áreas de treinamento médico, porque é bem simples e é ótima em recriar o que se sente ao usar instrumentos. Também acho que pode ser útil na criação de jogos mais interativos e divertidos e mais realistas no que diz respeito a sensações. O último exemplo que quero mostrar também tem a ver com movimento humano. Caso já tenham praticado esportes, sabe, como você faz para ser bom no surf? Praticando. Praticando constantemente, certo? Fazendo pequenas correções, às vezes recebendo dicas de um treinador, aprendendo a melhorar seus movimentos. Acho que podemos usar computadores para fazer com que esse processo seja mais divertido e eficiente. Aqui, por exemplo, se tenho seis movimentos de braço diferentes que quero que vocês aprendam, vocês vão ao meu laboratório na universidade e experimentam nosso sistema. Usamos um sensor para detectar seus movimentos, mostramos imagens na tela e damos a você sugestões de toque, impressões hápticas, no seu braço, através dessas braçadeiras hápticas, que possuem motores internos que guiam você enquanto se move. Depois disso tudo, quando estiver tentando imitar os movimentos, se você se desviar, talvez seu braço esteja muito pra cima, ligamos os motores que estão em contato com a pele para te avisar: "Ei, precisa baixar o braço". Quase como um treinador guiando e ajudando você a aperfeiçoar os movimentos de forma mais rápida e a fazer correções mais precisas. Desenvolvemos esse sistema para reabilitar vítimas de derrame, mas acho que há diversas outras aplicações, como talvez em treinamento de dança ou em todo tipo de treinamentos esportivos. Então, agora vocês conhecem um pouco sobre o campo da háptica, e acredito que vocês vão ouvir falar mais sobre isso nos próximos anos. Mostrei três exemplos e quero apenas aproveitar para agradecer a todos os grandes alunos que trabalham comigo no laboratório da universidade e aos meus colaboradores. Eles são uma ótima equipe. E também quero agradecer a vocês pela atenção. (Aplausos)