I'm a mechanical engineering professor at the University of Pennsylvania, and my favorite hobby is photography. And as I travel around the world, I love taking photographs like these, so I can remember all the beautiful and interesting things that I've seen. But what I can't do is record and share how these objects feel to touch. And that's kind of surprising, because your sense of touch is really important. It's involved in every physical interaction you do every day, every manipulation task, anything you do in the world. So the sense of touch is actually pretty interesting. It has two main components. The first is tactile sensations, things you feel in your skin. And the second is kinesthetic sensations. This has to do with the position of your body and how it's moving, and the forces you encounter. And you're really good at incorporating both of these types of sensations together to understand the physical interactions you have with the world and understand as you touch a surface: is it a rock, is it a cat, is it a bunny, what is it? And so, as an engineer, I'm really fascinated and I have a lot of respect for how good people are with their hands. And I'm intrigued and curious about whether we could make technology better by doing a better job at leveraging the human capability with the sense of touch. Could I improve the interfaces to computers and machines by letting you take advantage of your hands? And indeed, I think we can, and that's at the core of a field called haptics, and this is the area that I work in. It's all about interactive touch technology. And the way it works is, as you move your body through the world, if, as an engineer, I can make a system that can measure that motion, and then present to you sensations over time that kind of make sense, that match up with what you might feel in the real world, I can fool you into thinking you're touching something even though there's nothing there. So here are three examples and these are all done from research in my lab at Penn. The first one is all about that same problem that I was showing you: how can we capture how objects feel and recreate those experiences? So the way we solve this problem is by creating a hand-held tool that has many different sensors inside. It has a force sensor, so we can tell how hard you're pushing; it has motion tracking, so we can tell exactly where you've moved it; and it has a vibration sensor, an accelerometer, inside, that detects the shaking back and forth of the tool that lets you know that's a piece of canvas and not a piece of silk or something else. Then we take the data we record from these interactions. Here's ten seconds of data. You can see how the vibrations get larger and smaller, depending on how you move. And we make a mathematical model of those relationships and program them into a tablet computer so that when you take the stylus and go and touch the screen, that voice-coil actuator in the white bracket plays vibrations to give you the illusion that you're touching the real surface, just like if you touched, dragged back and forth, on the real canvas. We can create very compelling illusions. We can do this for all kinds of surfaces and it's really a lot of fun. We call it haptography -- haptic photography. And I think it has potential benefits in all sorts of areas like online shopping, maybe interactive museum exhibits, where you're not supposed to touch the precious artifacts, but you always want to. The second example I want to tell you about comes from a collaboration I have with Dr. Margrit Maggio at the Penn Dental School. Part of her job is to teach dental students how to tell where in a patient's mouth there are cavities. Of course they look at X-rays, but a large part of this clinical judgment comes from what they feel when they touch your teeth with a dental explorer. You've all had this happen, they go across. What they're feeling for is if the tooth is really hard, then it's healthy, but if it's kind of soft and sticky, that's a signal that the enamel is starting to decay. These types of judgments are hard for a new dental student to make, because they haven't touched a lot of teeth yet. And you want them to learn this before they start practicing on real human patients. So what we do is add an accelerometer on to the dental explorer, and then we record what Dr. Maggio feels as she touches different extracted teeth. And we can play it back for you as a video with a touch track -- not just a sound track, but also a touch track, that you can feel by holding that repeating tool. You feel the same things the dentist felt when they did the recording, and practice making judgments. So here's a sample one. Here's a tooth that looks kind of suspicious, right? It has all those brown stains. You might be thinking, "We should definitely put a filling in this tooth." But if you pay attention to how it feels, all the surfaces of this tooth are hard and healthy, so this patient does not need a filling. And these are exactly the kind of judgments doctors make every day and I think this technology we've invented has a lot of potential for many different things in medical training, because it's really simple and it does a great job at recreating what people feel through tools. I think it could also help make games more interactive and fun and more realistic in the sensations that you feel. The last example I want to tell you about is again about human movement. So if any of you have ever learned sports, how do you get good at something like surfing? You practice. You practice some more and more, right? Making small corrections, maybe getting some input from a coach, learning how to improve your motions. I think we could use computers to help make that process more efficient and more fun. And so here, for example, if I have six different arm movements that I want you to learn, you come into my lab at Penn and try out our system. We use a Kinect to measure your motions, we show graphics on the screen, and then we also give you touch cues, haptic feedback on your arm, delivered by these haptic arm bands which have motors inside, and guide you as you move. So, if we put it together, as you're trying to track this motion, if you deviate -- say, maybe, your arm is a little too high -- we turn on the motors right there on the skin to let you know you should move down, almost like a coach gently guiding you and helping you master these movements more quickly and make more precise corrections. We developed this system for use in stroke rehabilitation, but I think there are a lot of applications, like maybe dance training or all sorts of sports training as well. So now you know a little bit about the field of haptics, which I think you'll hear more about in the coming years. I've shown you three examples. I just want to take a moment to acknowledge the great students who work with me in my lab at Penn and my collaborators. They're a great group. I also want to thank you for your kind attention. (Applause)
Soy profesora de Ingeniería Mecánica en la Universidad de Pensilvania y mi pasatiempo favorito es la fotografía. Mientras viajo por el mundo me gusta tomar fotos como estas que me permiten recordar todas las cosas bellas e interesantes que he visto. Pero hay algo que no puedo hacer: no puedo recordar y compartir la sensación de estos objetos al tacto. Y esto es más bien sorprendente porque el sentido del tacto es muy importante. Es un sentido involucrado en toda interacción física cotidiana, en toda tarea de manipulación, en todo lo que hacemos en el mundo. Y es un sentido bastante interesante. Tiene dos componentes principales. El primero son las sensaciones táctiles, cosas que uno siente en la piel. Y el segundo son las sensaciones quinestésicas, algo que tiene que ver con la posición del cuerpo, la forma en que se mueve y las fuerzas que encuentra. Somos muy buenos para combinar los dos tipos de sensaciones, para entender las interacciones físicas que tenemos con el mundo y para determinar cuándo se toca una superficie. ¿Es una roca, un gato, un conejo, o qué es? Y, como ingeniera, estoy fascinada y le tengo mucho respeto a la forma en que la gente se desenvuelve con sus manos. Siento curiosidad y me intriga saber si podríamos mejorar la tecnología sacando más provecho a la capacidad humana del sentido del tacto. ¿Podría mejorar las interfaces de computadores y máquinas si permito que la gente aproveche lo que puede hacer con sus manos? ¡Claro que podemos! Ese es el corazón de un campo llamado "háptica", el campo en el que yo trabajo. Tiene que ver con la tecnología táctil interactiva. Funciona así: conforme movemos el cuerpo por el mundo si, como ingeniera, puedo hacer un sistema que mida ese movimiento y luego presentar las sensaciones en el tiempo, en correspondencia, coincidiendo con lo que uno siente en el mundo real, eso podría engañarnos y hacernos creer que estamos tocando algo cuando no hay nada allí. Veamos tres ejemplos a partir de estudios realizados en mi laboratorio. El primero tiene que ver con el problema que les estaba mostrando: ¿Cómo podemos capturar la sensación que dejan los objetos y recrear estas experiencias? Resolvemos este problema creando una herramienta de mano que dentro tiene muchos sensores. Tiene un sensor de fuerza que nos permite establecer cuán duro uno está empujando, rastrear el movimiento, saber donde uno ha movido algo exactamente y un sensor de vibración, un acelerómetro que detecta las sacudidas hacia atrás y hacia adelante de la herramienta y que nos permite determinar que se trata de un pedazo de lienzo y no de seda o algo así. Y entonces tomamos los datos que registramos de estas interacciones... aquí hay diez segundos de datos. Se puede ver cómo las vibraciones se hacen más grandes y más pequeñas dependiendo de cómo nos movemos. Entonces tomamos los datos y hacemos un modelo matemático de estas relaciones y las programamos en una tableta para que cuando tomamos el bolígrafo y tocamos la pantalla ese accionador de bobina de audio que está en el soporte blanco produce vibraciones que dan la ilusión de tocar una superficie real como si tocáramos, arrastrando hacia atrás y hacia adelante, en el lienzo real. Podemos crear ilusiones muy convincentes. Podemos hacerlo para toda clase de superficies y es realmente divertido. Lo llamamos haptografía, fotografía háptica. Creo que tiene beneficios potenciales en toda clase de campos como en las compras en línea, quizá en exhibiciones de museo interactivas, donde no se espera que uno toque los preciados artefactos, pero uno siempre lo desea. El segundo ejemplo del que quiero hablarles viene de una colaboración con la Dra. Margrit Maggio de odontología en la U. de Pensilvania. Parte de su trabajo consiste en enseñarle a los estudiantes de odontología cómo establecer dónde hay cavidades en la boca de un paciente. Por supuesto que observan radiografías, pero gran parte de su juicio clínico viene de lo que pueden sentir al tocar dientes con un explorador dental. Todos hemos pasado por esto. Ellos proceden. Y esperamos sentir que el diente esté efectivamente duro y por lo tanto sano, pero si se siente algo blando y pegajoso, es una señal de que el esmalte está empezando a decaer. Y este tipo de juicios son difíciles de realizar para un estudiante de odontología novato porque todavía no ha tocado muchos dientes. Y uno quiere que aprendan bien esto antes de empezar a practicar con pacientes reales. Por eso adosamos un acelerómetro al explorador dental y grabamos lo que siente la Dra. Maggio al tocar diferentes dientes ya extraídos. Y lo podemos reproducir en forma de video, con una pista de contacto. No sólo una pista de sonido, sino también una pista de contacto que uno puede sentir al sostener esa herramienta repetitiva. Uno puede sentir las mismas cosas que sintió el dentista cuando hizo las grabaciones y practicar realizando diagnósticos. Aquí hay una muestra. Este diente parece sospechoso, ¿no? Tiene todas esas manchas de café y podría pensarse: "Definitivamente deberíamos rellenar ese diente". Pero si prestamos atención a cómo se siente veremos que todas las superficies del diente están duras y saludables y este paciente no necesita relleno. Los médicos hacen estos diagnósticos todos los días y creo que esta tecnología que hemos creado tiene mucho potencial para muchas cosas en el entrenamiento médico porque es muy simple y funciona bien recreando lo que siente la gente mediante herramientas. Creo que también podría ayudar a hacer juegos más interactivos, divertidos y más realistas en las sensaciones que generan. Por último, quiero hablar nuevamente del ejemplo del movimiento humano. Si alguno ha aprendido alguna vez algún deporte, sabe cómo se llega a ser bueno en el surf, por ejemplo. Con práctica. Uno practica más y más, ¿sí? Hacemos pequeñas correcciones en función de lo que dice el entrenador aprendiendo a mejorar los movimientos. Creo que podemos usar las computadoras para hacer ese proceso más eficiente y divertido. Y aquí, por ejemplo, tengo seis movimientos diferentes de brazo que quiero que Uds. aprendan, vengan a mi laboratorio en la U. de Pensilvania y prueben nuestro sistema. Usamos un kinect para medir los movimientos, les mostramos gráficos en la pantalla, y luego les damos pistas táctiles, retroalimentación háptica al brazo enviada a través de estas bandas de brazo hápticas que tienen motores por dentro y que lo guían a uno mientras se mueve. Si unimos todo esto al intentar reproducir un movimiento si uno se desvía, digamos que el brazo está demasiado arriba, se encienden los motores que están allí en la piel para hacerle saber que debería bajarlo, casi como un entrenador que gentilmente lo guía ayudándole a dominar estos movimientos más rápidamente y a realizar correcciones más precisas. Desarrollamos este sistema para rehabilitación de infartos cerebrales pero creo que tiene muchísimas aplicaciones, como en el aprendizaje del baile por ejemplo, o el entrenamiento en toda suerte de deportes también. Así que ahora saben un poco del campo de la háptica, de la que yo creo que oirán más en los años venideros. Les he mostrado tres ejemplos y quiero sólo tomarme un momento para hacer un reconocimiento a todos los estudiantes fantásticos que trabajan conmigo en el laboratorio de la U. de Pensilvania y a mis colaboradores, ¡son un gran grupo! También quiero agradecerles su amable atención. (Aplausos)