I'm a mechanical engineering professor at the University of Pennsylvania, and my favorite hobby is photography. And as I travel around the world, I love taking photographs like these, so I can remember all the beautiful and interesting things that I've seen. But what I can't do is record and share how these objects feel to touch. And that's kind of surprising, because your sense of touch is really important. It's involved in every physical interaction you do every day, every manipulation task, anything you do in the world. So the sense of touch is actually pretty interesting. It has two main components. The first is tactile sensations, things you feel in your skin. And the second is kinesthetic sensations. This has to do with the position of your body and how it's moving, and the forces you encounter. And you're really good at incorporating both of these types of sensations together to understand the physical interactions you have with the world and understand as you touch a surface: is it a rock, is it a cat, is it a bunny, what is it? And so, as an engineer, I'm really fascinated and I have a lot of respect for how good people are with their hands. And I'm intrigued and curious about whether we could make technology better by doing a better job at leveraging the human capability with the sense of touch. Could I improve the interfaces to computers and machines by letting you take advantage of your hands? And indeed, I think we can, and that's at the core of a field called haptics, and this is the area that I work in. It's all about interactive touch technology. And the way it works is, as you move your body through the world, if, as an engineer, I can make a system that can measure that motion, and then present to you sensations over time that kind of make sense, that match up with what you might feel in the real world, I can fool you into thinking you're touching something even though there's nothing there. So here are three examples and these are all done from research in my lab at Penn. The first one is all about that same problem that I was showing you: how can we capture how objects feel and recreate those experiences? So the way we solve this problem is by creating a hand-held tool that has many different sensors inside. It has a force sensor, so we can tell how hard you're pushing; it has motion tracking, so we can tell exactly where you've moved it; and it has a vibration sensor, an accelerometer, inside, that detects the shaking back and forth of the tool that lets you know that's a piece of canvas and not a piece of silk or something else. Then we take the data we record from these interactions. Here's ten seconds of data. You can see how the vibrations get larger and smaller, depending on how you move. And we make a mathematical model of those relationships and program them into a tablet computer so that when you take the stylus and go and touch the screen, that voice-coil actuator in the white bracket plays vibrations to give you the illusion that you're touching the real surface, just like if you touched, dragged back and forth, on the real canvas. We can create very compelling illusions. We can do this for all kinds of surfaces and it's really a lot of fun. We call it haptography -- haptic photography. And I think it has potential benefits in all sorts of areas like online shopping, maybe interactive museum exhibits, where you're not supposed to touch the precious artifacts, but you always want to. The second example I want to tell you about comes from a collaboration I have with Dr. Margrit Maggio at the Penn Dental School. Part of her job is to teach dental students how to tell where in a patient's mouth there are cavities. Of course they look at X-rays, but a large part of this clinical judgment comes from what they feel when they touch your teeth with a dental explorer. You've all had this happen, they go across. What they're feeling for is if the tooth is really hard, then it's healthy, but if it's kind of soft and sticky, that's a signal that the enamel is starting to decay. These types of judgments are hard for a new dental student to make, because they haven't touched a lot of teeth yet. And you want them to learn this before they start practicing on real human patients. So what we do is add an accelerometer on to the dental explorer, and then we record what Dr. Maggio feels as she touches different extracted teeth. And we can play it back for you as a video with a touch track -- not just a sound track, but also a touch track, that you can feel by holding that repeating tool. You feel the same things the dentist felt when they did the recording, and practice making judgments. So here's a sample one. Here's a tooth that looks kind of suspicious, right? It has all those brown stains. You might be thinking, "We should definitely put a filling in this tooth." But if you pay attention to how it feels, all the surfaces of this tooth are hard and healthy, so this patient does not need a filling. And these are exactly the kind of judgments doctors make every day and I think this technology we've invented has a lot of potential for many different things in medical training, because it's really simple and it does a great job at recreating what people feel through tools. I think it could also help make games more interactive and fun and more realistic in the sensations that you feel. The last example I want to tell you about is again about human movement. So if any of you have ever learned sports, how do you get good at something like surfing? You practice. You practice some more and more, right? Making small corrections, maybe getting some input from a coach, learning how to improve your motions. I think we could use computers to help make that process more efficient and more fun. And so here, for example, if I have six different arm movements that I want you to learn, you come into my lab at Penn and try out our system. We use a Kinect to measure your motions, we show graphics on the screen, and then we also give you touch cues, haptic feedback on your arm, delivered by these haptic arm bands which have motors inside, and guide you as you move. So, if we put it together, as you're trying to track this motion, if you deviate -- say, maybe, your arm is a little too high -- we turn on the motors right there on the skin to let you know you should move down, almost like a coach gently guiding you and helping you master these movements more quickly and make more precise corrections. We developed this system for use in stroke rehabilitation, but I think there are a lot of applications, like maybe dance training or all sorts of sports training as well. So now you know a little bit about the field of haptics, which I think you'll hear more about in the coming years. I've shown you three examples. I just want to take a moment to acknowledge the great students who work with me in my lab at Penn and my collaborators. They're a great group. I also want to thank you for your kind attention. (Applause)
Insegno ingegneria meccanica all'Università di Pennsylvania e il mio hobby è la fotografia. Viaggiando per il mondo, mi piace scattare foto come queste per ricordare tutte le cose belle ed interessanti che ho visto. Ma non posso registrare e condividere la sensazione al tatto che danno questi oggetti. E questo è sorprendente perché il tatto è veramente importante. È coinvolto in ogni interazione quotidiana, ogni manipolazione, ogni cosa che fate. Perciò il senso del tatto è veramente molto interessante. Ha due componenti principali. La prima è la sensazione tattile, cose che sentite sulla pelle. E la seconda è la sensazione cinestetica, che riguarda la posizione del corpo, come si muove, e le forze con cui vi scontrate. E siete bravi ad incorporare entrambe queste sensazioni per capire le interazioni fisiche che avete col mondo e capire appena toccate una superficie, se è una roccia, un gatto, un coniglio, cos'è? Perciò, da ingegnere, sono incantata e ho tanto rispetto per la bravura della gente con le mani. E sono intrigata e incuriosita da quanto potremmo migliorare la tecnologia lavorando meglio e sfruttando l'abilità umana con il senso del tatto. Potrei perfezionare le interfacce di computer e macchine facendovi trarre vantaggio dalle vostre mani? Penso proprio che possiamo, e questo è alla base di un settore chiamato "aptico," ed è questa l'area in cui lavoro. Riguarda la tecnologia touch interattiva. Funziona con il movimento del vostro corpo nel mondo, se posso creare un sistema che misura quel movimento, e poi regalarvi le sensazioni nel tempo e quel tipo di riproduzione, corrispondente a quello che potreste toccare nel mondo potrei farvi pensare che state toccando qualcosa anche se non c'è niente lì. Bene, ecco qui tre esempi della ricerca del mio laboratorio alla Penn. Il primo è tutto sul problema che vi presentavo: come si può catturare la sensazione degli oggetti e ricreare quell'esperienza? La nostra risoluzione al problema è creare uno strumento palmare che abbia tanti sensori all'interno. Questo ha un sensore di forza per cui possiamo dire quanto state premendo, ha un rilevatore di movimento per dire dove lo avete mosso, ha un sensore di vibrazione, un accelerometro all'interno che capta l'agitazione dello strumento e vi permette di sapere che è un pezzo di tela e non un pezzo di seta o altro. Poi prendiamo i dati registrati da queste interazioni. Ecco dieci secondi di dati. Vedete come le vibrazioni sono maggiori o minori, a seconda dal vostro movimento. E creiamo un modello matematico da queste relazioni e li programmiamo in un tablet così quando prendete la penna e andare a toccare lo schermo, l'attuatore della bobina dell'altoparlante nella mensola bianca dà vibrazioni che vi danno l'illusione di toccare la vera superficie proprio come aver toccato, trascinato avanti e indietro sulla vera tela. Possiamo creare affascinanti illusioni. Possiamo farlo per tutti i tipi di superficie ed è molto divertente. Noi la chiamiamo aptografia, fotografia aptica. E penso potrebbe avere dei vantaggi in tutte le aree come lo shopping online, magari nelle mostre interattive, dove non è previsto toccare i preziosi artefatti, ma si vuole sempre farlo. Il secondo esempio che voglio farvi viene dalla mia collaborazione con la Dott.ssa Margrit Maggio di odontoiatria alla Penn. Parte del suo lavoro è insegnare agli studenti a dire dove nella bocca dei pazienti ci sono delle cavità. Naturalmente guardano le lastre, ma la gran parte delle valutazioni cliniche viene da quello che sentono quando i denti vengono toccati con lo specillo. A voi ragazzi è successo tutto questo. Quello che sentono è se il dente è duro, allora è sano, ma se è cedevole e vischioso, quello è il segnale che lo smalto inizia a cariarsi. E queste valutazioni sono difficili da realizzare per gli studenti perché non hanno ancora toccato un dente. E voi volete che lo imparino prima di praticare su un vero paziente umano. Per cui aggiungiamo un accelerometro allo specillo, poi registriamo quello che la Dott.ssa Maggio sente quando tocca diversi denti estratti. Possiamo mostrarvelo in un video con una traccia tattile. Non solo la traccia audio, ma anche la traccia tattile che si sente tenendo lo strumento. Si toccano le stesse cose che il dentista tocca quando registra e prova a fare una valutazione. Ecco un esempio. Ecco un dente che sembra sospetto, vero? Ha delle macchie marroni, e forse state pensando "Dovremmo proprio otturarlo questo dente." In realtà se prestate attenzione a quello che toccate, tutta la superficie del dente è dura e sana perciò il paziente non ha bisogno di un'otturazione. Questi sono i tipi di valutazione che i dottori fanno quotidianamente e penso che questa tecnologia inventata abbia un potenziale per tante cose per il tirocinio medico perché è molto semplice e fa un gran lavoro nel ricreare ciò che le persone toccano con gli strumenti. Penso possa aiutare a creare dei giochi più interattivi, divertenti e realistici nelle sensazioni che avrete. L'ultimo esempio che voglio mostrarvi è di nuovo sul movimento umano. Perciò se qualcuno di voi pratica qualche sport, sapete come diventate bravi con il surf per esempio? Allenandovi. Vi allenate tanto, vero? Facendo piccole correzioni, magari con l'input di un allenatore imparando a migliorare i vostri movimenti. Penso di poter usare i computer per migliorare il processo in modo efficace e divertente. Ecco qui, per esempio, sei diversi movimenti di gambe che voglio insegnarvi, venite al mio laboratorio alla Penn e provate il nostro sistema. Usiamo una kinect per misurare i movimenti, mostriamo la grafica sullo schermo, e poi possiamo darvi indizi tattili, feedback aptici, nelle braccia trasmessi dalle fascette aptiche nelle braccia che hanno dei motori interni e vi guidano nel movimento. Se li uniamo, mentre cerchiamo di tracciare il movimento se deviate, magari il braccio è troppo in alto, accendiamo i motori che sono sulla pelle per farvi sapere, ehi, dovresti abbassarti, quasi come un allenatore che vi guida e vi aiuta a controllare quei movimenti più velocemente e fare correzioni più precise. Abbiamo sviluppato questo sistema da usare in riabilitazione post-ictus, ma penso esistano tante applicazioni, come gli allenamenti di danza o qualsiasi allenamento sportivo. Perciò, ora sapete un po' di più sul campo dell'aptica del quale sentirete parlare nei prossimi anni. Vi ho mostrato tre esempi, e vorrei solo un momento per ringraziare tutti i bravi studenti che lavorano con me alla Penn. e i miei collaboratori, sono un bel gruppo. Inoltre ringrazio voi per l'attenzione. (Applausi)