I'm a mechanical engineering professor at the University of Pennsylvania, and my favorite hobby is photography. And as I travel around the world, I love taking photographs like these, so I can remember all the beautiful and interesting things that I've seen. But what I can't do is record and share how these objects feel to touch. And that's kind of surprising, because your sense of touch is really important. It's involved in every physical interaction you do every day, every manipulation task, anything you do in the world. So the sense of touch is actually pretty interesting. It has two main components. The first is tactile sensations, things you feel in your skin. And the second is kinesthetic sensations. This has to do with the position of your body and how it's moving, and the forces you encounter. And you're really good at incorporating both of these types of sensations together to understand the physical interactions you have with the world and understand as you touch a surface: is it a rock, is it a cat, is it a bunny, what is it? And so, as an engineer, I'm really fascinated and I have a lot of respect for how good people are with their hands. And I'm intrigued and curious about whether we could make technology better by doing a better job at leveraging the human capability with the sense of touch. Could I improve the interfaces to computers and machines by letting you take advantage of your hands? And indeed, I think we can, and that's at the core of a field called haptics, and this is the area that I work in. It's all about interactive touch technology. And the way it works is, as you move your body through the world, if, as an engineer, I can make a system that can measure that motion, and then present to you sensations over time that kind of make sense, that match up with what you might feel in the real world, I can fool you into thinking you're touching something even though there's nothing there. So here are three examples and these are all done from research in my lab at Penn. The first one is all about that same problem that I was showing you: how can we capture how objects feel and recreate those experiences? So the way we solve this problem is by creating a hand-held tool that has many different sensors inside. It has a force sensor, so we can tell how hard you're pushing; it has motion tracking, so we can tell exactly where you've moved it; and it has a vibration sensor, an accelerometer, inside, that detects the shaking back and forth of the tool that lets you know that's a piece of canvas and not a piece of silk or something else. Then we take the data we record from these interactions. Here's ten seconds of data. You can see how the vibrations get larger and smaller, depending on how you move. And we make a mathematical model of those relationships and program them into a tablet computer so that when you take the stylus and go and touch the screen, that voice-coil actuator in the white bracket plays vibrations to give you the illusion that you're touching the real surface, just like if you touched, dragged back and forth, on the real canvas. We can create very compelling illusions. We can do this for all kinds of surfaces and it's really a lot of fun. We call it haptography -- haptic photography. And I think it has potential benefits in all sorts of areas like online shopping, maybe interactive museum exhibits, where you're not supposed to touch the precious artifacts, but you always want to. The second example I want to tell you about comes from a collaboration I have with Dr. Margrit Maggio at the Penn Dental School. Part of her job is to teach dental students how to tell where in a patient's mouth there are cavities. Of course they look at X-rays, but a large part of this clinical judgment comes from what they feel when they touch your teeth with a dental explorer. You've all had this happen, they go across. What they're feeling for is if the tooth is really hard, then it's healthy, but if it's kind of soft and sticky, that's a signal that the enamel is starting to decay. These types of judgments are hard for a new dental student to make, because they haven't touched a lot of teeth yet. And you want them to learn this before they start practicing on real human patients. So what we do is add an accelerometer on to the dental explorer, and then we record what Dr. Maggio feels as she touches different extracted teeth. And we can play it back for you as a video with a touch track -- not just a sound track, but also a touch track, that you can feel by holding that repeating tool. You feel the same things the dentist felt when they did the recording, and practice making judgments. So here's a sample one. Here's a tooth that looks kind of suspicious, right? It has all those brown stains. You might be thinking, "We should definitely put a filling in this tooth." But if you pay attention to how it feels, all the surfaces of this tooth are hard and healthy, so this patient does not need a filling. And these are exactly the kind of judgments doctors make every day and I think this technology we've invented has a lot of potential for many different things in medical training, because it's really simple and it does a great job at recreating what people feel through tools. I think it could also help make games more interactive and fun and more realistic in the sensations that you feel. The last example I want to tell you about is again about human movement. So if any of you have ever learned sports, how do you get good at something like surfing? You practice. You practice some more and more, right? Making small corrections, maybe getting some input from a coach, learning how to improve your motions. I think we could use computers to help make that process more efficient and more fun. And so here, for example, if I have six different arm movements that I want you to learn, you come into my lab at Penn and try out our system. We use a Kinect to measure your motions, we show graphics on the screen, and then we also give you touch cues, haptic feedback on your arm, delivered by these haptic arm bands which have motors inside, and guide you as you move. So, if we put it together, as you're trying to track this motion, if you deviate -- say, maybe, your arm is a little too high -- we turn on the motors right there on the skin to let you know you should move down, almost like a coach gently guiding you and helping you master these movements more quickly and make more precise corrections. We developed this system for use in stroke rehabilitation, but I think there are a lot of applications, like maybe dance training or all sorts of sports training as well. So now you know a little bit about the field of haptics, which I think you'll hear more about in the coming years. I've shown you three examples. I just want to take a moment to acknowledge the great students who work with me in my lab at Penn and my collaborators. They're a great group. I also want to thank you for your kind attention. (Applause)
저는 펜실베니아 대학의 기계 공학과 교수입니다. 제가 좋아하는 취미는 사진이죠. 세계를 여행하면서 이런 사진들을 찍기 좋아합니다. 그래서 제가 봤던 아름다운 것들과 재미있었던 것들을 기억할 수 있죠. 하지만 이런 대상들을 만질 때 어떤 느낌인지를 기록하거나 나눌 수는 없습니다. 그건 좀 놀랍습니다. 촉각은 정말 중요하기 때문이죠. 여러분이 날마다 물리적으로 하는 상호작용, 조작해야 하는 모든 일, 세상에서 하는 모든 일이 촉각과 관련되어 있습니다. 그래서 촉각은 아주 흥미롭죠. 촉각은 두 가지 중요한 요소를 갖고 있습니다. 첫째는 만질 때의 느낌으로서 살갗으로 느끼는 느낌입니다. 둘째는 근육에 전해지는 느낌으로서 여러분의 자세나 몸의 움직임, 그리고 맞닥뜨리는 힘과 관련있습니다. 여러분은 세상과 물리적으로 주고 받는 작용을 이해하기 위해 이런 형태의 느낌을 둘다 잘 활용합니다. 표면을 만지면서 이해를 하죠. 바위인가, 고양이인가, 토끼인가, 뭐지? 그래서 저는 공학자로서 사람들이 손을 얼마나 잘 사용하는지에 매료되어 있고 또 경탄하기도 합니다. 저는 사람이 촉각을 이용해서 인간의 능력을 더욱 증진시킴으로써 더 나은 기술을 개발할 수 있지 않을까에 관심이 있고 호기심을 갖고 있습니다. 여러분의 손이 가진 장점을 이용해서 컴퓨터와 기계의 인터페이스를 더 낫게 만들 수 있을까요? 우리는 정말 그렇게 할 수 있다고 저는 생각합니다. 그것이야말로 "촉각 기술" 분야의 핵심입니다. 그리고 이 분야에서 제가 일하고 있습니다. 대화형 촉각 기술이죠. 그 기술이 작용하는 방식은 여러분이 실제로 몸을 움직임에 따라서 공학자로서 저는 그 움직임을 측정할 수 있는 체계를 만들 수 있습니다. 그런 다음에 시간이 흐름에 따라 느낌을 여러분께 전달할 수 있습니다. 그 느낌은 여러분이 실제 세상에서 느끼는 것과 같죠. 실제로는 아무것도 없지만 여러분이 뭔가를 만지고 있다고 착각하게 만들 수 있습니다. 좋아요. 여기 세 가지 예가 있는데 모두 다 펜실베니아의 제 실험실에서 연구한 결과입니다. 첫번째는 제가 여러분께 보여드렸던 똑같은 문제입니다. 물체를 만졌을 때의 느낌을 어떻게 담아내서 그런 경험을 다시 만들어낼 수 있을까? 그래서 이 문제를 푸는 방법은 안에 여러가지 다양한 감지기가 들어간 손에 들 수 있는 장치를 만드는 것입니다. 이 장치는 힘을 감지해서 여러분이 얼마나 세게 밀고 있는지 알 수 있고 움직임을 따라잡을 수 있어서 여러분이 그 장치를 어디로 움직였는지 정확하게 알 수 있고 떨림 감지기와 가속도계가 안에 있어서 장치가 앞뒤로 떨리는 것을 감지해서 캔버스 천인지 비단 조각인지 아니면 뭔가 다른 것인지 알게 해줍니다. 그리고는 이런 상호작용에서 나온 기록으로 자료를 얻습니다. 여기 10초간의 자료가 있습니다. 떨림이 얼마나 커지고 작아지는지 볼 수 있습니다. 여러분이 어떻게 움직이느냐에 따라 다르죠. 이런 관계들을 수학적인 모델로 만들어서 태블릿 컴퓨터의 프로그램으로 만듭니다. 그래서 여러분이 스타일러스를 쥐고 화면을 건드리면 흰색 테두리 안에 들어있는 보이스 코일 구동기가 떨림을 만들어내서 여러분이 진짜 캔버스에서 앞뒤로 왔다갔다 움직이는 것처럼 진짜 표면을 만지는 것 같은 착각이 들게 합니다. 우리는 정말 놀라운 효과를 만들 수 있습니다. 다양한 표면을 흉내낼 수 있고 정말 재미있습니다. 우리는 그것을 촉각 사진기라고 부르는데 촉각 사진기입니다. 제가 생각하기에 온라인 쇼핑이나 대화형 박물관 전시와 같은 여러 분야에서 쓸 수 있는 잠재력을 갖고 있습니다. 그런 곳에서는 귀중한 유물을 만져서는 안 되는데 여러분은 늘 만지고 싶어하죠. 제가 여러분께 알려드리고 싶은 두 번째 예는 펜실베니아 대학의 치대에 있는 마그릿 매지오 박사와 함께 한 공동연구에서 나왔습니다. 매지오 박사가 하는 일은 치대 학생들에게 환자의 입 속 어느 곳에 충치가 있는지 알 수 있는 방법을 가르치는 거에요. 물론 그들은 엑스레이를 보지만 임상 판단의 대부분은 치과용 탐침으로 이를 두드려본 느낌으로 판단합니다. 여러분 모두 이런 경험을 하셨겠죠. 이를 다 살펴봅니다. 치과 의사들이 찾는 것은 이가 진짜 딱딱하면 건강한 것이고 좀 물렁하고 끈적거리면 에나멜이 썩어간다는 신호입니다. 이런 형식의 판단을 새로 들어온 치대 학생들이 하기는 힘듭니다. 아직 많은 이빨을 다뤄보지 못했기 때문이죠. 그래서 실제 환자들을 진료하기 전에 이런 과정을 배우도록 하는거죠. 그래서 우리가 하는 일은 치과용 탐침에 가속도계를 넣어서 매지오 박사가 여러 개의 뽑아낸 이빨을 만질 때 그녀가 느끼는 느낌을 기록합니다. 그래서 여러분들에게 촉각과 함께 비디오로 보여드릴 수 있습니다. 재생 도구를 쥐면 소리 뿐만 아니라 촉각도 느낄 수 있습니다. 치과 의사가 환자를 보면서 판단을 하고 기록을 했을 때 느꼈던 것과 똑같은 것들을 느낄 수 있습니다. 여기 샘플이 있습니다. 여기 좀 의심스러워 보이는 이빨이 있습니다. 갈색으로 얼룩이 져서 이렇게 생각하겠죠. "아, 틀림없이 이빨을 메꿔야 해." 하지만 어떤 느낌이 느껴지는가에 주의를 집중하면 이빨의 모든 표면이 딱딱하고 건강해서 이 환자는 이빨을 메꿀 필요가 없습니다. 이런 것들이야말로 의사들이 날마다 하는 판단들이죠. 우리가 개발한 이 기술은 의료 교육의 여러 분야에서 많은 잠재력이 있다고 생각합니다. 왜냐하면 이 기술은 정말 단순하고 사람들이 도구를 통해서 느끼는 느낌을 아주 잘 재현해내기 때문이죠. 그리고 게임을 보다 더 재미있게 사용자들과 더 대화적으로 만들 수 있고 여러분이 느끼는 감각을 더 현실적으로 만들 수 있습니다. 여러분께 알려드리고 싶은 마지막 예는 사람들의 움직임에 관한 것입니다. 여러분이 어떤 운동을 배운 적이 있다면, 파도 타기와 같은 것을 잘하려면 어떻게 해야 할까요? 연습을 해야죠. 더 많이 연습합니다. 그렇죠? 자세를 조금 바르게 하고 코치한테 조언을 받아 움직임을 더 낫게 하는 법을 배웁니다. 저는 컴퓨터를 이용해서 그 과정을 좀 더 효율적이고 더 재미있게 만들 수 있다고 생각합니다. 그래서 예를 들면 6 가지 팔 움직임이 있어서 여러분이 그걸 배우고 싶다면 펜실베니아 대학에 있는 제 실험실로 오셔서 시스템을 평가해보시기 바랍니다. "키넥트"를 써서 여러분의 움직임을 측정하고 화면에 그래프로 보여줍니다. 그리고는 촉각 신호, 촉각 반응을 여러분의 팔로 보냅니다. 이렇게 생긴 촉각 팔밴드 안에 모터가 들어있어서 여러분이 움직일 때마다 안내를 합니다. 그래서 이런 것들을 다 조합해서 여러분이 이런 움직임을 따라하려고 할 때 조금 빗나가면 말하자면, 팔을 조금 높이 들었다면 살갗에 닿아있는 모터를 켜서 좀 더 아래로 움직이라고 알려주죠. 마치 코치가 여러분을 조심스럽게 지도해서 이런 움직임을 더 빨리 숙달하고 좀 더 정확한 자세를 갖추도록 도와주는 것과 같습니다. 우리는 중풍 환자 재활 치료에 쓰기 위해 이 시스템을 개발했지만 응용할 곳이 많다고 생각합니다. 춤을 배운다거나 운동을 배우는 데서 쓸 수 있죠. 그래서 이제 여러분은 촉각 기술 분야에 관해서 좀 더 알게 되었습니다. 이 분야에 관해서 앞으로 더 많이 듣게 되실 텐데요. 저는 여러분께 세 가지 예를 보여드렸고 이제 잠깐동안 펜실베니아 대학의 제 실험실에서 함께 연구한 모든 훌륭한 학생들과 함께 일한 동료들에게 감사하고 싶습니다. 그들을 훌륭한 그룹이었습니다. 그리고 제 얘기를 들어주셔서 고맙습니다. (박수)