I'm a mechanical engineering professor at the University of Pennsylvania, and my favorite hobby is photography. And as I travel around the world, I love taking photographs like these, so I can remember all the beautiful and interesting things that I've seen. But what I can't do is record and share how these objects feel to touch. And that's kind of surprising, because your sense of touch is really important. It's involved in every physical interaction you do every day, every manipulation task, anything you do in the world. So the sense of touch is actually pretty interesting. It has two main components. The first is tactile sensations, things you feel in your skin. And the second is kinesthetic sensations. This has to do with the position of your body and how it's moving, and the forces you encounter. And you're really good at incorporating both of these types of sensations together to understand the physical interactions you have with the world and understand as you touch a surface: is it a rock, is it a cat, is it a bunny, what is it? And so, as an engineer, I'm really fascinated and I have a lot of respect for how good people are with their hands. And I'm intrigued and curious about whether we could make technology better by doing a better job at leveraging the human capability with the sense of touch. Could I improve the interfaces to computers and machines by letting you take advantage of your hands? And indeed, I think we can, and that's at the core of a field called haptics, and this is the area that I work in. It's all about interactive touch technology. And the way it works is, as you move your body through the world, if, as an engineer, I can make a system that can measure that motion, and then present to you sensations over time that kind of make sense, that match up with what you might feel in the real world, I can fool you into thinking you're touching something even though there's nothing there. So here are three examples and these are all done from research in my lab at Penn. The first one is all about that same problem that I was showing you: how can we capture how objects feel and recreate those experiences? So the way we solve this problem is by creating a hand-held tool that has many different sensors inside. It has a force sensor, so we can tell how hard you're pushing; it has motion tracking, so we can tell exactly where you've moved it; and it has a vibration sensor, an accelerometer, inside, that detects the shaking back and forth of the tool that lets you know that's a piece of canvas and not a piece of silk or something else. Then we take the data we record from these interactions. Here's ten seconds of data. You can see how the vibrations get larger and smaller, depending on how you move. And we make a mathematical model of those relationships and program them into a tablet computer so that when you take the stylus and go and touch the screen, that voice-coil actuator in the white bracket plays vibrations to give you the illusion that you're touching the real surface, just like if you touched, dragged back and forth, on the real canvas. We can create very compelling illusions. We can do this for all kinds of surfaces and it's really a lot of fun. We call it haptography -- haptic photography. And I think it has potential benefits in all sorts of areas like online shopping, maybe interactive museum exhibits, where you're not supposed to touch the precious artifacts, but you always want to. The second example I want to tell you about comes from a collaboration I have with Dr. Margrit Maggio at the Penn Dental School. Part of her job is to teach dental students how to tell where in a patient's mouth there are cavities. Of course they look at X-rays, but a large part of this clinical judgment comes from what they feel when they touch your teeth with a dental explorer. You've all had this happen, they go across. What they're feeling for is if the tooth is really hard, then it's healthy, but if it's kind of soft and sticky, that's a signal that the enamel is starting to decay. These types of judgments are hard for a new dental student to make, because they haven't touched a lot of teeth yet. And you want them to learn this before they start practicing on real human patients. So what we do is add an accelerometer on to the dental explorer, and then we record what Dr. Maggio feels as she touches different extracted teeth. And we can play it back for you as a video with a touch track -- not just a sound track, but also a touch track, that you can feel by holding that repeating tool. You feel the same things the dentist felt when they did the recording, and practice making judgments. So here's a sample one. Here's a tooth that looks kind of suspicious, right? It has all those brown stains. You might be thinking, "We should definitely put a filling in this tooth." But if you pay attention to how it feels, all the surfaces of this tooth are hard and healthy, so this patient does not need a filling. And these are exactly the kind of judgments doctors make every day and I think this technology we've invented has a lot of potential for many different things in medical training, because it's really simple and it does a great job at recreating what people feel through tools. I think it could also help make games more interactive and fun and more realistic in the sensations that you feel. The last example I want to tell you about is again about human movement. So if any of you have ever learned sports, how do you get good at something like surfing? You practice. You practice some more and more, right? Making small corrections, maybe getting some input from a coach, learning how to improve your motions. I think we could use computers to help make that process more efficient and more fun. And so here, for example, if I have six different arm movements that I want you to learn, you come into my lab at Penn and try out our system. We use a Kinect to measure your motions, we show graphics on the screen, and then we also give you touch cues, haptic feedback on your arm, delivered by these haptic arm bands which have motors inside, and guide you as you move. So, if we put it together, as you're trying to track this motion, if you deviate -- say, maybe, your arm is a little too high -- we turn on the motors right there on the skin to let you know you should move down, almost like a coach gently guiding you and helping you master these movements more quickly and make more precise corrections. We developed this system for use in stroke rehabilitation, but I think there are a lot of applications, like maybe dance training or all sorts of sports training as well. So now you know a little bit about the field of haptics, which I think you'll hear more about in the coming years. I've shown you three examples. I just want to take a moment to acknowledge the great students who work with me in my lab at Penn and my collaborators. They're a great group. I also want to thank you for your kind attention. (Applause)
Tôi là giảng viên dạy Cơ khí tại Đại học Pennsylvania, sở thích của tôi là nhiếp ảnh. Khi đi du lịch vòng quanh thế giới, tôi thích chụp những bức ảnh như thế này, chúng giúp tôi ghi nhớ mọi điều đẹp đẽ và thú vị mà tôi đã gặp. Nhưng điều tôi không thể làm là lưu lại và chia sẻ cái cảm giác khi chạm vào những thứ đó. Cảm giác đó rât tuyệt vời, vì xúc giác rất quan trọng đối với bạn. Nó có mặt trong mọi tương tác vật lý diễn ra hằng ngày, mọi hành động, mọi điều bạn làm trong cuộc sống. Việc nghiên cứu xúc giác thực sự rất thú vị. Xúc giác được chia làm hai dạng. Loại thứ nhất là Cảm giác tiếp xúc, thứ bạn cảm thấy trên da của mình. Loại thứ hai là Cảm giác vận động. Chúng liên quan đến tư thế và chuyển động của cơ thể, và các lực tác động tới bạn. Việc bạn kết hợp tốt cả hai loại cảm giác này giúp bạn nhận thức các tương tác vật lý xảy ra với mình và nhận biết khi chạm vào một vật: đó là viên đá, con mèo, con thỏ, hay thứ gì khác? Với tư cách một kỹ sư, Tôi thực sự hứng thú và rất khâm phục sự linh hoạt của đôi tay loài người. Và tôi thực sự tò mò về cách ta có thể cải tiến công nghệ để tận dụng tối đa khả năng của con người với xúc giác của mình. Liệu tôi có thể cải tiến giao diện làm việc của máy móc để giúp các bạn tận dụng xúc giác của mình không? Điều đó hoàn toàn khả thi, và đó chính là trọng tâm của môn khoa học về xúc giác, lĩnh vực tôi đang nghiên cứu. Chúng liên quan đến công nghệ tương tác qua xúc giác. Cách nó hoạt động là, khi bạn chuyển động thân thể trong không gian, là một kỹ sư, tôi có thể tạo ra hệ thống đo đạc các chuyển động đó, và kích thích xúc giác của bạn, chúng rất giống thật, giống hệt những gì bạn cảm nhận trên thực tế. Tôi có thể làm bạn có cảm giác như đang chạm vào thứ gì đó thậm chí cả khi chẳng có gì ở đó cả. Sau đây là ba ví dụ được thực hiện tại phòng nghiên cứu của tôi ở Pennsylvania. Điều đầu tiên liên quan tới vấn đề tôi đã đề cập ở trên, về cách ta cảm nhận khi chạm vào đồ vật và ghi nhớ những cảm giác đó. Phương pháp tôi giải quyết bài toán này là tạo ra một vật dụng cầm tay chứa rất nhiều cảm biến: một cảm biến lực giúp chúng tôi đo cường độ của tác động; một cảm biến chuyển động giúp tái tạo đúng cách bạn di chuyển nó; một cảm biến rung và một gia tốc kế phát hiện sự thay đổi quỹ đạo của dụng cụ trên tay bạn, điều đó giúp bạn biết đó là miếng vải bạt mà không phải miếng lụa hoặc thứ gì khác. Số liệu có từ các tương tác đó sẽ được ghi lại. Đây là mười giây số liệu. Bạn có thể thấy các rung động thay đổi liên tục tuỳ theo sự di chuyển của bạn. Sau đó chúng tôi kết hợp chúng và tạo ra mô hình toán học và lập trình chúng vào một chiếc máy tính bảng, vậy nên khi bạn dùng chiếc bút đó chạm vào màn hình, một động cơ dây được chứa trong chiếc hộp màu trắng đó sẽ tạo ra các rung động khiến bạn có cảm giác như bạn đang chạm vào một vật thật, hệt như bạn đang chạm hay xoay bút quanh một tấm vải bạt. Chúng tôi tạo được các chuyển động phức tạp. Chúng tôi làm được điều đó trên mọi chất liệu và chúng rất thú vị. Chúng tôi gọi nó là Ngành khoa học về mô phỏng xúc giác. Tôi nghĩ nó sẽ được ứng dụng trong nhiều mặt như mua sắm trên mạng, hoặc việc tham quan bảo tàng ảo, thường bạn sẽ không được chạm vào hiện vật trong bảo tàng, nhưng vẫn muốn làm điều đó. Ví dụ thứ hai, tôi muốn nói về sự hợp tác của mình với Tiến sĩ Margrit Maggio ở Học viện Nha khoa Penn. Một phần công việc của cô là đào tạo nha sĩ về cách phát hiện vị trí ổ sâu răng của bệnh nhân. Họ chắc chắn sẽ dùng tia X, nhưng phần lớn chẩn đoán của họ chỉ dựa vào cảm giác khi họ dùng dụng cụ để khám trực tiếp răng bạn. Họ khám rất kỹ răng bạn. Nếu họ thấy chiếc răng đó thực sự chắc, tức nó không có vấn đề gì; nhưng nếu nó hơi mềm và dính, đó sẽ là dấu hiệu của men răng đang phân huỷ. Các nha sĩ mới vào nghề sẽ rất khó làm những chẩn đoán kiểu đó vì họ chưa có nhiều kinh nghiệm thực tế. Và bạn muốn họ học được điều đó trước khi họ thực hành trên các bệnh nhân thật. Vậy nên chúng tôi đã lắp một gia tốc kế vào chiếc máy khám răng, và ghi lại cảm giác của Tiến sĩ Maggio khi cô ấy chạm các loại răng khác nhau. Và chúng được phát lại dưới dạng một video kèm theo kênh xúc giác nữa, bạn được cảm nhận bằng cả thính giác lẫn xúc giác. tạo ra cảm giác như thật nhờ bộ phận giả lập đó. Bạn có cảm giác y hệt như các nha sĩ khi họ thực hành và tập chẩn đoán. Đây là một ví dụ. Chiếc răng này trông không ổn lắm đúng không? Nó xuất hiện nhiều vết ố màu nâu. Bạn sẽ nghĩ rằng, "Ta cần trám chiếc răng này ngay." Nhưng nếu chú ý vào cảm giác nó gây ra, bạn thấy rằng chiếc răng đó rất chắc chắn, vậy nên bệnh nhân này không cần trám răng. Các nha sĩ cần chẩn đoán dựa trên những điều như vậy, và tôi nghĩ loại công nghệ mới này có rất nhiều tiềm năng trong nhiều mặt của đào tạo y khoa vì chúng rất dễ thực hiện và giúp các bác sĩ thực sự trải nghiệm các cảm giác ngoài thực tế. Nó cũng giúp các trò chơi thêm phần thú vị nhờ sự tương tác và tính thực tế nhờ chính các cảm giác của bạn. Cuối cùng, tôi muốn nói đến ứng dụng trong việc hỗ trợ con người vận động. Nếu các bạn từng học chơi thể thao, ví dụ lướt ván, làm thế nào để bạn chơi tốt hơn? Bạn phải luyện tập. Bạn phải tập chăm chỉ, đúng không? Được chỉ dẫn và sửa chữa từ các huấn luyện viên, và cải thiện các động tác của mình. Ta có thể dùng máy tính để giúp quá trình đó thêm phần hiệu quả và thú vị. Chẳng hạn, tôi đã có sẵn sáu động tác tay mà tôi muốn bạn phải học, bạn có thể đến phòng thí nghiệm ở Penn và thử hệ thống của chúng tôi. Chúng tôi dùng cảm biến để theo dõi chuyển động của bạn và dựng mô hình, cũng như gợi ý về cách chuyển động và chỉ dẫn trực tiếp trên tay bạn bằng một đôi băng tay được gắn cơ cấu chuyển động giúp bạn di chuyển tay. Tổng hợp lại, khi bạn đang bắt chước động tác, nếu bạn làm chưa đúng, chẳng hạn tay bạn hơi cao quá, các cơ cấu sẽ tác động lên da tay bạn giúp bạn biết bạn cần đưa tay xuống, gần giống như một huấn luyện viên đang hướng dẫn bạn cách làm chủ các động tác này nhanh hơn và sửa chữa chúng chính xác hơn. Chúng tôi đã phát triển chúng ở ngành hồi sức sau tai biến, nhưng tôi nghĩ vẫn còn nhiều ứng dụng khác, chẳng hạn trong việc huấn luyện khiêu vũ hoặc các bộ môn thể thao. Giờ bạn đã hiểu hơn về ngành khoa học về xúc giác này, tôi nghĩ nó sẽ phổ biến hơn trong vài năm tới. Tôi đã cho bạn thấy ba ví dụ. Tôi muốn dành ít thời gian để cảm ơn các sinh viên tuyệt vời đã làm việc với tôi ở Viện nghiên cứu và các cộng sự. Họ là một đội tuyệt vời. Rất cám ơn sự chú ý của các bạn. (Vỗ tay)