من پرۆفیسۆری ئەندازیاری میکانیکیم لە زانكۆی پەنسلڤینیا، وە ئارەزو و ئاواتم وێنەگرتنە. وە کاتێک گەشتدەکەم بە جیهاندا حەزم لە وێنەگرتنی ئەم جۆرەیە، بۆیە دەتوانم هەمووشتەجوانو سەرنجراكێشەكانم بیربێتەوە كە بینیومە. بەڵام ئەوەی من ناتوانم بیکەم تۆماركردنو هاوبەشیكردنە کە چۆن ئەم ئامانجانە هەست یان دەستیان لێ دەدەین. وە ئەمە شتێکی زۆر سەرسوڕهێنەرە چونکە هەستی دەست لێدانت زۆر گرنگە لە هەموو جەستەیەک تێوەگلاوە هەموو ڕۆژێک کارلێک کە دەیکەیت هەمووئەرکێکی دەستکاریکردن شتێک لەجیهاند ئەنجامی دەدەین کەواتە هەستی دەست لێدان لەڕاستیدا زۆر سەرنج ڕاکێشە دوو پێکهاتەی سەرەکی هەیە یەکەمیان هەستێکی بێ تایتە ئەو شتانەی کە لە پێستتدا هەستی پێ دەکەیت وە دووەمیشیان هەستێکی هەستبەجوانییە ئه مه ش ده بێت به بەشەوەی كە لە جەستەت چۆن دەجوڵێت وەئەوهێزانەی تۆ ڕوبەڕویان دەبیەوە وە تۆ زۆر باشی لە یەکگرتنی هەردوو جۆری ئەم جۆرە هەستانە پێکەوە بۆ تێگەیشتن لە کارلێککردنی جەستەیی تۆ لەگەڵ جیهاندا هەتە وە تێبگەیت کە دەست لە ڕوویەک ئەدەیت ئەوە بەردێکە، پشیلەیە ئەوە بەنییە، چییە؟ وە وەک ئەندازیارێک من بەڕاستی سەرنج ڕاکێشم وە ڕێزێکی زۆرم هەیە کە خەڵکی باش بە دەستی ئەوانن وە من بە تێهەڵچویو بە پرسیار دەربارەی ئەوەی ئایا دەتوانین تەکنەلۆجیا باشتر بکەین ئەنجامدان كاری باشترلە كاریگەركردن توانای مرۆڤ لەگەڵ هەستی دەست لێدان ئایا دەتوانم ڕووکارەکان باشتر بکەم بۆ کۆمپیوتەر و ئامێرەکان بە ڕێگەدان بە تۆ سود لە دەستەکانت ببینی؟ وە بەڕاستی، وابزانم دەتوانین وە ئەوە لە ناواخنی لە کێڵگەیەک بەناوی هاپتیک وە ئەمەئەناوچەیەیەکە من كاری لێدەكەم هەمووی دەربارەی كارلێكردنی تەكنەلۆجیای دەستلێدان وە شێوەی کارکردنی كاتێك بەناو جیهاندا دەڕۆیت، ئەگەر وەک ئەندازیارێک بتوانم سیستەمێک دروستبكەم ئەم سیستەمە بپێوێ ئەوا دواتر هەستەكان پێشبینی دەكەم بە تێپەربونی كات ئەو جۆرەش مانایەکی هەیە، كە تۆ هەستی پێدەكەیت لە جیهانی ڕاستەقینەدا، دەتوانم لە بیرکردنەوەدا گێلت بکەم كە دەست لەشتێك دەدەی هەرچەندە هیچ شتێک لەوێ نییە. کەواتە ئەمە سێ نموونەن وە ئەمانە هەمووی تەواو بوون لە لێکۆڵینەوەلە تاقیگەکەم لە پێن ئەوەی یەكەمیان هەمووی شتێكەدەربارەی هەمان ئەوكێشانەی كە پێشانتادەدەم: چۆن دەتوانین هەست بەو شتانە بكەین وە ئەو ئەزموونانە دروست بکەیت؟ کەواتەبەو شێوەیەی ئێمە كێشەكە چارەسەردەكەین بە دروستکردنی ئامرازێکی دەستی کە چەندین هەستەوەری جیاوازی هتێدایە هەستەوەری هێزی هەیە، بۆیە دەتوانین بڵێین چەند بە سەختی پاڵت پێوە ناوە شوێنەواری جووڵەی هەیە،بۆیە دەتوانین بڵێین ڕێک لەو شوێنەوەگواستراوەتەوە وە هەستەوەری لەرینەوە لەباویدا كە لەرزەكە لە پشتو پاشی ئامێرەكە دەدۆزرێتەوە ڕێگەتپێ دەدات بزانی ئەوە پارچەیێكە لەقوماش وە نەک پارچەیەک ئاوریشم و شتی تر. دواتر ئەو داتایە وەرئەگرتنی لەم کارلێکەرانە. ئەمە دە چرکەی داتایە دەتوانی ببینی چۆن لەرینەكان گەورەتروبچوكتر دەبن، بەپشت بەستن بە چۆنیەتی جوڵاندن. وە ئێمە بیركاریانە مۆدێلی ئەوپەیوەندیانە دروستدەكەین وە بەرنامەی تابلێتی كۆمپیتەریان بۆ دادەنێین بۆ ئەوەی کاتێک کەستلۆکەکە دەبەیت دەست لە شاشەكە بدەی دەنگی ئاکتۆویتە لە کەوانەی سپی ئیشی لەرینەوە دەکات بۆ ئەوەی خەیاڵت پێبدات کە دەست لە ڕووی ڕاستیەوە ئەدەیت وەک ئەوەی كە دەستت لێدا، ڕاتبكئشێتە سەر تابلۆیێكی ڕاستەقینە. دەتوانین وەهمێکی زۆرناچارکەر دروست بکەین دەتوانین ئەمە بۆ هەموو جۆرە ڕوویەک بکەین وە بەڕاستی زۆر خۆشە ئێمە پێی دەڵێین هاپتۆگرافی وێنەگرتنی هاپتی. وە پێم وایە دەتوانرێ سودی لێوەربگیرێ لە هەموو ناوچەكان وەک بازاڕکردنی سەرهێڵ لەوانە پێشانگای مۆزەخانەی کارلێکەر كە تۆ وابیر ناكەیەوە بۆ دەستدان لە كەلوپەلە بەنرخەكان بەڵام هەمیشە دەتەوێت دووەم نموونە کە دەمەوێت پێتان بڵێم دەربارەی هاوکارییەک کە هەمانە لەگەڵ دکتۆر مارگریت ماگیۆ لە قوتابخانەی ددانی پێن بەشێک لە کارەکەی فێركردنی خوێندکارانی ددانە چۆن بزانن لە کوێ دەمی نەخۆشێک کەونەوی هەیە. بێگومان سەیری تیشکی ئێکس دەکەن بەڵام بەشێکی زۆری ئەم حوکمدانە پزیشکیە لەوەوە دێت کە هەستیان پێ دەکەن کاتێک دەست لە ددانەکانت بدەن لەگەڵ پزیشكی ددان هەمووتان ئەوەتان بەسەره هاتو كەئەچنە ئەودیو ئەوەی کە هەستی پێ دەکەن ئەوەیە کە ددان بەڕاستی قورسە، دواتر تەندروستە بەڵام ئەگەر جۆرێک نەرم و چەسپبێت ئەوە نیشانەیەکە کە ناوەناوەکە خەریکە لە ناو ئەبەیت ئەم جۆرە حوکمانە قورسن بۆ قوتابیەکی نوێی ددان چونكە ئەوان هێشتا دەستیان لە ددانێكی زۆر نەداوە وە دەتەوێت ئەوان ئەمە فێربن پێش ئەوەی دەست بکەن بە ڕاهێنان لەسەرنەخۆشی ڕاستەقینەی کەواتە ئەوەی ئێمە دەیکەین زیادکردنی ئەکسێلێرۆمەتر ترە بۆ پزیشكی ددان ئەوە تۆماردەكەین دکتۆر ماگیو هەست پێ دەكا کە دەست لە ددانی جیاواز ئەدا وە دەتوانین وەک ڤیدیۆیەک بۆت لێبگەڕینەوە لەگەڵ شوێنەواری لەمسی نەك تەنهاشوێنەواری دەنگی بەڵكو شوێنەواری لەمسیش کە هەست دەکەیت بە گرتنی دوبارەکردنەوەی ئامێرەکە تۆهەست بەئەو شتانەدەکەی کەپزیشكی ددان هەستپێ دەكابەهۆی تۆماركردنەكەی وە حوكم دەكەن. ئەمە نمونەیەكە. ئەوە ددانێکی دیارە گومانم هەیە، وایە؟ هەموو ئەو پەڵە قاوەییانەی كە هەیە لەوانەیە بیر بکەیتەوە کە بێگومان ئەم ددانە پڕكردنەوەی دەوێ بەڵام ئەگەر سەرنج بدەی هەست دەكەی كە هەموو ڕووەکانی ئەم ددانە قورس و تەندروستن بۆیە ئەم نەخۆشە پێویستی بە پڕکردنەوە نیە ئەمە بە تەواواتی لەو جۆرەن كە هەموو ڕۆژئ پزیشكك بڕیاری لەسەر دەدا وە پێموایە ئەو توكنەلۆجیایەی ئێمە دامانهێناوە توانای زۆری هەیە بۆ ڕاهێنانی پزیشكی لە زۆر شتی جیاوازدا چونكە زۆر سادەیە وکارێکی زۆ باش دەکالە دروستکردنەوە کە خەڵک هەستی پێ دەکەن لە ڕێگەی ئامێرەوە پێم وایە ئەوە یارمەتیدەربێ بۆ دروستكردنی یاری كارلێكو خۆش وە زیاتر واقیعیانەیە لەو هەستانەی کە هەستت پێ دەکەیت دوا نموونە کە دەمەوێت پێتان بڵێم دەربارەی دووبارە دەربارەی جوڵەی مرۆڤە بۆیەئەگەرهەریەکێک لەئێوە فێری وەرزش بوبێت چۆن باش دەبی لە شتێکی وەک سەرئاودا؟ تۆ ڕاهێنان دەکەیت تۆ مەشقی زیاتر و زیاتر دەکەیت، وایە؟ ڕاستکردنەوەیەکی بچوک لەوانەیە دەستخۆشیت لەلای ڕاهێنەرەوە دەستكەوێ فێربوی كە چۆن جوڵەکانت باشتر بکەیت دەتوانین کۆمپیوتەر بەكاربێنین بۆ یارمەتیدان لە دروستکردنی پرۆسەیەكی کارامەتر و خۆشتر بۆ نمونە لێرە ئەگەر شەش جوڵەی جیاوازی قۆڵم هەبێت کە دەمەوێت فێربیت دەتوانیت بێیتە تاقیگەکەم لە پێن وە سیستەمەکەمان تاقی بکەنەوە ئێمە کینێکت بەکار ئەهێنیت بۆ پێوانەکردنی جوڵەكانت كە لەسەر شاشەكە دیارە وە دواتر نیشانەی دەست لێدانتان پێئەبەخشین کاردانەوەیەك لەدوایەكەكان لەسەرت گەیاندرا لەلایەن ئەم باندە قۆڵە هاپەنگانە کە ماتۆڕیان هەیە وە ڕێنماییت بکەم کە دەجوڵێن بۆیە ئەگەر پێکەوە دایبنێین کە تۆ هەوڵ دەدەیت ئەم جوڵەیە بجوڵێنێت ئەگەر لادەیت، لەوانەیە دەستت کەمێک بەرزبێت ماتۆڕەکان هەڵدەکەین ڕێک لەوێ لەسەر پێست بۆ ئەوەی ئامادەبیت بڕۆیتە خوارەوە وەک ڕاهێنەرێک بە نەرمی ڕێنماییت دەکات وەمامۆستا یارمەتیت دەدات ئەو جموجۆڵانە خێراتربن وە ڕاستکردنەوەیەکی وردتر بکەین ئەم سیستەمەمان پێباش نیە بۆ بەكارهێنانی چارەسەری جەڵدە بەڵام وابزانم زۆر شت هەیە لە بەرنامەکان وەک ڕاهێنانی سەما یان هەموو جۆرە ڕاهێنانێکی وەرزشیش ئێستا تۆ کەمێک دەزانیت دەربارەی بواری هاوپۆتیک کە وابزانم زیاتر گوێت لێ دەبێت لە ساڵانی داهاتوو من سێ نمونەم بۆ تان نیشاندەدەم تەنها دەمەوێت ساتێک وەربگرم بۆ ئەوەی دان بە قوتابیە مەزنەکاندابنێیت كە لەتاقیگەكەم كارم كاردەكەن وە هاوکارەکانم ئەوان گروپێکی زۆر باشن دەمەوێت سوپاسیشتان بکەم بۆ سەرنجدانتان چەپڵە لێدان
I'm a mechanical engineering professor at the University of Pennsylvania, and my favorite hobby is photography. And as I travel around the world, I love taking photographs like these, so I can remember all the beautiful and interesting things that I've seen. But what I can't do is record and share how these objects feel to touch. And that's kind of surprising, because your sense of touch is really important. It's involved in every physical interaction you do every day, every manipulation task, anything you do in the world. So the sense of touch is actually pretty interesting. It has two main components. The first is tactile sensations, things you feel in your skin. And the second is kinesthetic sensations. This has to do with the position of your body and how it's moving, and the forces you encounter. And you're really good at incorporating both of these types of sensations together to understand the physical interactions you have with the world and understand as you touch a surface: is it a rock, is it a cat, is it a bunny, what is it? And so, as an engineer, I'm really fascinated and I have a lot of respect for how good people are with their hands. And I'm intrigued and curious about whether we could make technology better by doing a better job at leveraging the human capability with the sense of touch. Could I improve the interfaces to computers and machines by letting you take advantage of your hands? And indeed, I think we can, and that's at the core of a field called haptics, and this is the area that I work in. It's all about interactive touch technology. And the way it works is, as you move your body through the world, if, as an engineer, I can make a system that can measure that motion, and then present to you sensations over time that kind of make sense, that match up with what you might feel in the real world, I can fool you into thinking you're touching something even though there's nothing there. So here are three examples and these are all done from research in my lab at Penn. The first one is all about that same problem that I was showing you: how can we capture how objects feel and recreate those experiences? So the way we solve this problem is by creating a hand-held tool that has many different sensors inside. It has a force sensor, so we can tell how hard you're pushing; it has motion tracking, so we can tell exactly where you've moved it; and it has a vibration sensor, an accelerometer, inside, that detects the shaking back and forth of the tool that lets you know that's a piece of canvas and not a piece of silk or something else. Then we take the data we record from these interactions. Here's ten seconds of data. You can see how the vibrations get larger and smaller, depending on how you move. And we make a mathematical model of those relationships and program them into a tablet computer so that when you take the stylus and go and touch the screen, that voice-coil actuator in the white bracket plays vibrations to give you the illusion that you're touching the real surface, just like if you touched, dragged back and forth, on the real canvas. We can create very compelling illusions. We can do this for all kinds of surfaces and it's really a lot of fun. We call it haptography -- haptic photography. And I think it has potential benefits in all sorts of areas like online shopping, maybe interactive museum exhibits, where you're not supposed to touch the precious artifacts, but you always want to. The second example I want to tell you about comes from a collaboration I have with Dr. Margrit Maggio at the Penn Dental School. Part of her job is to teach dental students how to tell where in a patient's mouth there are cavities. Of course they look at X-rays, but a large part of this clinical judgment comes from what they feel when they touch your teeth with a dental explorer. You've all had this happen, they go across. What they're feeling for is if the tooth is really hard, then it's healthy, but if it's kind of soft and sticky, that's a signal that the enamel is starting to decay. These types of judgments are hard for a new dental student to make, because they haven't touched a lot of teeth yet. And you want them to learn this before they start practicing on real human patients. So what we do is add an accelerometer on to the dental explorer, and then we record what Dr. Maggio feels as she touches different extracted teeth. And we can play it back for you as a video with a touch track -- not just a sound track, but also a touch track, that you can feel by holding that repeating tool. You feel the same things the dentist felt when they did the recording, and practice making judgments. So here's a sample one. Here's a tooth that looks kind of suspicious, right? It has all those brown stains. You might be thinking, "We should definitely put a filling in this tooth." But if you pay attention to how it feels, all the surfaces of this tooth are hard and healthy, so this patient does not need a filling. And these are exactly the kind of judgments doctors make every day and I think this technology we've invented has a lot of potential for many different things in medical training, because it's really simple and it does a great job at recreating what people feel through tools. I think it could also help make games more interactive and fun and more realistic in the sensations that you feel. The last example I want to tell you about is again about human movement. So if any of you have ever learned sports, how do you get good at something like surfing? You practice. You practice some more and more, right? Making small corrections, maybe getting some input from a coach, learning how to improve your motions. I think we could use computers to help make that process more efficient and more fun. And so here, for example, if I have six different arm movements that I want you to learn, you come into my lab at Penn and try out our system. We use a Kinect to measure your motions, we show graphics on the screen, and then we also give you touch cues, haptic feedback on your arm, delivered by these haptic arm bands which have motors inside, and guide you as you move. So, if we put it together, as you're trying to track this motion, if you deviate -- say, maybe, your arm is a little too high -- we turn on the motors right there on the skin to let you know you should move down, almost like a coach gently guiding you and helping you master these movements more quickly and make more precise corrections. We developed this system for use in stroke rehabilitation, but I think there are a lot of applications, like maybe dance training or all sorts of sports training as well. So now you know a little bit about the field of haptics, which I think you'll hear more about in the coming years. I've shown you three examples. I just want to take a moment to acknowledge the great students who work with me in my lab at Penn and my collaborators. They're a great group. I also want to thank you for your kind attention. (Applause)