I'm a mechanical engineering professor at the University of Pennsylvania, and my favorite hobby is photography. And as I travel around the world, I love taking photographs like these, so I can remember all the beautiful and interesting things that I've seen. But what I can't do is record and share how these objects feel to touch. And that's kind of surprising, because your sense of touch is really important. It's involved in every physical interaction you do every day, every manipulation task, anything you do in the world. So the sense of touch is actually pretty interesting. It has two main components. The first is tactile sensations, things you feel in your skin. And the second is kinesthetic sensations. This has to do with the position of your body and how it's moving, and the forces you encounter. And you're really good at incorporating both of these types of sensations together to understand the physical interactions you have with the world and understand as you touch a surface: is it a rock, is it a cat, is it a bunny, what is it? And so, as an engineer, I'm really fascinated and I have a lot of respect for how good people are with their hands. And I'm intrigued and curious about whether we could make technology better by doing a better job at leveraging the human capability with the sense of touch. Could I improve the interfaces to computers and machines by letting you take advantage of your hands? And indeed, I think we can, and that's at the core of a field called haptics, and this is the area that I work in. It's all about interactive touch technology. And the way it works is, as you move your body through the world, if, as an engineer, I can make a system that can measure that motion, and then present to you sensations over time that kind of make sense, that match up with what you might feel in the real world, I can fool you into thinking you're touching something even though there's nothing there. So here are three examples and these are all done from research in my lab at Penn. The first one is all about that same problem that I was showing you: how can we capture how objects feel and recreate those experiences? So the way we solve this problem is by creating a hand-held tool that has many different sensors inside. It has a force sensor, so we can tell how hard you're pushing; it has motion tracking, so we can tell exactly where you've moved it; and it has a vibration sensor, an accelerometer, inside, that detects the shaking back and forth of the tool that lets you know that's a piece of canvas and not a piece of silk or something else. Then we take the data we record from these interactions. Here's ten seconds of data. You can see how the vibrations get larger and smaller, depending on how you move. And we make a mathematical model of those relationships and program them into a tablet computer so that when you take the stylus and go and touch the screen, that voice-coil actuator in the white bracket plays vibrations to give you the illusion that you're touching the real surface, just like if you touched, dragged back and forth, on the real canvas. We can create very compelling illusions. We can do this for all kinds of surfaces and it's really a lot of fun. We call it haptography -- haptic photography. And I think it has potential benefits in all sorts of areas like online shopping, maybe interactive museum exhibits, where you're not supposed to touch the precious artifacts, but you always want to. The second example I want to tell you about comes from a collaboration I have with Dr. Margrit Maggio at the Penn Dental School. Part of her job is to teach dental students how to tell where in a patient's mouth there are cavities. Of course they look at X-rays, but a large part of this clinical judgment comes from what they feel when they touch your teeth with a dental explorer. You've all had this happen, they go across. What they're feeling for is if the tooth is really hard, then it's healthy, but if it's kind of soft and sticky, that's a signal that the enamel is starting to decay. These types of judgments are hard for a new dental student to make, because they haven't touched a lot of teeth yet. And you want them to learn this before they start practicing on real human patients. So what we do is add an accelerometer on to the dental explorer, and then we record what Dr. Maggio feels as she touches different extracted teeth. And we can play it back for you as a video with a touch track -- not just a sound track, but also a touch track, that you can feel by holding that repeating tool. You feel the same things the dentist felt when they did the recording, and practice making judgments. So here's a sample one. Here's a tooth that looks kind of suspicious, right? It has all those brown stains. You might be thinking, "We should definitely put a filling in this tooth." But if you pay attention to how it feels, all the surfaces of this tooth are hard and healthy, so this patient does not need a filling. And these are exactly the kind of judgments doctors make every day and I think this technology we've invented has a lot of potential for many different things in medical training, because it's really simple and it does a great job at recreating what people feel through tools. I think it could also help make games more interactive and fun and more realistic in the sensations that you feel. The last example I want to tell you about is again about human movement. So if any of you have ever learned sports, how do you get good at something like surfing? You practice. You practice some more and more, right? Making small corrections, maybe getting some input from a coach, learning how to improve your motions. I think we could use computers to help make that process more efficient and more fun. And so here, for example, if I have six different arm movements that I want you to learn, you come into my lab at Penn and try out our system. We use a Kinect to measure your motions, we show graphics on the screen, and then we also give you touch cues, haptic feedback on your arm, delivered by these haptic arm bands which have motors inside, and guide you as you move. So, if we put it together, as you're trying to track this motion, if you deviate -- say, maybe, your arm is a little too high -- we turn on the motors right there on the skin to let you know you should move down, almost like a coach gently guiding you and helping you master these movements more quickly and make more precise corrections. We developed this system for use in stroke rehabilitation, but I think there are a lot of applications, like maybe dance training or all sorts of sports training as well. So now you know a little bit about the field of haptics, which I think you'll hear more about in the coming years. I've shown you three examples. I just want to take a moment to acknowledge the great students who work with me in my lab at Penn and my collaborators. They're a great group. I also want to thank you for your kind attention. (Applause)
私はペンシルバニア大学で 機械工学の教授をしています 趣味は写真を撮ることです 世界を旅する中で このような写真を撮るのが 大好きです 自分が目にした美しくて― 興味深いものを 記憶しておけるからです 写真で記録して共有できないのは これらの物の感触です これは驚くべきことです 触覚はとても重要な感覚ですから 触覚は日々の身体的な触れ合いや 手作業など やることすべてに関わっています 触覚は実はとても面白いものです 2つの主な要素から成っています 1つ目は触れる感覚― 物が肌に触れる感触です 2つ目は運動感覚で これは身体の置かれている姿勢や どのように動いているか どんな力を受けているかなどです 皆さんはこの2つの感覚を とても上手く組み合わせて 世界で経験している 身体的触れ合いを 理解したり 物の表面を触れるときに これは岩か 猫か うさぎか 何かがわかるのです エンジニアとして 私は 人間の手のすごさに 魅了され 感心しています 興味があるのは 人間の触覚を もっとうまく利用して テクノロジーを改善できないか ということです 手をうまく使うことで コンピュータなどの インターフェースを向上できるだろうか? 私はできると思います そして これが「触覚学」という 私が専門とする分野です インタラクティブな 触れることのできるテクノロジーです どういうものかというと 皆さんが身体を動かすときに その動きを 測定するようなシステムを エンジニアである私は構築できます そして 連続的に 皆さんに刺激を与えます それは 現実世界で感じるのと 同じような刺激です 実際には何もないのに 何かに触れているように感じます さて 3つの例をお見せしましょう どれもペンシルバニア大学の 私の研究室で行われたものです 1つ目は すでにお話ししたものです どうやって物の感触を捉えて その経験を再現するか? どのように解決するかと言うと 様々なセンサーを内蔵した 手に持てる道具を作ります 圧力センサーがあるので 押す力の強さがわかります 運動追跡センサーで 動きを精確に測定でき 振動センサー つまり加速度計で 前後の動きを検知するので これが絹などではなく キャンバスだとわかります この表面での動きを記録したデータを 取り出します これが10秒間のデータです 動きに応じて 振動が 大きくなったり 小さくなっているのがわかります これらの相関関係を表す 数学モデルを構築し タブレットPCにプログラムします すると タッチペンで スクリーンを触れると 白いブラケットに入っている ボイスコイルモータが 振動を再現して 本物の表面に触れているような 錯覚をおぼえさせます 本物のキャンバスに触れて 前後に動かしているかのようにです とてもリアルな錯覚を 生み出せます あらゆる表面に使え とても楽しいです 「ハプトグラフィ―」と呼んでいます 「触覚による写真」です 様々な可能性があり オンラインショッピングや インタラクティブな美術館での展示― 本来は触ってはいけないけれど 触りたくなるような 重要な文化財などに応用できます 2つ目にお話ししたいのは ペンシルバニア大学の歯科学の マルグリット・マッジオ博士と 手がけたものです 彼女の仕事のひとつは 歯科学の学生に 患者の虫歯の見つけ方を 教えることです もちろん X線写真を見ますが 診療の大部分は さぐり針で 歯を触れる感覚でなされます このような診察を受けた経験があるでしょう 触れて確認しているのは 歯が硬ければ 健康だけれど 柔らかくてべたべたしていれば エナメル質が腐敗し始めている しるしだからです こうした判断は 歯科学の新入生には難しいものです まだ歯に触れた経験が浅いからです 患者さんで実践する前に 練習もしておきたいですね そこで振動測定計を さぐり針に付けて マッジオ博士が異なる歯を 触れる際の感触を記録しました それを感触を伴うビデオとして 再現できるのです サウンドトラックだけでなく 感触も記録されるので このツールを握ることで 感触が再現されます 歯科医が記録時に触れて 診断を下した時と 同じものに触れられます これがサンプルその1です ちょっと怪しいですね 茶色のしみがあり もしかしたら 「この歯には詰め物をしなきゃ」 と思うでしょう でも実は 触覚によく注目すると この歯の表面は硬くて健康なので この患者に詰め物は要りません このような判断を お医者さんは毎日行っています 私たちのテクノロジーは 医療教育の様々なことに 役立つ可能性があります とてもシンプルで 道具による触覚の 再現性が高いからです 感じる刺激によって ゲームを もっとインタラクティブで楽しく リアルなものにもできるでしょう 最後にお話しする例も 人間の動きについてです スポーツ経験者ならわかるでしょう どうやってサーフィンなどを覚えますか? 練習ですね 練習に練習を重ねますね 少しずつ調整して コーチからも指導を受けて 動きを改善していきます コンピュータを使うことで その過程をもっと効率よく 楽しくできます これがその例です 6つの腕の動きを 覚えたいとして ペンシルバニア大学の 私の研究室で システムを試します 「キネクト」で動きを測定し スクリーンにグラフィックを 映し出します そしてタッチ・キュー つまり触覚によるフィードバックを 腕の触覚ベルトに送ります モーターが内蔵されており 動きを指示します まとめると 動きを追う中で それてしまうと― たとえば腕が高すぎたりすると モーターがその部分の皮膚を刺激して 「下げなさい」と教えるのです 早く動きを覚えるように 優しく教えてくれるコーチのようですが さらに速く正確です このシステムは脳卒中患者の リハビリ用に開発されましたが 様々な応用があると思います ダンスの練習や あらゆるスポーツの練習などです さて 触覚学について 少しわかったと思いますが これからもっと 耳にすることになるでしょう 3つの例をお見せしたので 少し時間を頂いて 私の研究室で一緒に研究している 素晴らしい学生と共同研究者に 感謝の意を示したいと思います 素晴らしいグループです ご清聴ありがとうございました (拍手)