Hello. I'm not a real person. I'm actually a copy of a real person. Although, I feel like a real person. It's kind of hard to explain. Hold on -- I think I saw a real person ... there's one. Let's bring him onstage.
こんにちは 私は本物の人間ではありません 実は本物の人間のコピーです 本物の人間のように 感じてはいますが— 説明するのが難しいです 待ってください 本物の人間がいたような— 彼をステージに 行かせましょう
Hello.
どうも
(Applause)
(拍手)
What you see up there is a digital human. I'm wearing an inertial motion capture suit that's figuring what my body is doing. And I've got a single camera here that's watching my face and feeding some machine-learning software that's taking my expressions, like, "Hm, hm, hm," and transferring it to that guy. We call him "DigiDoug." He's actually a 3-D character that I'm controlling live in real time.
ご覧いただいたのは CGの人間です 私が着ているのは慣性センサー式の モーション・キャプチャ・スーツで 私の動作を把握します ここにカメラがあって 私の顔を捉えていて 機械学習ソフトウェアで 表情を取り出します こんな風に それをこの人物に 転送しています 彼は「デジ・ダグ」です 私がリアルタイムで操作している 3Dキャラクターです
So, I work in visual effects. And in visual effects, one of the hardest things to do is to create believable, digital humans that the audience accepts as real. People are just really good at recognizing other people. Go figure! So, that's OK, we like a challenge.
私は視覚効果の 仕事をしています 視覚効果で一番難しいのは 見た人が本物の人間と 受け取るような CGの人間を 作り出すことです 人間は他の人間を 認識することに 驚くほど長けています それはいいです 挑戦は好きですから
Over the last 15 years, we've been putting humans and creatures into film that you accept as real. If they're happy, you should feel happy. And if they feel pain, you should empathize with them. We're getting pretty good at it, too. But it's really, really difficult. Effects like these take thousands of hours and hundreds of really talented artists.
この15年 私達は本物と思えるような 人間や生き物を 映画の中に 作り出してきました そのキャラが幸せなら みんなも幸せに感じ 苦しんでいたら 見た人も同じ気持ちになるような— 随分上手くできるように なってきましたが 本当に難しいんです そういう効果を生むには 何百人もの優れたアーティストが 何千時間もかけて 取り組む必要があります
But things have changed. Over the last five years, computers and graphics cards have gotten seriously fast. And machine learning, deep learning, has happened. So we asked ourselves: Do you suppose we could create a photo-realistic human, like we're doing for film, but where you're seeing the actual emotions and the details of the person who's controlling the digital human in real time? In fact, that's our goal: If you were having a conversation with DigiDoug one-on-one, is it real enough so that you could tell whether or not I was lying to you? So that was our goal.
でも状況が変わりました この5年ほどで コンピューターやグラフィックカードが ものすごく速くなりました そして機械学習— ディープラーニングというのが現れました それで考えました 映画に出てくるような 写実的なCGの人物に 操作している人の 感情や顔の細部を リアルタイムで 反映させることはできないか? それが目標です デジ・ダグが皆さんと 1対1で会話していて 嘘をついたら それと分かるくらいに リアルにできるか? そこを目標にやってきました
About a year and a half ago, we set off to achieve this goal. What I'm going to do now is take you basically on a little bit of a journey to see exactly what we had to do to get where we are. We had to capture an enormous amount of data. In fact, by the end of this thing, we had probably one of the largest facial data sets on the planet. Of my face.
1年半前に 取り組み始めました 今のレベルになるまでに どんなことをする必要があったのかを これから皆さんに お見せしましょう 膨大な量のデータを 捉える必要がありました 実際 最終的には これは地球上で最も大きな 顔のデータの集成になりました —私の顔のということですが
(Laughter)
(笑)
Why me? Well, I'll do just about anything for science. I mean, look at me! I mean, come on. We had to first figure out what my face actually looked like. Not just a photograph or a 3-D scan, but what it actually looked like in any photograph, how light interacts with my skin. Luckily for us, about three blocks away from our Los Angeles studio is this place called ICT. They're a research lab that's associated with the University of Southern California. They have a device there, it's called the "light stage." It has a zillion individually controlled lights and a whole bunch of cameras. And with that, we can reconstruct my face under a myriad of lighting conditions. We even captured the blood flow and how my face changes when I make expressions. This let us build a model of my face that, quite frankly, is just amazing. It's got an unfortunate level of detail, unfortunately.
なぜ私か? 私は科学のためとあれば 何だってしますから 見てください どうです 最初にしたのは 私の顔がどう見えるか— 単なる1枚の写真や 3Dスキャンではなく あらゆる写真で どう見えるか 皮膚に光がどう作用するかまで 捉えることです 幸いなことに ロスにある私達のスタジオの近所に ICTというのがあります 南カリフォルニア大学の 研究施設です そこに「ライトステージ」という 装置があります 個々に制御できる 無数の照明と 膨大な数の カメラが付いています これを使うと 様々な光の条件下での 私の顔を再現できます 血の流れまで捉え 表情ごとに顔が どう変わるかを 把握します これにより 見事なまでの 私の顔のモデルができました 勘弁してほしくなるほどの 詳細さです
(Laughter)
(笑)
You can see every pore, every wrinkle. But we had to have that. Reality is all about detail. And without it, you miss it. We are far from done, though. This let us build a model of my face that looked like me. But it didn't really move like me. And that's where machine learning comes in. And machine learning needs a ton of data. So I sat down in front of some high-resolution motion-capturing device. And also, we did this traditional motion capture with markers. We created a whole bunch of images of my face and moving point clouds that represented that shapes of my face. Man, I made a lot of expressions, I said different lines in different emotional states ... We had to do a lot of capture with this. Once we had this enormous amount of data, we built and trained deep neural networks. And when we were finished with that, in 16 milliseconds, the neural network can look at my image and figure out everything about my face. It can compute my expression, my wrinkles, my blood flow -- even how my eyelashes move. This is then rendered and displayed up there with all the detail that we captured previously.
毛穴や皺の 1つひとつまで見えます でも それが必要なんです リアリティはそういう 細部から生まれるのです それなくしては 上手くいきません まだ完成ではありません これで私のように見える 顔のモデルはできました でも私のように 動きはしません そこで機械学習の出番です 機械学習には膨大な量の データが必要です それで私は高解像度モーション キャプチャ装置の前に座り 従来的なマーカーを使った モーション・キャプチャもしました 膨大な量の 私の顔の画像と 私の顔の形状を表す 動点群を作りました すごくいろんな 表情をしましたよ 様々な感情を込め 様々な台詞を言いました たくさんのキャプチャを する必要がありました そうやって膨大な データが得られたら それを使ってディープ・ニューラル・ ネットワークを訓練します それが完了すると ニューラル・ネットワークは 私の顔を見て16ミリ秒で あらゆることを把握できる ようになりました 表情や 皺や 血流や まつげの動きまで 計算できます そしてそれを 以前にキャプチャした 細部のデータを使って レンダリングし表示します
We're far from done. This is very much a work in progress. This is actually the first time we've shown it outside of our company. And, you know, it doesn't look as convincing as we want; I've got wires coming out of the back of me, and there's a sixth-of-a-second delay between when we capture the video and we display it up there. Sixth of a second -- that's crazy good! But it's still why you're hearing a bit of an echo and stuff. And you know, this machine learning stuff is brand-new to us, sometimes it's hard to convince to do the right thing, you know? It goes a little sideways.
まだ完成はしていません 開発中のものです 社外で見せるのは これが初めてです 説得力のある 格好でもありません 後ろにケーブルが 繋がっているし 映像のキャプチャから 表示までに 1/6秒の遅延があります やっていることからすると すごく速いんですが それでもエコーなんかが 出てしまいます 機械学習というのは 私達には目新しいもので なかなか思うように なってくれず おかしな具合になる こともあります
(Laughter)
(笑)
But why did we do this? Well, there's two reasons, really. First of all, it is just crazy cool.
でも なぜこんなことを しているのでしょう? 理由は2つあります 第一に 超イカしてるから
(Laughter)
(笑)
How cool is it? Well, with the push of a button, I can deliver this talk as a completely different character. This is Elbor. We put him together to test how this would work with a different appearance. And the cool thing about this technology is that, while I've changed my character, the performance is still all me. I tend to talk out of the right side of my mouth; so does Elbor.
どのくらい イカしてるかというと ボタン1つで スピーカーのキャラを 変更できます エルボーをご紹介します 別の見かけでうまくいくか 試すために作ったキャラです この技術のいいところは キャラクターを変えても 演じているのは 依然私だということです 私は口の右側で しゃべる癖がありますが エルボーもそうです
(Laughter)
(笑)
Now, the second reason we did this, and you can imagine, is this is going to be great for film. This is a brand-new, exciting tool for artists and directors and storytellers. It's pretty obvious, right? I mean, this is going to be really neat to have. But also, now that we've built it, it's clear that this is going to go way beyond film.
これをやってる 2つ目の理由は ご想像の通り 映画での利用です これはアーティストや監督や ストーリーテラーにとって 素晴らしいツールになります 言うまでもないでしょう すごく役に立つはずです 作ってみて 明らかになったのは これが映画に留まるものでは ないということです
But wait. Didn't I just change my identity with the push of a button? Isn't this like "deepfake" and face-swapping that you guys may have heard of? Well, yeah. In fact, we are using some of the same technology that deepfake is using. Deepfake is 2-D and image based, while ours is full 3-D and way more powerful. But they're very related. And now I can hear you thinking, "Darn it! I though I could at least trust and believe in video. If it was live video, didn't it have to be true?" Well, we know that's not really the case, right? Even without this, there are simple tricks that you can do with video like how you frame a shot that can make it really misrepresent what's actually going on. And I've been working in visual effects for a long time, and I've known for a long time that with enough effort, we can fool anyone about anything. What this stuff and deepfake is doing is making it easier and more accessible to manipulate video, just like Photoshop did for manipulating images, some time ago.
でも待って 私はボタン1つで 自分の姿を変えてしまいましたが これは皆さんも 聞いたことがあるだろう 「ディープフェイク」や 顔のすげ替えに当たるのでは? 確かに 実際私達はディープフェイクと 同様の技術を使ってもいます ディープフェイクが 2次元映像を使うのに対し こちらは完全な3次元だし 遙かに強力ですが 関連したものです 皆さんの頭の中の叫びが 聞こえるようです 「なんてこった! 映像は信頼できると 思っていた ライブ映像なら 本物のはずじゃないのか?」 必ずしも そうとも言えません このような技術がなくても どう撮るか 簡単なトリックを使うことで 実際に起きていることとは違うものを 見せることができます 私は長年視覚効果を やってきたので 十分な手間暇をかければ 誰であれ 何についてであれ 欺けることを知っています この技術やディープフェイクは 映像の操作を簡単で 誰でもできるようにしただけです Photoshopが写真編集を 容易にしたのと同じように
I prefer to think about how this technology could bring humanity to other technology and bring us all closer together. Now that you've seen this, think about the possibilities. Right off the bat, you're going to see it in live events and concerts, like this. Digital celebrities, especially with new projection technology, are going to be just like the movies, but alive and in real time. And new forms of communication are coming. You can already interact with DigiDoug in VR. And it is eye-opening. It's just like you and I are in the same room, even though we may be miles apart. Heck, the next time you make a video call, you will be able to choose the version of you you want people to see. It's like really, really good makeup. I was scanned about a year and a half ago. I've aged. DigiDoug hasn't. On video calls, I never have to grow old.
私はむしろ これがいかに 人類に新たな 技術をもたらし 人を結びつけるかを 考えたいです これの可能性について 考えてみてください すぐにライブイベントやコンサートで こういうのを目にするようになるでしょう 新しいプロジェクション技術と 相まって バーチャル有名人が 映画の中だけでなく リアルタイムの生きた存在になるでしょう 新たな形のコミュニケーションが 生まれます すでにVRのデジ・ダグと やり取りできます 驚くような経験です ずっと遠くにいながら 同じ部屋にいるかのように 感じられます 今度ビデオ電話するときには 相手に見せたい自分を 選べるように なっているかもしれません すごく良くできた メークみたいなものです 私がスキャンをしたのは 1年半前でした 私は年を取りますが デジ・ダグは取りません ビデオ電話での私は ずっと若いままでいられます
And as you can imagine, this is going to be used to give virtual assistants a body and a face. A humanity. I already love it that when I talk to virtual assistants, they answer back in a soothing, humanlike voice. Now they'll have a face. And you'll get all the nonverbal cues that make communication so much easier. It's going to be really nice. You'll be able to tell when a virtual assistant is busy or confused or concerned about something.
これが顔と体を持った バーチャルアシスタントに 使われるところを 想像してください とても人間的です バーチャルアシスタントが 人間のような 落ち着きのある声で答えてくれるのが 私は気に入っていますが それが顔も 持つようになるのです 非言語的なヒントがあることで コミュニケーションはずっと楽になります すごくいいと思いますよ バーチャルアシスタントが 忙しかったり 困惑していたり 何か心配しているときに それと分かるというのは—
Now, I couldn't leave the stage without you actually being able to see my real face, so you can do some comparison. So let me take off my helmet here. Yeah, don't worry, it looks way worse than it feels.
ちゃんと素顔を見せずに ステージを降りるわけには いかないでしょう 比較ができるように— 被り物を取りましょう ああ 心配しないで 見た目ほど酷くはないので
(Laughter)
(笑)
So this is where we are. Let me put this back on here.
これが現在の技術です 頭を戻しときましょう
(Laughter) Doink!
(笑) ガチャーン!
So this is where we are. We're on the cusp of being able to interact with digital humans that are strikingly real, whether they're being controlled by a person or a machine. And like all new technology these days, it's going to come with some serious and real concerns that we have to deal with. But I am just so really excited about the ability to bring something that I've seen only in science fiction for my entire life into reality. Communicating with computers will be like talking to a friend. And talking to faraway friends will be like sitting with them together in the same room.
これが現在の技術です それを操作しているのが 人間であれ 機械であれ 驚くほど本物らしく見える CGの人間と やり取りするようになる日も 遠くありません 今時の新技術の例に漏れず これにも対応が必要な 深刻で現実の懸念があります でも 子供の頃からずっと SFの世界の話でしか なかったものが 現実になろうと していることに 私はすごく ワクワクしています コンピューターと話すのが 友達と話すようになり 遠くの友達と話すのが 同じ部屋に一緒にいるように 感じられるようになるんです
Thank you very much.
ありがとうございました
(Applause)
(拍手)