When I was a kid, I experienced something so powerful, I spent the rest of my life searching for it, and in all the wrong places. What I experienced wasn't virtual reality. It was music. And this is where the story begins.
私が子供の頃 ある強烈な体験をした事が きっかけとなり その日から同じ体験を ずっと探し求めてきましたが 間違った場所ばかり 探っていました そのある体験とは バーチャルリアリティー(VR)ではなく 音楽でした 本日の話はそこから始まります
That's me, listening to the Beatles' "White Album." And the look on my face is the feeling that I've been searching for ever since. Music goes straight to the emotional vein, into your bloodstream and right into your heart. It deepens every experience. Fellas?
この子供は私です 『ザ・ビートルズ』に 聴き入ってますが この表情を見れば 私がずっと探し求めている体験が 何なのか分かると思います 音楽は真っ直ぐに感情の脈を刺激し 血管に入り込み ハートを打ちます 全ての体験を深化させます 音楽を
(Music)
(音楽)
This is the amazing McKenzie Stubbert and Joshua Roman. Music --
絶妙な2人 マッケンジー・スタバートと ジョシュア・ローマンです 音楽とはー
(Applause)
(拍手)
Yeah.
ええ
Music makes everything have more emotional resonance. Let's see how it does for this talk. The right piece of music at the right time fuses with us on a cellular level. When I hear that one song from that one summer with that one girl, I'm instantly transported back there again. Hey, Stacey.
音楽は全ての事に 感動の響きを加えます このトークにも 効果があるでしょうか ある音楽がある瞬間と 交わることにより 細胞で感じる衝撃を与えます ある歌を耳にすると あのひと夏 共に過ごした ある1人の女性の記憶が 一瞬にして戻ってきます ステーシー しばらくだね
Here's a part of the story, though, where I got a little greedy. I thought if I added more layers on top of the music, I could make the feelings even more powerful. So I got into directing music videos. This is what they looked like. That's my brother, Jeff. Sorry about this, Jeff.
そんな体験をすると 余計に欲がでてきて 音楽以外の効果を 更に加えることにより もっと強烈な感情を 生み出せないものかと考え それがミュージック・ビデオ 制作活動の始まりとなりました 初めはこんな感じでした これは兄弟のジェフです ジェフ 悪いね
(Laughter)
(笑)
Here's me, just so we're even. Incredible moves. Should've been a dancer.
この私の様子も同様に笑えます 凄い動きですよね ダンサーになればよかった
(Laughter)
(笑)
These experiments grew, and in time, started to look more like this. In both, I'm searching for the same thing, though, to capture that lightning in a bottle. Except, I'm not. Adding moving pictures over the music added narrative dimension, yes, but never quite equated the power that just raw music had for me on its own. This is not a great thing to realize when you've devoted your life and professional career to becoming a music video director. I kept asking myself, did I take the wrong path? So I started thinking: if I could involve you, the audience, more, I might be able to make you feel something more as well.
このような実験が更に続き そのうち こう変わっていきました いずれも同じ体験を探し求めて 到達した結果です あの衝撃を作品に封じ込めるために それでも満足はできませんでした 音楽に映像を加えることにより 確かに物語を伝えていますが 生の音楽がもたらす感動は 再現できませんでした 自分の人生とプロとしてのキャリアを ミュージック・ビデオ制作に 捧げた者には納得できない結論です 道を間違えたのだろうか?と 自問し続けました ここにいる皆さん 聴衆の皆さんを もっと引き込むことにより さらに強烈な体験を与えられないかと 考えるようになりました
So Aaron Koblin and I began auditioning new technologies that could put more of you inside of the work, like your childhood home in "The Wilderness Downtown," your hand-drawn portraits, in "The Johnny Cash Project," and your interactive dreams in "3 Dreams of Black." We were pushing beyond the screen, trying to connect more deeply to people's hearts and imaginations. But it wasn't quite enough. It still didn't have the raw experiential power of pure music for me.
そこでアーロン・コブリンと 新しい技術を試し始めました 皆さんをもっと映像の中に 引き込む事が可能な技術です 例えば『The Wilderness Downtown』では 幼少期を過ごした家を 『The Johnny Cash Project』では 手書きの自画像を 『3 Dreams of Black』では インタラクティブな夢を体験できます スクリーンに映し出される 映像を超え もっと深く 人間のハートと想像力に 近づく事を試みてみました それでも何かが欠けていました ピュアな音楽が生み出す 純粋な感動は再現できませんでした
So I started chasing a new technology that I only had read about in science fiction. And after years of searching, I found a prototype. It was a project from Nonny de la Peña in Mark Bolas's lab in USC. And when I tried it, I knew I'd found it. I could taste the lightning. It was called virtual reality. This was it five years ago when I ran into it. This is what it looks like now.
そこでSF小説の中でしか 読んだことのないような 新しい技術を探し始めました そして数年経ち巡り合ったのが ある技術の原型です 南カリフォルニア大のマーク・ボラス研究室の ノニー・デラ・ペーニャの研究です 体験して直感したのです これだ!と 雷を味わうような衝撃でした それがバーチャルリアリティーでした これが5年前に初めて 出会った時の原型です そして今です
I quickly started building things in this new medium, and through that process we realized something: that VR is going to play an incredibly important role in the history of mediums. In fact, it's going to be the last one. I mean this because it's the first medium that actually makes the jump from our internalization of an author's expression of an experience, to our experiencing it firsthand. You look confused. I'll explain. Don't worry.
この新しい媒体を使った作品に すぐに取りかかりました その過程であることに 気がついたのです VRは媒体の歴史の上で 非常に重要な役割を果たすこと VRは媒体の最終形態だと確信しました 本気でそう言えるのは VRでは制作者が映像で表現した体験を 聴衆が作品を見ることによって 感じ取る過程から 直接体験する過程へ 一気に超える事が可能だからです 腑に落ちない様子ですね ご心配なく 説明します
(Laughter)
(笑)
If we go back to the origins of mediums, by all best guesses, it starts around a fire, with a good story. Our clan leader is telling us about how he hunted the woolly mammoth on the tundra that day. We hear his words and translate them into our own internal truths. The same thing happens when we look at the cave painting version of the story, the book about the mammoth hunt, the play, the radio broadcast, the television show or the movie. All of these mediums require what we call "suspension of disbelief," because there's a translation gap between the reality of the story and our consciousness interpreting the story into our reality. I'm using the word "consciousness" as a feeling of reality that we get from our senses experiencing the world around us.
媒体の原点にもどり 分かる範囲で推測すると 焚き火を囲みながら 物語を語り継ぐことに遡ります 我々の先祖である酋長がその日 ツンドラで毛に覆われたマンモスを 狩りに出た話をしています 彼の言葉を聞き 自らの体験へと解釈します 同じような解釈を 洞窟の壁画でも マンモス狩りの話の本でも 演劇でも ラジオの放送でも テレビの番組や 映画でも行います これらの媒体には「不信の一時的停止」 と呼ばれる過程が必要です なぜなら 物語における現実と 我々が自分の体験として 物語を理解する自己意識の間に 隔たりがあるからです ここで「自己意識」と表現するのは 我々が周りを体験し 実際に感じ取ることで生まれる 意識を表現しているからです
Virtual reality bridges that gap. Now, you are on the tundra hunting with the clan leader. Or you are the clan leader. Or maybe you're even the woolly mammoth.
VRはその隔たりの橋渡しをします そうする事であなたはツンドラで 一族の酋長と狩りをしたり あるいは あなた自身が酋長になったり もしかしたら毛に覆われた マンモスだったり
(Laughter)
(笑)
So here's what special about VR. In all other mediums, your consciousness interprets the medium. In VR, your consciousness is the medium. So the potential for VR is enormous. But where are we now? What is the current state of the art? Well, we are here. We are the equivalent of year one of cinema. This is the Lumière Brothers film that allegedly sent a theater full of people running for their lives as they thought a train was coming toward them. Similar to this early stage of this medium, in VR, we also have to move past the spectacle and into the storytelling. It took this medium decades to figure out its preferred language of storytelling, in the form of a feature film. In VR today, we're more learning grammar than writing language.
VRがなぜ画期的なのかと言うと 他の媒体では あなたの意識が 媒体を解釈するのですが しかしVRではあなたの意識自体が 媒体だと言えるのです VRは無限の可能性を秘めていますが 今どこまで進化しているのでしょう? この媒体の最新技術は どのようなものでしょうか? 私たちは 今 ここにいます 映画技術の初年度と 同じ時点です これはリュミエール兄弟の映画ですが この映画を初めて見た観客は 映像の中の汽車に轢かれると錯覚し あわてて逃げ出したそうです この媒体の初期に 起きた事と同じように VRも単なる娯楽という枠を超え ストーリーを伝える媒体へと 進化するべきです 映像という媒体でも 映画という形が 物語を語るために 最も有効な言語なのだと 悟るまで長い年月を要しました 今のVRでは 言語を書いているどころか まだ文法を 勉強しているようなものです
We've made 15 films in the last year at our VR company, Vrse, and we've learned a few things. We found that we have a unique, direct path into your senses, your emotions, even your body.
我々のVR会社Vrse(ヴァース)では 昨年15本のフィルムを作り その過程で 色々な事を学びました 例えば 聴衆の感覚に直接入り込み 皆さんの感情や体感にも 入り込む事が可能なこと
So let me show you some things. For the purpose of this demo, we're going to take every direction that you could possibly look, and stretch it into this giant rectangle. OK, here we go.
ここで実際体験してみてください このデモンストレーションでは 可能な限り見渡せる範囲を この巨大な長方形に引き伸ばします それでは出発します
So, first: camera movement is tricky in VR. Done wrong, it can actually make you sick. We found if you move the camera at a constant speed in a straight line, you can actually get away with it, though. The first day in film school, they told me you have to learn every single rule before you can break one. We have not learned every single rule. We've barely learned any at all, but we're already trying to break them to see what kind of creative things we can accomplish. In this shot here, where we're moving up off the ground, I added acceleration. I did that because I wanted to give you a physical sensation of moving up off the ground. In VR, I can give that to you.
まず VRにおいて カメラの動きには工夫が必要です これを誤ると 気分が悪くなることもあります カメラを一定の速度で 一直線上に動かすと その現象を免れられることを 発見しました 映像学校の初日に教えられるのは すべての手法を 習得してからでないと 手法に反したことはできないという事です 我々はVRの手法を 学び始めたばかりの段階ですが 手法に反した事を 実験することで クリエイティブな効果を 生み出す試みをしています ここ 地面を飛び立つ段階で 速度をあげてみました そうすることにより実際に 地面を離れる感覚を 体感してもらいたいのです VRではそれが可能なのです
(Music)
(音楽)
Not surprisingly, music matters a lot in this medium as well. It guides us how to feel. In this project we made with the New York Times, Zach Richter and our friend, JR, we take you up in a helicopter, and even though you're flying 2,000 feet above Manhattan, you don't feel afraid. You feel triumphant for JR's character. The music guides you there.
もちろんこの媒体でも音楽は 大きな役割を果たします 音楽が我々の感情を導きます NYタイムズ紙と ザック・リヒターと 友人のJRと共同製作の撮影では ヘリコプターに乗りました マンハッタンの上空2000フィートに いるのにもかかわらず 恐怖は感じません JRの根性を称えたい そう感じます 音楽がそこで導いてくれます
(Music)
(音楽)
Contrary to popular belief, there is composition in virtual reality, but it's completely different than in film, where you have a rectangular frame. Composition is now where your consciousness exists and how the world moves around you. In this film, "Waves of Grace," which was a collaboration between Vrse, the United Nations, Gabo Arora, and Imraan Ismail, we also see the changing role of the close-up in virtual reality. A close-up in VR means you're actually close up to someone. It brings that character inside of your personal space, a space that we'd usually reserve for the people that we love. And you feel an emotional closeness to the character because of what you feel to be a physical closeness.
一般の考えとは反対で 実はVRも構成から 出来上がっていきます 映画は長方形の枠から 構成されますが それとは全く違うもので VRの構成は 意識が存在するところにあり 自分を中心に 周りが動くことにあります この短編映画『Waves of Grace』は Vrse、国連 ガボ・アローラと イムラーン・イシュマルの共同製作ですが VRの中では クローズアップの役割も変化します VR空間でクローズアップすると あなたは本当にその人に接近します あなたのパーソナルスペースに 人物が入り込みます 通常親密な相手だけに 入ることを許すスペースです そうするとその登場人物に 親近感を感じます 相手との距離が近づくことにより 生まれる感覚です
Directing VR is not like directing for the rectangle. It's more of a choreography of the viewer's attention. One tool we can use to guide your attention is called "spatialized sound." I can put a sound anywhere in front of you, to left or right, even behind you, and when you turn your head, the sound will rotate accordingly. So I can use that to direct your attention to where I want you to see. Next time you hear someone singing over your shoulder, it might be Bono.
VRを監督するのは映画で 長方形の構成を考えるのとは違い どちらかというと視聴者の注目を 引くための振付といえます 注目を導くのに使う手法を 「spatialized sound (三次元音響)」 と呼びます 音の位置を変えることにより 例えば前、左、右 後ろだったり 振り向くと 音も同時に回転します その手法を使い視聴者の注目を 導くことができるのです だからあなたの後ろか 歌声が聞こえたら ボノかもしれません
(Laughter)
(笑)
VR makes us feel like we are part of something. For most of human history, we lived in small family units. We started in caves, then moved to clans and tribes, then villages and towns, and now we're all global citizens. But I believe that we are still hardwired to care the most about the things that are local to us. And VR makes anywhere and anyone feel local. That's why it works as an empathy machine. Our film "Clouds Over Sidra" takes you to a Syrian refugee camp, and instead of watching a story about people over there, it's now a story about us here.
VRは自分が何かの一部に なったような感覚を与えます 人間は歴史のほとんどの時間を 小さな家族の一員として過ごしてきました それは洞窟の中で始まり そこから氏族の一員になり 村民 町民となり 今はグローバル市民と言えます ただ人間の本能としては ローカルな身の回りに 強いつながりを感じます VRはどんな場所もどの人とでも ローカルな体験を可能にします 共感を感じさせる装置なのです 映画 『Clouds Over Sidra』で シリアの難民キャンプへ行くと ただ遠い場所を語った 物語を見ているだけではなく 実際にここにいる我々の物語となります
But where do we go from here? The tricky thing is that with all previous mediums, the format is fixed at its birth. Film has been a sequence of rectangles, from Muybridge and his horses to now. The format has never changed. But VR as a format, as a medium, isn't complete yet. It's not using physical celluloid or paper or TV signals. It actually employs what we use to make sense of the world. We're using your senses as the paints on the canvas, but only two right now. Eventually, we can see if we will have all of our human senses employed, and we will have agency to live the story in any path we choose. And we call it virtual reality right now, but what happens when we move past simulated realities? What do we call it then? What if instead of verbally telling you about a dream, I could let you live inside that dream? What if instead of just experiencing visiting some reality on Earth, you could surf gravitational waves on the edge of a black hole, or create galaxies from scratch, or communicate with each other not using words but using our raw thoughts? That's not a virtual reality anymore. And honestly I don't know what that's called. But I hope you see where we're going.
これからどうなるのでしょう? 難しい点は 過去の媒体では 形式が誕生時に確定されたことです 映画は長方形の映像という形式で 初期の映像作家マイブリッジの馬から 現在に至るまで この形式は変化していません しかしVRは形式として 媒体としては まだ完成していません セル画や紙や テレビの信号を使うわけでもなく 世の中を理解する上で 人間が使うものを使います 私たちはみなさんの感覚を使い 絵を描いているようなものですが まだ2つしか使っていません そのうち人間の全ての感覚を利用して 物語をどのように体験するかの選択も できるようになるかもしれません 今はバーチャルリアリティーと 呼んでいますが いずれ これが仮想現実の枠を超えると それは何と呼ぶべきなのか? 例えば ある時見た夢を 言葉で伝えるのではなく その夢の中に実際入り込む事ができれば? 地球で起きる現実を体験するだけでなく またはブラックホールの淵の 重力の波の上をサーフィンしたり 新しい星雲を誕生させてしまったり 言葉を用いずに 頭の中のありのままの考えを 伝えることを可能にできたら? これらはVR(仮想現実)を超えてしまい そうなると正直 何と呼ぶべきかわかりません でも 方向性は お分かりになったと思います
But here I am, intellectualizing a medium I'm saying is experiential. So let's experience it. In your hands, you hopefully hold a piece of cardboard. Let's open the flap. Tap on the power button to unlock the phone. For the people watching at home, we're going to put up a card right now to show you how to download this experience on your phone yourself, and even get a Google cardboard of your own to try it with. We played in cardboard boxes as kids, and as adults, I'm hoping we can all find a little bit of that lightning by sticking our head in one again. You're about to participate in the largest collective VR viewing in history. And in that classic old-timey style of yesteryear, we're all going to watch something at the exact same time, together. Let's hope it works. What's the countdown look like? I can't see.
ここまでは体験型と呼んでいる媒体を 知的に表現しているだけですので 実際に体験してみましょう 皆さんの手元の Google Cardboardの フラップを開けてください 電源ボタンをタップして 携帯のロックを外してください 家から視聴している皆さんは 今カードを表示しますので 携帯電話にアプリを ダウンロードしてください 一緒にGoogle Cardboardも 入手できます 子供の頃ダンボール箱で 遊んだと思いますが 大人になった今でもあの時に感じた 雷の光を感じるような衝撃を 箱の中を覗いて体験してください これから皆さんは 史上最大の 合同VR体験に参加されます 古き良き時代と同じように 全員同時に同じ映像を 同時に見てみましょう うまくいく事を願って カウントダウンは何になってますか
Audience: ...15, 14, 13, 12, 11, 10, 9, 8, 7, 6, 5, 4, 3, 2, 1
聴衆:...15, 14, 13, 12, 11, 10, 9 8, 7, 6, 5, 4, 3, 2, 1
(Birds singing)
(鳥のさえずり)
(Train engine)
(汽笛)
Audience: (Shreiks)
聴衆:(声があがる)
(Video) JR: Let me tell you how I shot the cover of the New York Times Magazine, "Walking New York." I just got strapped on outside the helicopter, and I had to be perfectly vertical so I could grab it. And when I was perfectly above -- you know, with the wind, we had to redo it a few times -- then I kept shooting.
(ビデオ) JR:お教えしましょう NYタイムズ・マガジンの 表紙になった作品 『Walking New York』の 撮影方法です ヘリコプターから乗り出した状態で 括り付けられて 被写体と完全に垂直にならないと うまくいかないわけで 完璧に頭上にいた時点でー 風の影響で何回もやり直しした上で そこから連写し続けました
(Video) Woman's voice: Dear Lord, protect us from evil, for you are the Lord, the light. You who gave us life took it away. Let your will be done. Please bring peace to the many who have lost loved ones. Help us to live again.
(ビデオ) 女性の声:神よ 我々を悪からお守りください [『Waves of Grace』より] 真実の神よ 光よ 我々に生命を与えた あなたが奪いました それがあなたの意志なのであれば 愛する者を亡くした人々の 心に平和を与え 再び生きる力をお授けください
(Music)
(音楽)
(Video) (Children's voices)
[『Clouds Over Sidra』より] (ビデオ)(子供達の声)
Child's voice: There are more kids in Zaatari than adults right now. Sometimes I think we are the ones in charge.
子供の声:ザータリには今 大人よりも子供の方が多くいるので 時々思うのは 僕たちこそが指揮を とっているのさ
Chris Milk: How was it?
ミルク:どうでしたか?
(Applause)
(拍手)
That was a cheap way of getting you to do a standing ovation. I just made you all stand. I knew you'd applaud at the end.
なんだかわざとスタンディング オベーションをさせたようですね 最後に拍手があると解っていたのでね
(Applause)
(拍手)
I believe that everyone on Earth needs to experience what you just experienced. That way we can collectively start to shape this, not as a tech platform but as a humanity platform. And to that end, in November of last year, the New York Times and Vrse made a VR project called "The Displaced." It launched with one million Google Cardboards sent out to every Sunday subscriber with their newspaper. But a funny thing happened that Sunday morning. A lot of people got them that were not the intended recipients on the mailing label. And we started seeing this all over Instagram. Look familiar?
皆さんが今体験したことを 全ての人に体験してほしいです そうする事により皆一体となり この技術を テクノロジーとしてではなく 人間愛の手法として 育て始められます その目的で去年の11月 NYタイムズ紙とVrse合同の 『The Displaced(避難者)』という VRプロジェクトを制作しました このプロジェクトの初日には 100万個のGoogle Cardboardを NYタイムズ紙日曜版の 購読者に配布しました その日曜日の朝に ある不思議な現象が起きました 沢山の人々― 購読紙の受取人以外の人の手にも 渡ったのです それと同時にInstagramに こんな投稿があふれました 見たことありませんか?
Music led me on a path of searching for what seemed like the unattainable for a very long time. Now, millions of kids just had the same formative experience in their childhood that I had in mine. Only I think this one surpasses it. Let's see where this leads them.
音楽は私をある方向へと 導いてくれました 長い間手が届かないと 思い込んでいた事を 探し続ける事ができました それにより 何百万人もの子供たちが 私が幼少期に体験したような 人格形成につながる体験を たった今体験しました 彼らが体験した事は 私が感じた感動を 更に超える事でしょう そんな体験をする事が どこに彼らを導くのか 見届けましょう
Thank you.
ありがとうございました
(Applause)
(拍手)