When I was a kid, I experienced something so powerful, I spent the rest of my life searching for it, and in all the wrong places. What I experienced wasn't virtual reality. It was music. And this is where the story begins.
Quand j'étais petit, j'ai vécu une expérience si puissante que j'ai cherché à la reproduire toute ma vie, en vain. Il ne s'agissait pas de réalité virtuelle, mais de musique. C'est le début de mon histoire.
That's me, listening to the Beatles' "White Album." And the look on my face is the feeling that I've been searching for ever since. Music goes straight to the emotional vein, into your bloodstream and right into your heart. It deepens every experience. Fellas?
Me voici, écoutant le « White Album » des Beatles. L'expression sur mon visage correspond au sentiment que j'ai cherché à reproduire depuis. La musique déclenche des émotions, elle vous touche au plus profond, elle vous va droit au cœur. Elle approfondit chaque expérience. S'il vous plaît.
(Music)
(Musique)
This is the amazing McKenzie Stubbert and Joshua Roman. Music --
Voici les géniaux McKenzie Stubbert et Joshua Roman. Musique !
(Applause)
(Applaudissements)
Yeah.
Eh oui.
Music makes everything have more emotional resonance. Let's see how it does for this talk. The right piece of music at the right time fuses with us on a cellular level. When I hear that one song from that one summer with that one girl, I'm instantly transported back there again. Hey, Stacey.
La musique apporte une résonance émotionnelle à toute chose. Voyons son effet sur cette conférence. Un morceau de musique diffusé au bon moment résonne en nous jusque dans nos cellules. Quand j'écoute une chanson qui me rappelle un été avec cette femme, je me replonge dans cette expérience. Salut, Stacey.
Here's a part of the story, though, where I got a little greedy. I thought if I added more layers on top of the music, I could make the feelings even more powerful. So I got into directing music videos. This is what they looked like. That's my brother, Jeff. Sorry about this, Jeff.
À un moment donné, j'ai voulu pousser l'expérience plus loin. Je pensais que si j'ajoutais des couches supplémentaires à la musique, je pourrais exalter les émotions. J'ai commencé à réaliser des clips vidéo. Voici à quoi ils ressemblaient. Voici mon frère, Jeff. Désolé, Jeff.
(Laughter)
(Rires)
Here's me, just so we're even. Incredible moves. Should've been a dancer.
Me voici, comme ça nous sommes quittes. Superbes mouvements. J'aurais dû devenir danseur.
(Laughter)
(Rires)
These experiments grew, and in time, started to look more like this. In both, I'm searching for the same thing, though, to capture that lightning in a bottle. Except, I'm not. Adding moving pictures over the music added narrative dimension, yes, but never quite equated the power that just raw music had for me on its own. This is not a great thing to realize when you've devoted your life and professional career to becoming a music video director. I kept asking myself, did I take the wrong path? So I started thinking: if I could involve you, the audience, more, I might be able to make you feel something more as well.
Ces expériences se sont développées pour finalement ressembler plutôt à ça. Pourtant, dans les deux cas, je cherche la même chose : reproduire l'essence des choses. Mais je n'y parviens pas. L'ajout d'images animées à la musique ajoute une dimension narrative, oui, mais n'arrive jamais au niveau de ce que provoque en moi la musique pure. Ce constat est un coup dur quand vous avez consacré votre vie et votre carrière à devenir réalisateur de clips vidéo. Je n'arrêtais pas de me demander si j'avais choisi la mauvaise voie. Puis je me suis dit : si je peux impliquer le public, vous, je peux peut-être vous faire ressentir plus, à vous aussi.
So Aaron Koblin and I began auditioning new technologies that could put more of you inside of the work, like your childhood home in "The Wilderness Downtown," your hand-drawn portraits, in "The Johnny Cash Project," and your interactive dreams in "3 Dreams of Black." We were pushing beyond the screen, trying to connect more deeply to people's hearts and imaginations. But it wasn't quite enough. It still didn't have the raw experiential power of pure music for me.
Alors Aaron Koblin et moi avons testé de nouvelles technologies pour vous intégrer davantage dans le travail, comme votre maison d'enfance dans « The Wilderness Downtown », vos portraits dessinés à la main, dans « The Johnny Cash Project » et vos rêves interactifs dans « 3 Dreams of Black ». Nous allions au-delà de l'écran, pour essayer de résonner plus profondément dans le cœur et l'imagination des gens. Mais ce n'était pas assez. Nous n'avions toujours pas atteint la puissance empirique de la musique pure.
So I started chasing a new technology that I only had read about in science fiction. And after years of searching, I found a prototype. It was a project from Nonny de la Peña in Mark Bolas's lab in USC. And when I tried it, I knew I'd found it. I could taste the lightning. It was called virtual reality. This was it five years ago when I ran into it. This is what it looks like now.
Je suis parti en quête d'une nouvelle technologie que je ne connaissais qu'à travers la science-fiction. Et après des années de recherche, j'ai trouvé un prototype. C'était un projet de Nonny de la Peña dans le laboratoire de Mark Bolas à USC. Quand je l'ai testé, je savais que j'avais enfin trouvé. L'essence des choses. C'est ce qu'on appelait la réalité virtuelle. Voici à quoi ça ressemblait il y a 5 ans quand je l'ai découvert. Voici à quoi ça ressemble maintenant.
I quickly started building things in this new medium, and through that process we realized something: that VR is going to play an incredibly important role in the history of mediums. In fact, it's going to be the last one. I mean this because it's the first medium that actually makes the jump from our internalization of an author's expression of an experience, to our experiencing it firsthand. You look confused. I'll explain. Don't worry.
J'ai me suis rapidement mis à créer des choses avec ce nouveau média et, ce faisant, nous avons compris : la réalité virtuelle va jouer un rôle très important dans l'histoire des médias. En fait, ce sera le dernier média. Je le sais, car c'est le premier média à franchir le pas entre ce qu'exprime un auteur d'une expérience et notre expérience directe. Vous avez l'air perplexes. OK, je vais vous expliquer.
(Laughter)
(Rires)
If we go back to the origins of mediums, by all best guesses, it starts around a fire, with a good story. Our clan leader is telling us about how he hunted the woolly mammoth on the tundra that day. We hear his words and translate them into our own internal truths. The same thing happens when we look at the cave painting version of the story, the book about the mammoth hunt, the play, the radio broadcast, the television show or the movie. All of these mediums require what we call "suspension of disbelief," because there's a translation gap between the reality of the story and our consciousness interpreting the story into our reality. I'm using the word "consciousness" as a feeling of reality that we get from our senses experiencing the world around us.
Si nous retournons à l'origine des médias à tous les coups, tout débute autour d'un feu, avec une bonne histoire. Notre chef de clan nous raconte sa chasse d'un mammouth laineux dans la toundra ce jour-là. Nous entendons ses paroles et les traduisons dans notre système de croyances interne. C'est le même processus quand on regarde cette histoire via des peintures murales, un livre sur la chasse aux mammouths, une pièce de théâtre, une émission de radio, un programme télévisé ou un film. Tous ces médias reposent sur la « suspension de l'incrédulité », car il y a un écart d'interprétation entre la réalité de l'histoire et notre conscience qui traduit l'histoire dans notre propre réalité. J'utilise le mot « conscience » comme notre perception de la réalité à partir de nos sens qui expérimentent le monde environnant.
Virtual reality bridges that gap. Now, you are on the tundra hunting with the clan leader. Or you are the clan leader. Or maybe you're even the woolly mammoth.
La réalité virtuelle supprime cet écart. Vous voilà partis à la chasse dans la toundra avec le chef de clan. Vous êtes peut-être le chef de clan, ou même le mammouth laineux.
(Laughter)
(Rires)
So here's what special about VR. In all other mediums, your consciousness interprets the medium. In VR, your consciousness is the medium. So the potential for VR is enormous. But where are we now? What is the current state of the art? Well, we are here. We are the equivalent of year one of cinema. This is the Lumière Brothers film that allegedly sent a theater full of people running for their lives as they thought a train was coming toward them. Similar to this early stage of this medium, in VR, we also have to move past the spectacle and into the storytelling. It took this medium decades to figure out its preferred language of storytelling, in the form of a feature film. In VR today, we're more learning grammar than writing language.
C'est ce qui est bien avec la réalité virtuelle. Avec tous les autres médias, c'est votre conscience qui interprète le média. Avec la réalité virtuelle, votre conscience devient le média. C'est pourquoi le potentiel de la réalité virtuelle est énorme. Mais où en sommes-nous ? Quel est le statut actuel de l'art ? Eh bien, nous en sommes là. Nous en sommes à l'équivalent de la première année du cinéma. Voici le film des frères Lumière, qui a fait fuir des gens dans une salle de cinéma bondée, car ils pensaient qu'un train leur fonçait dessus. Tout comme les tout débuts de ce média, avec la réalité virtuelle, nous devons dépasser le spectacle pour entrer dans la narration. Il a fallu des décennies à ce média pour trouver sa méthode de narration préférée, sous la forme d'un long métrage. Avec la réalité virtuelle, aujourd'hui, nous apprenons encore la grammaire plutôt que la syntaxe.
We've made 15 films in the last year at our VR company, Vrse, and we've learned a few things. We found that we have a unique, direct path into your senses, your emotions, even your body.
Vrse, mon entreprise de réalité virtuelle, a créé 15 films l'année dernière. Nous avons appris des choses. Nous avons compris qu'il existe un chemin direct vers vos sens, vos émotions et même votre corps.
So let me show you some things. For the purpose of this demo, we're going to take every direction that you could possibly look, and stretch it into this giant rectangle. OK, here we go.
Je vais vous montrer quelque chose. Pour cette démonstration, nous prenons toutes les directions où vous pourriez regarder et l'étirer dans ce rectangle géant. OK. Allons-y.
So, first: camera movement is tricky in VR. Done wrong, it can actually make you sick. We found if you move the camera at a constant speed in a straight line, you can actually get away with it, though. The first day in film school, they told me you have to learn every single rule before you can break one. We have not learned every single rule. We've barely learned any at all, but we're already trying to break them to see what kind of creative things we can accomplish. In this shot here, where we're moving up off the ground, I added acceleration. I did that because I wanted to give you a physical sensation of moving up off the ground. In VR, I can give that to you.
D'abord : le mouvement de la caméra est complexe dans la réalité virtuelle. Pas bien fait, ça peut donner la nausée. Si vous bougez la caméra à vitesse constante en ligne droite, vous pouvez vous en sortir. Le premier jour à l'école du cinéma, ils vous disent d'apprendre toutes les règles avant de vous en affranchir. Nous n'avons pas appris toutes les règles, à peine quelques-unes. Mais nous voulons déjà les transgresser pour voir jusqu'où peut aller notre créativité. Ici, où nous décollons du sol, j'ai ajouté une accélération. Le but est de vous donner la sensation physique que vous décollez du sol. La réalité virtuelle offre cette sensation.
(Music)
(Musique)
Not surprisingly, music matters a lot in this medium as well. It guides us how to feel. In this project we made with the New York Times, Zach Richter and our friend, JR, we take you up in a helicopter, and even though you're flying 2,000 feet above Manhattan, you don't feel afraid. You feel triumphant for JR's character. The music guides you there.
Sans surprise, la musique est très importante dans ce média aussi. Elle oriente nos perceptions. Dans ce projet réalisé avec le New York Times, Zach Ritcher et notre ami JR, nous vous embarquons dans un hélicpotère et même si vous volez 700 mètres au-dessus de Manhattan, vous n'avez pas peur. Vous êtes triomphant à la place de JR. La musique vous montre la voie.
(Music)
(Musique)
Contrary to popular belief, there is composition in virtual reality, but it's completely different than in film, where you have a rectangular frame. Composition is now where your consciousness exists and how the world moves around you. In this film, "Waves of Grace," which was a collaboration between Vrse, the United Nations, Gabo Arora, and Imraan Ismail, we also see the changing role of the close-up in virtual reality. A close-up in VR means you're actually close up to someone. It brings that character inside of your personal space, a space that we'd usually reserve for the people that we love. And you feel an emotional closeness to the character because of what you feel to be a physical closeness.
Contre la croyance populaire, il y a de la composition dans la réalité virtuelle, mais elle est différente de celle d'un film, avec son cadre rectangulaire. La composition est désormais au niveau de votre conscience et s'adapte aux mouvements du monde environnant. Dans ce film, « Waves of Grace », une collaboration entre Vrse, les Nations Unies, Gabo Arora et Imraan Ismail, le gros plan a un rôle fluctuant dans la réalité virtuelle : il signifie que vous êtes proche de quelqu'un. Cette personne occupe votre espace personnel, qui est habituellement réservé aux personnes que nous aimons. Vous vous sentez proche de ce personnage car vous ressentez une proximité physique.
Directing VR is not like directing for the rectangle. It's more of a choreography of the viewer's attention. One tool we can use to guide your attention is called "spatialized sound." I can put a sound anywhere in front of you, to left or right, even behind you, and when you turn your head, the sound will rotate accordingly. So I can use that to direct your attention to where I want you to see. Next time you hear someone singing over your shoulder, it might be Bono.
Réaliser des projets de réalité virtuelle diffère de la réalisation du rectangle. Il s'agit plus de chorégraphier l'attention du spectateur. Un outil que nous pouvons utiliser pour guider votre attention est le « son spatialisé ». Je peux diffuser un son partout, à votre droite ou votre gauche et même derrière vous, et quand vous tournez la tête, le son tourne en conséquence. Je peux utiliser cette technique pour orienter votre regard. La prochaine fois que quelqu'un chante derrière votre épaule, ce sera peut-être Bono.
(Laughter)
(Rires)
VR makes us feel like we are part of something. For most of human history, we lived in small family units. We started in caves, then moved to clans and tribes, then villages and towns, and now we're all global citizens. But I believe that we are still hardwired to care the most about the things that are local to us. And VR makes anywhere and anyone feel local. That's why it works as an empathy machine. Our film "Clouds Over Sidra" takes you to a Syrian refugee camp, and instead of watching a story about people over there, it's now a story about us here.
La réalité virtuelle nous donne l'impression d'appartenir à quelque chose. Au fil de l'histoire humaine, nous avons vécu au sein de petites unités familiales, d'abord dans des grottes, puis dans des clans et tribus, puis des villages et des villes, et nous sommes désormais des citoyens du monde. Mais je crois que nous sommes toujours programmés pour nous soucier avant tout des choses qui nous sont proches. Or, la réalité virtuelle vous donne l'impression que tout est proche. C'est pour cela que c'est une machine à empathie. Notre film « Clouds Over Sidra » vous mène dans un camp de réfugiés syriens et au lieu de regarder une histoire sur les personnes qui y vivent, il s'agit d'une histoire sur notre présence ici.
But where do we go from here? The tricky thing is that with all previous mediums, the format is fixed at its birth. Film has been a sequence of rectangles, from Muybridge and his horses to now. The format has never changed. But VR as a format, as a medium, isn't complete yet. It's not using physical celluloid or paper or TV signals. It actually employs what we use to make sense of the world. We're using your senses as the paints on the canvas, but only two right now. Eventually, we can see if we will have all of our human senses employed, and we will have agency to live the story in any path we choose. And we call it virtual reality right now, but what happens when we move past simulated realities? What do we call it then? What if instead of verbally telling you about a dream, I could let you live inside that dream? What if instead of just experiencing visiting some reality on Earth, you could surf gravitational waves on the edge of a black hole, or create galaxies from scratch, or communicate with each other not using words but using our raw thoughts? That's not a virtual reality anymore. And honestly I don't know what that's called. But I hope you see where we're going.
Mais où cela nous mène-t-il ? L'astuce, c'est qu'avec tous les médias précédents, le format est fixé dès le début. Le film est une séquence de rectangles, de Muybridge et ses chevaux à aujourd'hui. Le format n'a jamais changé. Mais la réalité virtuelle comme format, comme média, n'est pas encore aboutie. Elle n'utilise pas de celluloïd, de papier ou de signal télé. Elle se sert de ce que nous utilisons pour donner un sens au monde. Nous utilisons vos sens comme la peinture sur la toile, mais seulement deux sens pour l'instant. Un jour, quand tous nos sens seront utilisés, nous pourrons vivre l'histoire à partir de l'angle de notre choix. Nous appelons cela réalité virtuelle pour l'instant, mais que se passe-t-il quand on dépasse les réalités simulées ? Comment appelle-t-on cela ? Si au lieu de vous raconter un rêve de vive voix, je pouvais vous laisser vivre à l'intérieur de ce rêve ? Si au lieu de simplement expérimenter certaines réalités de la Terre, vous pouviez surfer sur des vagues gravitationnelles au bord d'un trou noir, créer des galaxies à partir de rien, ou communiquer sans utiliser de mots mais à l'aide de nos pensées brutes ? Ce n'est plus de la réalité virtuelle. Honnêtement, je ne sais pas ce que c'est. Mais j'espère que vous comprenez où je veux en venir.
But here I am, intellectualizing a medium I'm saying is experiential. So let's experience it. In your hands, you hopefully hold a piece of cardboard. Let's open the flap. Tap on the power button to unlock the phone. For the people watching at home, we're going to put up a card right now to show you how to download this experience on your phone yourself, and even get a Google cardboard of your own to try it with. We played in cardboard boxes as kids, and as adults, I'm hoping we can all find a little bit of that lightning by sticking our head in one again. You're about to participate in the largest collective VR viewing in history. And in that classic old-timey style of yesteryear, we're all going to watch something at the exact same time, together. Let's hope it works. What's the countdown look like? I can't see.
Mais me voilà, à philosopher sur un média que je nomme expérimental. Alors, expérimentons. Dans vos mains, vous devriez avoir un outil en carton. Ouvrons le rabat. Appuyez sur le bouton d'alimentation pour déverrouiller le téléphone. Pour ceux qui regardent chez eux, nous allons présenter comment télécharger cette expérience sur votre téléphone et même obtenir un Google Cardboard pour essayer vous-même. Quand nous étions enfants, nous jouions avec des cartons. En tant qu'adultes, nous pouvons tous retrouver cet émerveillement en collant notre tête à nouveau dans un carton. Vous allez participer au plus grand visionnage collectif de réalité virtuelle de l'histoire. Comme au bon vieux temps, nous allons tous regarder quelque chose ensemble, exactement au même moment. Espérons que ça marche. Où en est le compte à rebours ? Je ne le vois pas.
Audience: ...15, 14, 13, 12, 11, 10, 9, 8, 7, 6, 5, 4, 3, 2, 1
Audience : ... 15, 14, 13, 12, 11, 10, 9, 8, 7, 6, 5, 4, 3, 2, 1
(Birds singing)
(Chants d'oiseaux)
(Train engine)
(Moteur de train)
Audience: (Shreiks)
Public : (Cris)
(Video) JR: Let me tell you how I shot the cover of the New York Times Magazine, "Walking New York." I just got strapped on outside the helicopter, and I had to be perfectly vertical so I could grab it. And when I was perfectly above -- you know, with the wind, we had to redo it a few times -- then I kept shooting.
(Vidéo) Laissez-moi vous dire comment j'ai conçu la couverture du New York Times Magazine, « Walking New York ». Je viens d'attacher mon équipement hors de l'hélicoptère et je dois être parfaitement vertical pour pouvoir l'attraper. Quand j'étais pile au-dessus… vous savez, avec le vent, nous avons dû refaire la scène… Puis j'ai continué à filmer.
(Video) Woman's voice: Dear Lord, protect us from evil, for you are the Lord, the light. You who gave us life took it away. Let your will be done. Please bring peace to the many who have lost loved ones. Help us to live again.
(Vidéo) Voix de femme : Cher Seigneur, protège-nous du mal, car vous êtes le Seigneur, la lumière. Vous nous avez donné la vie, puis l'avez reprise. Que votre volonté soit faite. Apportez la paix à tous ceux qui ont perdu des êtres chers. Aidez-nous à revivre.
(Music)
(Musique)
(Voix d'enfants)(Vidéo)
(Video) (Children's voices)
Child's voice: There are more kids in Zaatari than adults right now. Sometimes I think we are the ones in charge.
Voix d'enfant : Il y a plus d'enfants que d'adultes à Zaatari en ce moment. Parfois je pense que nous sommes responsables.
Chris Milk: How was it?
Chris Milk : C'était comment ?
(Applause)
(Applaudissements)
That was a cheap way of getting you to do a standing ovation. I just made you all stand. I knew you'd applaud at the end.
C'était une manière facile d'obtenir une standing ovation. Je viens de provoquer cela. Je savais que vous applaudiriez à la fin.
(Applause)
(Applaudissements)
I believe that everyone on Earth needs to experience what you just experienced. That way we can collectively start to shape this, not as a tech platform but as a humanity platform. And to that end, in November of last year, the New York Times and Vrse made a VR project called "The Displaced." It launched with one million Google Cardboards sent out to every Sunday subscriber with their newspaper. But a funny thing happened that Sunday morning. A lot of people got them that were not the intended recipients on the mailing label. And we started seeing this all over Instagram. Look familiar?
Je crois que tout le monde a besoin d'expérimenter ce que vous venez d'expérimenter. Ainsi nous pouvons commencer à mettre cela en forme collectivement, pas en plateforme technologique, mais en plateforme d'humanité. Dans cette optique, en novembre l'année dernière, New York Times et Vrse ont créé un projet de réalité virtuelle, « The Displaced », sorti avec un million de Google Cardboards envoyés avec le journal à chaque abonné du dimanche. Mais une drôle de chose est arrivée ce dimanche matin. Beaucoup de gens les ont reçus alors qu'ils n'étaient pas les véritables destinataires. On a commencé à voir des photos sur Instagram. Cela vous rappelle quelque chose ?
Music led me on a path of searching for what seemed like the unattainable for a very long time. Now, millions of kids just had the same formative experience in their childhood that I had in mine. Only I think this one surpasses it. Let's see where this leads them.
La musique m'a mené sur une voie à la recherche de l'inatteignable pendant très longtemps. De nombreux enfants sont passés par la même expérience formatrice durant leur enfance que celle que j'ai vécue. Mais je pense que cette expérience va au-delà. Nous verrons où cela les mènera.
Thank you.
Merci.
(Applause)
(Applaudissements)