We grew up interacting with the physical objects around us. There are an enormous number of them that we use every day. Unlike most of our computing devices, these objects are much more fun to use. When you talk about objects, one other thing automatically comes attached to that thing, and that is gestures: how we manipulate these objects, how we use these objects in everyday life. We use gestures not only to interact with these objects, but we also use them to interact with each other. A gesture of "Namaste!", maybe, to respect someone, or maybe, in India I don't need to teach a kid that this means "four runs" in cricket. It comes as a part of our everyday learning.
Nous avons tous grandi en interagissant avec les objets physiques autour de nous. Il y a énormément d'objets que nous utilisons tous les jours. Contrairement à nos appareils informatiques, ces objets sont beaucoup plus amusants à utiliser. Quand on parle d'objets, quelque chose d'autre vient immédiatement à l'esprit, ce sont les gestes : comment nous manipulons ces objets, comment nous les utilisons dans notre quotidien. Nous employons des gestes non seulement pour interagir avec ces objets, mais aussi pour interagir entre nous. Un geste de "Namaste!", par exemple, pour montrer son respect, ou encore... En Inde, je n'ai pas besoin d'apprendre un enfant que ceci signifie un "four" au cricket. Ça fait partie du langage de tous les jours.
So, I am very interested, from the beginning, how our knowledge about everyday objects and gestures, and how we use these objects, can be leveraged to our interactions with the digital world. Rather than using a keyboard and mouse, why can I not use my computer in the same way that I interact in the physical world?
Donc, ça m'intéresse beaucoup, depuis le début, comment... Comment notre connaissance des objets et gestes de tous les jours et de l'usage de ces objets, peut être intégrée dans nos interactions avec le monde numérique. Plutôt que d'utiliser un clavier et une souris, pourquoi ne pas employer son ordinateur
So, I started this exploration around eight years back, and it literally started with a mouse on my desk. Rather than using it for my computer, I actually opened it. Most of you might be aware that, in those days, the mouse used to come with a ball inside, and there were two rollers that actually guide the computer where the ball is moving, and, accordingly, where the mouse is moving. So, I was interested in these two rollers, and I actually wanted more, so I borrowed another mouse from a friend -- never returned to him -- and I now had four rollers. Interestingly, what I did with these rollers is, basically, I took them off of these mouses and then put them in one line. It had some strings and pulleys and some springs. What I got is basically a gesture-interface device that actually acts as a motion-sensing device made for two dollars. So, here, whatever movement I do in my physical world is actually replicated inside the digital world just using this small device that I made, around eight years back, in 2000.
de la même façon qu'on interagit avec le monde physique ? Donc, j'ai commencé cette recherche il y a huit ans, et tout a littéralement commencé avec une souris sur mon bureau. Plutôt que de l'utiliser pour mon ordinateur, je l'ai ouverte. Vous êtes sans doute au courant que, à cette époque, la souris avait une boule à l'intérieur, et il y avait deux rouleaux qui indiquaient à l'ordinateur comment la boule roulait, et, par conséquent, où la souris se déplaçait. Donc, je m'intéressais à ces deux rouleaux, et j'en voulais plus, donc j'ai demandé à un ami qu'il me prête une souris... Je ne l'ai jamais rendue... Et finalement j'avais quatre rouleaux. Curieusement, ce que j'ai fait avec ces rouleaux, c'est, en gros, je les ai enlevés des souris et je les ai alignés. Il y avait quelques fils, des poulies et des ressorts. Je me suis retrouvé avec une interface gestuelle, se comportant comme un capteur de mouvement qui m'a coûté deux dollars. Donc, ici, tous mes mouvements dans le monde physique sont reproduits dans le monde numérique simplement en utilisant ce dispositif que j'ai construit il y a huit ans, en 2000.
Because I was interested in integrating these two worlds, I thought of sticky notes. I thought, "Why can I not connect the normal interface of a physical sticky note to the digital world?" A message written on a sticky note to my mom, on paper, can come to an SMS, or maybe a meeting reminder automatically syncs with my digital calendar -- a to-do list that automatically syncs with you. But you can also search in the digital world, or maybe you can write a query, saying, "What is Dr. Smith's address?" and this small system actually prints it out -- so it actually acts like a paper input-output system, just made out of paper.
Parce que je voulais intégrer ces deux mondes, j'ai pensé aux mémos. Je me suis demandé : "Pourquoi pas connecter l'interface usuelle d'un mémo physique à une interface numérique ?". Un message écrit sur un mémo à ma mère sur du papier pourrait devenir un SMS, ou encore un rappel pour une réunion se synchronise automatiquement avec mon agenda numérique... Une liste de choses à faire qui s'adapte systématiquement à vous. Mais vous pouvez aussi faire des recherches dans le monde numérique, par exemple vous pouvez demander "Quelle est l'adresse du Dr Smith ?" et ce petit système l'imprime... donc c'est comme un système d'entrée et sortie de données en papier, fait juste avec du papier.
In another exploration, I thought of making a pen that can draw in three dimensions. So, I implemented this pen that can help designers and architects not only think in three dimensions, but they can actually draw, so that it's more intuitive to use that way.
Lors d'une autre recherche, j'ai pensé à faire un stylo qui dessine dans les trois dimensions. Donc j'ai créé ce stylo utile aux concepteurs et architectes non seulement pour penser en 3D, mais pour dessiner aussi et on s'en sert donc beaucoup plus intuitivement.
Then I thought, "Why not make a Google Map, but in the physical world?" Rather than typing a keyword to find something, I put my objects on top of it. If I put a boarding pass, it will show me where the flight gate is. A coffee cup will show where you can find more coffee, or where you can trash the cup.
Après je me suis dit : "Pourquoi pas une Google Map, mais dans le monde physique ?" Plutôt que d'entrer un mot-clé pour trouver quelque chose, je mets des objets dessus. Si c'est un billet d'avion, ça me montre où est la porte d'embarquement. Une tasse de café me montre où trouver plus de café ou bien là où je peux jeter la tasse.
So, these were some of the earlier explorations I did because the goal was to connect these two worlds seamlessly. Among all these experiments, there was one thing in common: I was trying to bring a part of the physical world to the digital world. I was taking some part of the objects, or any of the intuitiveness of real life, and bringing them to the digital world, because the goal was to make our computing interfaces more intuitive.
Donc, c'étaient les premières recherches que j'ai faites en essayant d'amalgamer ces deux mondes. Dans toutes ces expériences, il y a avait une chose en commun : j'essayais d'apporter une partie du monde physique dans le monde numérique. Je prenais quelque chose des objets ou de l'intuitivité de la vie réelle, et je l'intégrais dans le monde numérique, parce que le but était de rendre nos interfaces informatiques plus intuitives.
But then I realized that we humans are not actually interested in computing. What we are interested in is information. We want to know about things. We want to know about dynamic things going around.
Mais là je me suis rendu compte que nous humains ne sommes pas vraiment intéressés par l'informatique. Ce qui nous intéresse, c'est l'information. On veut savoir plus sur les choses. On veut connaître la dynamique de tout ce qui nous entoure.
So I thought, around last year -- in the beginning of the last year -- I started thinking, "Why can I not take this approach in the reverse way?" Maybe, "How about I take my digital world and paint the physical world with that digital information?" Because pixels are actually, right now, confined in these rectangular devices that fit in our pockets. Why can I not remove this confine and take that to my everyday objects, everyday life so that I don't need to learn the new language for interacting with those pixels?
Donc je me suis dit, l'année dernière, au début de l'année dernière... Je me suis dit : "Pourquoi ne pas prendre cette approche dans l'autre sens ?". Plutôt : "Et si je prenais mon monde numérique et garnissais mon monde physique avec cette information numérique ?" Parce que les pixels sont, en ce moment, enfermés dans ces appareils rectangulaires qui rentrent dans nos poches. Pourquoi ne pas les libérer et les apporter à mes objets et ma vie de tous les jours de sorte à ne plus avoir à apprendre un nouveau langage pour interagir avec ces pixels?
So, in order to realize this dream, I actually thought of putting a big-size projector on my head. I think that's why this is called a head-mounted projector, isn't it? I took it very literally, and took my bike helmet, put a little cut over there so that the projector actually fits nicely. So now, what I can do -- I can augment the world around me with this digital information.
Donc, pour réaliser ce rêve, j'ai pensé à mettre un grand projecteur sur ma tête. Je crois que c'est pour cela que ça s'appelle un casque vidéoprojecteur, n'est-ce pas ? Je pensais très littéralement, et j'ai pris mon casque de vélo, j'ai même fait une petite incision pour que je projecteur s'encastre. Donc maintenant, ce que je peux faire... Je peux enrichir le monde qui m'entoure avec de l'information numérique.
But later, I realized that I actually wanted to interact with those digital pixels, also. So I put a small camera over there that acts as a digital eye. Later, we moved to a much better, consumer-oriented pendant version of that, that many of you now know as the SixthSense device.
Mais plus tard, je me suis rendu compte que je voulais aussi interagir avec ces pixels. Donc j'ai placé une petite caméra là-dessus, qui joue le rôle d'un œil numérique. Ensuite, nous avons progressé vers une meilleure version, en forme de pendentif, pour les consommateurs que plusieurs d'entre vous connaissez sous le nom de SixthSense.
But the most interesting thing about this particular technology is that you can carry your digital world with you wherever you go. You can start using any surface, any wall around you, as an interface. The camera is actually tracking all your gestures. Whatever you're doing with your hands, it's understanding that gesture. And, actually, if you see, there are some color markers that in the beginning version we are using with it. You can start painting on any wall. You stop by a wall, and start painting on that wall. But we are not only tracking one finger, here. We are giving you the freedom of using all of both of your hands, so you can actually use both of your hands to zoom into or zoom out of a map just by pinching all present. The camera is actually doing -- just, getting all the images -- is doing the edge recognition and also the color recognition and so many other small algorithms are going on inside. So, technically, it's a little bit complex, but it gives you an output which is more intuitive to use, in some sense.
Mais le plus intéressant dans cette technologie, c'est que l'on peut porter son monde numérique avec soi où que l'on aille. Vous pouvez utiliser n'importe quelle surface, n'importe quel mur autour de vous, comme une interface. La caméra suit tous vos gestes. Quoique vous fassiez avec les mains, la caméra comprend vos gestes. Et, au fait, vous voyez, il y a des marqueurs colorés que nous utilisons avec la caméra dans la version initiale. On peut peindre les murs. Vous vous arrêtez devant un mur, et commencez à le peindre. Mais on ne suit pas qu'un seul doigt ici. On vous donne la liberté d'employer vos deux mains, donc vous pouvez les utiliser pour zoomer en avant et en arrière sur un plan, juste en pinçant où il faut. La caméra est en fait... bref, elle prend toutes les images... elle reconnaît tous les gestes mais aussi les couleurs et pour cela beaucoup de petits algorithmes sont nécessaires. Donc, techniquement, c'est un peu complexe, mais le résultat est une interface beaucoup plus intuitive, en quelque sorte.
But I'm more excited that you can actually take it outside. Rather than getting your camera out of your pocket, you can just do the gesture of taking a photo, and it takes a photo for you.
Mais le plus excitant, c'est que l'on peut le porter à l'extérieur. Plutôt que de sortir un appareil photo de sa poche, on peut juste faire le geste de prendre une photo et la photo est prise.
(Applause)
(Applaudissements)
Thank you. And later I can find a wall, anywhere, and start browsing those photos or maybe, "OK, I want to modify this photo a little bit and send it as an email to a friend." So, we are looking for an era where computing will actually merge with the physical world. And, of course, if you don't have any surface, you can start using your palm for simple operations. Here, I'm dialing a phone number just using my hand. The camera is actually not only understanding your hand movements, but, interestingly, is also able to understand what objects you are holding in your hand.
Merci. Et puis devant un mur, n'importe où, je peux parcourir ces photos, et par exemple : 'OK, je veux modifier cette photo un peu et l'envoyer à un ami par e-mail." Donc, nous sommes en face d'une époque où l'informatique se fond avec le monde physique. Et, bien sûr, s'il n'y a aucune surface, vous pouvez toujours utiliser votre paume pour des fonctions plus simple. Ici, je compose un numéro de téléphone juste sur ma main. La caméra ne comprend pas seulement les gestes, mais aussi, ce qui est intéressant, elle identifie les objets que l'on tient dans les mains.
For example, in this case, the book cover is matched with so many thousands, or maybe millions of books online, and checking out which book it is. Once it has that information, it finds out more reviews about that, or maybe New York Times has a sound overview on that, so you can actually hear, on a physical book, a review as sound.
Ce que l'on fait ici... Par exemple, ici, la couverture du livre est comparée aux milliers, voire millions, de livres en ligne, pour vérifier de quel livre il s'agit. Dès que cette information est obtenue, il trouve des critiques sur le livre, ou il se peut que le New York Times ait un résumé audio de sorte que l'on peut écouter, avec un livre physique, une critique sous forme sonore.
(Video) Famous talk at Harvard University --
("...célèbre discours à l'Université de Harvard...")
This was Obama's visit last week to MIT.
C'était la visite de Obama au MIT la semaine dernière.
(Video) And particularly I want to thank two outstanding MIT --
("...et je voudrais remercier en particulier deux remarquables...")
Pranav Mistry: So, I was seeing the live [video] of his talk, outside, on just a newspaper. Your newspaper will show you live weather information rather than having it updated. You have to check your computer in order to do that, right?
Donc, j'assistais ce discours en direct, à l'air libre, juste sur un journal. Votre journal pourra vous montrer la météo en direct plutôt que de l'actualiser... car d'habitude vous devez vérifier avec votre ordinateur pour faire ça, n'est-ce pas?
(Applause)
(Applaudissements)
When I'm going back, I can just use my boarding pass to check how much my flight has been delayed, because at that particular time, I'm not feeling like opening my iPhone, and checking out a particular icon. And I think this technology will not only change the way --
Au retour, je me sers juste du billet d'avion pour savoir de combien de temps mon vol a été retardé, parce que à ce moment là, je n'ai pas envie d'ouvrir mon iPhone et de vérifier une certain icône. Et je crois que cette technologie ne va pas seulement changer la façon dont...
(Laughter)
Oui. (Rires)
Yes. It will change the way we interact with people, also, not only the physical world. The fun part is, I'm going to the Boston metro, and playing a pong game inside the train on the ground, right?
Elle va aussi changer la façon dont les personnes interagissent entre elles, non seulement avec le monde physique. Ce qui est marrant, c'est, je prends le métro de Boston et joue une partie de Pong dans la rame
(Laughter)
par terre, n'est-ce pas ? (Rires)
And I think the imagination is the only limit of what you can think of when this kind of technology merges with real life.
Et je crois que l'imagination est la seule limite de ce que l'on peut envisager lorsque cette sorte de technologie se fond avec la vie quotidienne.
But many of you argue, actually, that all of our work is not only about physical objects. We actually do lots of accounting and paper editing and all those kinds of things; what about that? And many of you are excited about the next-generation tablet computers to come out in the market.
Mais vous pouvez dire, en fait, que notre travail ne résume pas à des objets physiques. On travail beaucoup en comptabilité et en rédaction et toutes ces choses ; et à ce propos ? Beaucoup d'entre vous attendent impatiemment que la nouvelle génération de tablettes informatiques sorte sur le marché.
So, rather than waiting for that, I actually made my own, just using a piece of paper. So, what I did here is remove the camera -- All the webcam cameras have a microphone inside the camera. I removed the microphone from that, and then just pinched that -- like I just made a clip out of the microphone -- and clipped that to a piece of paper, any paper that you found around. So now the sound of the touch is getting me when exactly I'm touching the paper. But the camera is actually tracking where my fingers are moving.
Mais, plutôt que d'attendre cela, j'ai construit ma propre tablette, juste avec une feuille de papier. Donc, ce que j'ai fait, j'ai enlevé la caméra... Toutes les webcams ont un microphone à l'intérieur. J'ai enlevé le microphone de tout cela, et je l'ai juste clipsé... En fait j'ai fait un clip avec le microphone... Et je l'ai clipsé sur une feuille de papier, une feuille comme toutes les autres. Donc là le son du toucher indique quand est-ce que je touche vraiment le papier. Mais en plus la caméra suit toujours où mes doigts se meuvent.
You can of course watch movies.
Vous pouvez bien sûr voir des films.
(Video) Good afternoon. My name is Russell, and I am a Wilderness Explorer in Tribe 54."
("Bonjour. Mon nom est Russell...") ("...et je suis un Explorateur de Régions Sauvages dans la Tribu 54.")
PM: And you can of course play games.
Et on peut bien sûr jouer avec.
(Car engine)
(Moteur de voiture)
Here, the camera is actually understanding how you're holding the paper and playing a car-racing game.
Ici, la caméra détecte comment vous tenez la feuille de papier en jouant un jeu de course.
(Applause)
(Applaudissements)
Many of you already must have thought, OK, you can browse. Yeah. Of course you can browse to any websites or you can do all sorts of computing on a piece of paper wherever you need it. So, more interestingly, I'm interested in how we can take that in a more dynamic way. When I come back to my desk, I can just pinch that information back to my desktop so I can use my full-size computer.
Vous avez peut-être déjà pensé : "OK, et l'on peut naviguer." Oui. On peut bien sûr naviguer sur n'importe quel site Internet et faire toute sorte d'informatique sur une feuille de papier à tout moment. Donc, ce qui est plus intéressant, je cherche plutôt comment rendre ça plus dynamique. Dès que je suis à nouveau à mon bureau je peux transférer cette information sur le bureau de l'ordinateur pour utiliser mon ordinateur complet.
(Applause)
(Applaudissements)
And why only computers? We can just play with papers. Paper world is interesting to play with. Here, I'm taking a part of a document, and putting over here a second part from a second place, and I'm actually modifying the information that I have over there. Yeah. And I say, "OK, this looks nice, let me print it out, that thing." So I now have a print-out of that thing. So the workflow is more intuitive, the way we used to do it maybe 20 years back, rather than now switching between these two worlds.
Mais pourquoi seulement les ordinateurs ? On peut s'amuser avec juste du papier. Le monde du papier est fascinant. Ici, je prends une partie du document et je rajoute une deuxième partie provenant d'une autre source... Et je peux modifier l'information que j'avais là. Ouais. Et je me dis : "OK, c'est pas mal, imprimons donc ça." Donc j'obtiens la version imprimée, et maintenant... Le flux de travail est plus intuitif qu'il y a, je dirais il y a 20 ans, lorsqu'on devait encore basculer entre ces deux mondes.
So, as a last thought, I think that integrating information to everyday objects will not only help us to get rid of the digital divide, the gap between these two worlds, but will also help us, in some way, to stay human, to be more connected to our physical world. And it will actually help us not end up being machines sitting in front of other machines.
Donc, pour conclure, je crois qu'intégrer de l'information dans les objets de tous les jours ne va pas seulement nous aider à nous débarrasser de la fracture numérique, l'écart entre ces deux mondes, mais va aussi nous aider, en quelque sorte, à rester humains, à être plus rattachés à notre monde physique. Et cela va nous aider, en fait, à ne pas devenir des machines assises devant d'autres machines.
That's all. Thank you.
C'est tout. Merci.
(Applause)
(Applaudissements)
Thank you.
Merci.
(Applause)
(Applaudissements)
Chris Anderson: So, Pranav, first of all, you're a genius. This is incredible, really. What are you doing with this? Is there a company being planned? Or is this research forever, or what?
[Chris Anderson] Donc, Pranav, tout d'abord, vous êtes un génie. C'est incroyable, vraiment. Qu'est-ce que tu comptes faire avec ? Tu envisages créer une entreprise ? Ou ça sera toujours de la recherche, ou quoi encore?
Pranav Mistry: So, there are lots of companies, sponsor companies of Media Lab interested in taking this ahead in one or another way. Companies like mobile-phone operators want to take this in a different way than the NGOs in India, thinking, "Why can we only have 'Sixth Sense'? We should have a 'Fifth Sense' for missing-sense people who cannot speak. This technology can be used for them to speak out in a different way maybe a speaker system."
[Pranav Mistry] Donc, il y a plusieurs entreprises qui financent le Media Lab... Intéressées à faire avancer ceci d'une façon ou d'une autre. Des opérateurs de téléphones mobiles veulent mener ceci différemment des ONG en Inde, qui se disent : "Pourquoi seulement un 'Sixième Sens' ? Il nous faut un 'Cinquième Sens' pour ceux à qui il manque un sens ou ne peuvent pas parler. Cette technologie pourrait les permettre de parler d'une autre façon avec un haut parleur, par exemple.
CA: What are your own plans? Are you staying at MIT, or are you going to do something with this?
[CA] Quelles sont vos projets ? Vous restez au MIT, ou vous comptez faire quelque chose avec ça ?
PM: I'm trying to make this more available to people so that anyone can develop their own SixthSense device, because the hardware is actually not that hard to manufacture or hard to make your own. We will provide all the open source software for them, maybe starting next month.
[PM] Je veux que ce soit disponible pour tous pour que chacun puisse développer son propre appareil SixthSense car la technologie n'est pas si difficile à fabriquer, ou à faire soi-même. On mettra à disposition tout le logiciel en open source, peut-être dans un mois.
CA: Open source? Wow.
[CA] Open source ? Wow.
(Applause)
(Applaudissements)
CA: Are you going to come back to India with some of this, at some point?
[CA] Et vous comptez retourner en Inde avec ça, à un moment donné?
PM: Yeah. Yes, yes, of course.
[PM] Oui. Oui, oui, bien sûr.
CA: What are your plans? MIT? India? How are you going to split your time going forward?
[CA] Et vos projets ? MIT ? Inde ? Comment allez-vous gérer votre temps dorénavant ?
PM: There is a lot of energy here. Lots of learning. All of this work that you have seen is all about my learning in India. And now, if you see, it's more about the cost-effectiveness: this system costs you $300 compared to the $20,000 surface tables, or anything like that. Or maybe even the $2 mouse gesture system at that time was costing around $5,000? I showed that, at a conference, to President Abdul Kalam, at that time, and then he said, "OK, we should use this in Bhabha Atomic Research Centre for some use of that." So I'm excited about how I can bring the technology to the masses rather than just keeping that technology in the lab environment.
[PM] Il y a beaucoup d'énergie ici. Beaucoup d'apprentissage. Tout ce travail que vous avez vu ici repose sur mes expériences en Inde. Donc, si vous considérez la rentabilité : ce système coûte 300 dollars comparé aux surfaces tactiles de 20 000 dollars ou environ. Ou alors le système gestuel de deux dollars, fait d'une souris, à l'époque coûtait peut-être 5 000 dollars ? Donc, en fait... J'ai montré cela, lors d'une conférence, au Président Abdul Kalam, à l'époque, et il a dit "OK, on devrait utiliser cela au Centre de Recherche Atomique de Bhabha pour le mettre en usage." Donc je suis très enthousiasmé pour apporter cette technologie aux masses plutôt que de restreindre la technologie aux labos.
(Applause)
(Applaudissements)
CA: Based on the people we've seen at TED, I would say you're truly one of the two or three best inventors in the world right now. It's an honor to have you at TED. Thank you so much. That's fantastic.
[CA] Parmi tous ceux que j'ai vus au TED, je dirais que vous êtes l'un des deux ou trois meilleurs inventeurs au monde en ce moment. C'est une honneur vous avoir au TED. Merci beaucoup. C'est fantastique.
(Applause)
(Applaudissements)