We grew up interacting with the physical objects around us. There are an enormous number of them that we use every day. Unlike most of our computing devices, these objects are much more fun to use. When you talk about objects, one other thing automatically comes attached to that thing, and that is gestures: how we manipulate these objects, how we use these objects in everyday life. We use gestures not only to interact with these objects, but we also use them to interact with each other. A gesture of "Namaste!", maybe, to respect someone, or maybe, in India I don't need to teach a kid that this means "four runs" in cricket. It comes as a part of our everyday learning.
Wij groeiden op in interactie met de fysieke voorwerpen rondom ons. Er zijn er heel veel, we gebruiken ze elke dag. Anders dan de meeste van onze computers, zijn ze leuk om te gebruiken. Als je over voorwerpen praat, dan horen daar automatisch ook gebaren bij: hoe we deze voorwerpen hanteren, hoe we ze in ons dagelijks leven gebruiken. We gebruiken gebaren niet alleen om met voorwerpen te interageren, maar ook om met elkaar te interageren. Een "Namaste!"-gebaar, misschien, om iemand te respecteren. Of misschien -- in India hoef ik kinderen niet te leren dat dit "4 runs" betekent in cricket. Het is deel van ons alledaags leren.
So, I am very interested, from the beginning, how our knowledge about everyday objects and gestures, and how we use these objects, can be leveraged to our interactions with the digital world. Rather than using a keyboard and mouse, why can I not use my computer in the same way that I interact in the physical world?
Ik heb dus veel belangstelling vanaf het begin, voor hoe -- hoe onze kennis van alledaagse voorwerpen en gebaren, en hoe we deze voorwerpen gebruiken, kan bijdragen tot onze interactie met de digitale wereld. Liever dan toetsenbord en muis te gebruiken, waarom kan ik mijn computer niet gebruiken
So, I started this exploration around eight years back, and it literally started with a mouse on my desk. Rather than using it for my computer, I actually opened it. Most of you might be aware that, in those days, the mouse used to come with a ball inside, and there were two rollers that actually guide the computer where the ball is moving, and, accordingly, where the mouse is moving. So, I was interested in these two rollers, and I actually wanted more, so I borrowed another mouse from a friend -- never returned to him -- and I now had four rollers. Interestingly, what I did with these rollers is, basically, I took them off of these mouses and then put them in one line. It had some strings and pulleys and some springs. What I got is basically a gesture-interface device that actually acts as a motion-sensing device made for two dollars. So, here, whatever movement I do in my physical world is actually replicated inside the digital world just using this small device that I made, around eight years back, in 2000.
zoals ik in de fysieke manier interageer? Ik begon deze verkenningstocht acht jaar geleden, en ik startte letterlijk met een muis op mijn bureau. Ik gebruikte ze niet voor mijn computer, maar opende ze. De meesten van jullie weten dat de muis toen een balletje had vanbinnen, met twee rollers die de computer leiden volgens de beweging van de bal en dus volgens de beweging van de muis. Ik had dus interesse voor die twee rollers en wilde er meer, dus leende ik nog een muis van een vriend -- nooit teruggegeven -- en nu had ik 4 rollers. Interessant is wat ik deed met die rollers: ik haalde ze uit de muizen en legde ze naast elkaar. Het had een paar koordjes, wieltjes en veren. Ik kreeg een toestel voor gebareninterface, een bewegingsgevoelig toestel dat twee dollar had gekost. Elke beweging die ik maak in mijn fysieke wereld wordt gerepliceerd in de digitale wereld met dit kleine toestelletje dat ik 8 jaar geleden maakte, in 2000.
Because I was interested in integrating these two worlds, I thought of sticky notes. I thought, "Why can I not connect the normal interface of a physical sticky note to the digital world?" A message written on a sticky note to my mom, on paper, can come to an SMS, or maybe a meeting reminder automatically syncs with my digital calendar -- a to-do list that automatically syncs with you. But you can also search in the digital world, or maybe you can write a query, saying, "What is Dr. Smith's address?" and this small system actually prints it out -- so it actually acts like a paper input-output system, just made out of paper.
Omdat ik deze twee werelden wilde integreren, dacht ik aan post-its. Ik dacht: "Waarom kan ik de normale interface van een fysieke post-it niet verbinden met de digitale wereld?" Een bericht geschreven op een post-it voor mijn mama op papier kan een SMS bereiken, of een herinnering voor een vergadering kan synchroniseren met mijn digitale kalender -- een to-do-lijstje dat automatisch synchroniseert met jou. Je kan ook zoeken in de digitale wereld of een query schrijven, bijvoorbeeld: "Wat is het adres van Dr. Smith?" Dit kleine systeem drukt het af. Het gedraagt zich als een papieren input-outputsysteem, gemaakt van louter papier.
In another exploration, I thought of making a pen that can draw in three dimensions. So, I implemented this pen that can help designers and architects not only think in three dimensions, but they can actually draw, so that it's more intuitive to use that way.
Bij een andere verkenning bedacht ik een pen die in drie dimensies kan tekenen. Ik implementeerde deze pen die designers en architecten kan helpen om niet alleen in 3 dimensies te denken, maar ook te tekenen, zodat ze meer intuïtief te gebruiken is.
Then I thought, "Why not make a Google Map, but in the physical world?" Rather than typing a keyword to find something, I put my objects on top of it. If I put a boarding pass, it will show me where the flight gate is. A coffee cup will show where you can find more coffee, or where you can trash the cup.
Toen bedacht ik: "Waarom maak ik geen Googlekaart, maar voor de fysieke wereld?" Liever dan een sleutelwoord in te tikken om iets te vinden, zet ik mijn dingen er bovenop. Als ik er een instapkaart leg, toont het mij waar de gate is. Een koffiekop toont je waar je meer koffie vindt, of waar je de beker kan weggooien.
So, these were some of the earlier explorations I did because the goal was to connect these two worlds seamlessly. Among all these experiments, there was one thing in common: I was trying to bring a part of the physical world to the digital world. I was taking some part of the objects, or any of the intuitiveness of real life, and bringing them to the digital world, because the goal was to make our computing interfaces more intuitive.
Dit waren een paar van mijn vroege exploraties. Het doel was de twee werelden naadloos te integreren. Al deze experimenten hadden één ding gemeen: ik probeerde iets uit de fysieke wereld in de digitale wereld te brengen. Ik nam een aspect van de voorwerpen of van het intuïtieve van het echte leven en transfereerde ze naar de digitale wereld, met als doel onze computerinterface meer intuïtief te maken.
But then I realized that we humans are not actually interested in computing. What we are interested in is information. We want to know about things. We want to know about dynamic things going around.
Maar toen besefte ik dat wij mensen eigenlijk geen belangstelling hebben voor computers. Wij hebben belangstelling voor informatie. We willen dingen weten. We willen kennis over de loop van dynamische dingen.
So I thought, around last year -- in the beginning of the last year -- I started thinking, "Why can I not take this approach in the reverse way?" Maybe, "How about I take my digital world and paint the physical world with that digital information?" Because pixels are actually, right now, confined in these rectangular devices that fit in our pockets. Why can I not remove this confine and take that to my everyday objects, everyday life so that I don't need to learn the new language for interacting with those pixels?
Dus bedacht ik vorig jaar, in het begin van het jaar: "Waarom kan ik deze aanpak niet omkeren? Waarom neem ik mijn digitale wereld niet en kleur ik de fysieke wereld met die digitale informatie?" Want pixels zijn vandaag beperkt tot rechthoekige dingen die in onze broekzak passen. Waarom hef ik die beperking niet op en breng ik dit over naar mijn dingen van elke dag, zodat ik de nieuwe taal niet moet leren om te interageren met deze pixels?
So, in order to realize this dream, I actually thought of putting a big-size projector on my head. I think that's why this is called a head-mounted projector, isn't it? I took it very literally, and took my bike helmet, put a little cut over there so that the projector actually fits nicely. So now, what I can do -- I can augment the world around me with this digital information.
Om deze droom te realiseren, wilde ik een grote projector op mijn hoofd zetten. Daarom heet dit een hoofdgemonteerde projector, niet? Ik nam het letterlijk, en nam mijn fietshelm, maakte een insnijding zodat de projector er goed in past. Wat ik nu kan doen -- ik kan de wereld rondom mij verrijken met digitale informatie.
But later, I realized that I actually wanted to interact with those digital pixels, also. So I put a small camera over there that acts as a digital eye. Later, we moved to a much better, consumer-oriented pendant version of that, that many of you now know as the SixthSense device.
Later besefte ik dat ik ook wilde interageren met die digitale pixels. Dus zette ik daar een kleine camera die zich als een digitaal oog gedraagt. Later schakelden we over op een beter, meer klantgerichte versie daarvan, die velen van jullie nu kennen als het SixthSense-toestel.
But the most interesting thing about this particular technology is that you can carry your digital world with you wherever you go. You can start using any surface, any wall around you, as an interface. The camera is actually tracking all your gestures. Whatever you're doing with your hands, it's understanding that gesture. And, actually, if you see, there are some color markers that in the beginning version we are using with it. You can start painting on any wall. You stop by a wall, and start painting on that wall. But we are not only tracking one finger, here. We are giving you the freedom of using all of both of your hands, so you can actually use both of your hands to zoom into or zoom out of a map just by pinching all present. The camera is actually doing -- just, getting all the images -- is doing the edge recognition and also the color recognition and so many other small algorithms are going on inside. So, technically, it's a little bit complex, but it gives you an output which is more intuitive to use, in some sense.
Het interessantste aan deze technologie is dat je je digitale wereld mee kan nemen, waar je ook heengaat. Je kan elk oppervlak gebruiken, elke muur in de buurt, als interface. De camera volgt al je gebaren. Wat je ook doet met je handen, ze snapt je gebaar. Kijk, er zijn een paar kleurmarkeringen die we gebruiken bij de beginversie. Je kan beginnen schilderen op een muur. Je stopt bij een muur en begint te schilderen. We volgen niet één vinger, hier. We geven je de vrijheid om je twee handen helemaal te gebruiken, je kan dus beide handen gebruiken om in en uit te zoomen door te knijpen. Wat de camera doet -- die alle beelden krijgt -- is de herkenning van omtrek en kleur, en binnenin spelen zich allerlei kleine algoritmes af. Het is technisch een beetje complex, maar het geeft je een resultaat dat intuïtiever te gebruiken is.
But I'm more excited that you can actually take it outside. Rather than getting your camera out of your pocket, you can just do the gesture of taking a photo, and it takes a photo for you.
Ik vind het spannender dat je het mee naar buiten kan nemen. In plaats van je camera uit je zak te halen, maak je gewoon het gebaar van "foto maken", en het maakt een foto voor jou.
(Applause)
(Applaus)
Thank you. And later I can find a wall, anywhere, and start browsing those photos or maybe, "OK, I want to modify this photo a little bit and send it as an email to a friend." So, we are looking for an era where computing will actually merge with the physical world. And, of course, if you don't have any surface, you can start using your palm for simple operations. Here, I'm dialing a phone number just using my hand. The camera is actually not only understanding your hand movements, but, interestingly, is also able to understand what objects you are holding in your hand.
Dankjewel. En later vind ik ergens een muur en begin ik door de foto's te bladeren, of: "OK, ik wil deze foto wat aanpassen en naar een vriend mailen." We stevenen dus af op een tijd waarin computers zich vermengen met de fysieke wereld. En natuurlijk, als je geen oppervlak hebt, kan je je handpalm gebruiken voor simpele dingen. Hier tik ik een telefoonnummer in met mijn hand. De camera snapt niet alleen je handbewegingen, maar -- interessant -- snapt ook welke dingen je in je hand houdt.
For example, in this case, the book cover is matched with so many thousands, or maybe millions of books online, and checking out which book it is. Once it has that information, it finds out more reviews about that, or maybe New York Times has a sound overview on that, so you can actually hear, on a physical book, a review as sound.
Wat we hier doen, in dit geval, is de boekomslag vergelijken met zoveel duizenden, miljoenen boeken online, en uitzoeken welk boek het is. Zodra het die informatie heeft, zoekt het recensies op. Daar heeft de New York Times misschien een geluidsopname van, dus kan je, op een fysieke boek, een recensie horen als geluid.
(Video) Famous talk at Harvard University --
("bekende praatje aan de universiteit van Harvard...")
This was Obama's visit last week to MIT.
Dit was het bezoek van Obama aan MIT vorige week.
(Video) And particularly I want to thank two outstanding MIT --
("... en ik wil in het bijzonder dank zeggen aan twee uitstekende MIT...")
Pranav Mistry: So, I was seeing the live [video] of his talk, outside, on just a newspaper. Your newspaper will show you live weather information rather than having it updated. You have to check your computer in order to do that, right?
Dus ik keek naar de live-video van dit praatje, buiten, op een krant. Je krant zal je actuele weersinformatie tonen in plaats van updates te geven -- jij moet je computer checken om dat te doen, niet?
(Applause)
(Applaus)
When I'm going back, I can just use my boarding pass to check how much my flight has been delayed, because at that particular time, I'm not feeling like opening my iPhone, and checking out a particular icon. And I think this technology will not only change the way --
As ik terugkeer, kan ik mijn instapkaart gebruiken om te bekijken hoeveel vertraging mijn vlucht heeft, want op dat moment heb ik geen zin om mijn iPhone aan te zetten, en dat icoontje te controleren. Ik denk dat deze technologie niet alleen de manier verandert --
(Laughter)
Ja. (Gelach)
Yes. It will change the way we interact with people, also, not only the physical world. The fun part is, I'm going to the Boston metro, and playing a pong game inside the train on the ground, right?
Het verandert ook hoe we met mensen omgaan, niet alleen met de fysieke wereld. Het leuke is, ik ga naar de metro van Boston en speel Pong op de trein,
(Laughter)
op de grond. (Gelach)
And I think the imagination is the only limit of what you can think of when this kind of technology merges with real life.
Ik denk dat verbeelding de enige grens is van wat je kan bedenken als deze technologie zich met het echte leven mengt.
But many of you argue, actually, that all of our work is not only about physical objects. We actually do lots of accounting and paper editing and all those kinds of things; what about that? And many of you are excited about the next-generation tablet computers to come out in the market.
Velen van jullie zullen opwerpen dat ons werk niet alleen om fysieke dingen gaat. We doen boekhouding, en schrijven op papier, en dat soort dingen. Wat daarmee? Velen vinden de volgende generatie tabletcomputers spannend, die op de markt komen.
So, rather than waiting for that, I actually made my own, just using a piece of paper. So, what I did here is remove the camera -- All the webcam cameras have a microphone inside the camera. I removed the microphone from that, and then just pinched that -- like I just made a clip out of the microphone -- and clipped that to a piece of paper, any paper that you found around. So now the sound of the touch is getting me when exactly I'm touching the paper. But the camera is actually tracking where my fingers are moving.
In plaats van daarop te wachten, maakte ik er een voor mezelf, met een blad papier. Ik haalde de camera eruit -- alle webcams hebben een microfoon in de camera. Ik haalde de microfoon eruit en prikte die -- ik maakte een clip van de microfoon en maakte die vast aan een stuk papier dat ik vond. Het geluid van de aanraking laat weten op welk ogenblik ik het papier aanraak. De camera volgt intussen waar mijn vingers heengaan;
You can of course watch movies.
Je kan natuurlijk films kijken.
(Video) Good afternoon. My name is Russell, and I am a Wilderness Explorer in Tribe 54."
("Goedemiddag. Mijn naam is Russell...") ("... en ik ben een Verkenner bij Stam 54.")
PM: And you can of course play games.
En je kan natuurlijk spelletjes spelen.
(Car engine)
(Autoracegeluid)
Here, the camera is actually understanding how you're holding the paper and playing a car-racing game.
De camera snapt hoe je het papier houdt en een autorace speelt.
(Applause)
(Applaus)
Many of you already must have thought, OK, you can browse. Yeah. Of course you can browse to any websites or you can do all sorts of computing on a piece of paper wherever you need it. So, more interestingly, I'm interested in how we can take that in a more dynamic way. When I come back to my desk, I can just pinch that information back to my desktop so I can use my full-size computer.
Velen van jullie denken wellicht: "OK, je kan browsen. Natuurlijk kan je browsen naar een website of allerlei berekeningen doen op een blad papier als je het nodig hebt. Interessanter is: hoe doen we dat op een meer dynamische manier? Als ik terugkom bij mijn bureau, pak ik die informatie op en laat het los op mijn bureaublad, zodat ik mijn volledige computer kan gebruiken.
(Applause)
(Applaus)
And why only computers? We can just play with papers. Paper world is interesting to play with. Here, I'm taking a part of a document, and putting over here a second part from a second place, and I'm actually modifying the information that I have over there. Yeah. And I say, "OK, this looks nice, let me print it out, that thing." So I now have a print-out of that thing. So the workflow is more intuitive, the way we used to do it maybe 20 years back, rather than now switching between these two worlds.
Waarom alleen computers? We kunnen met louter papier spelen. De papieren wereld is leuk om mee te spelen. Hier neem ik een deel van een document en voeg er een tweede deel aan toe van een andere plek -- en wijzig ik de informatie die ik hier heb. En ik zeg: "OK, ziet er goed uit, laat me dat ding afdrukken." Nu heb ik dus een afdruk. De workflow was intuïtiever zoals we het 20 jaar geleden deden, dan vandaag, nu we schakelen tussen deze twee werelden.
So, as a last thought, I think that integrating information to everyday objects will not only help us to get rid of the digital divide, the gap between these two worlds, but will also help us, in some way, to stay human, to be more connected to our physical world. And it will actually help us not end up being machines sitting in front of other machines.
Nog een laatste gedachte: ik denk dat informatie integreren in dingen van elke dag ons niet alleen zal helpen om de digitale kloof te overbruggen, het gat tussen deze twee werelden, maar het zal ons ook helpen om menselijk te blijven, om meer verbonden te zijn met de fysieke wereld. Het zal ons helpen om geen machines te zijn die voor andere machines zitten.
That's all. Thank you.
Dat is alles. Dankjewel.
(Applause)
(Applaus)
Thank you.
Dankjewel.
(Applause)
(Applaus)
Chris Anderson: So, Pranav, first of all, you're a genius. This is incredible, really. What are you doing with this? Is there a company being planned? Or is this research forever, or what?
Chris Anderson: Pranav, eerst en vooral, je bent een genie. Dit is echt ongelooflijk. Wat doe je ermee? Staat er een bedrijf op stapel?
Pranav Mistry: So, there are lots of companies, sponsor companies of Media Lab interested in taking this ahead in one or another way. Companies like mobile-phone operators want to take this in a different way than the NGOs in India, thinking, "Why can we only have 'Sixth Sense'? We should have a 'Fifth Sense' for missing-sense people who cannot speak. This technology can be used for them to speak out in a different way maybe a speaker system."
Of is dit voor altijd onderzoek, of zo? Pranav Mistry: Veel bedrijven die Media Lab sponsoren hebben belangstelling om hier iets mee te doen. Bedrijven zoals mobiele telefoonbedrijven willen dit anders doen dan de ngo's in India, die denken: "Waarom kunnen we alleen 'SixthSense' krijgen? We hebben een vijfde zintuig nodig voor mensen die er één missen, die niet kunnen praten. Deze technologie kan worden gebruikt zodat ze anders kunnen spreken, met een spraaksysteem;"
CA: What are your own plans? Are you staying at MIT, or are you going to do something with this?
CA: Wat zijn je eigen plannen? Blijf je op MIT, of ga je hier iets mee doen?
PM: I'm trying to make this more available to people so that anyone can develop their own SixthSense device, because the hardware is actually not that hard to manufacture or hard to make your own. We will provide all the open source software for them, maybe starting next month.
PM: Ik probeer dit voor meer mensen open te stellen, zodat iedereen zijn eigen SixthSense-toestel kan maken, want de hardware is niet zo moeilijk te produceren, of zelf te maken. We maken er open-sourcesoftware van, misschien vanaf volgende maand.
CA: Open source? Wow.
CA: Open source? Wow.
(Applause)
(Applaus)
CA: Are you going to come back to India with some of this, at some point?
CA: Breng je dit op één of andere manier terug naar India?
PM: Yeah. Yes, yes, of course.
PM: Ja, natuurlijk.
CA: What are your plans? MIT? India? How are you going to split your time going forward?
CA: Wat zijn je plannen? MIT? India? Hoe zal je je tijd verdelen in de toekomst?
PM: There is a lot of energy here. Lots of learning. All of this work that you have seen is all about my learning in India. And now, if you see, it's more about the cost-effectiveness: this system costs you $300 compared to the $20,000 surface tables, or anything like that. Or maybe even the $2 mouse gesture system at that time was costing around $5,000? I showed that, at a conference, to President Abdul Kalam, at that time, and then he said, "OK, we should use this in Bhabha Atomic Research Centre for some use of that." So I'm excited about how I can bring the technology to the masses rather than just keeping that technology in the lab environment.
PM: Hier is veel energie. Veel leren. Alles wat je hier ziet gaat over mijn leren in India. Kijk, gaat het meer om kosteneffectiviteit: dit systeem kost je 300 dollar, vergeleken met de touchtafels van 20.000 dollar. Zelfs het muisgebarensysteem van twee dollar kostte toen 5.000 dollar. Dus ik liet dit eens zien aan President Abdul Kalam, toentertijd, en hij zei: "We kunnen dit gebruiken in het Bhabha Nucleair Onderzoekscentrum, Ik vind het dus spannend dat ik technologie naar de massa kan brengen in plaats van ze in het laboratorium te houden.
(Applause)
(Applaus)
CA: Based on the people we've seen at TED, I would say you're truly one of the two or three best inventors in the world right now. It's an honor to have you at TED. Thank you so much. That's fantastic.
CA: Op basis van de mensen die we bij TED hebben gezien, zou ik zeggen dat je behoort tot de twee of drie beste uitvinders in de wereld van dit moment. Het is een eer om je op TED te hebben. Heel hartelijk dank. Fantastisch.
(Applause)
(Applaus)