Vi voksede op og interagerede med de fysiske objekter omkring os. Der er et enormt antal af dem som vi bruger hver dag. I modsætning til mange af vores databehandlings apparater, er disse objekter meget sjovere at bruge. Når man taler om objekter, er der en ting der automatisk bliver vedhæftet til den ting, og det er gestus: hvordan vi manipulerer disse objekter, hvordan vi bruger disse objekter i hverdagen. Vi bruger ikke kun gestusene til at interagere med disse objekter, men vi bruger dem også til at interagere med hinanden. Gestussen "Namaste!", måske, til at respektere nogen, eller måske -- i Indien behøver jeg ikke at fortælle et barn at dette betyder "four runs" i cricket. Det bliver en del af vores hverdagslæring.
We grew up interacting with the physical objects around us. There are an enormous number of them that we use every day. Unlike most of our computing devices, these objects are much more fun to use. When you talk about objects, one other thing automatically comes attached to that thing, and that is gestures: how we manipulate these objects, how we use these objects in everyday life. We use gestures not only to interact with these objects, but we also use them to interact with each other. A gesture of "Namaste!", maybe, to respect someone, or maybe, in India I don't need to teach a kid that this means "four runs" in cricket. It comes as a part of our everyday learning.
Så, jeg er meget interesseret, fra begyndelsen, om hvordan -- hvordan vores viden om hverdags objekter og gestus, og hvordan vi bruger disse objekter, kan blive udnyttet til vores interaktioner med den digitale verden. I stedet for at bruge et keyboard og mus, hvorfor kan jeg ikke bruge min computer på samme måde som jeg interagerer med den fysiske verden?
So, I am very interested, from the beginning, how our knowledge about everyday objects and gestures, and how we use these objects, can be leveraged to our interactions with the digital world. Rather than using a keyboard and mouse, why can I not use my computer in the same way that I interact in the physical world? So, I started this exploration around eight years back,
Så, jeg startede denne udforskning for otte år siden, og det begyndte bogstavlig talt med en mus på mit skrivebord. I stedet for at bruge den til min computer, åbnede jeg den faktisk. De fleste af jer er måske klar over, at dengang, havde musen en kugle indeni, og der var to ruller der faktisk fortalte computeren hvor kuglen bevægede sig hen, og, derfor, hvor musen bevægede sig hen. Så, jeg var interesseret i de to ruller, og jeg ville faktisk have mere, så jeg lånte endnu en mus af en ven -- gav den aldrig tilbage -- og nu havde jeg fire ruller. Interessant nok, det jeg gjorde med disse ruller var, dybest set, at jeg tog dem af disse mus og satte dem så på en række. Der var noget snor og nogle taljer og nogle fjedre. Det jeg dybest set fik, var et gestus grænseflade apparat der faktisk virker som en bevægelses føler lavet for to dollars. Så, her, uanset hvilken bevægelse jeg laver i min fysiske verden bliver det faktisk reproduceret i den digitale verden, bare ved at bruge dette lille apparat jeg lavede, for cirka otte år siden, i 2000.
and it literally started with a mouse on my desk. Rather than using it for my computer, I actually opened it. Most of you might be aware that, in those days, the mouse used to come with a ball inside, and there were two rollers that actually guide the computer where the ball is moving, and, accordingly, where the mouse is moving. So, I was interested in these two rollers, and I actually wanted more, so I borrowed another mouse from a friend -- never returned to him -- and I now had four rollers. Interestingly, what I did with these rollers is, basically, I took them off of these mouses and then put them in one line. It had some strings and pulleys and some springs. What I got is basically a gesture-interface device that actually acts as a motion-sensing device made for two dollars. So, here, whatever movement I do in my physical world is actually replicated inside the digital world just using this small device that I made, around eight years back, in 2000.
Fordi jeg var interesseret i at integrere disse to verdener, tænkte jeg på sticky notes. Jeg tænkte, "Hvorfor kan jeg ikke forbinde den normale grænseflade ved en sticky note til den digitale verden?" En besked skrevet på en sticky note til min mor på papir kan blive en SMS, eller måske en påmindelse om et møde der automatisk synkroniserer med min digitale kalender -- en to-do liste der automatisk synkroniserer med en. Men man kan også søge i den digitale verden, eller måske skriver man en forespørgsel, der siger, "Hvad er Dr. Smiths adresse?" Og dette lille system printer det faktisk ud -- så det fungerer faktisk som et papir input-output system, bare lavet af papir.
Because I was interested in integrating these two worlds, I thought of sticky notes. I thought, "Why can I not connect the normal interface of a physical sticky note to the digital world?" A message written on a sticky note to my mom, on paper, can come to an SMS, or maybe a meeting reminder automatically syncs with my digital calendar -- a to-do list that automatically syncs with you. But you can also search in the digital world, or maybe you can write a query, saying, "What is Dr. Smith's address?" and this small system actually prints it out -- so it actually acts like a paper input-output system, just made out of paper.
I en anden opdagelse, tænkte jeg på at lave en pen der kan tegne i disse tre dimensioner. Så, jeg implementerede denne pen som kan hjælpe designere og arkitekter med ikke kun at tænke i tre dimensioner, men de kan faktisk tegne så det er mere intuitivt at bruge på den måde.
In another exploration, I thought of making a pen that can draw in three dimensions. So, I implemented this pen that can help designers and architects not only think in three dimensions, but they can actually draw, so that it's more intuitive to use that way.
Så tænkte jeg, "Hvorfor ikke lave en Google Map, men i den fysiske verden?" I stedet for at taste et nøgleord for at finde noget, satte jeg mine objekter oven på det. Hvis jeg lægger et boarding pass, vil det vise mig hvor gaten er. En kop kaffe vil vise hvor man kan finde mere kaffe, eller hvor man kan smide koppen ud.
Then I thought, "Why not make a Google Map, but in the physical world?" Rather than typing a keyword to find something, I put my objects on top of it. If I put a boarding pass, it will show me where the flight gate is. A coffee cup will show where you can find more coffee, or where you can trash the cup.
Så, dette var nogle af de tidlige undersøgelser jeg lavede, målet var at forbinde disse to verdener fejlfrit. Blandt alle disse eksperimenter, var der en ting til fælles: jeg prøvede at tage en del af den fysiske verden ind i den digitale verden. Jeg tog en del af objekterne, eller en hvilken som helst af de intuitive ting i det virkelige liv, og bragte dem ind i den digitale verden, fordi målet var at lave vores databehandlings brugergrænsefalde mere intuitive.
So, these were some of the earlier explorations I did because the goal was to connect these two worlds seamlessly. Among all these experiments, there was one thing in common: I was trying to bring a part of the physical world to the digital world. I was taking some part of the objects, or any of the intuitiveness of real life, and bringing them to the digital world, because the goal was to make our computing interfaces more intuitive.
Men så indså jeg at vi mennesker i virkeligheden ikke er interesserede i databehandling. Det vi er interesserede i er information. Vi vil vide noget om ting. Vi vil vide noget om dynamiske ting der sker.
But then I realized that we humans are not actually interested in computing. What we are interested in is information. We want to know about things. We want to know about dynamic things going around.
Så jeg tænkte, cirka sidste år -- i begyndelsen af året -- begyndte jeg at tænke, "Hvorfor kan jeg ikke tage denne tilgang i omvendt rækkefølge?" Måske, "Hvad med at jeg tager min digitale verden og maler den fysiske verden med den digitale information?" Fordi pixler er faktisk, lige nu, begrænset til disse firkantede apparater der passer i vores lomme. Hvorfor kan jeg ikke fjerne denne begrænsning og tage mine hverdagsobjekter, hverdagslivet så jeg ikke har brug for at lære det nye sprog for at interagere med disse pixler?
So I thought, around last year -- in the beginning of the last year -- I started thinking, "Why can I not take this approach in the reverse way?" Maybe, "How about I take my digital world and paint the physical world with that digital information?" Because pixels are actually, right now, confined in these rectangular devices that fit in our pockets. Why can I not remove this confine and take that to my everyday objects, everyday life so that I don't need to learn the new language for interacting with those pixels?
Så, for at kunne realisere denne drøm, tænkte jeg faktisk på at tage en stor størrelse projektor på hovedet. Jeg tror det er derfor dette er kaldet en hovedmonteret projektor, er den ikke? Jeg tog det meget bogstaveligt, og jeg tog min cykelhjelm, skar lidt i den derovre så projektoren faktisk passer perfekt. Så nu, det jeg kan gøre -- jeg kan supplere verden omkring mig med denne digitale information.
So, in order to realize this dream, I actually thought of putting a big-size projector on my head. I think that's why this is called a head-mounted projector, isn't it? I took it very literally, and took my bike helmet, put a little cut over there so that the projector actually fits nicely. So now, what I can do -- I can augment the world around me with this digital information.
Men senere, realiserede jeg at jeg faktisk ville interagere med disse digitale pixels, også. Så jeg satte et lille kamera herovre, der fungerer som et digitalt øje. Senere, flyttede vi til en meget bedre, forbruger orienteret hængende version af det, som mange af jer kender som et SixthSense apparat.
But later, I realized that I actually wanted to interact with those digital pixels, also. So I put a small camera over there that acts as a digital eye. Later, we moved to a much better, consumer-oriented pendant version of that, that many of you now know as the SixthSense device.
Men den mest interessante ting om denne bestemte teknologi er at man kan bære sin digitale verden med sig hvor end man går hen. Man kan starte med at bruge en hvilken som helst overfalde, over alt rundt om en, som en brugerflade. Kameraet følger faktisk alle ens gestus. Hvad man end gør med sine hænder, forstår det den gestus. Og, faktisk, hvis man kigger er der nogle farve markører som vi bruger det sammen med i den begyndende version. Man kan begynde at male en hvilken som helst væg. Man kan også stoppe ved en væg, og begynde at male på den væg. Men vi følger ikke kun en finger her. Vi giver jer frihed til at bruge begge ens hænder, så man kan faktisk bruge begge sine hænder til at zoome ind elker zoome ud af et kort, bare ved at knibe med alle fingre. Kameraet laver faktisk -- bare, får alle billeder -- laver kant genkendelsen og også farve genkendelsen og der sker så mange andre små algoritmer derinde. Så, teknisk, er det lidt kompleks, men det giver en et input som er mere intuitivt at bruge, på en måde.
But the most interesting thing about this particular technology is that you can carry your digital world with you wherever you go. You can start using any surface, any wall around you, as an interface. The camera is actually tracking all your gestures. Whatever you're doing with your hands, it's understanding that gesture. And, actually, if you see, there are some color markers that in the beginning version we are using with it. You can start painting on any wall. You stop by a wall, and start painting on that wall. But we are not only tracking one finger, here. We are giving you the freedom of using all of both of your hands, so you can actually use both of your hands to zoom into or zoom out of a map just by pinching all present. The camera is actually doing -- just, getting all the images -- is doing the edge recognition and also the color recognition and so many other small algorithms are going on inside. So, technically, it's a little bit complex, but it gives you an output which is more intuitive to use, in some sense.
Men jeg er mere begejstret over at man faktisk kan tage det med udenfor. I stedet for at tage ens kamera ud af lommen, kan man bare lave gestussen af at tage et billede og den tager billedet for en.
But I'm more excited that you can actually take it outside. Rather than getting your camera out of your pocket, you can just do the gesture of taking a photo, and it takes a photo for you.
(Bifald)
(Applause)
Tak.
Thank you.
Og senere kan jeg finde en væg, hvor som helst, og begynde at skimme de billeder eller måske, "OK; jeg vil modificere det billede en lille smule og sende det som en email til en ven." Så, vi ser på en æra hvor databehandling faktisk vil sammensmelte med den fysiske verden. Og, selvfølgelig, hvis man ikke har nogen overflade, kan man begynde at bruge sin håndflade til simple ting. Her taster jeg et telefonnummer bare ved at bruge min hånd. Kameraet forstår faktisk ikke kun hånden bevægelser, men, interessant nok, er det også i stand til at forstå hvilke objekter man holder i hånden.
And later I can find a wall, anywhere, and start browsing those photos or maybe, "OK, I want to modify this photo a little bit and send it as an email to a friend." So, we are looking for an era where computing will actually merge with the physical world. And, of course, if you don't have any surface, you can start using your palm for simple operations. Here, I'm dialing a phone number just using my hand. The camera is actually not only understanding your hand movements, but, interestingly, is also able to understand what objects you are holding in your hand.
Det man gør her, er faktisk -- for eksempel, i dette tilfælde, bogomslaget bliver modsvaret med så mange tusinde, eller måske millioner af bøger online, og kontrollerer hvilken bog det er. Når den har den information, finder den flere anmeldelser til det, eller måske har New York Times en lyd oversigt på det, så man kan faktisk høre, på en fysisk bog, en anmeldelse som lyd. ("berømte tale ved Harvard University ...")
For example, in this case, the book cover is matched with so many thousands, or maybe millions of books online, and checking out which book it is. Once it has that information, it finds out more reviews about that, or maybe New York Times has a sound overview on that, so you can actually hear, on a physical book, a review as sound. (Video) Famous talk at Harvard University --
Dette var Obamas visit sidste uge ved MIT. ("... og jeg vil i særdeleshed gerne takke to enestående MIT ...") Så, jeg så den live [video] af dette foredrag, udenfor, bare på en avis. Ens avis vil vise en live vejr information i stedet for at opdatere den -- ligesom, man skal kontrollere sin computer for at gøre det, ikke?
This was Obama's visit last week to MIT. (Video) And particularly I want to thank two outstanding MIT -- Pranav Mistry: So, I was seeing the live [video] of his talk, outside, on just a newspaper. Your newspaper will show you live weather information rather than having it updated. You have to check your computer in order to do that, right?
(Bifald)
(Applause)
Når jeg rejser tilbage, kan jeg bare bruge mit boarding pass til at kontrollere hvor meget mit fly er forsinket, fordi på det bestemte tidspunkt, har jeg ikke lyst til at åbne min iPhone, og kontrollere det bestemte ikon. Og jeg tror denne teknologi ikke kun vil ændre måden -- ja. (Latter) Det vil ændre måden hvorpå vi interagerer med mennesker, også, ikke kun den fysiske verden. Det sjove er, jeg tager til metroen i Boston, og jeg spiller et pong spil i toget på jorden, ikke? (Latter) Og jeg tror fantasien er den eneste grænse for hvad man kan tænke på, når denne slags teknologi sammensmelter med det virkelige liv.
When I'm going back, I can just use my boarding pass to check how much my flight has been delayed, because at that particular time, I'm not feeling like opening my iPhone, and checking out a particular icon. And I think this technology will not only change the way -- (Laughter) Yes. It will change the way we interact with people, also, not only the physical world. The fun part is, I'm going to the Boston metro, and playing a pong game inside the train on the ground, right? (Laughter) And I think the imagination is the only limit of what you can think of when this kind of technology merges with real life.
Men mange af jer argumenterer for, faktisk, at alt vores arbejde ikke kun handler om fysiske objekter. Vi laver faktisk meget bogholderi og redigerer på papir og alle de ting; hvad med det? Og mange af jer er begejstrede for den næste generation af tablet computere der kommer på markedet. Så, i stedet for at vente på det, lavede jeg faktisk min egen, bare ved at bruge et stykke papir. Så, det jeg gjorde var at fjerne kameraet -- Alle webcam kameraer har en mikrofon i kameraet. Jeg fjernede mikrofonen fra den, og klemte den -- ligesom jeg lavede en klips ud af mikrofonen -- og jeg klipsede den til et stykke papir, ethvert stykke papir man finder. Så nu kommer lyder af berørelsen til mig præcis når jeg rører ved papiret. Men kameraet følger faktisk hvor mine fingre bevæger sig hen.
But many of you argue, actually, that all of our work is not only about physical objects. We actually do lots of accounting and paper editing and all those kinds of things; what about that? And many of you are excited about the next-generation tablet computers to come out in the market. So, rather than waiting for that, I actually made my own, just using a piece of paper. So, what I did here is remove the camera -- All the webcam cameras have a microphone inside the camera. I removed the microphone from that, and then just pinched that -- like I just made a clip out of the microphone -- and clipped that to a piece of paper, any paper that you found around. So now the sound of the touch is getting me when exactly I'm touching the paper. But the camera is actually tracking where my fingers are moving.
Man kan selvfølgelig se film. ("God eftermiddag. Mit navn er Robert ... og jeg er en spejder i Stamme 54.")
You can of course watch movies. (Video) Good afternoon. My name is Russell, and I am a Wilderness Explorer in Tribe 54."
Og man kan selvfølgelig spille spil. (Bil motor) Her forstår kameraet faktisk hvordan man holder papiret og spiller et racerbils spil. (Bifald)
PM: And you can of course play games. (Car engine) Here, the camera is actually understanding how you're holding the paper and playing a car-racing game. (Applause)
Mange af jer må allerede have tænkt, OK, man kan browse. Ja. Selvfølgelig kan man browse til en hvilken som helst hjemmeside eller man kan gøre al mulig databehandling på et stykke papir hvor end man har brug for det. Så, mere interessant, jeg er interesseret i hvordan vi kan tage det på en mere dynamisk måde. Når jeg kommer tilbage til mit skrivebord kan bare knibe den information tilbage til min stationære computer så jeg kan bruge min store computer.
Many of you already must have thought, OK, you can browse. Yeah. Of course you can browse to any websites or you can do all sorts of computing on a piece of paper wherever you need it. So, more interestingly, I'm interested in how we can take that in a more dynamic way. When I come back to my desk, I can just pinch that information back to my desktop so I can use my full-size computer.
(Bifald)
(Applause)
Og hvorfor kun computere? Vi kan bare lege med papir. Papirverdenen er interessant at lege med. Her tager jeg en del af et dokument og sætter her en anden del fra et andet sted -- og jeg modificerer faktisk den information som jeg har herovre. Ja. Og jeg siger, "Ok, dette ser fint ud, lad mig printe det ud, den ting." Så nu har jeg en udskrift af den ting, og nu -- arbejdsgangen er mere intuitiv, måden hvorpå vi plejede at gøre det for måske 20 år siden, i stedet for at skifte mellem disse to verdener.
And why only computers? We can just play with papers. Paper world is interesting to play with. Here, I'm taking a part of a document, and putting over here a second part from a second place, and I'm actually modifying the information that I have over there. Yeah. And I say, "OK, this looks nice, let me print it out, that thing." So I now have a print-out of that thing. So the workflow is more intuitive, the way we used to do it maybe 20 years back, rather than now switching between these two worlds.
Så, en sidste tanke, jeg tror at at integrere information mellem hverdagsobjekter vil ikke kun hjælpe os med at komme af med det digitale skel, kløften mellem de to verdener, men vil også hjælpe os, på en måde, at forblive menneskelig, for at være mere forbundet med den fysiske verden. Og det vil faktisk hjælpe os med ikke at ende som maskiner siddende foran andre maskiner.
So, as a last thought, I think that integrating information to everyday objects will not only help us to get rid of the digital divide, the gap between these two worlds, but will also help us, in some way, to stay human, to be more connected to our physical world. And it will actually help us not end up being machines sitting in front of other machines.
Det var det hele. Tak.
That's all. Thank you.
(Bifald)
(Applause)
Tak.
Thank you.
(Bifald)
(Applause)
Chris Anderson: Så, Pranav, for det første, du er et geni. Dette er utroligt, virkeligt. Hvad gør du med dette? Er der planlagt et firma? Eller er dette forskning i al evighed, eller hvad?
Chris Anderson: So, Pranav, first of all, you're a genius. This is incredible, really. What are you doing with this? Is there a company being planned? Or is this research forever, or what?
Pranav Mistry: Så, der er masser af firmaer -- faktisk Media Lab sponsor firmaer, som er interesserede i at videreudvikle det på den ene eller anden måde. Firmaer som mobil telefon operatører vil tage dette på en anden måde en NGO'erne i Indien, [der] tænker, "Hvorfor kan vi kun have 'Sixth Sense'? Vi burde have en 'Fifth Sense' for de mennesker der mangler en sans der ikke kan tale. Denne teknologi kan bruges af dem til at tale på en anden måde måske med et højtalersystem."
Pranav Mistry: So, there are lots of companies, sponsor companies of Media Lab interested in taking this ahead in one or another way. Companies like mobile-phone operators want to take this in a different way than the NGOs in India, thinking, "Why can we only have 'Sixth Sense'? We should have a 'Fifth Sense' for missing-sense people who cannot speak. This technology can be used for them to speak out in a different way maybe a speaker system."
CA: Hvad er dine planer? Bliver du på MIT, eller vil du gøre noget med dette?
CA: What are your own plans? Are you staying at MIT, or are you going to do something with this?
PM: Jeg prøver at gøre dette mere tilgængeligt for mennesker så hvem som helst kan bruge deres eget SixthSense apparat, fordi hardwaren er faktisk ikke så svær at fremstille eller svær at lave selv. Vi vil give al open source software til dem, måske fra næste måned.
PM: I'm trying to make this more available to people so that anyone can develop their own SixthSense device, because the hardware is actually not that hard to manufacture or hard to make your own. We will provide all the open source software for them, maybe starting next month.
CA: Open source? Wow.
CA: Open source? Wow.
(Bifald)
(Applause)
CA: Tager du tilbage til Indien med noget af alt dette på et tidspunkt?
CA: Are you going to come back to India with some of this, at some point?
PM: Ja. Ja, ja, selvfølgelig.
PM: Yeah. Yes, yes, of course.
CA: Hvad er dine planer? MIT? Indien? Hvordan vil du dele din tid fremover?
CA: What are your plans? MIT? India? How are you going to split your time going forward?
PM: Der er en masse energi her. Meget at lære. Alt det arbejde I har set handler om alt det jeg har lært i Indien. Og nu, hvis man ser, handler det mere om omkostningseffektivitet: dette system koster $300 samlignet med $20,000 surface tables, eller noget i den retning. Eller måske kostede det $2 muse gestus system på det tidspunkt i nærheden af $5.000? Så, vi faktisk -- jeg viste det ved en konference, til President Abdul Kalam, på det tidspunkt, og så sagde han, "OK, vi burde bruge dette i Bhabha Atomic Research Centre for at bruge noget af det." Så jeg er spændt på hvordan jeg kan bringe teknologien til masserne, i stedet for bare at beholde den teknologi i laboratorium miljøet.
PM: There is a lot of energy here. Lots of learning. All of this work that you have seen is all about my learning in India. And now, if you see, it's more about the cost-effectiveness: this system costs you $300 compared to the $20,000 surface tables, or anything like that. Or maybe even the $2 mouse gesture system at that time was costing around $5,000? I showed that, at a conference, to President Abdul Kalam, at that time, and then he said, "OK, we should use this in Bhabha Atomic Research Centre for some use of that." So I'm excited about how I can bring the technology to the masses rather than just keeping that technology in the lab environment.
(Bifald)
(Applause)
CA: Baseret på de mennesker vi har set ved TED, ville jeg sige at du virkelig er en af de to eller tre bedste opfindere i verden lige nu. Det er en ære at have dig ved TED. Mange tak. Det er fantastisk.
CA: Based on the people we've seen at TED, I would say you're truly one of the two or three best inventors in the world right now. It's an honor to have you at TED. Thank you so much. That's fantastic.
(Bifald)
(Applause)