We grew up interacting with the physical objects around us. There are an enormous number of them that we use every day. Unlike most of our computing devices, these objects are much more fun to use. When you talk about objects, one other thing automatically comes attached to that thing, and that is gestures: how we manipulate these objects, how we use these objects in everyday life. We use gestures not only to interact with these objects, but we also use them to interact with each other. A gesture of "Namaste!", maybe, to respect someone, or maybe, in India I don't need to teach a kid that this means "four runs" in cricket. It comes as a part of our everyday learning.
Úgy növünk fel hogy kölcsönhatásban vagyunk a körülöttünk lévő tárgyakkal. Nagyon sok olyan tárgy van, amelyeket naponta használunk. A legtöbb digitális géppel ellentétben ezeket sokkal szórakoztatóbb használni. Amikor a tárgyakról beszélünk egy másik dolog automatikusan hozzájuk kapcsolódik és ez a mozdulat az, ahogy kézbe vesszük, ahogy használjuk ezeket a tárgyakat a mindennapi életben. Gesztusokat nemcsak a tárgyakkal kapcsolatban, hanem az egymással való kommunikációban is használunk. A "Namaste" a tiszteletadás jele valakinek vagy talán - Indiában nem kell megtanítanom a gyerekeknek hogy ez a mozdulat a "négy futás" a krikettben. Ezek a természetes tanulási folyamatok részei.
So, I am very interested, from the beginning, how our knowledge about everyday objects and gestures, and how we use these objects, can be leveraged to our interactions with the digital world. Rather than using a keyboard and mouse, why can I not use my computer in the same way that I interact in the physical world?
Tehát, nagyon érdekelt a kezdetektől fogva, hogy hogyan -- Hogy a hétköznapi tárgyakkal és mozdulatokkal és azok használatával kapcsolatos tudásunkat hogyan lehetne hasznosítani a digitális világgal folytatott interakcióinkban. A billentyűzet és az egér használata helyett miért ne tudnám a környező világ tárgyaihoz
So, I started this exploration around eight years back, and it literally started with a mouse on my desk. Rather than using it for my computer, I actually opened it. Most of you might be aware that, in those days, the mouse used to come with a ball inside, and there were two rollers that actually guide the computer where the ball is moving, and, accordingly, where the mouse is moving. So, I was interested in these two rollers, and I actually wanted more, so I borrowed another mouse from a friend -- never returned to him -- and I now had four rollers. Interestingly, what I did with these rollers is, basically, I took them off of these mouses and then put them in one line. It had some strings and pulleys and some springs. What I got is basically a gesture-interface device that actually acts as a motion-sensing device made for two dollars. So, here, whatever movement I do in my physical world is actually replicated inside the digital world just using this small device that I made, around eight years back, in 2000.
hasonlóan használni a számítógépet? Nyolc éve kezdtem ezt a kutatást ami szó szerint az asztalomon lévő egérrel kezdődött. Ahelyett, hogy a számítógéphez használtam volna gyakorlatilag szétszedtem. Valószínűleg emlékeznek, hogy abban az időben az egérben volt egy golyó valamint két görgő, amelyek arra vezették a számítógépet amerre a golyó mozdult vagyis amerre az egér mozdult. Engem ez a két görgő érdekelt, azaz kellett még egy pár, ezért kölcsönkértem egy egeret a barátomtól -- amit soha nem adtam vissza neki-- így már négy görgőm volt. Fogtam ezeket a görgőket kivettem őket az egerekből és egy sorba rendeztem őket. Hozzáadtam néhány zsinórt, csigát és rugót, és csináltam belőle egy mozdulatokra reagáló készüléket, ami egy mozgásérzékelő szerkezetként működött és csupán csak két dollárba került. Magyarán szólva, bármely, a fizikai világban végzett mozdulatom leképeződik a digitális világban ennek a kis készüléknek a segítségével, amit nagyjából nyolc évvel ezelőtt, 2000-ben készítettem.
Because I was interested in integrating these two worlds, I thought of sticky notes. I thought, "Why can I not connect the normal interface of a physical sticky note to the digital world?" A message written on a sticky note to my mom, on paper, can come to an SMS, or maybe a meeting reminder automatically syncs with my digital calendar -- a to-do list that automatically syncs with you. But you can also search in the digital world, or maybe you can write a query, saying, "What is Dr. Smith's address?" and this small system actually prints it out -- so it actually acts like a paper input-output system, just made out of paper.
Mivel érdekelt ennek a két világnak a találkoztatása eszembe jutottak a post-it üzenetek. Miért ne kapcsolhatnám össze a post-itok felületét a digitális világgal? Egy édesanyámnak szánt papírra írt üzenetből lehetne egy SMS vagy egy emlékeztető automatikusan bekerülhetne a digitális naptáramba--- egy tennivalók lista, ami automatikusan igazodik a használójához. De akár a digitális világban is kereshetünk vagy kérdéseket is tehetünk fel, például Mi Dr. Smith címe? és ez az apró szerkezet kinyomtatja a választ -- magyarán egy papír alapú bemeneti-kimeneti rendszert hozva létre.
In another exploration, I thought of making a pen that can draw in three dimensions. So, I implemented this pen that can help designers and architects not only think in three dimensions, but they can actually draw, so that it's more intuitive to use that way.
Egy másik kísérletben arra gondoltam, készítek egy három dimenziós tollat. Tehát elkészítettem ezt a tollat, melynek segítségével a tervezők és építészek nem csak hogy három dimenzióban tudnak gondolkodni, hanem ténylegesen rajzolni is, ami sokkal természetesebb használatot eredményez.
Then I thought, "Why not make a Google Map, but in the physical world?" Rather than typing a keyword to find something, I put my objects on top of it. If I put a boarding pass, it will show me where the flight gate is. A coffee cup will show where you can find more coffee, or where you can trash the cup.
Aztán eszembe jutott, miért is ne készíthetnék egy Google térképet a fizikai világban? Egy kulcsszó begépelése helyett a tárgyakat helyezem a térképre. Ha ráteszem a beszállókártyám, megmutatja, hol van a beszállókapu. A csésze megmutatja, hol tudok kávét venni, vagy hova dobhatom el a csészét.
So, these were some of the earlier explorations I did because the goal was to connect these two worlds seamlessly. Among all these experiments, there was one thing in common: I was trying to bring a part of the physical world to the digital world. I was taking some part of the objects, or any of the intuitiveness of real life, and bringing them to the digital world, because the goal was to make our computing interfaces more intuitive.
Ezek voltak a kezdeti kísérletetek mivel a célom az volt, hogy észrevétlenül összekössem a két világot. Egyetlen egy közös dolog volt ezekben a kísérletekben: megpróbáltam a fizikai világ egy elemét a digitális világgal összekapcsolni. Fogtam a tárgyakat vagy a való élet bármely részletét és átvezettem őket a digitális világba, hisz a cél az volt, hogy a számítógépes felületeteket minél intuitívabbá tegyük.
But then I realized that we humans are not actually interested in computing. What we are interested in is information. We want to know about things. We want to know about dynamic things going around.
Akkor rájöttem, hogy mi nem igazán érdeklődünk a számítástechnika iránt. Ami igazán érdekel minket, az az információ. Tudásra vágyunk. Ismerni akarjuk a körülöttünk működő, mozgó dolgokat.
So I thought, around last year -- in the beginning of the last year -- I started thinking, "Why can I not take this approach in the reverse way?" Maybe, "How about I take my digital world and paint the physical world with that digital information?" Because pixels are actually, right now, confined in these rectangular devices that fit in our pockets. Why can I not remove this confine and take that to my everyday objects, everyday life so that I don't need to learn the new language for interacting with those pixels?
Ezért múlt év elején felötlött bennem, miért is ne közelíthetnénk meg ezt a problémát az ellenkező irányból? Mi lenne, ha fognám a digitális világot és a fizikai világot festeném meg a digitális információkkal? Hiszen jelenleg a pixelek ezekbe a négyszögletes, zsebméretű szerkezetekbe vannak bezárva. Miért ne szabadíthatnám ki őket és tehetném a mindennapi tárgyak, mindennapi élet részévé megkímélve magunkat a pixelek használatához szükséges új nyelvezet megismerésétől?
So, in order to realize this dream, I actually thought of putting a big-size projector on my head. I think that's why this is called a head-mounted projector, isn't it? I took it very literally, and took my bike helmet, put a little cut over there so that the projector actually fits nicely. So now, what I can do -- I can augment the world around me with this digital information.
Hogy valóra váltsam ezt az álmot egy nagyméretű projektort tettem a fejemre. Végül is, azt hiszem ezért is hívják ezeket sisak kameráknak, nem de? Én szó szerint értelmeztem, fogtam a biciklis sisakomat, kivágtam, hogy a projektort bele tudjam tenni. És így kibővítettem a körülöttem lévő világot a digitális információval.
But later, I realized that I actually wanted to interact with those digital pixels, also. So I put a small camera over there that acts as a digital eye. Later, we moved to a much better, consumer-oriented pendant version of that, that many of you now know as the SixthSense device.
De később rájöttem, hogy kommunikálni is szeretnék ezekkel a pixelekkel. Így egy kamerát is felhelyeztem rá, ami digitális szemként funkcionált. Idővel kifejlesztettünk egy sokkal jobb, felhasználóbarátabb, nyakba akasztható verziót, amit ma sokan SixthSense készülék néven ismernek.
But the most interesting thing about this particular technology is that you can carry your digital world with you wherever you go. You can start using any surface, any wall around you, as an interface. The camera is actually tracking all your gestures. Whatever you're doing with your hands, it's understanding that gesture. And, actually, if you see, there are some color markers that in the beginning version we are using with it. You can start painting on any wall. You stop by a wall, and start painting on that wall. But we are not only tracking one finger, here. We are giving you the freedom of using all of both of your hands, so you can actually use both of your hands to zoom into or zoom out of a map just by pinching all present. The camera is actually doing -- just, getting all the images -- is doing the edge recognition and also the color recognition and so many other small algorithms are going on inside. So, technically, it's a little bit complex, but it gives you an output which is more intuitive to use, in some sense.
Azonban a legérdekesebb tulajdonsága ennek a technológiának az, hogy segítségével akárhova magunkkal vihetjük a digitális világot. Bármilyen felület, falfelület használható munkafelületként. A kamera követi a mozdulatokat, bármilyen kézmozdulatot felismer. Amint azt látják, a kezdeti verziónál néhány színes pontjelzőt is használtunk. Bármilyen falfelületre lehet festeni. Csak megállunk egy falnál, és elkezdhetünk festeni rá. Azonban a gép nem csak egy ujj mozdulatait követi. Mindkét kezünket szabadon használva nagyíthatunk vagy kicsinyíthetünk mondjuk egy térképet, egyetlen mozdulattal. A kamera felismeri ezeket a képeket, felismeri a széleket és a színeket, és ezer más apró algoritmus játszódik le a gépen belül. Tehát, ami a technikai részét illeti, eléggé összetett, azonban a végeredmény egy sokkal intuitívabban használható eszköz.
But I'm more excited that you can actually take it outside. Rather than getting your camera out of your pocket, you can just do the gesture of taking a photo, and it takes a photo for you.
Ami számomra sokkal izgalmasabb az az, hogy a szerkezetet kivihetjük magunkkal. Ahelyett, hogy előkapnánk a fényképezőgépünket a zsebünkből, elég, ha úgy teszünk a kezünkkel, mintha fényképeznénk, és a gép elkészíti a képet.
(Applause)
(Taps)
Thank you. And later I can find a wall, anywhere, and start browsing those photos or maybe, "OK, I want to modify this photo a little bit and send it as an email to a friend." So, we are looking for an era where computing will actually merge with the physical world. And, of course, if you don't have any surface, you can start using your palm for simple operations. Here, I'm dialing a phone number just using my hand. The camera is actually not only understanding your hand movements, but, interestingly, is also able to understand what objects you are holding in your hand.
Köszönöm. És később bármely fal segítségével elkezdhetek keresgélni a fényképek között vagy ha úgy gondolom, módosítani akarok a képen egy kicsit és elküldeni e-mailben egy ismerősnek.", megtehetem. Egy olyan jövőt keresünk, ahol a számítástechnika összeolvad a fizikai világgal. Persze, ha nincs más felület, az egyszerű műveletekhez a kezünket is használhatjuk. Itt például egy telefonszámot tárcsázok a kezemmel. A kamera nem csak a kéz mozdulatait értelmezi, hanem képes felismerni milyen tárgyat tartunk épp a kezünkben.
For example, in this case, the book cover is matched with so many thousands, or maybe millions of books online, and checking out which book it is. Once it has that information, it finds out more reviews about that, or maybe New York Times has a sound overview on that, so you can actually hear, on a physical book, a review as sound.
Itt például a szerkezet a könyv borítóját veti össze, több ezer vagy talán több millió online könyvvel hogy megtalálja, melyik könyv is ez. Ha megtalálta, akkor keres hozzá további ismertetőket. Ha a New York Times-nak van egy hangos összefoglalója róla, akkor gyakorlatilag a kezünkben lévő könyv segítségével meghallgathatjuk azt.
(Video) Famous talk at Harvard University --
(...tartott egy híres előadást a Harvard Egyetemen...")
This was Obama's visit last week to MIT.
Itt van például egy hír Obama múlt heti MIT-beli (Massachussets-i Technológiai Intézet) látogatásáról.
(Video) And particularly I want to thank two outstanding MIT --
("... és külön szeretném megköszönni két kiemelkedő MIT...")
Pranav Mistry: So, I was seeing the live [video] of his talk, outside, on just a newspaper. Your newspaper will show you live weather information rather than having it updated. You have to check your computer in order to do that, right?
Kint ücsörögve élőben nézhettem a beszédét az újságomból. Az újságok képesek lesznek az épp aktuális időjárás jelentést mutatni, és nem kell majd a számítógépen utánajárni a frissített adatoknak.
(Applause)
(Taps)
When I'm going back, I can just use my boarding pass to check how much my flight has been delayed, because at that particular time, I'm not feeling like opening my iPhone, and checking out a particular icon. And I think this technology will not only change the way --
A hazafelé úton elég, ha fogom a beszállókártyám hogy megnézzem mennyit késik a járatom, mert éppen akkor nincs kedvem kinyitni az iPhone-om, hogy annak segítségével járjak utána. Úgy gondolom ez a technológia nem csak azt változtatja meg --
(Laughter)
Igen. (Nevetés)
Yes. It will change the way we interact with people, also, not only the physical world. The fun part is, I'm going to the Boston metro, and playing a pong game inside the train on the ground, right?
Nem csak a fizikai világgal, de az emberekkel való interakciót is megváltoztatja. A mókás rész az, amikor a bostoni metró padlóján pong-ot játszom,
(Laughter)
nem igaz? (Nevetés)
And I think the imagination is the only limit of what you can think of when this kind of technology merges with real life.
Csupán a képzelet szabhat határt annak, hogyan olvadhat össze ez a technológia a fizikai valósággal.
But many of you argue, actually, that all of our work is not only about physical objects. We actually do lots of accounting and paper editing and all those kinds of things; what about that? And many of you are excited about the next-generation tablet computers to come out in the market.
Azonban jogosan mondhatnák, hogy munkánk során nem csupán tárgyakkal dolgozunk. Sok a könyvelési, a szerkesztési munka, azokkal mi lesz? Sokan önök közül már alig várják a tablet (érintőképernyős, billentyűzet nélküli, hordozható) számítógépek következő generációját.
So, rather than waiting for that, I actually made my own, just using a piece of paper. So, what I did here is remove the camera -- All the webcam cameras have a microphone inside the camera. I removed the microphone from that, and then just pinched that -- like I just made a clip out of the microphone -- and clipped that to a piece of paper, any paper that you found around. So now the sound of the touch is getting me when exactly I'm touching the paper. But the camera is actually tracking where my fingers are moving.
Én, ahelyett, hogy tovább vártam volna, megalkottam a sajátomat, csupán egy papírlap segítségével. Fogtam és kivettem a kamerából -- Minden web kamerának van egy beépített mikrofonja. Kiszedtem a mikrofont és rácsipeszeltem - egyszerűen csináltam egy csipeszt a mikrofonból -- és rácsiptettem egy papírlapra. Így az érintés hangja megmondja, hogy pontosan mikor érintem meg a lapot. Közben a kamera pedig az ujjam mozgását követi.
You can of course watch movies.
Természetesen, nézhetünk filmeket is.
(Video) Good afternoon. My name is Russell, and I am a Wilderness Explorer in Tribe 54."
("Jó napot! Russelnek hívnak...") ("... és az 54-es raj vadon felfedezője vagyok.")
PM: And you can of course play games.
Vagy játszhatunk is.
(Car engine)
(Motorzaj)
Here, the camera is actually understanding how you're holding the paper and playing a car-racing game.
Itt a kamera érzékeli, hogyan tartjuk a papírt, és így játszhatunk vele.
(Applause)
(Taps)
Many of you already must have thought, OK, you can browse. Yeah. Of course you can browse to any websites or you can do all sorts of computing on a piece of paper wherever you need it. So, more interestingly, I'm interested in how we can take that in a more dynamic way. When I come back to my desk, I can just pinch that information back to my desktop so I can use my full-size computer.
Gondolom eszükbe jutott, hogy akkor böngészhetünk is a neten. Igen, természetesen bármilyen weboldalon böngészhetünk vagy bármilyen műveletet végrehajthatunk egy papírlap segítségével amikor csak szeretnénk. Azonban engem jobban érdekelt, hogyan használhatnánk ezt egy kicsit dinamikusabban. Leülve az asztalomhoz csak megfogom az információt és visszahelyezem a képernyőre és így az asztali számítógépemen is dolgozhatok vele.
(Applause)
(Taps)
And why only computers? We can just play with papers. Paper world is interesting to play with. Here, I'm taking a part of a document, and putting over here a second part from a second place, and I'm actually modifying the information that I have over there. Yeah. And I say, "OK, this looks nice, let me print it out, that thing." So I now have a print-out of that thing. So the workflow is more intuitive, the way we used to do it maybe 20 years back, rather than now switching between these two worlds.
De miért csak a számítógépekkel játszunk, ha a papírral is lehet? A papírlapokkal sokkal érdekesebb játszani. Itt épp fogok egy részt egy dokumentumból és áthelyezem ide, egy másik helyre - majd módosítom az ottlévő információt. Majd úgy döntök: 'Ez így jó lesz, kinyomtatom!" Tehát lesz egy nyomtatott verzióm is belőle. A munkafolyamat ezáltal sokkal intuitívabbá válik, mint az 20 évvel ezelőtt volt, amikor is folyton e két világ között ingáztunk.
So, as a last thought, I think that integrating information to everyday objects will not only help us to get rid of the digital divide, the gap between these two worlds, but will also help us, in some way, to stay human, to be more connected to our physical world. And it will actually help us not end up being machines sitting in front of other machines.
Zárógondolatként, úgy vélem, hogy azáltal, hogy kiterjesztjük az információkat a körülöttünk lévő tárgyakra, nem csak a digitális szakadékot, vagy a két világot elválasztó rést hidaljuk át, hanem segítségével emberek maradhatunk, szorosabb kapcsolatban élve a minket körülvevő világgal. Segítségével megakadályozhatjuk, hogy gépek előtt ülő gépekké váljunk.
That's all. Thank you.
Köszönöm.
(Applause)
(Taps)
Thank you.
Köszönöm.
(Applause)
(Taps)
Chris Anderson: So, Pranav, first of all, you're a genius. This is incredible, really. What are you doing with this? Is there a company being planned? Or is this research forever, or what?
Chris Anderson: Pranav, először is, engedje meg, Ön egy zseni. Ez egyszerűen hihetetlen. Mik a tervei? Céget alapít? Vagy ez egy soha véget nem érő kutatás?
Pranav Mistry: So, there are lots of companies, sponsor companies of Media Lab interested in taking this ahead in one or another way. Companies like mobile-phone operators want to take this in a different way than the NGOs in India, thinking, "Why can we only have 'Sixth Sense'? We should have a 'Fifth Sense' for missing-sense people who cannot speak. This technology can be used for them to speak out in a different way maybe a speaker system."
Pranav Mistry: Számos cég - a Media Lab szponzor cégei érdekeltek a technológia különbözőféle továbbfejlesztésében. A mobil telefon szolgáltató cégek teljesen másban gondolkodnak, mint az indiai civil szervezetek, akik úgy vélik, miért csak 'Hatodik Érzékről' beszélünk? Miért ne lehetne egy 'Ötödik Érzék' technológia azok számára akik nem képesek beszélni. A technológia segítségével képesek lehetnének, mondjuk egy hangszóró segítségével beszélni."
CA: What are your own plans? Are you staying at MIT, or are you going to do something with this?
CA: Mik a személyes tervei? Marad a MIT-nél, vagy más irányban gondolkodik?
PM: I'm trying to make this more available to people so that anyone can develop their own SixthSense device, because the hardware is actually not that hard to manufacture or hard to make your own. We will provide all the open source software for them, maybe starting next month.
PM: Megpróbálom ezt minél elérhetőbbé tenni az emberek számára hogy bárki el tudja készíteni a saját Hatodik Érzék eszközét, mert sem a hardver, sem a saját készülék előállítása nem túl bonyolult. BIztosítani fogjuk az összes nyílt forráskódú szoftvert hozzá, talán a következő hónaptól kezdődően.
CA: Open source? Wow.
CA: Nyilt forráskód? Ez igen.
(Applause)
(Taps)
CA: Are you going to come back to India with some of this, at some point?
CA: Tervezi, hogy visszatér ezzel ide Indiába valamikor?
PM: Yeah. Yes, yes, of course.
PM: Igen. Természetesen.
CA: What are your plans? MIT? India? How are you going to split your time going forward?
Mik a tervei? MIT? Vagy India? Hogyan fogja a jövőben megosztani az idejét?
PM: There is a lot of energy here. Lots of learning. All of this work that you have seen is all about my learning in India. And now, if you see, it's more about the cost-effectiveness: this system costs you $300 compared to the $20,000 surface tables, or anything like that. Or maybe even the $2 mouse gesture system at that time was costing around $5,000? I showed that, at a conference, to President Abdul Kalam, at that time, and then he said, "OK, we should use this in Bhabha Atomic Research Centre for some use of that." So I'm excited about how I can bring the technology to the masses rather than just keeping that technology in the lab environment.
PM: Rengeteg energia van itt és még több tanulási lehetőség. Amit itt láttak az az Indiában megszerzett tudásom eredménye. Leginkább itt a költséghatékonyságról van szó: a szerkezet csupán 300 dollárba kerül szemben a 20.000 dolláros Surface (érintőképernyős kezelőfelületű) asztalokkal. Vagy megemlíthetjük a két dolláros egeres mozdulatkövető szerkezetet, ami abban az időben nagyjából 5.000 dollár körül mozgott. Akkoriban egy konferencián megmutattam a szerkezetet Abdul Kalam elnöknek aki akkor azt mondta, hogy valahogy fel kellene használnunk a technológiát a Bhabha Atomkutató Központban. Szóval sokkal inkább érdekel, hogyan tudom ezt a technológiát a tömegekhez eljuttatni ahelyett, hogy csak laboratóriumi körülmények között használnánk.
(Applause)
(Taps)
CA: Based on the people we've seen at TED, I would say you're truly one of the two or three best inventors in the world right now. It's an honor to have you at TED. Thank you so much. That's fantastic.
CA: A TED-en előadást tartó embereket véve alapul azt mondhatom, Ön az egyike napjaink három legjobb feltalálójának. Megtiszteltetés hogy itt a TED-en fogadhattuk. Nagyon szépen köszönöm. Ez fantasztikus.
(Applause)
(Taps)