Wir sind damit aufgewachsen mit den physischen Objekten um uns zu interagieren. Es gibt eine Menge von ihnen, die wir tagtäglich benutzen. Im Gegensatz zu Computern macht es viel mehr Spass diese Objekte zu benutzen. Wenn wir über Objekte reden, werden andere Dinge automatisch mit diesen in Verbindung gebracht. Dies sind Gesten: Wie wir diese Objekte manipulieren, wie wir diese Objekte in unserem täglichen Leben benutzen. Wir benutzen Gesten nicht nur, um mit Objekten zu interagieren, sondern auch um miteinander zu komunizieren. Eine Geste "Namaste!" zum Beispiel, um jemandem Respekt zu erweisen. oder vielleicht -- In Indien weiss jedes Kind, dass dies "Vier" in Cricket bedeutet. Es ist ein Teil von unserem alltäglichen Lernen.
We grew up interacting with the physical objects around us. There are an enormous number of them that we use every day. Unlike most of our computing devices, these objects are much more fun to use. When you talk about objects, one other thing automatically comes attached to that thing, and that is gestures: how we manipulate these objects, how we use these objects in everyday life. We use gestures not only to interact with these objects, but we also use them to interact with each other. A gesture of "Namaste!", maybe, to respect someone, or maybe, in India I don't need to teach a kid that this means "four runs" in cricket. It comes as a part of our everyday learning.
Ich war von Anfang an sehr interessiert an der Art und Weise, wie unser Wissen über alltägliche Objekte und Gesten und unser Wissen über wie wir diese Objekte benutzen auf unsere Wechselwirkung mit der digitalen Welt Einfluss nehmen kann. Warum kann ich nicht anstatt eine Maus und eine Tastatur einfach meinen Computer auf die gleiche Weise bedienen, wie ich mit der echten Welt Interagiere?
So, I am very interested, from the beginning, how our knowledge about everyday objects and gestures, and how we use these objects, can be leveraged to our interactions with the digital world. Rather than using a keyboard and mouse, why can I not use my computer in the same way that I interact in the physical world? So, I started this exploration around eight years back,
Ich habe also vor acht Jahren mit der Forschung begonnen, und habe einfach mit der Maus begonnen. Anstatt sie für meinen Computer zu benutzen, habe ich sie geöffnet. Die meisten von Ihnen wissen sicherlich, dass zur damaligen Zeit die Maus eine Kugel in sich hatte. An dieser Kugel waren zwei Rollen, welche dem Computer zeigen wohin sich die Kugel bewegt, und damit auch wohin sich die Maus bewegt. Ich habe mich für diese zwei Rollen interessiert, und wollte mehrere von ihnen, also lieh ich mir eine andere Maus von einem Freund, - Er hat sie bis heute nicht zurück - und hatte nun vier Rollen. Interessanterweise ist das, was ich mit diesen Rollen tat einfach nur dass ich sie von der Maus abmontierte und alle in einer Reihe anordnete. Ich brachte einige Fäden, Flaschenzüge und Federn an und bekam ein Design für ein Gesten-Interface, welches wie ein Bewegungs-Sensor arbeitet. Kostenpunkt: Zwei $ Egal welche Bewegung ich in meiner echten Welt machte wurde nur mithilfe meines kleinen Gerätes in der digitalen Welt repliziert. Vor acht Jahren, im Jahre 2000.
and it literally started with a mouse on my desk. Rather than using it for my computer, I actually opened it. Most of you might be aware that, in those days, the mouse used to come with a ball inside, and there were two rollers that actually guide the computer where the ball is moving, and, accordingly, where the mouse is moving. So, I was interested in these two rollers, and I actually wanted more, so I borrowed another mouse from a friend -- never returned to him -- and I now had four rollers. Interestingly, what I did with these rollers is, basically, I took them off of these mouses and then put them in one line. It had some strings and pulleys and some springs. What I got is basically a gesture-interface device that actually acts as a motion-sensing device made for two dollars. So, here, whatever movement I do in my physical world is actually replicated inside the digital world just using this small device that I made, around eight years back, in 2000.
Weil es mich sehr interessiert hat diese zwei Welten ineinander zu integrieren, dachte ich an Klebenotizen. Ich dachte, "Warum kann ich nicht das normale Interface einer Notiz der realen Welt mit der digitalen Welt verbinden?" Eine Nachricht an meine Mutter, die ich auf einen Notizblock schrieb könnte sie als SMS erreichen, oder vielleicht kann ein Treffen-Erinnerer sich automatisch mit meinem Kalender synchronisieren. oder eine to-do Liste, die sich automatisch mit ihnen synchronisiert. Aber sie können auch in der digitalen Welt suchen, wenn sie eine Frage stellen: "Was ist Dr.Smith's Adresse?" druckt dieses kleine System diese für sie aus -- also arbeitet es eigentlich wie ein Papier-Eingabe-Ausgabe System, welches aus Papier besteht.
Because I was interested in integrating these two worlds, I thought of sticky notes. I thought, "Why can I not connect the normal interface of a physical sticky note to the digital world?" A message written on a sticky note to my mom, on paper, can come to an SMS, or maybe a meeting reminder automatically syncs with my digital calendar -- a to-do list that automatically syncs with you. But you can also search in the digital world, or maybe you can write a query, saying, "What is Dr. Smith's address?" and this small system actually prints it out -- so it actually acts like a paper input-output system, just made out of paper.
In einer anderen Untersuchung kam mir die Idee einen Stift zum 3D-zeichnen zu entwickeln. Ich realisierte also diesen Stift, welcher Designern und Architekten helfen kann. Sie können nun nicht nur 3-dimensional denken, sie können 3-dimensional zeichnen, was ihre Arbeit viel intuitiver macht.
In another exploration, I thought of making a pen that can draw in three dimensions. So, I implemented this pen that can help designers and architects not only think in three dimensions, but they can actually draw, so that it's more intuitive to use that way.
Dann dachte ich, "Wieso mache ich keine Google Map, aber in der echten Welt?" Anstatt ein Schlüsselwort einzutippen, um etwas zu finden, legte ich meine Objekte auf es. Wenn ich ein Flugticket darauf lege, zeigt es mir wo mein Gate ist. Eine Kaffeetasse zeigt mir wo ich mehr Kaffee finde, oder wo ich die Tasse entsorgen kann.
Then I thought, "Why not make a Google Map, but in the physical world?" Rather than typing a keyword to find something, I put my objects on top of it. If I put a boarding pass, it will show me where the flight gate is. A coffee cup will show where you can find more coffee, or where you can trash the cup.
Dies waren einige der früheren Forschungen. Das eigentliche Ziel war die beiden Welten nahtlos zu verbinden. Während all dieser Experimente, gab es eine Gemeinsamkeit: Ich versuchte einen Teil der echten Welt in die digitale Welt zu bringen. Ich nahm Teile der Objekte, oder irgendwelche Intuitionen des echten Lebens und brachte sie in die digitale Welt, denn das Ziel war unsere Computer Eingabe intuitiver zu gestalten.
So, these were some of the earlier explorations I did because the goal was to connect these two worlds seamlessly. Among all these experiments, there was one thing in common: I was trying to bring a part of the physical world to the digital world. I was taking some part of the objects, or any of the intuitiveness of real life, and bringing them to the digital world, because the goal was to make our computing interfaces more intuitive.
Doch dann realisierte ich, dass wir Menschen nicht wirklich an Computern interessiert sind. Wir sind an Informationen interessiert. Wir möchten über Dinge bescheidwissen. Wir möchten über dynamische Dinge bescheidwissen die ihren Lauf nehmen.
But then I realized that we humans are not actually interested in computing. What we are interested in is information. We want to know about things. We want to know about dynamic things going around.
Also dachte ich ca. anfang letzten Jahres daran "Warum kann ich diese Herangehensweise nicht umkehren?" "Ich könnte einen Teil meiner digitalen Welt nehmen und die echte Welt mit dieser digitalen Information bereichern." Denn im moment sind Pixel auf rechteckige Maschinen beschränkt, die in unsere Taschen passen. Warum kann ich diese Beschränkung nicht entfernen und auf meine Alltagsgegenstände beziehen, in dem alltäglichen Leben, so dass ich keine neue Sprache lernen muss um mit diesen Pixeln zu interagieren?
So I thought, around last year -- in the beginning of the last year -- I started thinking, "Why can I not take this approach in the reverse way?" Maybe, "How about I take my digital world and paint the physical world with that digital information?" Because pixels are actually, right now, confined in these rectangular devices that fit in our pockets. Why can I not remove this confine and take that to my everyday objects, everyday life so that I don't need to learn the new language for interacting with those pixels?
Um diesen Traum zu verwirklichen dachte ich an einen großen Projektor auf meinem Kopf. Ich glaube darum nennen sie es head-mounted-projector, oder? Ich nahm das sehr wörtlich, ich nahm meinen Fahrradhelm, und setzte ihn ein wenig schieff auf, das der Projektor gut daraufpasste. Was ich nun tun kann -- ich kann die Welt um mich herum mit digitaler Information erweitern.
So, in order to realize this dream, I actually thought of putting a big-size projector on my head. I think that's why this is called a head-mounted projector, isn't it? I took it very literally, and took my bike helmet, put a little cut over there so that the projector actually fits nicely. So now, what I can do -- I can augment the world around me with this digital information.
Doch später realisierte ich, dass ich mit diesen Pixeln auch Interagieren wollte. Also setzte ich auch eine kleine Kamera auf, welche wie ein digitales Auge funktioniert. Später entwickelten wir eine viel bessere, Konsumenten orientierte Anhänger Version davon, welche viele von ihnen als SixthSense Gerät kennen.
But later, I realized that I actually wanted to interact with those digital pixels, also. So I put a small camera over there that acts as a digital eye. Later, we moved to a much better, consumer-oriented pendant version of that, that many of you now know as the SixthSense device.
Doch das Interessanteste über diese besondere Technologie ist das Sie ihre digitale Welt mit ihnen herumtragen können, wo immer sie auch hingehen. Sie können jede Fläche, jede Wand als Interface benutzen. Die Kamera verfolgt all ihre Gesten. Was auch immer Sie mit ihren Händen machen, Es versteht diese Geste. Und wie Sie sehen gibt es einige Farbmarkierungen, welche wir seit den Anfängen benutzten. Sie können an jede Wand malen. Sie halten vor einer Wand und fangen an diese zu bemalen. Aber wir verfolgen hier nicht nur einen Finger. Wir geben Ihnen die Freiheit beide ihrer Hände zu benutzen, dass Sie ihre Hände zum zoomen einer Karte benutzen können, indem Sie sie bloß kneifen. Die Kamera nimmt eigentlich bloß alle Zeichen, mithilfe der Rand- und Farberkennung und auf die Art und Weise gehen viele andere kleine Algorithmen darauf ein. Technisch gesehen ist es ein bisschen komplex, aber es gibt ihnen ein Resultat welches viel intuitiver zu benutzen ist.
But the most interesting thing about this particular technology is that you can carry your digital world with you wherever you go. You can start using any surface, any wall around you, as an interface. The camera is actually tracking all your gestures. Whatever you're doing with your hands, it's understanding that gesture. And, actually, if you see, there are some color markers that in the beginning version we are using with it. You can start painting on any wall. You stop by a wall, and start painting on that wall. But we are not only tracking one finger, here. We are giving you the freedom of using all of both of your hands, so you can actually use both of your hands to zoom into or zoom out of a map just by pinching all present. The camera is actually doing -- just, getting all the images -- is doing the edge recognition and also the color recognition and so many other small algorithms are going on inside. So, technically, it's a little bit complex, but it gives you an output which is more intuitive to use, in some sense.
Was ich jedoch viel interessanter finde ist, dass Sie dieses Gerät mit nach draussen nehmen können. Anstatt Ihre Kamera aus Ihrer Tasche zu holen machen sie bloß eine Geste, und es shiesst ein Foto für Sie.
But I'm more excited that you can actually take it outside. Rather than getting your camera out of your pocket, you can just do the gesture of taking a photo, and it takes a photo for you.
(Applaus)
(Applause)
Danke sehr.
Thank you.
Später finde ich irgendwo eine Wand, und beginne in diesen Fotos zu schmökern oder vielleicht möchte ich dieses Foto ein bisschen verändern und zu einem Freund schicken. Wir suchen also eine Ära in welcher das Arbeiten mit dem Computer mit der echten Welt verschmilzt. Und wenn Sie keine Oberfläche finden können sie einfach ihre Handfläche für einfache Aufgaben benutzen. Hier wähle ich eine Telefonnummer, wobei ich nur meine Hand benutze. Die Kamera versteht interessanterweise nicht nur meine Bewegungen, sondern ist auch fähig zu verstehen welche Dinge ich in meiner Hand halte.
And later I can find a wall, anywhere, and start browsing those photos or maybe, "OK, I want to modify this photo a little bit and send it as an email to a friend." So, we are looking for an era where computing will actually merge with the physical world. And, of course, if you don't have any surface, you can start using your palm for simple operations. Here, I'm dialing a phone number just using my hand. The camera is actually not only understanding your hand movements, but, interestingly, is also able to understand what objects you are holding in your hand.
Was wir hier tun ist zum Beispiel in diesem Fall, das Kuvert des Buches mit den Tausenden, oder vielleicht millionen von Büchern online, und prüfen welches Buch es ist. Wenn wir diese Information haben findet es mehr über das Buch heraus. Oder vielleicht hat die New York Times ein Audio Überblick darüber. Auf diese Weise kann ich eine Zusammenfassung des buches hören. ("berühmte Rede an der Harvard Universität")
For example, in this case, the book cover is matched with so many thousands, or maybe millions of books online, and checking out which book it is. Once it has that information, it finds out more reviews about that, or maybe New York Times has a sound overview on that, so you can actually hear, on a physical book, a review as sound. (Video) Famous talk at Harvard University --
Dies war Obama's letzter Besuch der MIT. ("...und besonderer Dank geht an zwei außenstehende MIT...") Also habe ich das Live Video seiner Rede draussen auf nur einer Zeitung gesehen. Ihre Zeitung wird ihnen live-Wetterinformationen zeigen. Anstatt es aktualisieren zu müssen, wie Sie es an ihrem Computer machen müssen um dies zu tun, oder?
This was Obama's visit last week to MIT. (Video) And particularly I want to thank two outstanding MIT -- Pranav Mistry: So, I was seeing the live [video] of his talk, outside, on just a newspaper. Your newspaper will show you live weather information rather than having it updated. You have to check your computer in order to do that, right?
(Applaus)
(Applause)
Wenn ich zurück gehe, kann ich nur mein Flugticket benutzen um zu sehen auf welche Zeit mein Flug verlegt wurde. Weil ich zu diesem Zeitpunkt einfach keine Lust habe mein iPhone herauszuholen und auf diesem nachzuschauen. Und ich glaube, dass diese Technologie nicht nur die Art -- Ja. (Gelächter) Es wird auch die Art wie wir mit Menschen interagieren verändern. Nicht nur in der echten Welt. Ein lustiger Teil ist, Ich gehe in die U-Bahn von Boston, und spiele Pong in dem Zug, auf dem Boden. (Gelächter) Und ich denke hier setzt uns nur die Vorstellungskraft Grenzen von neuen Ideen, wenn sich diese Art von Technologie mit dem echten Leben vermischt.
When I'm going back, I can just use my boarding pass to check how much my flight has been delayed, because at that particular time, I'm not feeling like opening my iPhone, and checking out a particular icon. And I think this technology will not only change the way -- (Laughter) Yes. It will change the way we interact with people, also, not only the physical world. The fun part is, I'm going to the Boston metro, and playing a pong game inside the train on the ground, right? (Laughter) And I think the imagination is the only limit of what you can think of when this kind of technology merges with real life.
Aber viele von Ihnen meinen, dass nicht alle unsere Arbeit drehe sich um physische Objekte. Wir haben viel gerechnet und mit Papier gearbeitet und alle diese Dinge, was ist mit denen? Und viele von Ihnen sind sehr gespannt auch die nächste Generation von tragbaren Computern, die auf den Markt kommt. Anstatt auf diese zu warten, habe ich meinen eigenen gemacht, nur aus einem Stück Papier. Ich habe also die Kamera entfernt Alle Webcams haben ein Mikrofon integriert. Ich habe dieses Mikrofon entfernt und dieses angeklemmt. Ich habe also eine Klemme aus dem Mikrofon gemacht und an ein Stück Papier geklemmt, irgendein Stück Papier, das ich gefunden habe. Also weiss es jetzt nur von dem Geräusch des Berührens, wann genau ich das Papier berühre, während die Kamera verfolgt wohin sich meine Finger bewegen.
But many of you argue, actually, that all of our work is not only about physical objects. We actually do lots of accounting and paper editing and all those kinds of things; what about that? And many of you are excited about the next-generation tablet computers to come out in the market. So, rather than waiting for that, I actually made my own, just using a piece of paper. So, what I did here is remove the camera -- All the webcam cameras have a microphone inside the camera. I removed the microphone from that, and then just pinched that -- like I just made a clip out of the microphone -- and clipped that to a piece of paper, any paper that you found around. So now the sound of the touch is getting me when exactly I'm touching the paper. But the camera is actually tracking where my fingers are moving.
Sie können natürlich Filme gucken. ("Guten Abend, Mein Name ist Russel...") ("...und ich bin ein Wildniss Forscher von Stamm 54.")
You can of course watch movies. (Video) Good afternoon. My name is Russell, and I am a Wilderness Explorer in Tribe 54."
Und natürlich können sie auch Spiele spielen. (Automotor) Hier, die Kamera versteht sogar wie sie das Stück Papier halten, so kann ich ein Rennspiel spielen. (Applaus)
PM: And you can of course play games. (Car engine) Here, the camera is actually understanding how you're holding the paper and playing a car-racing game. (Applause)
Viele von Ihnen haben warscheinlich schon gedacht, OK, man kann schmökern. Ja, natürlich, kann man jede Website durchforsten, oder alle Arten von Computerarbeiten an einem Stück Papier machen wo immer man es braucht. Aber, interessanter bin ich daran interessiert wie wir das auf eine dynamischere Art machen können. Wenn ich an meinen Schreibtisch zurück komme, kann ich diese Information einfach zurück auf meinen Schreibtisch ziehen und meinen großen Computer benutzen.
Many of you already must have thought, OK, you can browse. Yeah. Of course you can browse to any websites or you can do all sorts of computing on a piece of paper wherever you need it. So, more interestingly, I'm interested in how we can take that in a more dynamic way. When I come back to my desk, I can just pinch that information back to my desktop so I can use my full-size computer.
(Applaus)
(Applause)
Und warum nur Comuter? Wir können einfach mit Papieren spielen. Es ist interessant mit der Welt der Papiere zu spielen. Hier nehme ich ein Teil eines Dokuments und füge hier einen zweiten Teil von einem zweiten Ort ein -- und ich modifiziere die Informationen die ich hier habe. Ja. Und ich sage, "OK, das sieht gut aus, lass mich das Ding ausdrucken." Nun habe ich also einen Ausdruck des Dings, und nun -- sind die Arbeitsabläufe intuitiver auf die Art wie wir es vor vielleicht 20 Jahren gemacht hätten, anstatt jetzt zwischen diesen zwei Welten zu tauschen.
And why only computers? We can just play with papers. Paper world is interesting to play with. Here, I'm taking a part of a document, and putting over here a second part from a second place, and I'm actually modifying the information that I have over there. Yeah. And I say, "OK, this looks nice, let me print it out, that thing." So I now have a print-out of that thing. So the workflow is more intuitive, the way we used to do it maybe 20 years back, rather than now switching between these two worlds.
Als letzer Gedanke, Ich denke, dass das Integrieren von Informationen in Alltagsobjekte uns nicht nur helfen wird die Digitalen Geräte los zu werden, die Lücke zwischen diesen zwei Welten, sondern es wird uns auch in gewisser Weise helfen, menschlich zu bleiben, verbunden zu sein mit unserer physikalischen Welt. Und es wird uns helfen keine Maschinen zu sein, die vor anderen Maschinen sitzen.
So, as a last thought, I think that integrating information to everyday objects will not only help us to get rid of the digital divide, the gap between these two worlds, but will also help us, in some way, to stay human, to be more connected to our physical world. And it will actually help us not end up being machines sitting in front of other machines.
Das ist alles. Vielen Dank.
That's all. Thank you.
(Applaus)
(Applause)
Vielen Dank.
Thank you.
(Applaus)
(Applause)
Chris Anderson: Also, Pranav, als aller erstes: Du bist ein Genie. Das ist wirklich unglaubich. Was machst du damit? Ist eine Firma gaplant? Oder bleibt das für immer Forschung, oder was?
Chris Anderson: So, Pranav, first of all, you're a genius. This is incredible, really. What are you doing with this? Is there a company being planned? Or is this research forever, or what?
Pranav Mistry: Es gibt viele Firmen -- Sponsoren des Media Lab -- die interessiert sind das irgendwie fortzuführen. Firmen wie Mobiltelefonanbieter möchten das auf eine andere Weise benutzen als die NGOs in Indien. die denken, "Warum können wir nur einen 'Sechsten Sinn' haben? Wir sollten einen 'Fünften Sinn' für Menschen denen ein Sinn fehlt haben, die nicht spreachen können. Diese Technik kann benutzt werden dass sie auf eine andere Weise sprechen können, Vielleicht mit einem Lautsprecher-System."
Pranav Mistry: So, there are lots of companies, sponsor companies of Media Lab interested in taking this ahead in one or another way. Companies like mobile-phone operators want to take this in a different way than the NGOs in India, thinking, "Why can we only have 'Sixth Sense'? We should have a 'Fifth Sense' for missing-sense people who cannot speak. This technology can be used for them to speak out in a different way maybe a speaker system."
CA: Was sind deine eigenen Pläne? Bleibst du am MIT, oder machst du etwas damit?
CA: What are your own plans? Are you staying at MIT, or are you going to do something with this?
PM: Ich versuche es verfügbarer für Menschen zu machen, damit jeder seinen eigenes SixthSense Gerät entwickeln kann, denn die Hardware ist eigentlich nicht so schwer herzustellen, oder schwer seine eigene zu machen. Wir werden die gesamte Open Source Software für sie anbieten, vielleicht von nächstem Monat an.
PM: I'm trying to make this more available to people so that anyone can develop their own SixthSense device, because the hardware is actually not that hard to manufacture or hard to make your own. We will provide all the open source software for them, maybe starting next month.
CA: Open Source? Wow.
CA: Open source? Wow.
(Applaus)
(Applause)
CA: Wirst du damit irgendwann nach Indien zurückkehren.
CA: Are you going to come back to India with some of this, at some point?
PM: Ja, ja natürlich.
PM: Yeah. Yes, yes, of course.
CA: Was sind deine Pläne? MIT? Indien? Wie wirst du deine Zeit aufteilen?
CA: What are your plans? MIT? India? How are you going to split your time going forward?
PM: Es gibt sehr viel Energie heir. Sehr viel zu lernen. All die Arbeit die du gesehen hast dreht sich um mein Lernen in Indien. Und jetzt, wenn man es mehr Kosteneffektiv betrachtet: Dieses System kostet dir 300$ verglichen mit 20.000$ Touch-Screen Tischen, oder so etwas. Oder vielleicht das zwei Dollar Maus-Gesten-System kostet zu dieser Zeit um 5.000$? Ja, wir haben das, an einer Konferenz, dem Presidänten Abdul Kalam vorgestellet, und er hat gesagt, ÄOK, wir sollen das nutzen in Badha Atomic Research Centre und eine Anwendung finden." Ich bin sehr aufgeregt, wie ich diese Technologie in der Gesellschaft implementieren kann, und diese Technologie nicht nur im Labor benutzen.
PM: There is a lot of energy here. Lots of learning. All of this work that you have seen is all about my learning in India. And now, if you see, it's more about the cost-effectiveness: this system costs you $300 compared to the $20,000 surface tables, or anything like that. Or maybe even the $2 mouse gesture system at that time was costing around $5,000? I showed that, at a conference, to President Abdul Kalam, at that time, and then he said, "OK, we should use this in Bhabha Atomic Research Centre for some use of that." So I'm excited about how I can bring the technology to the masses rather than just keeping that technology in the lab environment.
(Applaus)
(Applause)
CA: Basierend auf allen, die wir in TED gesehen haben, glaube ich du bist sicher einer von zweien besten Erfindern in der Welt im Moment. Es ist eine Ehre dich hier in TED zu haben. Vielen Dank. Das ist fantastisch.
CA: Based on the people we've seen at TED, I would say you're truly one of the two or three best inventors in the world right now. It's an honor to have you at TED. Thank you so much. That's fantastic.
(Applaus)
(Applause)