We grew up interacting with the physical objects around us. There are an enormous number of them that we use every day. Unlike most of our computing devices, these objects are much more fun to use. When you talk about objects, one other thing automatically comes attached to that thing, and that is gestures: how we manipulate these objects, how we use these objects in everyday life. We use gestures not only to interact with these objects, but we also use them to interact with each other. A gesture of "Namaste!", maybe, to respect someone, or maybe, in India I don't need to teach a kid that this means "four runs" in cricket. It comes as a part of our everyday learning.
Siamo cresciuti interagendo con gli oggetti fisici intorno a noi. Ce ne sono un'infinità che usiamo ogni giorno. A differenza dei nostri dispositivi computerizzati, questi oggetti sono più semplici da usare. Quando parliamo di oggetti, tendiamo ad associare altre cose ad essi e cioè i gesti: come manipoliamo questi oggetti, come li usiamo nella vita quotidiana. Usiamo gesti non solo quando interagiamo con questi oggetti, ma anche quando interagiamo tra di noi. Il gesto del "Namasté", per esempio, come segno di rispetto o anche – in India non c'è bisogno di insegnare ai bimbi che questo significa "quattro" nel cricket. Lo si impara con il vivere quotidiano.
So, I am very interested, from the beginning, how our knowledge about everyday objects and gestures, and how we use these objects, can be leveraged to our interactions with the digital world. Rather than using a keyboard and mouse, why can I not use my computer in the same way that I interact in the physical world?
Quindi, mi interessa molto come possiamo sfruttare quel che sappiamo degli oggetti quotidiani e dei gesti a loro associati, per interagire con il mondo digitale. Piuttosto che usare la tastiera e il mouse, perché non posso usare il mio computer
So, I started this exploration around eight years back, and it literally started with a mouse on my desk. Rather than using it for my computer, I actually opened it. Most of you might be aware that, in those days, the mouse used to come with a ball inside, and there were two rollers that actually guide the computer where the ball is moving, and, accordingly, where the mouse is moving. So, I was interested in these two rollers, and I actually wanted more, so I borrowed another mouse from a friend -- never returned to him -- and I now had four rollers. Interestingly, what I did with these rollers is, basically, I took them off of these mouses and then put them in one line. It had some strings and pulleys and some springs. What I got is basically a gesture-interface device that actually acts as a motion-sensing device made for two dollars. So, here, whatever movement I do in my physical world is actually replicated inside the digital world just using this small device that I made, around eight years back, in 2000.
così come faccio con gli altri oggetti nel mondo fisico? Così, otto anni fa ho cominciato la mia esplorazione, partendo proprio dal mouse sulla mia scrivania. Anziché usarlo per il computer, l'ho aperto. La maggior parte di voi saprà che a quei tempi il mouse conteneva una pallina al suo interno e c'erano due piccoli rulli che indicavano al computer come si muoveva la pallina e, di conseguenza, dove andava il mouse. Mi interessavano questi due rulli e ne volevo degli altri, così presi in prestito il mouse di un amico – mai più restituito – e così adesso avevo quattro rulli. Ho poi tolto i rulli dai mouse, li ho messi in fila e ho aggiunto anche alcuni tiranti, pulegge e molle. Ne è venuto fuori un dispositivo di interfaccia gestuale che agisce come un rilevatore di movimento, fatto con due dollari. Quindi, qualsiasi movimento che io faccia nel mondo fisico viene replicato nel mondo digitale, semplicemente usando questo piccolo dispositivo costruito otto anni fa, nel 2000.
Because I was interested in integrating these two worlds, I thought of sticky notes. I thought, "Why can I not connect the normal interface of a physical sticky note to the digital world?" A message written on a sticky note to my mom, on paper, can come to an SMS, or maybe a meeting reminder automatically syncs with my digital calendar -- a to-do list that automatically syncs with you. But you can also search in the digital world, or maybe you can write a query, saying, "What is Dr. Smith's address?" and this small system actually prints it out -- so it actually acts like a paper input-output system, just made out of paper.
Siccome ero interessato ad integrare questi due mondi, ho pensato ai foglietti adesivi. Mi sono chiesto: "Perché non si può collegare un semplice foglietto di carta al mondo digitale?" Un messaggio scritto su un foglietto, su carta, può diventare un SMS o un promemoria di un appuntamento che automaticamente si sincronizza con il mio calendario digitale o con una lista delle cose-da-fare. Ma si può anche cercare nel mondo digitale, o magari scrivere qualcosa come: "Qual'è l'indirizzo del Dott. Smith?" e il sistema lo trova e lo stampa – funziona cioè come un di sistema di input-output, fatto con la carta.
In another exploration, I thought of making a pen that can draw in three dimensions. So, I implemented this pen that can help designers and architects not only think in three dimensions, but they can actually draw, so that it's more intuitive to use that way.
In un'altra esplorazione, ho pensato di costruire una penna per disegnare in tre dimensioni. L'ho implementata per aiutare designer e architetti non solo a pensare in tre dimensioni, ma anche a disegnarci, in modo più intuitivo.
Then I thought, "Why not make a Google Map, but in the physical world?" Rather than typing a keyword to find something, I put my objects on top of it. If I put a boarding pass, it will show me where the flight gate is. A coffee cup will show where you can find more coffee, or where you can trash the cup.
Poi ho pensato: "Perché non costruire una Google Map, ma nel mondo fisico?" Piuttosto che digitare una parola chiave per trovare qualcosa, ci metto sopra gli oggetti direttamente. Se metto una carta d'imbarco, mi indicherà dove si trova il cancello d'imbarco. Una tazza di caffè e mi mostrerà dove posso trovarne dell'altro, o dove posso buttare via il contenitore.
So, these were some of the earlier explorations I did because the goal was to connect these two worlds seamlessly. Among all these experiments, there was one thing in common: I was trying to bring a part of the physical world to the digital world. I was taking some part of the objects, or any of the intuitiveness of real life, and bringing them to the digital world, because the goal was to make our computing interfaces more intuitive.
Queste sono alcune delle mie prime esplorazioni, l'obiettivo era quello di collegare facilmente questi due mondi. Tutti questi esperimenti avevano una cosa in comune: in tutti cercavo di portare parte del mondo fisico in quello digitale. Prendevo certi aspetti degli oggetti, o del loro uso nella vita quotidiana, e li portavo nel mondo digitale, perché l'obiettivo era di rendere le interfacce con i computer più intuitive.
But then I realized that we humans are not actually interested in computing. What we are interested in is information. We want to know about things. We want to know about dynamic things going around.
Ma poi mi sono accorto che noi umani non siamo interessati ai computer di per sé. Ci interessa l'informazione che veicolano. Vogliamo conoscere cose, fatti. Vogliamo conoscere quel che succede.
So I thought, around last year -- in the beginning of the last year -- I started thinking, "Why can I not take this approach in the reverse way?" Maybe, "How about I take my digital world and paint the physical world with that digital information?" Because pixels are actually, right now, confined in these rectangular devices that fit in our pockets. Why can I not remove this confine and take that to my everyday objects, everyday life so that I don't need to learn the new language for interacting with those pixels?
Così l'anno scorso – all'inizio dell'anno – ho cominciato a pensare: "Perché non affrontare la questione al contrario?" Mi son detto: "E se prendessi il mio mondo digitale e 'dipingessi' il mondo fisico con queste informazioni digitali?" Perché i pixel, al momento, sono confinati dentro questi dispositivi rettangolari che ci stanno nelle tasche. Perché non rimuovere questo limite e portarli sugli oggetti di ogni giorno, nella vita reale, così che non ci sia bisogno di imparare un nuovo linguaggio per interagire con questi pixel?
So, in order to realize this dream, I actually thought of putting a big-size projector on my head. I think that's why this is called a head-mounted projector, isn't it? I took it very literally, and took my bike helmet, put a little cut over there so that the projector actually fits nicely. So now, what I can do -- I can augment the world around me with this digital information.
Così, per realizzare questo sogno, ho pensato di mettermi un grande proiettore in testa. Sarà per questo che si chiama proiettore a montaggio in testa, no? Ho preso l'idea molto alla lettera e ho usato il mio casco da ciclista, creando un alloggiamento per fissare meglio il proiettore. Quindi adesso posso aggiungere al mondo intorno a me informazioni digitali.
But later, I realized that I actually wanted to interact with those digital pixels, also. So I put a small camera over there that acts as a digital eye. Later, we moved to a much better, consumer-oriented pendant version of that, that many of you now know as the SixthSense device.
Ma poi mi sono accorto che volevo anche interagire con questi pixel. Così ho messo anche una piccola telecamera, che fa da occhio digitale. In seguito abbiamo realizzato una versione molto migliore, più orientata all’utilizzatore, che molti di voi conoscono come il dispositivo SixthSense.
But the most interesting thing about this particular technology is that you can carry your digital world with you wherever you go. You can start using any surface, any wall around you, as an interface. The camera is actually tracking all your gestures. Whatever you're doing with your hands, it's understanding that gesture. And, actually, if you see, there are some color markers that in the beginning version we are using with it. You can start painting on any wall. You stop by a wall, and start painting on that wall. But we are not only tracking one finger, here. We are giving you the freedom of using all of both of your hands, so you can actually use both of your hands to zoom into or zoom out of a map just by pinching all present. The camera is actually doing -- just, getting all the images -- is doing the edge recognition and also the color recognition and so many other small algorithms are going on inside. So, technically, it's a little bit complex, but it gives you an output which is more intuitive to use, in some sense.
Ma la cosa più interessante di questa tecnologia è che si può portare il proprio mondo digitale con sé, ovunque si vada. Si può usare qualsiasi superficie, qualsiasi muro, come una interfaccia. La telecamera rileva tutti i gesti. Qualsiasi sia il gesto che le mani fanno, il sistema lo riconosce. E ci sono anche dei marcatori colorati che usiamo nella versione iniziale. Si può dipingere su qualsiasi muro. Basta fermarsi davanti a un muro e iniziare. Ma qui non stiamo rilevando un dito solo. Qui abbiamo la libertà di usare entrambe le mani e possiamo usarle per lo zoom, per ingrandire o rimpicciolire una mappa, semplicemente unendo le dita. Il ruolo della telecamera qui è semplicemente di acquisire le immagini – che poi saranno processate per il riconoscimento dei bordi e dei colori, in aggiunta a molti altri piccoli algoritmi. Tecnicamente è un po' complesso, ma il risultato è qualcosa di più intuitivo da usare, per certi aspetti.
But I'm more excited that you can actually take it outside. Rather than getting your camera out of your pocket, you can just do the gesture of taking a photo, and it takes a photo for you.
Ma mi entusiasma di più quello che si può fare all'esterno. Piuttosto che tirare fuori la macchina fotografica dalla tasca, si può semplicemente fare il gesto di fare una foto e la foto viene scattata.
(Applause)
(Applausi)
Thank you. And later I can find a wall, anywhere, and start browsing those photos or maybe, "OK, I want to modify this photo a little bit and send it as an email to a friend." So, we are looking for an era where computing will actually merge with the physical world. And, of course, if you don't have any surface, you can start using your palm for simple operations. Here, I'm dialing a phone number just using my hand. The camera is actually not only understanding your hand movements, but, interestingly, is also able to understand what objects you are holding in your hand.
Grazie. E magari dopo posso trovare un muro e cominciare a selezionare le foto e dire: "OK, adesso voglio aggiustare un po' questa e spedirla via email ad un amico." Ciò che abbiamo in mente è un’era nella quale l'elaborazione di informazioni sarà inglobata nel mondo fisico. E, naturalmente, in mancanza di una superficie sottomano si potrà usare la mano stessa per le operazioni più semplici. Qui sto componendo un numero di telefono. La telecamera riconosce non solo i movimenti della mano, ma anche gli oggetti che si tengono in mano.
For example, in this case, the book cover is matched with so many thousands, or maybe millions of books online, and checking out which book it is. Once it has that information, it finds out more reviews about that, or maybe New York Times has a sound overview on that, so you can actually hear, on a physical book, a review as sound.
Per esempio, in questo caso la copertina del libro è messa a confronto con migliaia o forse milioni di libri online, per verificare di che libro si tratta. Una volta trovato, va a cercare le recensioni del libro o magari il New York Times ha una recensione audio, così si può ascoltare, sul libro, l'audio della recensione.
(Video) Famous talk at Harvard University --
("il famoso discorso alla Harvard University...")
This was Obama's visit last week to MIT.
Questa è la visita di Obama al MIT, la scorsa settimana.
(Video) And particularly I want to thank two outstanding MIT --
("...e vorrei ringraziare particolarmente due brillanti...")
Pranav Mistry: So, I was seeing the live [video] of his talk, outside, on just a newspaper. Your newspaper will show you live weather information rather than having it updated. You have to check your computer in order to do that, right?
Qui ero fuori e stavo guardando il video in diretta, sul giornale. Il giornale mostrerà le previsioni meteo in tempo reale, piuttosto che di volta in volta – adesso dobbiamo usare il computer per ricevere l'ultimo aggiornamento, no?
(Applause)
(Applausi)
When I'm going back, I can just use my boarding pass to check how much my flight has been delayed, because at that particular time, I'm not feeling like opening my iPhone, and checking out a particular icon. And I think this technology will not only change the way --
Quando rientro posso usare il mio biglietto aereo per verificare di quanto il mio volo è stato ritardato, perché in quel momento non mi va di tirare fuori l'iPhone e cercare tra le icone. E credo che questa tecnologia cambierà non solo il modo –
(Laughter)
Sì. (Risate)
Yes. It will change the way we interact with people, also, not only the physical world. The fun part is, I'm going to the Boston metro, and playing a pong game inside the train on the ground, right?
Cambierà il modo in cui interagiamo anche con le persone, non solo con il mondo fisico. La parte divertente è quando vado nella metro di Boston e gioco a "Pong"
(Laughter)
sul pavimento del treno, no? (Risate)
And I think the imagination is the only limit of what you can think of when this kind of technology merges with real life.
E credo che l'immaginazione sia il solo limite di quello che si può concepire quando questa tecnologia entra nella vita reale.
But many of you argue, actually, that all of our work is not only about physical objects. We actually do lots of accounting and paper editing and all those kinds of things; what about that? And many of you are excited about the next-generation tablet computers to come out in the market.
Molti obietteranno che non tutto il nostro lavoro ha a che fare con oggetti fisici. Lavoriamo molto con i dati e con l'editing di testi e come facciamo con tutte queste cose? Molti si entusiasmano per la prossima generazione di "tablet computer" che arriveranno sul mercato.
So, rather than waiting for that, I actually made my own, just using a piece of paper. So, what I did here is remove the camera -- All the webcam cameras have a microphone inside the camera. I removed the microphone from that, and then just pinched that -- like I just made a clip out of the microphone -- and clipped that to a piece of paper, any paper that you found around. So now the sound of the touch is getting me when exactly I'm touching the paper. But the camera is actually tracking where my fingers are moving.
Piuttosto che aspettare che arrivino ho pensato di farne uno, semplicemente con un foglio di carta. Ho smontato la telecamera – tutte le webcam hanno un microfono al loro interno – ho rimosso il microfono e l'ho semplicemente pinzato – attaccandoci prima una graffetta – su un foglio di carta, uno qualsiasi. Adesso, il rumore del dito che tocca la carta mi segnala esattamente quando tocco il foglio. La telecamera invece rileva dove si muovono le dita.
You can of course watch movies.
Naturalmente è possibile vedere dei film.
(Video) Good afternoon. My name is Russell, and I am a Wilderness Explorer in Tribe 54."
("Buon pomeriggio, mi chiamo Russell...") ("...e sono un Esploratore della Foresta della Tribù 54.")
PM: And you can of course play games.
Ed è anche possibile giocare ad un videogioco.
(Car engine)
(Motore d'automobile)
Here, the camera is actually understanding how you're holding the paper and playing a car-racing game.
Qui la telecamera riconosce come il foglio è tenuto in mano e controlla il videogioco.
(Applause)
(Applausi)
Many of you already must have thought, OK, you can browse. Yeah. Of course you can browse to any websites or you can do all sorts of computing on a piece of paper wherever you need it. So, more interestingly, I'm interested in how we can take that in a more dynamic way. When I come back to my desk, I can just pinch that information back to my desktop so I can use my full-size computer.
Molti avranno pensato, OK, si potrà anche usare il browser. Sì. Naturalmente si può visitare qualsiasi sito web e lanciare applicazioni varie, su un pezzo di carta, ovunque ce ne sia bisogno. Ma mi interessa di più come possiamo utilizzarlo in modo più dinamico. Quando ritorno alla mia scrivania posso afferrare queste informazioni e portarle sul mio computer, così che poi posso usare il mio computer normale.
(Applause)
(Applausi)
And why only computers? We can just play with papers. Paper world is interesting to play with. Here, I'm taking a part of a document, and putting over here a second part from a second place, and I'm actually modifying the information that I have over there. Yeah. And I say, "OK, this looks nice, let me print it out, that thing." So I now have a print-out of that thing. So the workflow is more intuitive, the way we used to do it maybe 20 years back, rather than now switching between these two worlds.
E perché solo con i computer? Magari anche con la carta. Il mondo della carta è anche interessante per queste cose. Qui sto prendendo parte di un documento e ci metto sopra quest'altro, preso da un'altra parte – modifico queste informazioni che ho qui sul foglio. E dico: "OK, mi sembra vada bene, adesso lo stampo". Così adesso ho la stampa e alla fine tutto il processo è più intuitivo rispetto a 20 anni fa, piuttosto che saltare in continuazione tra questi due mondi.
So, as a last thought, I think that integrating information to everyday objects will not only help us to get rid of the digital divide, the gap between these two worlds, but will also help us, in some way, to stay human, to be more connected to our physical world. And it will actually help us not end up being machines sitting in front of other machines.
Quindi, come ultima riflessione, credo che l'integrazione delle informazioni negli oggetti quotidiani ci aiuterà non solo a superare il "digital divide", la separazione tra questi due mondi, ma ci aiuterà anche, in qualche modo, a rimanere umani, a rimanere più connessi con il mondo fisico. E ci aiuterà a non diventare delle macchine sedute di fronte ad altre macchine.
That's all. Thank you.
Tutto qui. Grazie.
(Applause)
(Applausi)
Thank you.
Grazie.
(Applause)
(Applausi)
Chris Anderson: So, Pranav, first of all, you're a genius. This is incredible, really. What are you doing with this? Is there a company being planned? Or is this research forever, or what?
Chris Anderson: Allora, Pranav, prima di tutto, sei un genio. È incredibile, davvero. Che cosa pensi di fare con questo? Un'azienda nei tuoi piani? O farai ricerca per sempre, o cosa?
Pranav Mistry: So, there are lots of companies, sponsor companies of Media Lab interested in taking this ahead in one or another way. Companies like mobile-phone operators want to take this in a different way than the NGOs in India, thinking, "Why can we only have 'Sixth Sense'? We should have a 'Fifth Sense' for missing-sense people who cannot speak. This technology can be used for them to speak out in a different way maybe a speaker system."
Pranav Mistry: Ci sono molte aziende – praticamente gli sponsor del Media Lab – che sono interessate a portare avanti il progetto in vari modi. Aziende come operatori di telefonia mobile che vogliono svilupparlo in una direzione diversa dalle ONG in India, che pensano: "Perché dobbiamo avere solo 'Sesto Senso'? Dovremmo avere un 'Quinto Senso' per quelli ai quali manca uno, quelli che non possono parlare. Questa tecnologia può essere usata per parlare in altro modo, per esempio con degli altoparlanti."
CA: What are your own plans? Are you staying at MIT, or are you going to do something with this?
CA: Quali sono i tuoi piani? Rimani al MIT, o vuoi fare qualcosa con tutto questo?
PM: I'm trying to make this more available to people so that anyone can develop their own SixthSense device, because the hardware is actually not that hard to manufacture or hard to make your own. We will provide all the open source software for them, maybe starting next month.
PM: Sto cercando di rendere il tutto più accessibile alle persone così che chiunque possa sviluppare il proprio "SixthSense" perché l'hardware non è così difficile da produrre, o da assemblare da soli. Noi forniremo tutto il software open source forse già a partire dal prossimo mese.
CA: Open source? Wow.
CA: Open source? Uao!
(Applause)
(Applausi)
CA: Are you going to come back to India with some of this, at some point?
CA: Ritornerai in India con qualcosa, prima o poi?
PM: Yeah. Yes, yes, of course.
PM: Sì, sì, naturalmente.
CA: What are your plans? MIT? India? How are you going to split your time going forward?
CA: Che cosa pensi di fare? MIT? India? Come pensi di ripartire il tempo in futuro?
PM: There is a lot of energy here. Lots of learning. All of this work that you have seen is all about my learning in India. And now, if you see, it's more about the cost-effectiveness: this system costs you $300 compared to the $20,000 surface tables, or anything like that. Or maybe even the $2 mouse gesture system at that time was costing around $5,000? I showed that, at a conference, to President Abdul Kalam, at that time, and then he said, "OK, we should use this in Bhabha Atomic Research Centre for some use of that." So I'm excited about how I can bring the technology to the masses rather than just keeping that technology in the lab environment.
PM: C'è molta energia qui. Si sta imparando molto. Tutto il lavoro che avete visto qui è nato da quello che ho imparato in India. E adesso, se guardiamo al lato costi-benefici: questo sistema costa 300 dollari in confronto al sistema "surface table" che ne costa 20.000. O anche il sistema gestuale da due dollari che allora costava circa 5000 dollari? A quel tempo avevo fatto vedere queste cose, ad una conferenza, al presidente Abdul Kalam, e lui disse: "OK, lo dovremmo portare al Bhabha Atomic Research Centre per usarlo in qualche modo". Per cui, mi entusiasma l'idea di portare questa tecnologia alle masse, piuttosto che tenerla in laboratorio.
(Applause)
(Applausi)
CA: Based on the people we've seen at TED, I would say you're truly one of the two or three best inventors in the world right now. It's an honor to have you at TED. Thank you so much. That's fantastic.
CA: Per quel che abbiamo visto qui a TED, posso dire che tu sei uno dei due o tre migliori inventori al mondo al momento. È un onore averti qui a TED. Grazie molte. È fantastico.
(Applause)
(Applausi)