A computer is an incredibly powerful means of creative expression, but for the most part, that expression is confined to the screens of our laptops and mobile phones. And I'd like to tell you a story about bringing this power of the computer to move things around and interact with us off of the screen and into the physical world in which we live.
Un computer è uno strumento incredibilmente potente di espressività creativa, ma la maggior parte di essa è limitata allo schermo del laptop o del cellulare. Vorrei raccontarvi una storia di come si può usare questo potere del computer per spostare oggetti e interagire con noi a schermo spento, nel mondo fisico in cui viviamo.
A few years ago, I got a call from a luxury fashion store called Barneys New York, and the next thing I knew, I was designing storefront kinetic sculptures for their window displays.
Alcuni anni fa mi chiamarono da un lussuoso negozio di moda, il Barneys New York, e poco dopo mi ritrovai a progettare sculture cinetiche da esporre in vetrina.
This one's called "The Chase." There are two pairs of shoes, a man's pair and a woman's pair, and they play out this slow, tense chase around the window in which the man scoots up behind the woman and gets in her personal space, and then she moves away. Each of the shoes has magnets in it, and there are magnets underneath the table that move the shoes around.
Questa si intitola "La caccia". Ci sono due paia di scarpe, uno da uomo e uno da donna, che si inseguono in modo lento e inesorabile per tutta la vetrina, l'uomo raggiunge la donna invadendo il suo spazio personale, e lei si allontana. Ogni scarpa contiene delle calamite e sotto il tavolo ci sono altre calamite, che fanno muovere le scarpe.
My friend Andy Cavatorta was building a robotic harp for Bjork's Biophilia tour and I wound up building the electronics and motion control software to make the harps move and play music. The harp has four separate pendulums, and each pendulum has 11 strings, so the harp swings on its axis and also rotates in order to play different musical notes, and the harps are all networked together so that they can play the right notes at the right time in the music.
Il mio amico Andy Cavatorta ha costruito un'arpa robotica per il tour Biophilia di Björk e io ne ho progettato la parte elettronica e il software di controllo del movimento per far muovere e suonare le arpe. Ogni arpa ha quattro pendoli separati, e ogni pendolo ha 11 corde, così l'arpa oscilla sul suo asse e ruota per suonare note musicali diverse, e le arpe sono tutte collegate così da suonare le note giuste al momento giusto, come da spartito.
I built an interactive chemistry exhibit at the Museum of Science and Industry in Chicago, and this exhibit lets people use physical objects to grab chemical elements off of the periodic table and bring them together to cause chemical reactions to happen. And the museum noticed that people were spending a lot of time with this exhibit, and a researcher from a science education center in Australia decided to study this exhibit and try to figure out what was going on. And she found that the physical objects that people were using were helping people understand how to use the exhibit, and were helping people learn in a social way.
Ho allestito un'esposizione interattiva di chimica per il Museo della Scienza e dell'Industria di Chicago, che consente al pubblico di usare oggetti fisici per prendere elementi chimici dalla tavola periodica e miscelarli per provocare delle reazioni chimiche. E al museo si è notato che le persone vi trascorrevano molto tempo. Una ricercatrice di un centro di educazione scientifica australiano si è messa ad osservare meglio per cercare di capire cosa stesse accadendo. E ha scoperto che gli oggetti fisici che la gente usava aiutavano le persone a capire come utilizzare l'installazione e ad apprendere in modo sociale.
And when you think about it, this makes a lot of sense, that using specialized physical objects would help people use an interface more easily. I mean, our hands and our minds are optimized to think about and interact with tangible objects. Think about which you find easier to use, a physical keyboard or an onscreen keyboard like on a phone?
Se ci pensate, sembra molto logico che l'uso di oggetti fisici possa favorire un utilizzo più semplice di un'interfaccia. Le nostre mani e la nostra mente sono ottimizzate per pensare e interagire con oggetti tangibili. Pensate a cosa trovate più facile da usare: una tastiera fisica o una tastiera virtuale come quella dei cellulari?
But the thing that struck me about all of these different projects is that they really had to be built from scratch, down to the level of the electronics and the printed circuit boards and all the mechanisms all the way up to the software. I wanted to create something where we could move objects under computer control and create interactions around that idea without having to go through this process of building something from scratch every single time.
Ma ciò che mi ha più colpito di tutti questi vari progetti è che si dovevano realizzare partendo da zero, a cominciare dall'elettronica e dai circuiti stampati, a tutti i meccanismi fino al software. Volevo creare qualcosa per spostare oggetti con l'aiuto del computer e creare delle interazioni tra di essi evitando di dover ricostruire qualcosa da zero ogni volta.
So my first attempt at this was at the MIT Media Lab with Professor Hiroshi Ishii, and we built this array of 512 different electromagnets, and together they were able to move objects around on top of their surface. But the problem with this was that these magnets cost over 10,000 dollars. Although each one was pretty small, altogether they weighed so much that the table that they were on started to sag. So I wanted to build something where you could have this kind of interaction on any tabletop surface.
La mia prima volta è stata al Media Lab del MIT con il professor Hiroshi Ishii, dove abbiamo realizzato questo circuito costituito da 512 elettromagneti che tutti insieme facevano spostare degli oggetti sulla loro superficie. Ma il problema era che questi magneti costavano oltre 10 000 dollari. Nonostante la loro piccola dimensione, tutti insieme pesavano così tanto che il tavolo su cui poggiavano iniziò a curvarsi. Così ho deciso di creare qualcosa che permettesse questo tipo di interazione su qualsiasi piano di lavoro.
So to explore this idea, I built an army of small robots, and each of these robots has what are called omni wheels. They're these special wheels that can move equally easily in all directions, and when you couple these robots with a video projector, you have these physical tools for interacting with digital information. So here's an example of what I mean. This is a video editing application where all of the controls for manipulating the video are physical. So if we want to tweak the color, we just enter the color mode, and then we get three different dials for tweaking the color, or if we want to adjust the audio, then we get two different dials for that, these physical objects. So here the left and right channel stay in sync, but if we want to, we can override that by grabbing both of them at the same time. So the idea is that we get the speed and efficiency benefits of using these physical dials together with the flexibility and versatility of a system that's designed in software.
Ed elaborando su quest'idea ho costruito un esercito di piccoli robot, ciascuno munito di ruote omnidirezionali. Si tratta di ruote speciali in grado di muoversi facilmente in ogni direzione, e quando si associano questi robot a un videoproiettore, si ottengono degli strumenti fisici che interagiscono con informazioni digitali. Ecco un esempio di ciò che intendo. Questa è un'applicazione per il video editing in cui tutti i controlli per manipolare il video sono fisici. Così, se vogliamo calibrare il colore, entriamo nella modalità colore, e abbiamo a disposizione tre comandi per variare il colore. Se vogliamo regolare il sonoro agiamo su due comandi distinti. Qui i canali sinistro e destro sono sincronizzati, ma è possibile agire su di essi separatamente afferrandoli insieme contemporaneamente. L'idea è riuscire a ottenere i vantaggi di velocità ed efficienza usando i comandi fisici assieme alla flessibilità e versatilità di un sistema software.
And this is a mapping application for disaster response. So you have these physical objects that represent police, fire and rescue, and a dispatcher can grab them and place them on the map to tell those units where to go, and then the position of the units on the map gets synced up with the position of those units in the real world.
Qui abbiamo un'applicazione di mappatura per interventi in caso di disastro. Abbiamo degli oggetti che rappresentano polizia, pompieri e soccorsi, che un supervisore può afferrare e posizionare sulla mappa per indicare alle varie unità dove dirigersi, e poi la posizione degli oggetti sulla mappa si sincronizza con la posizione delle rispettive unità del mondo reale.
This is a video chat application. It's amazing how much emotion you can convey with just a few simple movements of a physical object.
Questa è un'applicazione di video chat. E' incredibile quante emozioni si possono trasmettere con pochi, semplici movimenti di un oggetto fisico.
With this interface, we open up a huge array of possibilities in between traditional board games and arcade games, where the physical possibilities of interaction make so many different styles of play possible.
Con questa interfaccia si può accedere a una vasta gamma di possibilità a metà tra giochi da tavolo e videogiochi, dove le possibilità fisiche di interazione rendono possibili tanti diversi stili di gioco.
But one of the areas that I'm most excited about using this platform for is applying it to problems that are difficult for computers or people to solve alone. One example of those is protein folding. So here we have an interface where we have physical handles onto a protein, and we can grab those handles and try to move the protein and try to fold it in different ways. And if we move it in a way that doesn't really make sense with the underlying molecular simulation, we get this physical feedback where we can actually feel these physical handles pulling back against us. So feeling what's going on inside a molecular simulation is a whole different level of interaction.
Ma uno dei campi in cui più mi entusiasma usare questa piattaforma sono i problemi difficili da risolvere anche con l'aiuto del computer. Un esempio è il ripiegamento proteico. Qui vedete un'interfaccia con delle manopole fisiche su una proteina, e possiamo afferrare le manopole per provare a piegare la proteina in più modi. Se la spostiamo in un modo incompatibile con la simulazione molecolare sottostante, riceviamo una risposta fisica dalle manopole che oppongono resistenza. Riuscire a sentire cosa accade all'interno di una simulazione molecolare è tutto un altro livello di interazione.
So we're just beginning to explore what's possible when we use software to control the movement of objects in our environment. Maybe this is the computer of the future. There's no touchscreen. There's no technology visible at all. But when we want to have a video chat or play a game or lay out the slides to our next TED Talk, the objects on the table come alive.
Abbiamo appena inziato a esplorare cosa sia possibile realizzare con un software di controllo del movimento di oggetti nel nostro ambiente. Forse è questo il computer del futuro. Non ci sono schermi tattili. Non c'è alcuna tecnologia visibile. Ma quando vogliamo fare una video chat oppure giocare, o lavorare al nostro prossimo TED Talk, gli oggetti sul tavolo prendono vita.
Thank you.
Grazie.
(Applause)
(applausi)