A computer is an incredibly powerful means of creative expression, but for the most part, that expression is confined to the screens of our laptops and mobile phones. And I'd like to tell you a story about bringing this power of the computer to move things around and interact with us off of the screen and into the physical world in which we live.
De computer is een ongelofelijk krachtig middel om je creatief uit te drukken. Die uitdrukking beperkt zich grotendeels tot het scherm van onze laptop of mobiele telefoon. Ik wil je een verhaal vertellen over het gebruik van de kracht van de computer om dingen te bewegen en met ons te interageren, weg van het scherm, naar de werkelijkheid waarin we leven. Een paar jaar geleden belde een luxe kledingwinkel,
A few years ago, I got a call from a luxury fashion store called Barneys New York, and the next thing I knew, I was designing storefront kinetic sculptures for their window displays.
Barneys in New York en even later was ik bewegende kunstwerken aan het ontwerpen voor hun etalages.
This one's called "The Chase." There are two pairs of shoes, a man's pair and a woman's pair, and they play out this slow, tense chase around the window in which the man scoots up behind the woman and gets in her personal space, and then she moves away. Each of the shoes has magnets in it, and there are magnets underneath the table that move the shoes around.
Deze heet 'de achtervolging'. Er zijn twee paar schoenen: van een man en een vrouw. Ze doen een langzame, gevoelige achtervolging, de etalage rond. De 'man' schuifelt achter de 'vrouw' aan, komt in haar persoonlijke ruimte, en zij beweegt zich weg van hem. Er zitten magneten in de schoenen. Onder de tafel zitten ook magneten die de schoenen doen bewegen.
My friend Andy Cavatorta was building a robotic harp for Bjork's Biophilia tour and I wound up building the electronics and motion control software to make the harps move and play music. The harp has four separate pendulums, and each pendulum has 11 strings, so the harp swings on its axis and also rotates in order to play different musical notes, and the harps are all networked together so that they can play the right notes at the right time in the music.
Mijn vriend Andy Cavatorta heeft een robot-harp gebouwd voor de Biophilia-tour van Björk en ik ging de elektronica maken en de software voor de afstandsbediening om de harp te laten bewegen en spelen. De harp heeft vier gescheiden slingers en elke slinger heeft 11 snaren. De harp draait dus om zijn as en roteert om zo verschillende noten te spelen. De harpen zijn verbonden in een netwerk, zodat ze de goede noten spelen op het juiste moment in de muziek.
I built an interactive chemistry exhibit at the Museum of Science and Industry in Chicago, and this exhibit lets people use physical objects to grab chemical elements off of the periodic table and bring them together to cause chemical reactions to happen. And the museum noticed that people were spending a lot of time with this exhibit, and a researcher from a science education center in Australia decided to study this exhibit and try to figure out what was going on. And she found that the physical objects that people were using were helping people understand how to use the exhibit, and were helping people learn in a social way.
Ik heb een interactieve chemie-tentoonstelling gemaakt in het Museum voor Wetenschap en Industrie in Chicago. De mensen kunnen er voorwerpen gebruiken om scheikundige elementen te pakken van een periodiek stelsel en ze bij elkaar doen voor een chemische reactie. Het museum zag dat de mensen er lang mee speelden. Een onderzoeker van een wetenschaps-educatiecentrum in Australië wilde de tentoonstelling bestuderen om te onderzoeken wat er aan de hand was. Ze ontdekte dat de fysieke voorwerpen hielpen bij het begrijpen hoe ze de tentoonstelling moesten gebruiken. We hielpen mensen leren op een sociale manier.
And when you think about it, this makes a lot of sense, that using specialized physical objects would help people use an interface more easily. I mean, our hands and our minds are optimized to think about and interact with tangible objects. Think about which you find easier to use, a physical keyboard or an onscreen keyboard like on a phone?
Als je erover nadenkt, is het logisch dat je met speciale fysieke voorwerpen de bediening makkelijker leert gebruiken. Onze handen en onze hersenen zijn gebouwd om met tastbare voorwerpen om te gaan. Wat vind je makkelijker om te gebruiken? Een fysiek toetsenbord of een toetsenbord op een scherm zoals op je mobiel?
But the thing that struck me about all of these different projects is that they really had to be built from scratch, down to the level of the electronics and the printed circuit boards and all the mechanisms all the way up to the software. I wanted to create something where we could move objects under computer control and create interactions around that idea without having to go through this process of building something from scratch every single time.
Het viel me bij al deze projecten op dat ze allemaal vanuit niets moesten worden opgebouwd, tot op het niveau van de elektronica en de elektronische printplaatjes en alle mechaniek tot aan de software. Ik wilde iets maken waarbij we voorwerpen konden bewegen met afstandsbediening met daar omheen interactie zonder elke keer van nul te moeten beginnen. Mijn eerste poging om dat te bereiken,
So my first attempt at this was at the MIT Media Lab with Professor Hiroshi Ishii, and we built this array of 512 different electromagnets, and together they were able to move objects around on top of their surface. But the problem with this was that these magnets cost over 10,000 dollars. Although each one was pretty small, altogether they weighed so much that the table that they were on started to sag. So I wanted to build something where you could have this kind of interaction on any tabletop surface.
was in het MIT Media Lab van professor Hiroshi Ishii. We bouwden deze stapel van 512 verschillende elektromagneten, en samen konden ze voorwerpen bewegen bovenop hun oppervlak. Het probleem is dat deze magneten meer dan $10.000 kosten. Hoewel ze allemaal klein zijn, wegen ze samen zoveel dat de tafel begon door te buigen. Ik wilde dus iets maken waar die interactie mogelijk was op een normaal tafelblad. Om dat idee uit te werken
So to explore this idea, I built an army of small robots, and each of these robots has what are called omni wheels. They're these special wheels that can move equally easily in all directions, and when you couple these robots with a video projector, you have these physical tools for interacting with digital information. So here's an example of what I mean. This is a video editing application where all of the controls for manipulating the video are physical. So if we want to tweak the color, we just enter the color mode, and then we get three different dials for tweaking the color, or if we want to adjust the audio, then we get two different dials for that, these physical objects. So here the left and right channel stay in sync, but if we want to, we can override that by grabbing both of them at the same time. So the idea is that we get the speed and efficiency benefits of using these physical dials together with the flexibility and versatility of a system that's designed in software.
heb ik een leger kleine robots gemaakt. Elk heeft een 'omni-wiel'. Dat zijn van die wielen die makkelijk alle kanten op kunnen bewegen. Als je deze robots aan een videoprojector koppelt, krijg je de fysieke gereedschappen voor de uitwisseling van digitale informatie. Hier is een voorbeeld. Dit is een videobewerk-applicatie waar alle bediening voor videobewerking fysiek is. Als je de kleur wilt aanpassen ga je naar de kleurmodus. Je hebt dan drie wielen om de kleur aan te passen. Of als je het geluid wilt regelen, heb je twee verschillende wielen om dat fysiek te regelen. Hier blijven het linkse en rechtse kanaal synchroon. Je kan dat veranderen door ze allebei tegelijk vast te nemen. Zo krijgen we de voordelen van snelheid en efficiency van deze fysieke wielen, samen met de flexibiliteit en veelzijdigheid van een systeem dat met software gemaakt is.
And this is a mapping application for disaster response. So you have these physical objects that represent police, fire and rescue, and a dispatcher can grab them and place them on the map to tell those units where to go, and then the position of the units on the map gets synced up with the position of those units in the real world.
En dit is een applicatie voor kaarten bij rampenbestrijding. Je hebt de fysieke voorwerpen voor politie, brandweer en reddingsdiensten en iets om ze te grijpen en op de kaart te zetten, om te zeggen waar ze naartoe moeten. De locatie van de eenheden op de kaart wordt gesynchroniseerd met de locatie van de eenheden in de echte wereld.
This is a video chat application. It's amazing how much emotion you can convey with just a few simple movements of a physical object.
Dit is een videochat-toepassing. Ongelofelijk hoeveel emotie je kwijt kan met wat beweging van een fysiek voorwerp.
With this interface, we open up a huge array of possibilities in between traditional board games and arcade games, where the physical possibilities of interaction make so many different styles of play possible.
Met deze interface krijgen we enorm veel mogelijkheden tussen de traditionele bordspellen en speelautomaten. Door de fysieke interactie worden veel spelvariaties mogelijk.
But one of the areas that I'm most excited about using this platform for is applying it to problems that are difficult for computers or people to solve alone. One example of those is protein folding. So here we have an interface where we have physical handles onto a protein, and we can grab those handles and try to move the protein and try to fold it in different ways. And if we move it in a way that doesn't really make sense with the underlying molecular simulation, we get this physical feedback where we can actually feel these physical handles pulling back against us. So feeling what's going on inside a molecular simulation is a whole different level of interaction.
Ik ben het meest enthousiast over het gebruik van dit platform voor problemen die moeilijk op te lossen zijn voor alleen computers of mensen. Een voorbeeld is vouwen van eiwitten. Hier heb ik een interface waarbij een eiwit handvatten heeft waarmee we het kunnen bewegen en op verschillende manieren te vouwen. Als we hem bewegen in een richting die nergens op slaat, met moleculaire nabootsing, krijgen we fysieke feedback omdat we de handvatten echt voelen terugtrekken. Voelen wat er speelt in een molecuul-simulatie is een heel ander niveau van interactie. We staan aan het begin van een ontdekkingstocht
So we're just beginning to explore what's possible when we use software to control the movement of objects in our environment. Maybe this is the computer of the future. There's no touchscreen. There's no technology visible at all. But when we want to have a video chat or play a game or lay out the slides to our next TED Talk, the objects on the table come alive.
naar de mogelijkheden om met software de beweging te regelen van voorwerpen in onze omgeving. Misschien is dit de computer van de toekomst. Zonder touchscreen. Er is helemaal geen techniek zichtbaar. Maar als we een videogesprek willen of een spel spelen of de dia's van de volgende TED Talk willen plaatsen dan komen de voorwerpen tot leven. Dank je wel.
Thank you.
(Applaus)
(Applause)