A computer is an incredibly powerful means of creative expression, but for the most part, that expression is confined to the screens of our laptops and mobile phones. And I'd like to tell you a story about bringing this power of the computer to move things around and interact with us off of the screen and into the physical world in which we live.
L'ordinateur est un moyen incroyablement puissant d'expression créative mais pour la majeure partie cette expression se limite aux écrans de nos ordinateurs et téléphones portables. Et j'aimerais vous raconter une histoire sur comment amener ce pouvoir hors de l'ordinateur pour faire bouger des choses et interagir avec nous hors de l'écran et dans le monde physique dans lequel on vit.
A few years ago, I got a call from a luxury fashion store called Barneys New York, and the next thing I knew, I was designing storefront kinetic sculptures for their window displays.
Il y a quelques années, j'ai eu un appel d'un magasin de luxe appelé Barneys New York et tout d'un coup voilà que j'étais en train de concevoir des sculptures cinétiques pour les vitrines de leurs devantures.
This one's called "The Chase." There are two pairs of shoes, a man's pair and a woman's pair, and they play out this slow, tense chase around the window in which the man scoots up behind the woman and gets in her personal space, and then she moves away. Each of the shoes has magnets in it, and there are magnets underneath the table that move the shoes around.
Celui-ci s'appelle « La Poursuite ». Il y a deux paires de chaussures, celle d'un homme et celle d'une femme, et elles jouent cette poursuite lente et tendue dans toute la vitrine dans laquelle l'homme arrive derrière la femme et se met dans son espace personnel, et ensuite elle s'éloigne. Chacune des chaussures a des aimants à l'intérieur, et il y a des aimants en-dessous de la table qui font bouger les chaussures.
My friend Andy Cavatorta was building a robotic harp for Bjork's Biophilia tour and I wound up building the electronics and motion control software to make the harps move and play music. The harp has four separate pendulums, and each pendulum has 11 strings, so the harp swings on its axis and also rotates in order to play different musical notes, and the harps are all networked together so that they can play the right notes at the right time in the music.
Mon ami Andy Cavatorta construisait une harpe robotique pour la tournée Biophilia de Bjork et j'ai fini par construire l'électronique et le logiciel de contrôle du mouvement pour faire bouger et jouer la harpe. La harpe a quatre balanciers séparés, et chaque balancier a 11 cordes, donc la harpe se balance selon son axe et fait une rotation pour jouer plusieurs notes de musique et les harpes sont toutes en réseau pour qu'elles puissent jouer les bonnes notes au bon moment de la musique.
I built an interactive chemistry exhibit at the Museum of Science and Industry in Chicago, and this exhibit lets people use physical objects to grab chemical elements off of the periodic table and bring them together to cause chemical reactions to happen. And the museum noticed that people were spending a lot of time with this exhibit, and a researcher from a science education center in Australia decided to study this exhibit and try to figure out what was going on. And she found that the physical objects that people were using were helping people understand how to use the exhibit, and were helping people learn in a social way.
J'ai bâti une exposition de chimie au Musée des Sciences et de l'Industrie à Chicago, et cette exposition permet aux personnes d'utiliser des objets physiques pour attraper des éléments chimiques hors de la table périodique et les amener ensemble pour causer des réactions chimiques. Le musée a remarqué que les personnes passaient beaucoup de temps à cette exposition et un chercheur d'un centre d'éducation scientifique en Australie a décidé d'étudier cette exposition pour essayer de comprendre ce qui était en train de se passer. Elle a trouvé que les objets physiques que les personnes utilisaient aidaient pour comprendre comment utiliser l'exposition, et aidaient les personnes à apprendre d'une manière sociale.
And when you think about it, this makes a lot of sense, that using specialized physical objects would help people use an interface more easily. I mean, our hands and our minds are optimized to think about and interact with tangible objects. Think about which you find easier to use, a physical keyboard or an onscreen keyboard like on a phone?
En y réfléchissant, cela a beaucoup de sens, qu'utiliser des objets physiques spécialisés aide les personnes à utiliser plus facilement une interface. Je veux dire que nos mains et nos esprits sont optimisés pour réfléchir et interagir avec des objets tangibles. Pensez à ce que vous considérez le plus facile à utiliser un clavier physique ou sur un écran comme sur un portable ?
But the thing that struck me about all of these different projects is that they really had to be built from scratch, down to the level of the electronics and the printed circuit boards and all the mechanisms all the way up to the software. I wanted to create something where we could move objects under computer control and create interactions around that idea without having to go through this process of building something from scratch every single time.
Mais ce qui m'a frappé à propos de tous ces différents projets est qu'ils sont vraiment construits en partant de zéro, au niveau de l'électronique et les circuits imprimés et tous les mécanismes jusqu'au logiciel. Je voulais créer quelque chose où l'on pouvait bouger des objets sous contrôle de l'ordinateur et créer des interactions autour de cette idée sans avoir à parcourir ce processus de construire quelque chose en partant de zéro à chaque fois.
So my first attempt at this was at the MIT Media Lab with Professor Hiroshi Ishii, and we built this array of 512 different electromagnets, and together they were able to move objects around on top of their surface. But the problem with this was that these magnets cost over 10,000 dollars. Although each one was pretty small, altogether they weighed so much that the table that they were on started to sag. So I wanted to build something where you could have this kind of interaction on any tabletop surface.
Donc ma première tentative était au Media Lab du MIT avec le professeur Hiroshi Ishii, et on a construit cet ensemble de 512 électro-aimants différents, et ensemble ils pouvaient faire bouger les objets à leur surface. Mais le problème avec cela était que ces aimants coûtent plus de 10 000 dollars. Même si chacun était plutôt petit, ensemble ils pesaient tellement que la table sur laquelle ils étaient a commencé à s'affaisser. Donc je voulais construire quelque chose où l'on pouvait avoir cette sorte d'interaction sur n'importe quelle table.
So to explore this idea, I built an army of small robots, and each of these robots has what are called omni wheels. They're these special wheels that can move equally easily in all directions, and when you couple these robots with a video projector, you have these physical tools for interacting with digital information. So here's an example of what I mean. This is a video editing application where all of the controls for manipulating the video are physical. So if we want to tweak the color, we just enter the color mode, and then we get three different dials for tweaking the color, or if we want to adjust the audio, then we get two different dials for that, these physical objects. So here the left and right channel stay in sync, but if we want to, we can override that by grabbing both of them at the same time. So the idea is that we get the speed and efficiency benefits of using these physical dials together with the flexibility and versatility of a system that's designed in software.
Alors pour explorer cette idée, j'ai construit une armée de petits robots, et chacun de ces robots avait ce que l'on appelle des roues omni. Ce sont ces roues spéciales qui peuvent bouger aussi facilement dans toutes les directions, et quand vous couplez ces robots avec un projecteur vidéo, vous avez ces outils physiques pour interagir avec de l'information digitale. Donc voilà un exemple de ce que je veux dire. Ceci est une application d'édition de vidéos où tous les contrôles pour manipuler la vidéo sont physiques. Donc si l'on veut peaufiner la couleur, on entre juste le mode de couleur, et ensuite on a trois boutons différents pour peaufiner la couleur, ou si l'on veut ajuster le son, alors on a deux boutons différents pour ça, ces objets physiques. Donc ici les canaux de gauche et droite restent synchronisés mais si l'on veut, on peut passer outre cela en saisissant les deux en même temps. Donc l'idée est que l'on obtient les avantages de vitesse et d'efficacité par l'utilisation de ces boutons physiques ensemble avec la flexibilité et la versatilité d'un système qui est conçu en logiciel.
And this is a mapping application for disaster response. So you have these physical objects that represent police, fire and rescue, and a dispatcher can grab them and place them on the map to tell those units where to go, and then the position of the units on the map gets synced up with the position of those units in the real world.
Et ceci est une application de cartographie pour la réponse aux catastrophes. Donc il y a ces objets physiques qui représentent la police, les pompiers et secours, et le répartiteur peut les saisir et les placer sur une carte pour dire à ces unités où aller, et ensuite la position des unités sur la carte est synchronisée avec leur position dans le vrai monde.
This is a video chat application. It's amazing how much emotion you can convey with just a few simple movements of a physical object.
C'est une application de vidéo chat. C'est fou combien d'émotions on peut transmettre avec juste quelques simples mouvements d'un objet physique.
With this interface, we open up a huge array of possibilities in between traditional board games and arcade games, where the physical possibilities of interaction make so many different styles of play possible.
Avec cette interface, on ouvre un immense champ de possibilités entre les jeux de société traditionnels et les jeux d'arcade, où les possibilités physiques de l'interaction rendent possibles pleins de différents styles de jeu.
But one of the areas that I'm most excited about using this platform for is applying it to problems that are difficult for computers or people to solve alone. One example of those is protein folding. So here we have an interface where we have physical handles onto a protein, and we can grab those handles and try to move the protein and try to fold it in different ways. And if we move it in a way that doesn't really make sense with the underlying molecular simulation, we get this physical feedback where we can actually feel these physical handles pulling back against us. So feeling what's going on inside a molecular simulation is a whole different level of interaction.
Mais un des domaines par lequel je suis le plus excité concernant l'utilisation de cette plate-forme est de l'appliquer aux problèmes qui sont difficiles à résoudre pour les ordinateurs ou personnes seules. Un exemple de cela est le pliage de protéine. Donc ici on a une interface où l'on a des poignées physiques sur une protéine et on peut prendre ces poignées et essayer de bouger la protéine, essayer de la plier de différentes manières. Et si on la bouge d'une façon qui n'a pas de sens avec la simulation moléculaire sous-jacente, on a cette réaction physique où l'on peut vraiment sentir ces poignées physiques qui tirent contre nous. Donc sentir ce qui est en train de se passer dans une simulation moléculaire est un tout autre niveau d'interaction.
So we're just beginning to explore what's possible when we use software to control the movement of objects in our environment. Maybe this is the computer of the future. There's no touchscreen. There's no technology visible at all. But when we want to have a video chat or play a game or lay out the slides to our next TED Talk, the objects on the table come alive.
Donc on est juste en train de commencer à explorer ce qui possible quand on utilise des logiciels pour contrôler le mouvement des objets dans notre environnement. Peut-être qu'il s'agit de l'ordinateur du futur. Il n'y a pas d'écran tactile. Il n'y a pas du tout de technologie visible. Mais quand on veut faire un chat vidéo ou jouer ou regarder nos diapos pour notre prochain TED Talk, les objets sur la table prennent vie.
Thank you.
Merci
(Applause)
(Applaudissements)