Good afternoon, everybody. I've got something to show you. (Laughter) Think about this as a pixel, a flying pixel. This is what we call, in our lab, sensible design. Let me tell you a bit about it. Now if you take this picture -- I'm Italian originally, and every boy in Italy grows up with this picture on the wall of his bedroom -- but the reason I'm showing you this is that something very interesting happened in Formula 1 racing over the past couple of decades. Now some time ago, if you wanted to win a Formula 1 race, you take a budget, and you bet your budget on a good driver and a good car. And if the car and the driver were good enough, then you'd win the race. Now today, if you want to win the race, actually you need also something like this -- something that monitors the car in real time, has a few thousand sensors collecting information from the car, transmitting this information into the system, and then processing it and using it in order to go back to the car with decisions and changing things in real time as information is collected. This is what, in engineering terms, you would call a real time control system. And basically, it's a system made of two components -- a sensing and an actuating component.
Goedemiddag allemaal Ik wil jullie iets laten zien (Gelach) Zie dit als een pixel, een vliegende pixel. Dat noemen we, in ons lab, een voelbaar ontwerp. Laat me er iets over vertellen. Neem nou deze foto -- ik ben van Italiaanse origine, en iedere jongen in Italië groeit op met deze foto aan de muur van zijn slaapkamer. De reden waarom ik dit laat zien is dat er iets interessants gebeurde in de Formule 1 gedurende de laatste tientallen jaren. Enige tijd geleden, als je een Formule 1 race wilde winnen, neem je wat geld en je zet dat geld op een goede bestuurder en een goede wagen. En als de wagen en de bestuurder goed genoeg waren, won je de race. Als je vandaag een race wil winnen heb je zoiets als dit nodig, iets dat de wagen in real-time volgt, een paar duizend sensoren heeft die informatie over de wagen verzamelen, die de informatie naar het systeem versturen, en dat dan verwerken en dat gebruiken om in de wagen beslissingen te nemen en dingen te veranderen terwijl er informatie bijeen verzameld wordt. Dit zou je in technische termen een real-time besturingssysteem noemen. In essentie bestaat het systeem uit twee onderdelen -- een sensorisch en een bewegingscomponent.
What is interesting today is that real time control systems are starting to enter into our lives. Our cities, over the past few years, just have been blanketed with networks, electronics. They're becoming like computers in open air. And, as computers in open air, they're starting to respond in a different way to be able to be sensed and to be actuated. If we fix cities, actually it's a big deal. Just as an aside, I wanted to mention, cities are only two percent of the Earth's crust, but they are 50 percent of the world's population. They are 75 percent of the energy consumption -- up to 80 percent of CO2 emissions. So if we're able to do something with cities, that's a big deal. Beyond cities, all of this sensing and actuating is entering our everyday objects.
Wat tegenwoordig interessant is, is dat real-time besturingssystemen aan het beginnen opkomen zijn in onze levens. Onze steden zijn in de afgelopen jaren bedekt met netwerken, elektronica. Ze worden net computers in de open lucht. En als openlucht-computers, beginnen ze op verschillende manieren te reageren omdat ze gevoeld en bediend kunnen worden. Als we steden fixeren, betekent dat nogal wat. Gewoon terzijde wilde ik nog vermelden dat steden slechts 2 procent van het aardoppervlak uitmaken, maar ze omvatten 50 procent van de wereldbevolking. Ze vertegenwoordigen 75 procent van het energieverbruik -- en veroorzaken tot 80 procent van de CO2 uitstoot. Als we iets met steden kunnen doen, betekent dat heel wat. Buiten steden, komen al die sensoren en beweging ons leven binnen via alledaagse voorwerpen.
That's from an exhibition that Paola Antonelli is organizing at MoMA later this year, during the summer. It's called "Talk to Me." Well our objects, our environment is starting to talk back to us. In a certain sense, it's almost as if every atom out there were becoming both a sensor and an actuator. And that is radically changing the interaction we have as humans with the environment out there. In a certain sense, it's almost as if the old dream of Michelangelo ... you know, when Michelangelo sculpted the Moses, at the end it said that he took the hammer, threw it at the Moses -- actually you can still see a small chip underneath -- and said, shouted, "Perché non parli? Why don't you talk?" Well today, for the first time, our environment is starting to talk back to us. And I'll show just a few examples -- again, with this idea of sensing our environment and actuating it.
Dat komt van een tentoonstelling die georganiseerd wordt door Paola Antonelli in het MoMa later dit jaar in de zomer. Het heet "Praat tegen me." Onze voorwerpen, onze omgeving, begint tegen ons terug te praten. In zekere zin is het net alsof ieder atoom daar buiten tegelijk een sensor en een actuator wordt. En dat is de interactie die wij mensen met omgeving daarbuiten hebben, radicaal aan het veranderen. In zekere zin, is het net als in de oude droom van Michelangelo ... je weet wel, toen Michelangelo de Mozes had gemaakt, pakte hij naar verluid een hamer en gooide die naar de Mozes -- je kunt nog steeds een kleine beschadiging zien aan de onderkant -- en hij zei, hij schreeuwde, "Perché non parli? Waarom praat je niet?" Wel, vandaag voor het eerst begint onze omgeving tegen ons terug te praten. En ik laat u een paar voorbeelden zien -- met dat idee van het voelen van onze omgeving en het bewegen.
Let's starting with sensing. Well, the first project I wanted to share with you is actually one of the first projects by our lab. It was four and a half years ago in Italy. And what we did there was actually use a new type of network at the time that had been deployed all across the world -- that's a cellphone network -- and use anonymous and aggregated information from that network, that's collected anyway by the operator, in order to understand how the city works. The summer was a lucky summer -- 2006. It's when Italy won the soccer World Cup. Some of you might remember, it was Italy and France playing, and then Zidane at the end, the headbutt. And anyway, Italy won at the end.
Laten we met het voelen beginnen. Het eerste project dat ik met jullie wilde delen, is een van de eerste projecten van ons laboratorium. Het dateert van vier en een half jaar geleden in Italië. En wat we daar deden, was een destijds nieuw type netwerk gebruiken, dat wereldwijd was uitgerold -- een GSM-netwerk -- en anonieme en samengevoegde informatie van het netwerk gebruiken, die toch door de operator verzameld werd om te begrijpen hoe steden werken. De zomer van 2006 was een gelukkige zomer. Italië won toen de Wereldbeker. Sommigen onder u zullen het zich herinneren, Italië speelde tegen Frankrijk, toen Zidane tegen het eind, die kopstoot. Hoe dan ook, Italië won op het eind.
(Laughter)
(Gelach)
Now look at what happened that day just by monitoring activity happening on the network. Here you see the city. You see the Colosseum in the middle, the river Tiber. It's morning, before the match. You see the timeline on the top. Early afternoon, people here and there, making calls and moving. The match begins -- silence. France scores. Italy scores. Halftime, people make a quick call and go to the bathroom. Second half. End of normal time. First overtime, second. Zidane, the headbutt in a moment. Italy wins. Yeah. (Laughter) (Applause) Well, that night, everybody went to celebrate in the center. You saw the big peak. The following day, again everybody went to the center to meet the winning team and the prime minister at the time. And then everybody moved down. You see the image of the place called Circo Massimo, where, since Roman times, people go to celebrate, to have a big party, and you see the peak at the end of the day. Well, that's just one example of how we can sense the city today in a way that we couldn't have done just a few years ago.
Kijk nu eens wat er die dag gebeurde door de activiteiten op het netwerk te volgen. Hier ziet u de stad. Je ziet het Colosseum in het midden, De rivier de Tiber. Het is ochtend, nog voor de wedstrijd. Je ziet de tijdlijn daarboven. Vroeg in de namiddag plegen mensen hier en daar wat telefoontjes en ze verplaatsen zich. De wedstrijd begint -- stilte. Frankrijk scoort, Italië scoort. Tijdens de rust gaan mensen snel even bellen en gaan naar het toilet. Tweede helft. Einde van de normale speeltijd. Eerste verlenging, tweede. Zidane, de kopstoot in een ogenblik. Italië wint. Ja. (Gelach) (Applaus) Die avond ging iedereen feestvieren in het centrum. U zag de grote piek. De volgende dag ging iedereen naar het centrum om het winnende team te ontmoeten en de toenmalige eerste minister. Daarna ging ieder zijn weg. U ziet het beeld van de plek die Circus Maximus heet, waar sinds de Romeinse tijd mensen naartoe gaan om te vieren -- om een groot feest te beleven, en je ziet de piek op het eind van de dag. Dat is maar een voorbeeld van hoe we de stad vandaag kunnen aanvoelen, op een manier die een paar jaar geleden niet mogelijk was.
Another quick example about sensing: it's not about people, but about things we use and consume. Well today, we know everything about where our objects come from. This is a map that shows you all the chips that form a Mac computer, how they came together. But we know very little about where things go. So in this project, we actually developed some small tags to track trash as it moves through the system. So we actually started with a number of volunteers who helped us in Seattle, just over a year ago, to tag what they were throwing away -- different types of things, as you can see here -- things they would throw away anyway. Then we put a little chip, little tag, onto the trash and then started following it. Here are the results we just obtained.
Een ander vlug voorbeeld van voelen: het gaat niet over mensen, maar over dingen die we gebruiken en consumeren. Vandaag weten we alles over waar onze voorwerpen vandaan komen. Dit is een kaart die alle chips van een Mac-computer laat zien, hoe ze samen werden gebracht. Maar we weten weinig over waar de dingen heen gaan. In dit project, ontwierpen we kleine tags om afval te volgen doorheen het systeem. We begonnen met een aantal vrijwilligers die ons hielpen in Seattle, ongeveer een jaar geleden, om te bepalen wat ze juist weggooiden -- verschillende dingen, zoals u hier kunt zien -- dingen die toch weggegooid zouden worden. We plakten een kleine chip, een elektronisch etiketje, op het afval en toen zijn we beginnen volgen. Hier zijn de resultaten die we net binnenkregen.
(Music)
(Muziek)
From Seattle ... after one week. With this information we realized there's a lot of inefficiencies in the system. We can actually do the same thing with much less energy. This data was not available before. But there's a lot of wasted transportation and convoluted things happening. But the other thing is that we believe that if we see every day that the cup we're throwing away, it doesn't disappear, it's still somewhere on the planet. And the plastic bottle we're throwing away every day still stays there. And if we show that to people, then we can also promote some behavioral change. So that was the reason for the project.
Uit Seattle ... na een week. Door deze informatie realiseerden we ons dat er veel gebreken in het systeem zitten. We kunnen eigenlijk hetzelfde doen met veel minder energie. Deze gegevens waren eerder niet beschikbaar. Er is veel overbodig transport en er vinden onnodig veel ingewikkelde dingen plaats. Het andere ding waarin we geloven, is dat als we elke dag zien dat het bekertje dat we weggooien niet verdwijnt, dat het nog zich steeds ergens op de planeet bevindt. En dat de plastic fles die we elke dag weggooien er nog steeds is. En als we dat aan de mensen laten zien, kunnen we ook wat gedragsveranderingen bewerkstellingen. Dat was dus het uitgangspunt van het project.
My colleague at MIT, Assaf Biderman, he could tell you much more about sensing and many other wonderful things we can do with sensing, but I wanted to go to the second part we discussed at the beginning, and that's actuating our environment. And the first project is something we did a couple of years ago in Zaragoza, Spain. It started with a question by the mayor of the city, who came to us saying that Spain and Southern Europe have a beautiful tradition of using water in public space, in architecture. And the question was: How could technology, new technology, be added to that? And one of the ideas that was developed at MIT in a workshop was, imagine this pipe, and you've got valves, solenoid valves, taps, opening and closing. You create like a water curtain with pixels made of water. If those pixels fall, you can write on it, you can show patterns, images, text. And even you can approach it, and it will open up to let you jump through, as you see in this image.
Mijn collega aan MIT, Assaf Biderman, kan u veel meer vertellen over voelen en vele andere prachtige dingen die we kunnen doen, maar ik wil naar het tweede deel waarover we in het begin hebben gepraat, en dat is het bewegen van onze omgeving. Het eerste project deden we een paar jaar geleden in het Spaanse Zaragoza. Het begon met een vraag van de burgemeester van de stad, die bij ons kwam vertellen dat Spanje en Zuid-Europa een mooie traditie hadden om water te gebruiken in de openbare ruimte, in de architectuur. En de vraag was: Hoe kan technologie, nieuwe technologie, daaraan worden toegevoegd? Een van de ideeën, ontwikkeld aan MIT tijdens een workshop was, stel je een pijp voor, en je hebt ventielen, magneetventielen, lussen, die open en dicht gaan. Dan creëer je een watergordijn met pixels van water. Als die pixels vallen, kun je er op schrijven, je kunt patronen laten zien, beelden, tekst. Je kan het zelfs benaderen, en het zal opengaan. zodat je er doorheen kunt springen zoals je op deze afbeelding kunt zien.
Well, we presented this to Mayor Belloch. He liked it very much. And we got a commission to design a building at the entrance of the expo. We called it Digital Water Pavilion. The whole building is made of water. There's no doors or windows, but when you approach it, it will open up to let you in. (Music) The roof also is covered with water. And if there's a bit of wind, if you want to minimize splashing, you can actually lower the roof. Or you could close the building, and the whole architecture will disappear, like in this case. You know, these days, you always get images during the winter, when they take the roof down, of people who have been there and said, "They demolished the building." No, they didn't demolish it, just when it goes down, the architecture almost disappears. Here's the building working. You see the person puzzled about what was going on inside. And here was myself trying not to get wet, testing the sensors that open the water.
We presenteerden dit aan burgemeester Belloch. Hij was er erg van gecharmeerd. En we kregen de opdracht een gebouw te ontwerpen bij de ingang van de expositie. We gaven het de naam Digitaal Waterpaviljoen. Het hele gebouw is gemaakt van water. Er zijn geen deuren of ramen, maar als je er naartoe gaat, opent het zich om je binnen te laten. (Muziek) Het dak is ook bedekt met water. En als er een beetje wind is, als je het gespetter zoveel mogelijk wil vermijden, kun je het dak laten zakken. Of je kunt het gebouw sluiten, waardoor het hele gebouw zal verdwijnen, zoals hier het geval is. Weet u, dezer dagen, krijg je altijd beelden gedurende de winter als ze het dak laten zakken van mensen die er geweest zijn die zeiden: "Ze hebben het gebouw gesloopt." Nee, het is niet gesloopt, maar als het zakt, verdwijnt het gebouw bijna helemaal. Hier ziet u het gebouw in actie. U ziet de persoon zich afvragen wat er zich binnen afspeelde. Er hier probeerde ik niet nat te worden, terwijl ik de sensoren testte die het water openen.
Well, I should tell you now what happened one night when all of the sensors stopped working. But actually that night, it was even more fun. All the kids from Zaragoza came to the building, because the way of engaging with the building became something different. Not anymore a building that would open up to let you in, but a building that would still make cuts and holes through the water, and you had to jump without getting wet.
Nu moet ik u vertellen wat er op een avond gebeurde toen alle sensoren er mee ophielden. Die avond was het zelfs nog leuker. Alle kinderen van Zaragoza kwamen naar het gebouw, omdat de interactie met het gebouw veranderde. Niet meer een gebouw dat open ging en je binnen liet, maar een gebouw dat sneden en gaten in het water maakte, en je moest springen om niet nat te worden.
(Video) (Crowd Noise)
(Video) (Geluid van een menigte)
And that was, for us, was very interesting, because, as architects, as engineers, as designers, we always think about how people will use the things we design. But then reality's always unpredictable. And that's the beauty of doing things that are used and interact with people.
En dat vonden we heel boeiend, omdat als architecten, ingenieurs, ontwerpers, denken we altijd na over hoe mensen de dingen gaan gebruiken die we ontwerpen. Maar de realiteit is altijd onvoorspelbaar. En dat is het mooie van dingen die gebruikt worden en in interactie treden met mensen.
Here is an image then of the building with the physical pixels, the pixels made of water, and then projections on them. And this is what led us to think about the following project I'll show you now. That's, imagine those pixels could actually start flying. Imagine you could have small helicopters that move in the air, and then each of them with a small pixel in changing lights -- almost as a cloud that can move in space. Here is the video.
Hier is een foto van het gebouw met de fysieke pixels, de pixels van water, met projecties erop. En hierdoor gingen we nadenken over het volgende project dat ik u nu laat zien. Stel je eens voor dat die pixels zouden gaan vliegen. Stelt u zich eens kleine helikopters voor die door de lucht bewegen, en ieder van hen met een kleine pixel van veranderend licht -- bijna zoals een wolk die door de lucht beweegt. Hier is de video.
(Music)
(Muziek)
So imagine one helicopter, like the one we saw before, moving with others, in synchrony. So you can have this cloud. You can have a kind of flexible screen or display, like this -- a regular configuration in two dimensions. Or in regular, but in three dimensions, where the thing that changes is the light, not the pixels' position. You can play with a different type. Imagine your screen could just appear in different scales or sizes, different types of resolution. But then the whole thing can be just a 3D cloud of pixels that you can approach and move through it and see from many, many directions. Here is the real Flyfire control and going down to form the regular grid as before. When you turn on the light, actually you see this. So the same as we saw before. And imagine each of them then controlled by people. You can have each pixel having an input that comes from people, from people's movement, or so and so.
Beeldt u zich een helikopter in, zoals we die eerder zagen, die zich beweegt met andere, synchroon. Dan heb je dus die wolk. Je kunt een soort flexibel scherm hebben, zoals dit, een regelmatige configuratie in twee dimensies. Of in regelmatige, maar in drie dimensies. Waar het licht verandert, niet de positie van de pixel. Je kunt spelen met verschillende typen. Stelt u zich eens voor dat het scherm gewoon verschijnt in verschillende schalen of afmetingen, verschillende typen van resoluties. Maar het hele ding kan net zo goed een 3D-wolk van pixels zijn, dat je kunt benaderen en waar je doorheen kunt, om het vanuit veel verschillende richtingen te zen. Hier is de echte Flyfire die naar beneden gaat om een regelmatige rooster te vormen. Als je het licht aandoet, kun je het zien. Hetzelfde als we eerder zagen. Stelt u zich dan eens voor dat ze door mensen bestuurd worden. Elke pixel kan een input krijgen van mensen, van de bewegingen van mensen, of wat dan ook.
I want to show you something here for the first time. We've been working with Roberto Bolle, one of today's top ballet dancers -- the étoile at Metropolitan in New York and La Scala in Milan -- and actually captured his movement in 3D in order to use it as an input for Flyfire. And here you can see Roberto dancing. You see on the left the pixels, the different resolutions being captured. It's both 3D scanning in real time and motion capture. So you can reconstruct a whole movement. You can go all the way through. But then, once we have the pixels, then you can play with them and play with color and movement and gravity and rotation. So we want to use this as one of the possible inputs for Flyfire.
Ik wil u voor iets voor de eerste keer laten zien. We hebben gewerkt met Roberto Bolle, een van de beste balletdansers van vandaag -- de ster van de Metropolitan in New York en La Scala in Milaan -- en hebben zijn bewegingen in 3D opgenomen om ze als input voor Flyfire te gebruiken. En hier ziet u Roberto dansen. Aan de linkerkant ziet u de pixels, de verschillende resoluties die opgenomen worden. Het is zowel 3D-scannen in real time als het opnemen van beweging. Je kan de hele beweging reconstrueren. Je kunt helemaal doorgaan. Maar als we de pixels eenmaal hebben, kun je er mee gaan spelen, gaan spelen met kleur en beweging, zwaartekracht en rotatie. We willen dit gebruiken als een van de mogelijke inputs voor Flyfire.
I wanted to show you the last project we are working on. It's something we're working on for the London Olympics. It's called The Cloud. And the idea here is, imagine, again, we can involve people in doing something and changing our environment -- almost to impart what we call cloud raising -- like barn raising, but with a cloud. Imagine you can have everybody make a small donation for one pixel. And I think what is remarkable that has happened over the past couple of years is that, over the past couple of decades, we went from the physical world to the digital one. This has been digitizing everything, knowledge, and making that accessible through the Internet.
Ik wil u het laatste project laten zien waaraan we werken. We werken er aan voor de Olympische Spelen van Londen. Het heet De Wolk. En het idee is weer, dat we er mensen bij betrekken om iets te doen en om de omgeving te veranderen -- om bijna aan te geven wat we noemen wolken bouwen net als een schuur bouwen, maar dan met een wolk. Stel je kunt iedereen een kleine bijdrage voor een pixel laten maken. En ik denk wat opmerkelijk is dat wat de laatste paar jaar gebeurde is dat gedurende de laatste tientallen jaren, we van een fysieke wereld naar een digitale wereld zijn gegaan. Hierdoor is alles gedigitaliseerd, kennis die toegankelijk gemaakt wordt via het Internet.
Now today, for the first time -- and the Obama campaign showed us this -- we can go from the digital world, from the self-organizing power of networks, to the physical one. This can be, in our case, we want to use it for designing and doing a symbol. That means something built in a city. But tomorrow it can be, in order to tackle today's pressing challenges -- think about climate change or CO2 emissions -- how we can go from the digital world to the physical one. So the idea that we can actually involve people in doing this thing together, collectively.
Vandaag, voor het eerst -- wat de Obama-campagne ons heeft laten zien -- kunnen we van de digitale wereld, van de zelforganiserende kracht van netwerken, naar de fysieke wereld. Het kan zijn, in ons geval, dat we het gebruiken voor ontwerpen en het maken van een symbool. Dat betekent iets dat in een stad gebouwd is. Maar morgen zou het kunnen om de huidige aanwezige uitdagingen aan te pakken -- denk aan klimaatverandering of CO2-uitstoot -- hoe we van de digitale naar de fysieke wereld kunnen. Dus het idee dat we mensen er bij kunnen betrekken om dit samen te doen, collectief.
The cloud is a cloud, again, made of pixels, in the same way as the real cloud is a cloud made of particles. And those particles are water, where our cloud is a cloud of pixels. It's a physical structure in London, but covered with pixels. You can move inside, have different types of experiences. You can actually see from underneath, sharing the main moments for the Olympics in 2012 and beyond, and really using it as a way to connect with the community. So both the physical cloud in the sky and something you can go to the top [of], like London's new mountaintop. You can enter inside it. And a kind of new digital beacon for the night -- but most importantly, a new type of experience for anybody who will go to the top.
De wolk is een wolk gemaakt van pixels, op dezelfde manier als een echte wolk gemaakt is van deeltjes. En die deeltjes bestaan uit water, terwijl onze wolk gemaakt is van pixels. Het is een fysieke structuur in Londen, bedekt met pixels. Je kunt naar binnen gaan en allerlei dingen beleven. Je kunt het van onderen bekijken, de belangrijke momenten delen van de Olympische Spelen van 2012 en meer, en het echt gebruiken om contact te maken met de gemeenschap. Zowel de fysieke wolk in de lucht als iets dat je kunt beklimmen, zoals de nieuwe bergtop van Londen. Je kunt er binnenin gaan. Een soort nieuw digitaal baken voor de nacht -- maar vooral van belang is een nieuwe belevenis voor iedereen die naar de top gaat.
Thank you.
Dank u.
(Applause)
(Applaus)