The first idea I'd like to suggest is that we all love music a great deal. It means a lot to us. But music is even more powerful if you don't just listen to it, but you make it yourself. So, that's my first idea. And we all know about the Mozart effect -- the idea that's been around for the last five to 10 years -- that just by listening to music or by playing music to your baby [in utero], that it'll raise our IQ points 10, 20, 30 percent.
Mijn eerste suggestie is dat we allemaal veel van muziek houden. Het betekent veel voor ons. Maar muziek is nog krachtiger als je ze niet alleen beluistert, maar ook zelf maakt. Dat is mijn eerste idee. We kennen allemaal het Mozart-effect -- een idee die de jongste 5 à 10 jaar opgeld maakt -- dat als je gewoon naar muziek luistert, of als je muziek speelt voor je baby in de baarmoeder, je IQ met 10, 20, 30 punten stijgt.
Great idea, but it doesn't work at all. So, you can't just listen to music, you have to make it somehow. And I'd add to that, that it's not just making it, but everybody, each of us, everybody in the world has the power to create and be part of music in a very dynamic way, and that's one of the main parts of my work. So, with the MIT Media Lab, for quite a while now, we've been engaged in a field called active music. What are all the possible ways that we can think of to get everybody in the middle of a musical experience, not just listening, but making music?
Fantastisch idee, maar het werkt helemaal niet. Het volstaat niet om naar muziek te luisteren, je moet ze maken. Ik voeg eraan toe dat het niet gewoon maken is. Iedereen, elk van ons, iedereen op de wereld heeft het in zich om op een heel dynamische manier muziek te creëren en erin te delen. Dat is één van de hoofdonderdelen van mijn werk. In het MIT Media Lab zijn we nu al een tijdje bezig in een domein dat actieve muziek heet. Wat zijn de manieren die we kunnen bedenken om iedereen bij een muzikale ervaring te betrekken, en ze niet alleen laten luisteren, maar muziek laten maken?
And we started by making instruments for some of the world's greatest performers -- we call these hyperinstruments -- for Yo-Yo Ma, Peter Gabriel, Prince, orchestras, rock bands. Instruments where they're all kinds of sensors built right into the instrument, so the instrument knows how it's being played. And just by changing the interpretation and the feeling, I can turn my cello into a voice, or into a whole orchestra, or into something that nobody has ever heard before.
We begonnen met instrumenten te maken voor een aantal topvertolkers -- die noemen we "hyperinstrumenten" -- voor Yo-Yo Ma, Peter Gabriel, Prince, orkesten, rockgroepen, instrumenten met allerlei sensoren in het instrument ingebouwd, zodat het instrument weet hoe het wordt bespeeld. Door enkel de interpretatie en het gevoel aan te passen, kan ik van mijn cello een stem maken, of een heel orkest, of iets dat niemand ooit gehoord heeft.
When we started making these, I started thinking, why can't we make wonderful instruments like that for everybody, people who aren't fantastic Yo-Yo Mas or Princes? So, we've made a whole series of instruments. One of the largest collections is called the Brain Opera. It's a whole orchestra of about 100 instruments, all designed for anybody to play using natural skill. So, you can play a video game, drive through a piece of music, use your body gesture to control huge masses of sound, touch a special surface to make melodies, use your voice to make a whole aura. And when we make the Brain Opera, we invite the public to come in, to try these instruments and then collaborate with us to help make each performance of the Brain Opera. We toured that for a long time. It is now permanently in Vienna, where we built a museum around it.
Toen we die begonnen te maken, dacht ik: waarom kunnen we geen heerlijke instrumenten als deze maken voor iedereen, voor mensen die geen geweldige Yo-Yo Ma's of Princen zijn? Dus maakten we een hele reeks instrumenten. Eén van de grootste verzamelingen heet de Breinopera. Het is een compleet orkest van ongeveer 100 instrumenten, allemaal ontworpen om te worden bespeeld op basis van natuurlijk talent. Dus kan je een videospel spelen, door een stuk muziek rijden, lichaamsbewegingen gebruiken om grote geluidsmassa's aan te sturen, een speciale oppervlakte gebruiken om melodieën te maken, je stem gebruiken om een aura te produceren. Als we de Breinopera uitvoeren, nodigen we het publiek uit om deze instrumenten te proberen en samen met ons elke uitvoering van de Breinopera vorm te geven. We zijn er lang mee op tournee geweest. Het staat nu permanent in Wenen, waar we er een museum rond gebouwd hebben.
And that led to something which you probably do know. Guitar Hero came out of our lab, and my two teenage daughters and most of the students at the MIT Media Lab are proof that if you make the right kind of interface, people are really interested in being in the middle of a piece of music, and playing it over and over and over again.
Dat leidde tot iets dat je wellicht kent. Guitar Hero was een product van ons laboratorium. Mijn twee tienerdochters en de meeste studenten van MIT Media Lab zijn het bewijs dat mensen, als je de juiste interface maakt, echt in een stuk muziek willen opgaan, en het altijd opnieuw willen spelen.
So, the model works, but it's only the tip of the iceberg, because my second idea is that it's not enough just to want to make music in something like Guitar Hero. And music is very fun, but it's also transformative. It's very, very important. Music can change your life, more than almost anything. It can change the way you communicate with others, it can change your body, it can change your mind. So, we're trying to go to the next step of how you build on top of something like Guitar Hero. We are very involved in education. We have a long-term project called Toy Symphony, where we make all kinds of instruments that are also addictive, but for little kids, so the kids will fall in love with making music, want to spend their time doing it, and then will demand to know how it works, how to make more, how to create. So, we make squeezy instruments, like these Music Shapers that measure the electricity in your fingers, Beatbugs that let you tap in rhythms -- they gather your rhythm, and like hot potato, you send your rhythm to your friends, who then have to imitate or respond to what your doing -- and a software package called Hyperscore, which lets anybody use lines and color to make quite sophisticated music. Extremely easy to use, but once you use it, you can go quite deep -- music in any style. And then, by pressing a button, it turns into music notation so that live musicians can play your pieces.
Het model werkt dus, maar het is maar de top van de ijsberg. Mijn tweede idee is dat het niet volstaat om muziek te willen maken in iets als Guitar Hero. Muziek is echt leuk, maar het maakt je ook tot een ander mens. Het is heel erg belangrijk. Meer dan wat ook kan muziek je leven veranderen. Het kan je manier van communiceren met anderen veranderen. Het kan je lichaam veranderen, en je geest. We proberen dus een volgende stap te zetten, voortbouwend op iets als Guitar Hero. We zijn erg begaan met onderwijs. We hebben een langetermijnproject, Toy Symphony, waarin we allerlei instrumenten maken die verslavend zijn, voor kleine kinderen, zodat de kinderen dol worden op muziek maken, er hun tijd aan willen besteden en gaan vragen hoe het werkt, hoe je er nog meer maakt, hoe je ze schept. We maken allerlei knijpinstrumenten, zoals deze Music Shapers, die de elektriciteit in je vingers meten, Beat Bugs die je ritmes laten kloppen -- ze vangen je ritme op, en jij stuurt het, als een hete aardappel, naar je vrienden door, die je moeten imiteren of moeten reageren op wat je doet -- en een softwarepakket genaamd Hyperscore, waarmee iedereen lijnen en kleuren kan gebruiken om gesofisticeerde muziek te maken. Extreem gebruiksvriendelijk, en eens je het gebruikt, kan je erg ver mee gaan -- muziek in elke stijl. Met een druk op de knop wordt het bladmuziek zodat muzikanten je stukken live kunnen spelen.
We've had good enough, really, very powerful effects with kids around the world, and now people of all ages, using Hyperscore. So, we've gotten more and more interested in using these kinds of creative activities in a much broader context, for all kinds of people who don't usually have the opportunity to make music. So, one of the growing fields that we're working on at the Media Lab right now is music, mind and health. A lot of you have probably seen Oliver Sacks' wonderful new book called "Musicophilia". It's on sale in the bookstore. It's a great book. If you haven't seen it, it's worth reading. He's a pianist himself, and he details his whole career of looking at and observing incredibly powerful effects that music has had on peoples' lives in unusual situations.
We hebben goede, echt krachtige resultaten gehad met kinderen over de hele wereld. Mensen van alle leeftijden gebruiken nu Hyperscore. We kregen dus steeds meer belangstelling in het gebruik van deze creatieve activiteiten in een veel bredere context, voor allerlei soorten mensen die meestal niet de kans krijgen om muziek te maken. Eén van de groeidomeinen waarin we vandaag werken in het Media Lab is muziek, geest en gezondheid. Waarschijnlijk hebben jullie het geweldige nieuwe boek van Oliver Sacks gezien, "Musicofilia". Het is te koop in de boekhandel. Het is een fantastisch boek. Als je het niet kent, het is de moeite waard. Hij is zelf pianist en hij schrijft in detail over zijn carrière, waarin hij de ongelooflijk krachtige effecten observeerde die muziek heeft op het leven van mensen in ongewone omstandigheden.
So we know, for instance, that music is almost always the last thing that people with advanced Alzheimer's can still respond to. Maybe many of you have noticed this with loved ones, you can find somebody who can't recognize their face in the mirror, or can't tell anyone in their family, but you can still find a shard of music that that person will jump out of the chair and start singing. And with that you can bring back parts of people's memories and personalities. Music is the best way to restore speech to people who have lost it through strokes, movement to people with Parkinson's disease. It's very powerful for depression, schizophrenia, many, many things.
We weten bijvoorbeeld dat muziek bijna steeds het laatste is waarop mensen met vergevorderde Alzheimer nog steeds reageren. Velen van jullie hebben dit misschien gemerkt bij hun geliefden: er zijn mensen die hun gezicht niet herkennen in de spiegel en niemand van hun familie herkennen, maar je vindt wel nog steeds een stuk muziek dat die persoon uit zijn stoel doet opspringen en doet zingen. Daarmee kan je delen van de herinneringen en de persoonlijkheid van mensen terugbrengen. Muziek is de beste manier om het spraakvermogen te herstellen van mensen die het door een beroerte zijn kwijtgeraakt, of het motorisch vermogen van Parkinsonpatiënten. Het is erg krachtig voor depressie, schizofrenie, heel erg veel dingen.
So, we're working on understanding those underlying principles and then building activities which will let music really improve people's health. And we do this in many ways. We work with many different hospitals. One of them is right near Boston, called Tewksbury Hospital. It's a long-term state hospital, where several years ago we started working with Hyperscore and patients with physical and mental disabilities. This has become a central part of the treatment at Tewksbury hospital, so everybody there clamors to work on musical activities. It's the activity that seems to accelerate people's treatment the most and it also brings the entire hospital together as a kind of musical community. I wanted to show you a quick video of some of this work before I go on. Video: They're manipulating each other's rhythms. It's a real experience, not only to learn how to play and listen to rhythms, but to train your musical memory and playing music in a group. To get their hands on music, to shape it themselves, change it, to experiment with it, to make their own music. So Hyperscore lets you start from scratch very quickly. Everybody can experience music in a profound way, we just have to make different tools.
Wij werken er dus aan om die onderliggende principes te begrijpen, en dan activiteiten op te bouwen waardoor muziek de gezondheid van de mensen echt verbetert. We doen dit op vele manieren. We werken met vele verschillende ziekenhuizen. Eén ervan ligt naast Boston, het Tewksbury Hospital. Het is een rusthuis van de overheid waar we jaren geleden begonnen te werken met Hyperscore, voor fysiek en mentaal beperkte patiënten. Dit is een centraal onderdeel geworden van de behandeling in het Tewksbury Hospital. Iedereen roept daar om te kunnen werken met muzikale activiteiten. Het lijkt de activiteit met de meeste impact op de snelheid van de behandeling. Ze brengt ook het hele ziekenhuis samen, als een soort muzikale gemeenschap. Ik wilde jullie een klein filmpje tonen van dit werk vooraleer ik verder ga. Video: Ze manipuleren elkaars ritmes. Het is een echte ervaring: je leert niet alleen spelen en naar ritmes luisteren, maar je traint ook je muzikale geheugen en je speelt muziek in groep. Je manipuleert muziek om ze zelf vorm te geven, te veranderen, ermee te experimenteren, je eigen muziek te maken. Met Hyperscore kan je snel van nul beginnen. Iedereen kan muziek ervaren op een heel diep niveau, we moeten gewoon verschillende hulpmiddelen maken.
The third idea I want to share with you is that music, paradoxically, I think even more than words, is one of the very best ways we have of showing who we really are. I love giving talks, although strangely I feel more nervous giving talks than playing music. If I were here playing cello, or playing on a synth, or sharing my music with you, I'd be able to show things about myself that I can't tell you in words, more personal things, perhaps deeper things.
Het derde idee dat ik met jullie wil delen, is dat muziek, paradoxaal genoeg, nog meer dan woorden, één van de beste manieren is die we hebben om te tonen wie we echt zijn. Ik hou ervan om voor publiek te spreken, hoewel ik vreemd genoeg nerveuzer ben bij het spreken dan bij het musiceren. Als ik hier cello zou spelen, of synthesizer, of mijn muziek met jullie zou delen, dan zou ik dingen over mezelf kunnen tonen die ik niet in woorden kan vertellen, persoonlijker dingen, misschien diepere dingen.
I think that's true for many of us, and I want to give you two examples of how music is one of the most powerful interfaces we have, from ourselves to the outside world. The first is a really crazy project that we're building right now, called Death and the Powers. And it's a big opera, one of the larger opera projects going on in the world right now. And it's about a man, rich, successful, powerful, who wants to live forever. So, he figures out a way to download himself into his environment, actually into a series of books. So this guy wants to live forever, he downloads himself into his environment. The main singer disappears at the beginning of the opera and the entire stage becomes the main character. It becomes his legacy.
Ik denk dat dat voor velen van ons geldt. Ik geef jullie graag twee voorbeelden van hoe muziek een van de krachtigste interfaces is die we hebben tussen onszelf en de buitenwereld. Het eerste is een echt maf project dat we aan het opzetten zijn. Het heet Dood en de Machten. Het is een grote opera, een van de grotere operaprojecten die vandaag op de wereld plaatshebben. Het gaat over een man, rijk, succesvol, machtig, die het eeuwige leven wil. Hij ontdekt hoe hij zichzelf in zijn omgeving kan downloaden, in een reeks boeken. Deze kerel wil eeuwig leven. Hij downloadt zichzelf in zijn omgeving. De vertolker van de hoofdrol verdwijnt bij het begin van de opera en het hele podium wordt het hoofdpersonage. Het wordt zijn nalatenschap.
And the opera is about what we can share, what we can pass on to others, to the people we love, and what we can't. Every object in the opera comes alive and is a gigantic music instrument, like this chandelier. It takes up the whole stage. It looks like a chandelier, but it's actually a robotic music instrument. So, as you can see in this prototype, gigantic piano strings, each string is controlled with a little robotic element -- either little bows that stroke the strings, propellers that tickle the strings, acoustic signals that vibrate the strings. We also have an army of robots on stage. These robots are the kind of the intermediary between the main character, Simon Powers, and his family. There are a whole series of them, kind of like a Greek chorus. They observe the action. We've designed these square robots that we're testing right now at MIT called OperaBots. These OperaBots follow my music. They follow the characters. They're smart enough, we hope, not to bump into each other. They go off on their own. And then they can also, when you snap, line up exactly the way you'd like to. Even though they're cubes, they actually have a lot of personality.
De opera gaat over wat we kunnen delen, wat we kunnen doorgeven aan anderen, aan de mensen van wie we houden, en wat we niet kunnen doorgeven. Elk voorwerp in de opera komt tot leven en is een gigantisch muziekinstrument, zoals deze kandelaar. Die neemt het hele podium in. Het lijkt op een kandelaar, maar eigenlijk is het een muziekrobot. Zoals je in dit prototype ziet: reusachtige pianosnaren, elke snaar bestuurd met een klein robot-element -- ofwel kleine bogen die over de snaren strijken, propellers die op de snaren tokkelen, akoestische signalen die de snaren doen trillen. We hebben ook een leger van robots op het podium. Deze robotten zijn een soort tussenpersonen tussen de hoofdpersoon, Simon Powers, en zijn familie. Ze zijn met een hele reeks, als een soort Grieks koor. Ze observeren de actie. We hebben vierkante robots ontworpen die we aan het testen zijn op MIT. Deze OperaBots volgen mijn muziek. Ze volgen de personages. We hopen dat ze slim genoeg zijn om niet tegen elkaar te botsen. Ze gaan zelfstandig op stap. En als je met je vingers knipt, kunnen ze ook precies op de lijn gaan staan die jij wil. Hoewel het kubussen zijn, hebben ze veel persoonlijkheid.
The largest set piece in the opera is called The System. It's a series of books. Every single book is robotic, so they all move, they all make sound, and when you put them all together, they turn into these walls, which have the gesture and the personality of Simon Powers. So he's disappeared, but the whole physical environment becomes this person. This is how he's chosen to represent himself. The books also have high-packed LEDs on the spines. So it's all display. And here's the great baritone James Maddalena as he enters The System. This is a sneak preview. This premieres in Monaco -- it's in September 2009. If by any chance you can't make it, another idea with this project -- here's this guy building his legacy through this very unusual form, through music and through the environment. But we're also making this available both online and in public spaces, as a way of each of us to use music and images from our lives to make our own legacy or to make a legacy of someone we love. So instead of being grand opera, this opera will turn into what we're thinking of as personal opera.
Het grootste decorstuk in de opera heet "Het Systeem". Het is een reeks boeken. Elk boek is een robot. Ze bewegen allemaal, ze maken geluid, en als je ze verzamelt, vormen ze zich om tot muren die de gebaren en persoonlijkheid van Simon Powers hebben. Hij is verdwenen, maar de hele fysieke omgeving wordt zijn personage. Hij heeft ervoor gekozen zich zo voor te stellen. De boeken zijn ook volgestouwd me LEDs op hun ruggen. Het is dus één scherm. Dit is de grote bariton James Maddalena, bij zijn entree in het systeem. Dit is een voorsmaakje. De première hiervan is in Monaco, in september 2009. Als je daar niet bij kunt zijn, dan is hier nog een idee met dit project. Deze kerel bouwt zijn nalatenschap op in deze zeer ongebruikelijke vorm, met muziek en met de omgeving. We publiceren dit ook online en op openbare plekken, als een manier waarop elk van ons muziek en beelden over zijn leven kan gebruiken om zijn eigen nalatenschap of een nalatenschap van een geliefde te creëren. Eerder dan een Grote Opera zal deze opera een persoonlijke opera worden.
And, if you're going to make a personal opera, what about a personal instrument? Everything I've shown you so far -- whether it's a hyper-cello for Yo-Yo Ma or squeezy toy for a child -- the instruments stayed the same and are valuable for a certain class of person: a virtuoso, a child. But what if I could make an instrument that could be adapted to the way I personally behave, to the way my hands work, to what I do very skillfully, perhaps, to what I don't do so skillfully? I think that this is the future of interface, it's the future of music, the future of instruments.
Als je een persoonlijke opera maakt, dan ook een persoonlijk instrument? Al wat ik je tot hiertoe heb getoond -- de hypercello voor Yo-Yo Ma, of de knijpinstrumenten voor een kind -- de instrumenten bleven gelijk en hadden waarde voor een bepaald soort persoon, of een virtuoos, of een kind. Wat als ik een instrument kon maken dat ik kon aanpassen aan de manier waarop ik mezelf gedraag, hoe mijn handen werken, wat ik technisch heel vlot doe, of misschien net niet? Volgens mij is dat de toekomst van de interface, van de muziek, van instrumenten.
And I'd like now to invite two very special people on the stage, so that I can give you an example of what personal instruments might be like. So, can you give a hand to Adam Boulanger, Ph.D. student from the MIT Media Lab, and Dan Ellsey. Dan, thanks to TED and to Bombardier Flexjet, Dan is here with us today all the way from Tewksbury. He's a resident at Tewksbury Hospital. This is by far the farthest he's strayed from Tewksbury Hospital, I can tell you that, because he's motivated to meet with you today and show you his own music. So, first of all, Dan, do you want to say hi to everyone and tell everyone who you are?
Ik zou graag twee erg bijzondere mensen op het podium roepen, zodat ik jullie een voorbeeld kan even van hoe persoonlijke instrumenten er zouden kunnen uitzien. Graag applaus voor Adam Boulanger, doctoraatsstudent aan het MIT Media Lab, en Dan Ellsey. Dankzij TED en Bombardier Flexjet is Dan hier vandaag bij ons, helemaal uit het verre Tewksbury. Hij verblijft in het Tewksbury Hospital. Dit is verreweg het verste dat hij vanuit Tewksbury Hospital vandaan geweest is, dat zeg ik je. Hij wil jullie graag ontmoeten en jullie zijn eigen muziek tonen. Om te beginnen, Dan, wil je iedereen begroeten en zeggen wie je bent?
Dan Ellsey: Hello. My name is Dan Ellsey. I am 34 years old and I have cerebral palsy. I have always loved music and I am excited to be able to conduct my own music with this new software.
Dan Ellsey: Hallo. Mijn naam is Dan Ellsey. Ik ben 34 jaar oud en ik heb een hersenverlamming. Ik heb altijd van muziek gehouden en vind het erg spannend dat ik mijn eigen muziek kan dirigeren met deze nieuwe software.
Tod Machover: And we're really excited to have you here, really Dan. (Applause)
Tod Machover: En wij vinden het heel spannend dat je hier bent, echt, Dan. (Applaus)
So we met Dan about three years ago, three and a half years ago, when we started working at Tewksbury. Everybody we met there was fantastic, did fantastic music. Dan had never made music before, and it turned out he was really fantastic at it. He's a born composer. He's very shy, too. So, turned out he's a fantastic composer, and over the last few years has been a constant collaborator of ours. He has made many, many pieces. He makes his own CDs. Actually, he is quite well known in the Boston area -- mentors people at the hospital and children, locally, in how to make their own music. And I'll let Adam tell you. So, Adam is a Ph.D. student at MIT, an expert in music technology and medicine. And Adam and Dan have become close collaborators. What Adam's been working on for this last period is not only how to have Dan be able easily to make his own pieces, but how he can perform his piece using this kind of personal instrument. So, you want to say a little bit about how you guys work?
We ontmoetten Dan ongeveer 3 à 3,5 jaar geleden, toen we op Tewksbury begonnen te werken. Iedereen die we daar ontmoetten was geweldig, en maakte geweldige muziek. Dan had nooit eerder muziek gemaakt, en het bleek dat hij er een kei in was. Hij is een geboren componist. Hij is ook erg verlegen. Het bleek dus dat hij een geweldige componist is. De jongste jaren heeft hij constant met ons samengewerkt. Hij heeft vele, vele stukken gemaakt. Hij maakt zijn eigen cd's. Hij is eigenlijk een beroemdheid in de streek van Boston, is mentor van mensen in het ziekenhuis en van kinderen uit de buurt bij het maken van hun eigen muziek. Ik laat Adam aan het woord. Adam is doctoraatsstudent aan het MIT, een expert in muziek, technologie en geneeskunde. Adam en Dan zijn nauw gaan samenwerken. Adam heeft de jongste tijd gewerkt rond de manier waarop Dan het gemakkelijkst zijn eigen stukken kan maken, en daarnaast ook hoe hij zijn stuk kan uitvoeren met een persoonlijk instrument. Wil je wat vertellen over hoe jullie samenwerken?
Adam Boulanger: Yes. So, Tod and I entered into a discussion following the Tewksbury work and it was really about how Dan is an expressive person, and he's an intelligent and creative person. And it's in his face, it's in his breathing, it's in his eyes. How come he can't perform one of his pieces of music? That's our responsibility, and it doesn't make sense.
Adam Boulanger: Ja. Tod en ik hadden een discussie over het werk in Tewksbury. Die draaide om het feit dat Dan een expressieve, intelligente en creatieve persoonlijkheid is. Dat zie je aan zijn gezicht, zijn ademhaling, zijn ogen. Hoe komt het dat hij geen van zijn muziekstukken kan uitvoeren? Dat is onze verantwoordelijkheid, en het klopt niet.
So we started developing a technology that will allow him with nuance, with precision, with control, and despite his physical disability, to be able to do that, to be able to perform his piece of music. So, the process and the technology -- basically, first we needed an engineering solution. So, you know, we have a FireWire camera, it looked at an infrared pointer. We went with the type of gesture metaphor that Dan was already used to with his speaking controller. And this was actually the least interesting part of the work, you know, the design process. We needed an input; we needed continuous tracking; in the software, we look at the types of shapes he's making.
Dus begonnen we met het ontwerp van een technologie waardoor hij genuanceerd, precies, gecontroleerd en niet gehinderd door zijn fysieke handicap in staat is om zijn muziekstuk uit te voeren. Wat het proces en de technologie betreft: eerst hadden we een oplossing nodig voor het ingenieursvraagstuk. We hebben een FireWire-camera die naar een infrarood-aanwijzer kijkt. We gebruikten het soort gebarenmetafoor dat hij al gewend is te gebruiken met zijn spraakcontrole. Dat was eigenlijk het minst interessante deel van het werk, het ontwerpen. We hadden input nodig, continue opvolging. In de software bekeken we de soorten vormen die hij maakt.
But, then was the really interesting aspect of the work, following the engineering part, where, basically, we're coding over Dan's shoulder at the hospital extensively to figure out, you know, how does Dan move? What's useful to him as an expressive motion? You know, what's his metaphor for performance? What types of things does he find important to control and convey in a piece of music? So all the parameter fitting, and really the technology was stretched at that point to fit just Dan. And, you know, I think this is a perspective shift. It's not that our technologies -- they provide access, they allow us to create pieces of creative work. But what about expression? What about that moment when an artist delivers that piece of work? You know, do our technologies allow us to express? Do they provide structure for us to do that? And, you know, that's a personal relationship to expression that is lacking in the technological sphere. So, you know, with Dan, we needed a new design process, a new engineering process to sort of discover his movement and his path to expression that allow him to perform. And so that's what we'll do today.
Maar het echt interessante deel van het werk, na het ingenieursgedeelte, was toen we over Dan's schouder code schreven in het ziekenhuis, om uitgebreid te achterhalen hoe Dan beweegt. Wat is zinvol voor hem, als expressieve beweging? Wat is zijn metafoor voor uitvoering? Wat voor dingen vindt hij belangrijk om te controleren en over te brengen in een muziekstuk? Het afstellen van de parameters en van de technologie, dat werd allemaal aangepast om precies bij Dan te passen. Weet je, dit is een verandering van perspectief. Niet dat onze technologie -- die geeft ons wel toegang en laat ons creatief werk produceren. Maar wat met de expressie? Wat met het moment waarop een kunstenaar het stuk aflevert? Laat onze technologie ons toe om onszelf uit te drukken? Geeft ze ons daar de structuur voor? Dat is een persoonlijke relatie met expressie die ontbreekt in technologische kringen. Met dan hadden we nood aan een nieuw designproces, een nieuw engineering-proces, om zijn beweging te ontdekken en zijn pad naar expressie die hem toelaat om iets uit te voeren. Dat zullen we vandaag doen.
TM: So let's do it. So Dan do you want to tell everyone about what you're going to play now?
TM: Daar gaan we. Dan, wil je iedereen vertellen wat je nu gaat spelen?
DE: This is "My Eagle Song." TM: So Dan is going to play a piece of his, called "My Eagle Song". In fact, this is the score for Dan's piece, completely composed by Dan in Hyperscore. So he can use his infrared tracker to go directly into Hyperscore. He's incredibly fast at it, too, faster than I am, in fact.
DE: Dit is "Mijn arendslied". TM: Dan gaat zijn stuk spelen, dat "Mijn arendslied" heet. Dit is de partituur van het stuk van Dan, helemaal gecomponeerd door Dan, in Hyperscore. Hij kan zijn infraroodtracker gebruiken om rechtstreeks naar Hyperscore te gaan. Hij is er ook zeer snel in, sneller dan ik, eigenlijk.
(Laughter)
(Gelach)
TM: He's really modest, too. So he can go in Hyperscore. You start out by making melodies and rhythms. He can place those exactly where he wants. Each one gets a color. He goes back into the composition window, draws the lines, places everything the way he wants to. Looking at the Hyperscore, you can see it also, you can see where the sections are, something might continue for a while, change, get really crazy and then end up with a big bang at the end.
TM: Hij is ook erg bescheiden. Hij kan dus naar Hyperscore gaan. Je begint met het maken van melodieën en ritmes. Hij kan ze plaatsen exact waar hij ze wil hebben. Ze krijgen allemaal een kleur, gaat terug naar het compositiescherm, trekt de lijnen, plaatst alles waar hij wil. Als je de Hyperscore bekijkt, zie je het ook: je ziet waar de onderverdelingen zijn, iets kan even duren, veranderen, helemaal uit de bol gaan en dan afsluiten met een grote knal op het einde.
So that's the way he made his piece, and as Adam says, we then figured out the best way to have him perform his piece. It's going to be looked at by this camera, analyze his movements, it's going to let Dan bring out all the different aspects of his music that he wants to. And you're also going to notice a visual on the screen. We asked one of our students to look at what the camera is measuring. But instead of making it very literal, showing you exactly the camera tracing, we turned it into a graphic that shows you the basic movement, and shows the way it's being analyzed.
Zo heeft hij zijn stuk gemaakt. Zoals Adam zei, visten we toen uit wat de beste manier was voor hem om zijn stuk te vertolken. Het wordt bekeken door zijn camera, we analyseren zijn bewegingen, en laten Dan alle verschillende aspecten van zijn muziek uitdrukken, zoals hij het wil. Je hebt ook een visueel beeld op het scherm. We vroegen één van onze studenten te bekijken wat de camera meet. Maar in plaats van dat erg letterlijk te doen en exact te tonen wat de camera volgt, maakten we er een grafiek van die je de basisbeweging toont, en de manier waarop ze wordt geanalyseerd.
I think it gives an understanding of how we're picking out movement from what Dan's doing, but I think it will also show you, if you look at that movement, that when Dan makes music, his motions are very purposeful, very precise, very disciplined and they're also very beautiful. So, in hearing this piece, as I mentioned before, the most important thing is the music's great, and it'll show you who Dan is. So, are we ready Adam?
Ik denk dat dit een ruw idee geeft van hoe we beweging halen uit wat Dan doet. Het toont je ook, als je naar die beweging kijkt, dat Dan muziek maakt met heel doelgerichte bewegingen, heel precies, heel gedisciplineerd en ook heel mooi. Bij het beluisteren van zijn stuk is, zoals gezegd, het belangrijkste dat de muziek fantastisch is, en dat ze je zal tonen wie Dan is. Zijn we er klaar voor, Adam?
AB: Yeah.
AB: Ja.
TM: OK, now Dan will play his piece "My Eagle Song" for you. (Applause)
TM: Dan zal nu zijn stuk "Mijn arendslied" voor jullie spelen. (Applaus)
TM: Bravo. (Applause)
TM: Bravo. (Applaus)