Der erste Gedanke, den ich gerne anstoßen würde, ist, dass wir alle Musik sehr lieben. Sie bedeutet uns sehr viel. Doch Musik ist noch stärker, wenn man sie nicht nur hört, sondern auch selbst macht. Das ist also mein erster Gedanke. Und wir alle wissen vom Mozarteffekt - eine Vorstellung der letzten 5 bis 10 Jahre - dass, wenn man Musik hört oder einem ungeborenen Baby vorspielt, unsere IQ-Werte um 10, 20, 30% steigen.
The first idea I'd like to suggest is that we all love music a great deal. It means a lot to us. But music is even more powerful if you don't just listen to it, but you make it yourself. So, that's my first idea. And we all know about the Mozart effect -- the idea that's been around for the last five to 10 years -- that just by listening to music or by playing music to your baby [in utero], that it'll raise our IQ points 10, 20, 30 percent.
Tolle Idee, nur funktioniert es überhaupt nicht. Man kann Musik nicht bloß hören, man muss sie auch irgendwie machen. Und ich würde hinzufügen, dass es nicht nur das Machen ist, sondern, dass jeder von uns, jeder auf der Welt die Fähigkeit hat, sie zu schaffen und auf eine sehr dynamische Weise ein Teil von ihr zu sein. Und das ist eines der Kernstücke meiner Arbeit. Mit dem MIT Media Lab engagieren wir uns schon seit einer ganzen Weile in einem Gebiet namens Aktive Musik. Welche möglichen Methoden können wir uns vorstellen, um jedermann mitten in ein musikalisches Erlebnis zu bringen, Musik nicht nur zu hören, sondern zu machen?
Great idea, but it doesn't work at all. So, you can't just listen to music, you have to make it somehow. And I'd add to that, that it's not just making it, but everybody, each of us, everybody in the world has the power to create and be part of music in a very dynamic way, and that's one of the main parts of my work. So, with the MIT Media Lab, for quite a while now, we've been engaged in a field called active music. What are all the possible ways that we can think of to get everybody in the middle of a musical experience, not just listening, but making music?
Und wir begannen, indem wir sogenannte "Hyperinstrumente" für einige der größten Interpreten erfanden – für Yo-Yo Ma, Peter Gabriel, Prince, für Orchester und Rockbands. Instrumente mit allen möglichen eingebauten Sensoren, die das Instrument erkennen lassen, wie es gespielt wird. Und indem ich einfach Interpretation und Gefühl verändere, kann ich das Cello in eine Stimme verwandeln, oder in ein ganzes Orchester, oder in etwas, dass niemand jemals zuvor gehört hat.
And we started by making instruments for some of the world's greatest performers -- we call these hyperinstruments -- for Yo-Yo Ma, Peter Gabriel, Prince, orchestras, rock bands. Instruments where they're all kinds of sensors built right into the instrument, so the instrument knows how it's being played. And just by changing the interpretation and the feeling, I can turn my cello into a voice, or into a whole orchestra, or into something that nobody has ever heard before.
Als wir damit begannen sie zu erfinden, dachte ich: Warum können wir wunderbare Instrumente wie diese nicht für alle machen, für Leute, die keine fantastischen Yo-Yo Mas oder Princes sind? Also haben wir eine ganze Serie von Instrumenten gemacht. Eine der größten Kollektionen heißt Brain Opera. Es ist ein ganzes Orchester von etwa 100 Instrumenten, und so gestaltet, dass jeder sie mit natürlichem Geschick spielen kann. Und so kann man ein Videospiel spielen, durch ein Musikstück durchfahren, mit Körperbewegungen riesige Klangmassen steuern, anhand einer Tastoberfläche Melodien machen, oder mit der Stimme eine ganze Aura erzeugen. Und wenn wir die Brain Opera machen laden wir das Publikum ein, die Instrumente auszuprobieren und mitzuwirken um jede Aufführung der Brain Opera zu machen. Damit sind wir lange auf Tournee gewesen. Jetzt ist sie dauerhaft in Wien, wo wir ein Museum um sie herum gebaut haben.
When we started making these, I started thinking, why can't we make wonderful instruments like that for everybody, people who aren't fantastic Yo-Yo Mas or Princes? So, we've made a whole series of instruments. One of the largest collections is called the Brain Opera. It's a whole orchestra of about 100 instruments, all designed for anybody to play using natural skill. So, you can play a video game, drive through a piece of music, use your body gesture to control huge masses of sound, touch a special surface to make melodies, use your voice to make a whole aura. And when we make the Brain Opera, we invite the public to come in, to try these instruments and then collaborate with us to help make each performance of the Brain Opera. We toured that for a long time. It is now permanently in Vienna, where we built a museum around it.
Und das führte zu etwas, das Sie wahrscheinlich kennen. Guitar Hero kam aus unserem Labor, und meine zwei Teenagertöchter und die meisten Studenten am Media Lab beweisen, dass sofern man die richtige Art von Interface bereitstellt, die Leute wirklich daran interessiert sind, inmitten eines Musikstücks zu sein und es immer und immer wieder abzuspielen.
And that led to something which you probably do know. Guitar Hero came out of our lab, and my two teenage daughters and most of the students at the MIT Media Lab are proof that if you make the right kind of interface, people are really interested in being in the middle of a piece of music, and playing it over and over and over again.
Das Modell funktioniert also. Aber es ist nur die Spitze des Eisbergs, weil mein zweiter Gedanke ist der, das es nicht reicht, Musik bloß in so etwas wie Guitar Hero zu machen. Und Musik macht viel Spaß, doch sie ist auch umgestaltend. Das ist sehr, sehr wichtig. Musik kann meist mehr als alles anderes unser Leben verändern. Sie kann die Art, wie wir kommunizieren verändern, so wie auch unseren Körper, unseren Geist. Wir versuchen also den nächsten Schritt zu gehen, wie man auf etwas wie Guitar Hero aufbauen kann. Wir engagieren uns sehr in der Bildung. Wir haben ein Langzeitprojekt namens Toy Symphony, wo wir alle möglichen Instrumente mit Suchtpotential erfinden, aber für kleine Kinder. Die Kids verlieben sich dadurch ins Musizieren und wollen ihre Zeit damit verbringen, und dann wissen, wie es funktioniert, wie man mehr macht und kreiert. Und so machen wir knautschige Instrumente, wie diese Music Shapers, die die Elektrizität in den Fingern messen, und Beat Bugs, die einen im Rhythmus klopfen lassen – sie sammeln diesen ein und wie eine heiße Kartoffel sendet man ihn an Freunde, die den Rhythmus dann imitieren oder irgendwie darauf reagieren müssen. Und ein Softwarepacket namens Hyperscore, das jeden anhand von Linien und Farben ziemlich aufwändige Musik machen lässt. Extrem einfach zu bedienen, doch sobald man beginnt, kann man ziemlich tief gehen -- Musik jedweden Stils. Und auf Knopfdruck verwandelt es sich in Notenschrift, so dass Live-Musiker Ihre Stücke spielen können.
So, the model works, but it's only the tip of the iceberg, because my second idea is that it's not enough just to want to make music in something like Guitar Hero. And music is very fun, but it's also transformative. It's very, very important. Music can change your life, more than almost anything. It can change the way you communicate with others, it can change your body, it can change your mind. So, we're trying to go to the next step of how you build on top of something like Guitar Hero. We are very involved in education. We have a long-term project called Toy Symphony, where we make all kinds of instruments that are also addictive, but for little kids, so the kids will fall in love with making music, want to spend their time doing it, and then will demand to know how it works, how to make more, how to create. So, we make squeezy instruments, like these Music Shapers that measure the electricity in your fingers, Beatbugs that let you tap in rhythms -- they gather your rhythm, and like hot potato, you send your rhythm to your friends, who then have to imitate or respond to what your doing -- and a software package called Hyperscore, which lets anybody use lines and color to make quite sophisticated music. Extremely easy to use, but once you use it, you can go quite deep -- music in any style. And then, by pressing a button, it turns into music notation so that live musicians can play your pieces.
Mit Hyperscore hatten wir ausreichende, tatsächlich sehr starke Effekte bei Kindern auf der ganzen Welt, und nun bei Menschen jeden Alters. Und so interessieren wir uns stärker dafür, diese Arten von schöpferischer Tätigkeit in einem viel breiteren Kontext zu verwenden, für alle möglichen Menschen, die normalerweise nicht die Gelegenheit zum Musizieren haben. Eines der wachsenden Gebiete, in dem wir derzeit am Media Lab arbeiten ist Musik, Geist und Gesundheit. Viele von Ihnen haben sicherlich Oliver Sacks wunderbares neues Buch namens “Musicophilia” gesehen. Es ist im Buchhandel erschienen, ein tolles Buch. Wenn Sie es nicht gesehen haben, es ist lesenswert. Er ist selbst Pianist, und beschreibt seine ganze Karriere, wie er die unglaublich starken Wirkungen von Musik auf das Leben von Menschen in ungewöhnlichen Situationen, beobachtet hat.
We've had good enough, really, very powerful effects with kids around the world, and now people of all ages, using Hyperscore. So, we've gotten more and more interested in using these kinds of creative activities in a much broader context, for all kinds of people who don't usually have the opportunity to make music. So, one of the growing fields that we're working on at the Media Lab right now is music, mind and health. A lot of you have probably seen Oliver Sacks' wonderful new book called "Musicophilia". It's on sale in the bookstore. It's a great book. If you haven't seen it, it's worth reading. He's a pianist himself, and he details his whole career of looking at and observing incredibly powerful effects that music has had on peoples' lives in unusual situations.
Wir wissen zum Beispiel, dass Musik fast immer das Letzte ist, worauf Menschen mit fortgeschrittenem Alzheimer noch ansprechen können. Vielleicht haben viele von Ihnen es mit Nahestehenden bemerkt. Sie finden jemanden der sein eigenes Gesicht im Spiegel nicht erkennen kann, oder seine eigene Familie, aber man kann immer noch ein Musikfragment finden, zu der die Person aus dem Stuhl springen und zu singen beginnen wird. Und damit kann man teilweise Erinnerungen und Persönlichkeiten zurückbringen. Musik ist das beste Mittel, um die Sprache von Menschen mit Schlaganfällen, und die Bewegungen von Menschen mit Parkinson wiederherzustellen. Sie ist sehr wirkungsvoll gegen Depression, Schizophrenie, viele, viele Dinge.
So we know, for instance, that music is almost always the last thing that people with advanced Alzheimer's can still respond to. Maybe many of you have noticed this with loved ones, you can find somebody who can't recognize their face in the mirror, or can't tell anyone in their family, but you can still find a shard of music that that person will jump out of the chair and start singing. And with that you can bring back parts of people's memories and personalities. Music is the best way to restore speech to people who have lost it through strokes, movement to people with Parkinson's disease. It's very powerful for depression, schizophrenia, many, many things.
Wir arbeiten also daran, diese zu Grunde liegenden Prinzipien zu verstehen, und dann Tätigkeiten zu schaffen, die wirklich die Gesundheit verbessern. Und wir tun das auf allerlei Arten. Wir arbeiten mit vielen verschiedenen Krankenhäusern. Eines davon ist genau in der Nähe von Boston, es heißt Tewksbury Hospital. Es ist ein Langzeit-Staatskrankenhaus, wo wir vor einigen Jahren anfingen mit Hyperscore und Patienten mit körperlichen wie geistigen Behinderungen zu arbeiten. Dies ist eines der Hauptbestandteile der Behandlung geworden, so dass jeder dort ganz wild auf musikalische Aktivitäten ist. Es scheint die Tätigkeit zu sein, die die Patientenbehandlung am meisten beschleunigt. Und es bringt das ganze Krankenhaus als eine Art musikalische Gemeinschaft zusammen. Ich will Ihnen ein kurzes Video über diese Arbeit zeigen, bevor wir weitermachen. Sie beeinflussen gegenseitig ihre Rhythmen. Es ist ein echtes Erlebnis, nicht nur um zu lernen, wie man spielt und Rhythmen lauscht, sondern um das musikalische Gedächtnis zu trainieren und in einer Gruppe zu musizieren. Um selber Musik in die Finger zu bekommen, sie zu formen, zu verändern, mit ihr zu experimentieren, eigene Musik zu machen. Mit Hyperscore kann man also schnell von Null anfangen. Jeder kann Musik auf tiefgreifende Weise erfahren, wir müssen bloß die richtigen Mittel erfinden.
So, we're working on understanding those underlying principles and then building activities which will let music really improve people's health. And we do this in many ways. We work with many different hospitals. One of them is right near Boston, called Tewksbury Hospital. It's a long-term state hospital, where several years ago we started working with Hyperscore and patients with physical and mental disabilities. This has become a central part of the treatment at Tewksbury hospital, so everybody there clamors to work on musical activities. It's the activity that seems to accelerate people's treatment the most and it also brings the entire hospital together as a kind of musical community. I wanted to show you a quick video of some of this work before I go on. Video: They're manipulating each other's rhythms. It's a real experience, not only to learn how to play and listen to rhythms, but to train your musical memory and playing music in a group. To get their hands on music, to shape it themselves, change it, to experiment with it, to make their own music. So Hyperscore lets you start from scratch very quickly. Everybody can experience music in a profound way, we just have to make different tools.
Der dritte Gedanke, den ich teilen möchte, ist der, dass Musik paradoxerweise - ich denke mehr als Worte - eines der besten Mittel ist um zu zeigen, wer man wirklich ist. Ich liebe es, Reden zu halten, obwohl ich dabei seltsamerweise nervöser bin als beim Musizieren. Wenn ich hier auf einem Cello oder Synthesizer spielen würde, oder meine Musik mit ihnen teilte, könnte ich Dinge über mich zeigen, die ich nicht mit Worten beschreiben kann, persönlichere, vielleicht tiefere Dinge.
The third idea I want to share with you is that music, paradoxically, I think even more than words, is one of the very best ways we have of showing who we really are. I love giving talks, although strangely I feel more nervous giving talks than playing music. If I were here playing cello, or playing on a synth, or sharing my music with you, I'd be able to show things about myself that I can't tell you in words, more personal things, perhaps deeper things.
Ich denke, dies trifft auf viele von uns zu. Und ich will Ihnen zwei Beispiele geben, die Musik als eine der mächtigsten Schnittstellen zwischen uns selbst und der Außenwelt aufzeigen. Das erste ist ein wirklich irres Projekt, das wir gerade aufbauen: "Death and the Powers". Und es ist eine große Oper, eines der größeren Opernprojekte, die derzeit weltweit laufen. Es geht um einen Mann, reich, erfolgreich, mächtig, der für immer leben will. Er findet einen Weg sich in seine Umwelt herunterzuladen, nämlich in eine Reihe von Büchern. Dieser Kerl will also ewig leben, er lädt sich in seine Umwelt runter. Der Hauptsänger verschwindet zu Beginn der Oper und die gesamte Bühne wird zum Hauptcharakter. Sie wird sein Vermächtnis.
I think that's true for many of us, and I want to give you two examples of how music is one of the most powerful interfaces we have, from ourselves to the outside world. The first is a really crazy project that we're building right now, called Death and the Powers. And it's a big opera, one of the larger opera projects going on in the world right now. And it's about a man, rich, successful, powerful, who wants to live forever. So, he figures out a way to download himself into his environment, actually into a series of books. So this guy wants to live forever, he downloads himself into his environment. The main singer disappears at the beginning of the opera and the entire stage becomes the main character. It becomes his legacy.
Und die ganze Oper handelt über das, was wir teilen, was wir an andere, die Menschen, die wir lieben, weitergeben können, und was nicht. Jedes Objekt in der Oper wird lebendig und ist ein gigantisches Musikinstrument, wie dieser Kronleuchter. Er nimmt die ganze Bühne ein. Er sieht aus wie ein Kronleuchter, ist aber eigentlich ein robotisches Musikinstrument. Wie Sie deshalb an diesem Prototyp sehen können, gigantische Klaviersaiten, jede Saite wird durch ein Roboterlement kontrolliert – entweder durch kleine Bögen, die die Saiten streichen, Propeller, die sie zupfen akustische Signale, die sie vibrieren lassen. Wir haben auch eine Roboterarmee auf der Bühne. Diese Roboter vermitteln gewissermaßen zwischen dem Hauptcharakter, Simon Powers, und seiner Familie. Es gibt ganze Serien von ihnen, so wie ein griechischer Chor. Sie beobachten die Handlung. Wir haben diese viereckigen Roboter namens OperaBots gestaltet, die wir nun am MIT testen. Diese OperaBots folgen meiner Musik. Sie folgen den Charakteren. Sie sind schlau genug, einander nicht anzurempeln, hoffen wir. Sie gehen von selber los. Und sie können sich auf Fingerschnipp auch genau nach Belieben aufreihen. Obwohl sie Würfel sind haben sie tatsächlich eine ganze Menge Persönlichkeit.
And the opera is about what we can share, what we can pass on to others, to the people we love, and what we can't. Every object in the opera comes alive and is a gigantic music instrument, like this chandelier. It takes up the whole stage. It looks like a chandelier, but it's actually a robotic music instrument. So, as you can see in this prototype, gigantic piano strings, each string is controlled with a little robotic element -- either little bows that stroke the strings, propellers that tickle the strings, acoustic signals that vibrate the strings. We also have an army of robots on stage. These robots are the kind of the intermediary between the main character, Simon Powers, and his family. There are a whole series of them, kind of like a Greek chorus. They observe the action. We've designed these square robots that we're testing right now at MIT called OperaBots. These OperaBots follow my music. They follow the characters. They're smart enough, we hope, not to bump into each other. They go off on their own. And then they can also, when you snap, line up exactly the way you'd like to. Even though they're cubes, they actually have a lot of personality.
Das größte Stück in der Oper heißt “System”. Es ist eine Reihe von Büchern. Jedes einzelne Buch ist robotisch, und so bewegen sie sich alle, erzeugen Töne, und setzt man sie alle zusammen, verwandeln sie sich in diese Wände, die die Gesten und Persönlichkeit von Simon Powers haben. Er ist also verschwunden, aber die ganze physische Umwelt wird zu seiner Person. Das ist die Art, die er gewählt hat, um sich zu repräsentieren. Diese Bücher haben auch dichtgepackte LEDs auf den Rücken. Es ist alles ein Bildschirm. Und hier ist der großartige Bariton James Maddalena, wie er das System betritt. Das ist eine inoffizielle Vorschau. Diese Premiere ist in Monaco, im September 2009. Wenn sie es aus irgendeinem Grund nicht schaffen sollten, hier ist eine weitere Idee mit diesem Projekt. Hier ist dieser Kerl, der sein eigenes Vermächtnis durch eine sehr ungewöhnliche Form gestaltet, durch Musik und die Umwelt. Aber wir machen das sowohl online als auch in öffentlichen Räumen zugänglich, als eine Methode, wie jedermann Musik und Bilder des Lebens verwenden kann, um das eigene Vermächtnis oder das von jemandem, den wir lieben, zu machen. Also, anstatt eine Große Oper zu sein wird diese Oper sich in etwas wandeln, das wir uns als persönliche Oper vorstellen.
The largest set piece in the opera is called The System. It's a series of books. Every single book is robotic, so they all move, they all make sound, and when you put them all together, they turn into these walls, which have the gesture and the personality of Simon Powers. So he's disappeared, but the whole physical environment becomes this person. This is how he's chosen to represent himself. The books also have high-packed LEDs on the spines. So it's all display. And here's the great baritone James Maddalena as he enters The System. This is a sneak preview. This premieres in Monaco -- it's in September 2009. If by any chance you can't make it, another idea with this project -- here's this guy building his legacy through this very unusual form, through music and through the environment. But we're also making this available both online and in public spaces, as a way of each of us to use music and images from our lives to make our own legacy or to make a legacy of someone we love. So instead of being grand opera, this opera will turn into what we're thinking of as personal opera.
Und wie steht es dann mit einem persönlichen Instrument? Alles, was ich ihnen bisher gezeigt habe – ob es ein Hypercello für Yo-Yo Ma ist oder ein knautschiges Spielzeug für ein Kind – die Instrumente sind die gleichen, und nützen einer bestimmten Gruppe von Personen, oder einem Virtuosen oder einem Kind. Was aber wenn ich ein Instrument machen könnte, das man an mein persönliches Verhalten anpassen könnte, daran wie meine Hände funktionieren, an das was ich gut kann, vielleicht, oder was ich nicht so gut kann? Ich denke, das ist die Zukunft des Interface, der Musik, der Instrumente.
And, if you're going to make a personal opera, what about a personal instrument? Everything I've shown you so far -- whether it's a hyper-cello for Yo-Yo Ma or squeezy toy for a child -- the instruments stayed the same and are valuable for a certain class of person: a virtuoso, a child. But what if I could make an instrument that could be adapted to the way I personally behave, to the way my hands work, to what I do very skillfully, perhaps, to what I don't do so skillfully? I think that this is the future of interface, it's the future of music, the future of instruments.
Und ich möchte zwei sehr besondere Menschen auf die Bühne einladen, so dass ich Ihnen vorführen kann, wie persönliche Instrumente sein könnten. Ich bitte Sie um Applaus für Adam Boulanger, Doktorant am MIT Media Lab und Dan Ellsey. Dan ist heute, dank TED und Bombardier Flexjet, den ganzen Weg aus Tewksbury gekommen um heute hier zu sein. Er ist ein Bewohner des Tewksbury Hospitals. Er war noch nie so weit vom Tewksbury Hospital entfernt, das kann ich Ihnen sagen, denn er ist davon motiviert, Sie heute zu treffen und Ihnen seine Musik zu zeigen. Also, Dan, als allerstes, willst du allen hier Hallo sagen und erzählen wer du bist?
And I'd like now to invite two very special people on the stage, so that I can give you an example of what personal instruments might be like. So, can you give a hand to Adam Boulanger, Ph.D. student from the MIT Media Lab, and Dan Ellsey. Dan, thanks to TED and to Bombardier Flexjet, Dan is here with us today all the way from Tewksbury. He's a resident at Tewksbury Hospital. This is by far the farthest he's strayed from Tewksbury Hospital, I can tell you that, because he's motivated to meet with you today and show you his own music. So, first of all, Dan, do you want to say hi to everyone and tell everyone who you are?
Hallo. Mein Name ist Dan Ellsey. Ich bin 34 Jahre alt und habe Zerebralparese. Ich habe schon immer Musik geliebt und bin begeistert davon, mit dieser Software meine eigene Musik dirigieren zu können.
Dan Ellsey: Hello. My name is Dan Ellsey. I am 34 years old and I have cerebral palsy. I have always loved music and I am excited to be able to conduct my own music with this new software.
Und wir sind wirklich begeistert davon, dich hier zu haben, Dan. (Applaus)
Tod Machover: And we're really excited to have you here, really Dan. (Applause)
Wir trafen Dan vor etwa drei, dreieinhalb Jahren, als wir begannen, in Tewksbury zu arbeiten. Jeder, dem wir dort begegneten, war fantastisch, jeder machte fantastische Musik. Dan hatte nie zuvor Musik gemacht, und es erwies sich, dass er es echt fantastisch konnte. Er ist ein geborener Komponist. Er ist auch sehr schüchtern. Es stellte sich aslo heraus, dass er fantastisch komponiert und ist in den letzten paar Jahren ist er ein regelmäßiger Mitarbeiter von uns gewesen. Er hat viele, viele Stücke. Er macht seine eigenen CDs. Tatsächlich ist er in der Gegend von Boston ziemlich bekannt, betreut Leute am Krankenhaus und Kinder vor Ort darin, eigene Musik zu machen. Ich lasse Adam es Ihnen erzählen. Also, Adam ist ein Doktorant am MIT, ein Experte in Musiktechnologie und Medizin. Und Adam und Dan sind enge Mitarbeiter geworden. Adam hat in der letzen Zeit nicht nur daran gearbeitet, Dan es auf einfache Weise zu ermöglichen, seine eigenen Stücke zu machen, sondern auch wie er diese anhand dieses persönlichen Instrumentes aufführen kann. Also, willst du ein bisschen etwas darüber sagen, wie ihr zwei arbeitet?
So we met Dan about three years ago, three and a half years ago, when we started working at Tewksbury. Everybody we met there was fantastic, did fantastic music. Dan had never made music before, and it turned out he was really fantastic at it. He's a born composer. He's very shy, too. So, turned out he's a fantastic composer, and over the last few years has been a constant collaborator of ours. He has made many, many pieces. He makes his own CDs. Actually, he is quite well known in the Boston area -- mentors people at the hospital and children, locally, in how to make their own music. And I'll let Adam tell you. So, Adam is a Ph.D. student at MIT, an expert in music technology and medicine. And Adam and Dan have become close collaborators. What Adam's been working on for this last period is not only how to have Dan be able easily to make his own pieces, but how he can perform his piece using this kind of personal instrument. So, you want to say a little bit about how you guys work?
Ja. Im Anschluss an die Arbeit in Tewksbury diskutierten Tod und ich wirklich darüber was für eine ausdrucksvolle Person Dan ist, dass er eine intelligente und kreative Person ist. Und es ist in seinem Gesicht, in seinem Atmen, in seinen Augen. Wie kommt es, dass er nicht eines seiner Musikstücke aufführen kann? Das ergibt keinen Sinn und es ist unsere Verantwortung.
Adam Boulanger: Yes. So, Tod and I entered into a discussion following the Tewksbury work and it was really about how Dan is an expressive person, and he's an intelligent and creative person. And it's in his face, it's in his breathing, it's in his eyes. How come he can't perform one of his pieces of music? That's our responsibility, and it doesn't make sense.
Wir fingen also damit an, eine Technologie zu entwickeln, die es ihm erlaubt mit Nuancen, mit Präzision, mit Kontrolle und trotz seiner körperlichen Behinderung genau das zu tun - nämlich sein Musikstück spielen. Also, das Verfahren und die Technologie; im Grunde brauchten wir zunächst eine technische Lösung. Also, wir haben hier eine FireWire-Kamera, sie betrachtet einen Infrarotpointer. Wir wählten die Art von Gebärdenübertragung, an die er bereits mit seiner Sprachkontrolle gewöhnt war. Und das war im Grunde der uninteressanteste Teil der Arbeit, das Gestaltungsverfahren, verstehen Sie? Wir brauchten Input, wir brauchten fortwährendes Tracking. Und die Software schaut sich die Arten von Formen an, die er macht.
So we started developing a technology that will allow him with nuance, with precision, with control, and despite his physical disability, to be able to do that, to be able to perform his piece of music. So, the process and the technology -- basically, first we needed an engineering solution. So, you know, we have a FireWire camera, it looked at an infrared pointer. We went with the type of gesture metaphor that Dan was already used to with his speaking controller. And this was actually the least interesting part of the work, you know, the design process. We needed an input; we needed continuous tracking; in the software, we look at the types of shapes he's making.
Aber auf den Konstruktionsteil folgte dann der wirklich interessante Aspekt der Arbeit, wo wir im Grunde im Krankenhaus über Dans Schulter codierten, um herauszufinden wie er sich bewegt, verstehen Sie? Was ist für ihn als expressive Bewegung brauchbar? Verstehen Sie, was ist seine Sinnesübertragung für Aufführung? Welche Arten von Dingen sind ihm in einem Musikstück wichtig zu kontrollieren und zu übermitteln? Also, all die Parameter stimmten und die Technologie wurde an diesem Punkt so gedehnt, dass sie Dan passt. Und wissen Sie, ich denke das ist ein Perspektivwechsel. Es geht nicht um unsere Technologien, sie erlauben den Zugang, sie erlauben uns, Stücke kreativer Arbeit zu schaffen. Aber wie steht es um Ausdruck? Wie steht es um den Moment, wenn ein Künstler diese Arbeit abliefert? Verstehen Sie, erlauben unsere Technologien uns uns auszudrücken? Stellen Sie uns Strukturen dafür bereit? Und wissen Sie, dies ist eine persönliche Beziehung zum Ausdruck, der in den technologischen Kreisen fehlt. Deswegen brauchten wir mit Dan einen neuen Gestaltungsprozess, einen neuen Konstruktionsprozess, um seine Bewegungen zu entdecken und seinen Weg zum Ausdruck, der ihm das Aufführen erlaubt. Und das ist, was wir heute also tun werden.
But, then was the really interesting aspect of the work, following the engineering part, where, basically, we're coding over Dan's shoulder at the hospital extensively to figure out, you know, how does Dan move? What's useful to him as an expressive motion? You know, what's his metaphor for performance? What types of things does he find important to control and convey in a piece of music? So all the parameter fitting, and really the technology was stretched at that point to fit just Dan. And, you know, I think this is a perspective shift. It's not that our technologies -- they provide access, they allow us to create pieces of creative work. But what about expression? What about that moment when an artist delivers that piece of work? You know, do our technologies allow us to express? Do they provide structure for us to do that? And, you know, that's a personal relationship to expression that is lacking in the technological sphere. So, you know, with Dan, we needed a new design process, a new engineering process to sort of discover his movement and his path to expression that allow him to perform. And so that's what we'll do today.
Also auf geht’s. Also Dan, willst du allen sagen, was du uns jetzt spielen wirst?
TM: So let's do it. So Dan do you want to tell everyone about what you're going to play now?
Dies ist “My Eagle Song” (Mein Adlerlied). Dan wird also sein Stück namens “My Eagle Song” spielen. Das hier ist tatsächlich die Partitur von Dans Stück, das er komplett in Hyperscore komponiert hat. Er kann mit seinem Infrarottracker direkt in Hyperscore hineingehen. Er ist unglaublich schnell dabei, sogar schneller als ich.
DE: This is "My Eagle Song." TM: So Dan is going to play a piece of his, called "My Eagle Song". In fact, this is the score for Dan's piece, completely composed by Dan in Hyperscore. So he can use his infrared tracker to go directly into Hyperscore. He's incredibly fast at it, too, faster than I am, in fact.
(Lachen)
(Laughter)
Er ist auch sehr bescheiden. Er kann also in Hyperscore gehen. Man beginnt mit Melodien und Rhythmen. Er kann diese genau da platzieren, wo er mag. Jede erhält eine Farbe. Er geht zurück ins Kompositionsfenster, zeichnet Linien und platziert alles so wie er es will. Wenn man sich Hyperscore anschaut, kann man es sehen, man kann sehen, wo die Abschnitte sind, einiges setzt sich für eine Weile fort, verändert sich, wird echt verrückt und endet dann mit einem großen Knall.
TM: He's really modest, too. So he can go in Hyperscore. You start out by making melodies and rhythms. He can place those exactly where he wants. Each one gets a color. He goes back into the composition window, draws the lines, places everything the way he wants to. Looking at the Hyperscore, you can see it also, you can see where the sections are, something might continue for a while, change, get really crazy and then end up with a big bang at the end.
Das ist also die Methode mit der er sein Stück gemacht hat, und wie Adam sagt, fanden wir dann den besten Weg, ihn sein eigenes Stück aufführen zu lassen. Es wird von dieser Kamera beobachtet werden, die seine Bewegungen analysiert, es wird Dan all die verschiedenen Aspekte seiner Musik hervorbringen lassen, die er will. Und Sie werden ebenfalls Graphiken auf dem Screen bemerken. Wir haben einen unserer Studenten gebeten, sich zu betrachten, was die Kamera misst. Aber anstatt es sehr buchstäblich zu machen, indem wir Ihnen genau das zeigen, was die Kamera verfolgt, haben wir es in eine Graphik verwandelt, die die wesentlichen Bewegungen zeigt, und die Art, wie es analysiert wird.
So that's the way he made his piece, and as Adam says, we then figured out the best way to have him perform his piece. It's going to be looked at by this camera, analyze his movements, it's going to let Dan bring out all the different aspects of his music that he wants to. And you're also going to notice a visual on the screen. We asked one of our students to look at what the camera is measuring. But instead of making it very literal, showing you exactly the camera tracing, we turned it into a graphic that shows you the basic movement, and shows the way it's being analyzed.
Ich denke dies verdeutlicht, wie wir Bewegungen aus dem was Dan macht, herausfiltern, aber ich denke es wird auch zeigen, wenn Sie sich diese Bewegung anschauen, dass, wenn Dan musiziert, seine Bewegungen sehr zielgerichtet sind, sehr genau, sehr diszipliniert und auch sehr schön. Also, beim Anhören dieses Stückes ist es, wie zuvor erwähnt, das Wichtigste, dass die Musik großartig ist, und es zeigt Ihnen wer Dan ist. Also, sind wir bereit, Adam?
I think it gives an understanding of how we're picking out movement from what Dan's doing, but I think it will also show you, if you look at that movement, that when Dan makes music, his motions are very purposeful, very precise, very disciplined and they're also very beautiful. So, in hearing this piece, as I mentioned before, the most important thing is the music's great, and it'll show you who Dan is. So, are we ready Adam?
Ja.
AB: Yeah.
OK, Dan wird jetzt sein Stück “My Eagle Song” für Sie spielen. (Applaus)
TM: OK, now Dan will play his piece "My Eagle Song" for you. (Applause)
TM: Bravo. (Applaus)
TM: Bravo. (Applause)