The first idea I'd like to suggest is that we all love music a great deal. It means a lot to us. But music is even more powerful if you don't just listen to it, but you make it yourself. So, that's my first idea. And we all know about the Mozart effect -- the idea that's been around for the last five to 10 years -- that just by listening to music or by playing music to your baby [in utero], that it'll raise our IQ points 10, 20, 30 percent.
Pierwszą ideą, jaką chciałbym zasugerować jest to, że wszyscy bardzo kochamy muzykę. Ona wiele dla nas znaczy. Ale muzyka ma jeszcze większą moc, jeśli się jej nie tylko słucha, ale też tworzy się ją samemu. Taka jest moja pierwsza myśl. Wszystkim nam znany jest efekt Mozarta, pomysł, który krążył wśród ludzi przez ostatnie pięć do dziesięciu lat, według którego przez samo słuchanie muzyki lub granie muzyki dziecku w łonie matki można zwiększyć punkty ilorazu inteligencji o 10, 20, 30 procent.
Great idea, but it doesn't work at all. So, you can't just listen to music, you have to make it somehow. And I'd add to that, that it's not just making it, but everybody, each of us, everybody in the world has the power to create and be part of music in a very dynamic way, and that's one of the main parts of my work. So, with the MIT Media Lab, for quite a while now, we've been engaged in a field called active music. What are all the possible ways that we can think of to get everybody in the middle of a musical experience, not just listening, but making music?
Świetny pomysł, ale w ogóle się nie sprawdza. Nie można jedynie słuchać muzyki, trzeba ją też jakoś tworzyć. Dodam, że nie chodzi tylko o tworzenie, ale też o to, że każdy z nas, wszyscy ludzie na świecie są zdolni do tworzenia i uczestniczenia w muzyce w bardzo dynamiczny sposób i to jest jedno z głównych założeń mojej pracy. Pracując z MIT Media Lab już jakiś czas, zaangażowaliśmy się w dziedzinę określaną jako aktywna muzyka. Jakie jesteśmy w stanie wymyślić możliwości wciągnięcia wszystkich w sam środek muzycznego doświadczenia, nie tylko przez słuchanie, ale też przez tworzenie muzyki?
And we started by making instruments for some of the world's greatest performers -- we call these hyperinstruments -- for Yo-Yo Ma, Peter Gabriel, Prince, orchestras, rock bands. Instruments where they're all kinds of sensors built right into the instrument, so the instrument knows how it's being played. And just by changing the interpretation and the feeling, I can turn my cello into a voice, or into a whole orchestra, or into something that nobody has ever heard before.
Zaczęliśmy od tworzenia instrumentów dla wielkich artystów (nazywamy je "Hiper Instrumentami"), dla Yo-Yo Ma, Petera Gabriela, Prince'a, dla orkiestr, zespołów rockowych. To instrumenty z wszystkimi rodzajami czujników wbudowanych w sam instrument, tak aby instrument wiedział jak się na nim gra. I wystarczy zmienić interpretację i wyczucie, żebym mógł zmienić swoją wiolonczelę w głos, albo w całą orkiestrę, albo w coś, czego nikt wcześniej nie słyszał.
When we started making these, I started thinking, why can't we make wonderful instruments like that for everybody, people who aren't fantastic Yo-Yo Mas or Princes? So, we've made a whole series of instruments. One of the largest collections is called the Brain Opera. It's a whole orchestra of about 100 instruments, all designed for anybody to play using natural skill. So, you can play a video game, drive through a piece of music, use your body gesture to control huge masses of sound, touch a special surface to make melodies, use your voice to make a whole aura. And when we make the Brain Opera, we invite the public to come in, to try these instruments and then collaborate with us to help make each performance of the Brain Opera. We toured that for a long time. It is now permanently in Vienna, where we built a museum around it.
Gdy zaczęliśmy to produkować, zacząłem się zastanawiać, dlaczego nie możemy tworzyć takich wspaniałych instrumentów dla wszystkich, dla ludzi, którzy nie są fantastycznymi Yo-Yo Ma'mi czy Prince'ami? Stworzyliśmy więc całą serię instrumentów. Jedna z największych kolekcji nazywa się Brain Opera (Opera Mózgowa). To cała orkiestra, złożona z ok. 100 instrumentów, zaprojektowanych tak, żeby każdy mógł na nich grać dzięki naturalnym umiejętnościom. Można więc grać w grę wideo, przechodzić przez utwór muzyczny, używać gestów do kontrolowania wielkich zasobów dźwięku, dotykać specjalnej powierzchni, aby tworzyć melodie, używać głosu, aby tworzyć całe aury. I kiedy tworzymy Brain Opera, zapraszamy wszystkich do wypróbowania tych instrumentów, a potem do współpracy i do pomocy w tworzeniu każdego występu Brain Opera. Po długim okresie tras koncertowych projekt osiadł w Wiedniu, gdzie wybudowaliśmy poświęcone mu muzeum.
And that led to something which you probably do know. Guitar Hero came out of our lab, and my two teenage daughters and most of the students at the MIT Media Lab are proof that if you make the right kind of interface, people are really interested in being in the middle of a piece of music, and playing it over and over and over again.
Doprowadziło to do czegoś, co pewnie znacie. Guitar Hero powstało w naszym laboratorium, a moje dwie nastoletnie córki i większość studentów MIT Media Lab dowiedli, że jeśli stworzy się odpowiedni interfejs, ludzie naprawdę zechcą być wewnątrz utworu muzycznego i grać go raz po raz.
So, the model works, but it's only the tip of the iceberg, because my second idea is that it's not enough just to want to make music in something like Guitar Hero. And music is very fun, but it's also transformative. It's very, very important. Music can change your life, more than almost anything. It can change the way you communicate with others, it can change your body, it can change your mind. So, we're trying to go to the next step of how you build on top of something like Guitar Hero. We are very involved in education. We have a long-term project called Toy Symphony, where we make all kinds of instruments that are also addictive, but for little kids, so the kids will fall in love with making music, want to spend their time doing it, and then will demand to know how it works, how to make more, how to create. So, we make squeezy instruments, like these Music Shapers that measure the electricity in your fingers, Beatbugs that let you tap in rhythms -- they gather your rhythm, and like hot potato, you send your rhythm to your friends, who then have to imitate or respond to what your doing -- and a software package called Hyperscore, which lets anybody use lines and color to make quite sophisticated music. Extremely easy to use, but once you use it, you can go quite deep -- music in any style. And then, by pressing a button, it turns into music notation so that live musicians can play your pieces.
Tak więc ten model działa, ale to tylko wierzchołek góry lodowej, ponieważ według mojej drugiej idei nie wystarczy jedynie chcieć tworzyć muzykę w czymś takim jak Guitar Hero. Muzyka daje radość, ale ma też moc zmieniania świata. To naprawdę ważne. Muzyka może zmienić wasze życie bardziej niż prawie wszystko inne. Może zmienić sposób, w jaki porozumiewacie się z innymi, może zmienić wasze ciało i wasz umysł. Więc próbujemy przejść do następnego etapu budowania na podstawie czegoś takiego jak Guitar Hero. Jesteśmy bardzo zaangażowani w edukację. Mamy długoterminowy projekt zatytułowany Toy Symphony (Symfonia Zabawek), gdzie tworzymy wiele wciągających instrumentów, tyle że dla dzieci, aby mogły pokochać tworzenie muzyki, chcieć spędzać w ten sposób czas, poczuć potrzebę poznania jej struktury, by móc tworzyć jeszcze wiecej. Więc produkujemy instrumenty do ściskania, jak te Music Shapers, które mierzą elektryczność w waszych palcach, Beat Bugs, pozwalające na wystukiwanie rytmu - pobierają wasz rytm i możecie posłać wasz rytm do przyjaciół, jak piłkę, a oni muszą wtedy powtórzyć lub odpowiedzieć na to, co robicie - czy pakiet programów o nazwie Hyperscore, który pozwala każdemu na użycie linii i barw w tworzeniu dość złożonej muzyki. Bardzo łatwy w obsłudze, ale gdy się go użyje, można zajść daleko - muzyka w dowolnym stylu. A potem, po naciśnięciu guzika, przekształca się to w partyturę, dzięki czemu prawdziwi muzycy mogą grać wasze utwory.
We've had good enough, really, very powerful effects with kids around the world, and now people of all ages, using Hyperscore. So, we've gotten more and more interested in using these kinds of creative activities in a much broader context, for all kinds of people who don't usually have the opportunity to make music. So, one of the growing fields that we're working on at the Media Lab right now is music, mind and health. A lot of you have probably seen Oliver Sacks' wonderful new book called "Musicophilia". It's on sale in the bookstore. It's a great book. If you haven't seen it, it's worth reading. He's a pianist himself, and he details his whole career of looking at and observing incredibly powerful effects that music has had on peoples' lives in unusual situations.
Osiągnęliśmy dobre, znaczące efekty w pracy z dziećmi na całym świecie, a teraz także z ludźmi w każdym wieku używającymi Hyperscore. Zaczęliśmy się więc interesować jeszcze bardziej użyciem tego typu twórczych zajęć w dużo szerszym kontekście, dla wszystkich ludzi, którzy zwykle nie mają możliwości tworzenia muzyki. Jedną z rozwijających się dziedzin, nad którymi pracujemy obecnie w Media Lab jest muzyka, umysł i zdrowie. Wielu z was zna pewnie doskonałą książkę Oliviera Sacksa pod tytułem "Musicophilia" ("Muzykofilia"), dostępną w księgarniach. To świetna książka. Jeśli jeszcze jej nie czytaliście, to naprawdę warto. Autor sam jest pianistą i zdradza szczegóły całej swojej kariery, związane z patrzeniem i z obserwacją niesamowicie silnego wpływu muzyki na życie ludzi w niezwyczajnych okolicznościach.
So we know, for instance, that music is almost always the last thing that people with advanced Alzheimer's can still respond to. Maybe many of you have noticed this with loved ones, you can find somebody who can't recognize their face in the mirror, or can't tell anyone in their family, but you can still find a shard of music that that person will jump out of the chair and start singing. And with that you can bring back parts of people's memories and personalities. Music is the best way to restore speech to people who have lost it through strokes, movement to people with Parkinson's disease. It's very powerful for depression, schizophrenia, many, many things.
Wiemy więc, przykładowo, że muzyka jest prawie zawsze ostatnią rzeczą, na jaką ludzie z postępującą chorobą Alzheimera mogą wciąż reagować. Być może wielu z was zauważyło to u swoich bliskich, możecie znaleźć kogoś, kto nie potrafi rozpoznać własnego odbicia w lustrze, ani skojarzyć kogokolwiek ze swojej rodziny, ale i tak można znaleźć fragment muzyki, przy którym taka osoba wstanie z krzesła i zacznie śpiewać. I w ten sposób można przywrócić ludziom część wspomnień i osobowości. Muzyka najlepiej przywraca mowę ludziom, którzy stracili ją przez wylew, a ludziom z chorobą Parkinsona - ruch. Działa bardzo silnie na depresję, schizofrenię i wiele innych schorzeń.
So, we're working on understanding those underlying principles and then building activities which will let music really improve people's health. And we do this in many ways. We work with many different hospitals. One of them is right near Boston, called Tewksbury Hospital. It's a long-term state hospital, where several years ago we started working with Hyperscore and patients with physical and mental disabilities. This has become a central part of the treatment at Tewksbury hospital, so everybody there clamors to work on musical activities. It's the activity that seems to accelerate people's treatment the most and it also brings the entire hospital together as a kind of musical community. I wanted to show you a quick video of some of this work before I go on. Video: They're manipulating each other's rhythms. It's a real experience, not only to learn how to play and listen to rhythms, but to train your musical memory and playing music in a group. To get their hands on music, to shape it themselves, change it, to experiment with it, to make their own music. So Hyperscore lets you start from scratch very quickly. Everybody can experience music in a profound way, we just have to make different tools.
Pracujemy więc nad zrozumieniem tych ukrytych zasad, a następnie nad zajęciami, które pozwolą na faktyczne poprawienie zdrowia ludzi przez muzykę. Robimy to na wiele sposobów. Współpracujemy z różnymi szpitalami. Jeden z nich jest tuż obok Bostonu, nazywa się Tewksbury Hospital. To państwowy szpital długoterminowy, w którym parę lat temu zaczęliśmy używać Hyperscore w pracy z pacjentami niepełnosprawnymi fizycznie i umysłowo. Stało się to centralnym elementem leczenia w szpitalu w Tewskbury, więc każdy tam domaga się zajęć muzycznych. To właśnie aktywne zajęcia wydają się najlepiej przyspieszać leczenie. To również łączy wszystkich w szpitalu w coś w rodzaju muzycznej wspólnoty. Chciałem pokazać wam krótki film o części tej pracy, zanim przejdę dalej. Film: Oni manipulują nawzajem swoimi rytmami. To prawdziwe doświadczenie, nie tylko uczyć się grania i słuchania rytmów, ale też trenować pamięć muzyczną i grać muzykę w grupie. Brać muzykę w swoje ręce, kształtować ją samodzielnie, zmieniać ją, eksperymentować z nią, tworzyć własną muzykę. Tak więc Hyperscore pozwala wam zacząć od zera bardzo szybko. Każdy może dogłębnie doświadczyć muzyki, musimy tylko opracować różne narzędzia.
The third idea I want to share with you is that music, paradoxically, I think even more than words, is one of the very best ways we have of showing who we really are. I love giving talks, although strangely I feel more nervous giving talks than playing music. If I were here playing cello, or playing on a synth, or sharing my music with you, I'd be able to show things about myself that I can't tell you in words, more personal things, perhaps deeper things.
Trzecia idea, którą chcę się z wami podzielić głosi, że muzyka paradoksalnie chyba jeszcze bardziej niż słowa, służy nam jako najlepszy sposób pokazywania, kim naprawdę jesteśmy. Uwielbiam dawać wykłady, chociaż, co dziwne, jestem bardziej podenerwowany kiedy to robię niż kiedy gram muzykę. Gdybym grał tutaj na wiolonczeli lub na syntezatorze, albo gdybym dzielił się z wami moją muzyką, byłbym w stanie pokazać wam to, co jest we mnie, a czego nie mogę wyrazić słowami, rzeczy bardziej osobiste, być może głębsze.
I think that's true for many of us, and I want to give you two examples of how music is one of the most powerful interfaces we have, from ourselves to the outside world. The first is a really crazy project that we're building right now, called Death and the Powers. And it's a big opera, one of the larger opera projects going on in the world right now. And it's about a man, rich, successful, powerful, who wants to live forever. So, he figures out a way to download himself into his environment, actually into a series of books. So this guy wants to live forever, he downloads himself into his environment. The main singer disappears at the beginning of the opera and the entire stage becomes the main character. It becomes his legacy.
Myślę, że to odnosi się do wielu z nas i chcę wam podać dwa przykłady na to, że muzyka jest jednym z najpotężniejszych posiadanych przez nas łączników między nami a światem zewnętrznym. Pierwszy przykład to naprawdę szalony projekt, nad którym teraz pracujemy, zatytułowany "Death and the Powers" (Śmierć i Siły). To wielka opera, jeden z większych projektów operowych obecnie na świecie. Opowiada o człowieku bogatym, odnoszącym sukcesy, potężnym, który chce żyć wiecznie. Odkrywa więc sposób na zapisanie siebie samego w swoim otoczeniu, dokładniej w serii książek. Czyli ten facet chce żyć wiecznie, zapisuje siebie samego w swoim otoczeniu. Śpiewak grający główną rolę znika na początku opery, a cała scena staje się głównym bohaterem. Staje się jego spuścizną.
And the opera is about what we can share, what we can pass on to others, to the people we love, and what we can't. Every object in the opera comes alive and is a gigantic music instrument, like this chandelier. It takes up the whole stage. It looks like a chandelier, but it's actually a robotic music instrument. So, as you can see in this prototype, gigantic piano strings, each string is controlled with a little robotic element -- either little bows that stroke the strings, propellers that tickle the strings, acoustic signals that vibrate the strings. We also have an army of robots on stage. These robots are the kind of the intermediary between the main character, Simon Powers, and his family. There are a whole series of them, kind of like a Greek chorus. They observe the action. We've designed these square robots that we're testing right now at MIT called OperaBots. These OperaBots follow my music. They follow the characters. They're smart enough, we hope, not to bump into each other. They go off on their own. And then they can also, when you snap, line up exactly the way you'd like to. Even though they're cubes, they actually have a lot of personality.
Opera opowiada o tym, czym możemy się dzielić, co możemy przekazać innym, ludziom, których kochamy, a czego nie możemy. Każdy element opery ożywa i jest gigantycznym instrumentem muzycznym, na przykład ten żyrandol. Zajmuje całą scenę. Wygląda jak żyrandol, ale tak naprawdę to zautomatyzowany instrument muzyczny. Jak więc widzicie w tym prototypie, są też gigantyczne struny fortepianu, z których każdą kontroluje mały zautomatyzowany element - albo małe smyczki przesuwające się po strunach, albo śmigła, które muskają struny, czy sygnały akustyczne, które wprawiają struny w wibracje. Mamy też na scenie armię robotów. Roboty te są kimś w rodzaju pośredników między głównym bohaterem, Simonem Powersem, a jego rodziną. Występują całą serią, trochę jak grecki chór. Obserwują akcję. Zaprojektowaliśmy te kwadratowe roboty, które teraz testujemy w MIT, nazwane OperaBots. Podążają za moją muzyką. Podążają za postaciami. Są, miejmy nadzieję, dość mądre, żeby nie wpadać na siebie. Wyłączają się same. A potem mogą też, kiedy się pstryknie, ustawić się dokładnie tak jak chcecie. Chociaż to tylko sześciany, mają niezłą osobowość.
The largest set piece in the opera is called The System. It's a series of books. Every single book is robotic, so they all move, they all make sound, and when you put them all together, they turn into these walls, which have the gesture and the personality of Simon Powers. So he's disappeared, but the whole physical environment becomes this person. This is how he's chosen to represent himself. The books also have high-packed LEDs on the spines. So it's all display. And here's the great baritone James Maddalena as he enters The System. This is a sneak preview. This premieres in Monaco -- it's in September 2009. If by any chance you can't make it, another idea with this project -- here's this guy building his legacy through this very unusual form, through music and through the environment. But we're also making this available both online and in public spaces, as a way of each of us to use music and images from our lives to make our own legacy or to make a legacy of someone we love. So instead of being grand opera, this opera will turn into what we're thinking of as personal opera.
Największy element scenografii w operze nazywa się "System". To seria książek. Każda książka jest zautomatyzowana, więc wszystkie się ruszają, wszystkie wydają dźwięki, a kiedy zbierze się je razem, zmieniają się w te ściany, które posiadają gesty i osobowość Simona Powersa. Więc on zniknął, ale całe jego fizyczne otoczenie staje się jego osobą. Taką postać postanowił przyjąć. Książki posiadają też mocno naładowane diody na grzbietach. Chodzi o pokaz. A to wielki baryton, James Maddalena, wstępujący do systemu. To krótka zapowiedź. Premiera będzie w Monako, we wrześniu 2009 roku. Jeśli nie uda się wam tam być, oto kolejny pomysł związany z tym projektem. Mamy tego gościa budującego swoją spuściznę w tej bardzo nietypowej formie, w muzyce i w otoczeniu. Ale udostępniamy to także zarówno w sieci, jak i w przestrzeni publicznej, jako sposób, w jaki każdy z nas może używać muzyki i obrazów z naszego życia, aby tworzyć własną spuściznę, lub aby tworzyć spuściznę ukochanej osoby. Więc zamiast stać się Wielką Operą, ta opera stanie się czymś, co uważamy za taką właśnie osobistą operę.
And, if you're going to make a personal opera, what about a personal instrument? Everything I've shown you so far -- whether it's a hyper-cello for Yo-Yo Ma or squeezy toy for a child -- the instruments stayed the same and are valuable for a certain class of person: a virtuoso, a child. But what if I could make an instrument that could be adapted to the way I personally behave, to the way my hands work, to what I do very skillfully, perhaps, to what I don't do so skillfully? I think that this is the future of interface, it's the future of music, the future of instruments.
A jeśli zamierzacie stworzyć osobistą operę, co powiecie na osobisty instrument? Wszystko, co wam do tej pory pokazałem - czy to hiper wiolonczela dla Yo-Yo Ma, czy ściskana zabawka dla dziecka - te instrumenty są niezmienne i wartościowe dla danej kategorii - człowieka, wirtuoza, dziecka. A jeśli mógłbym stworzyć instrument, który można dostosować do mojego osobistego zachowania, do pracy moich rąk, do tego, w czym jestem dobry i może do tego, w czym radzę sobie gorzej? Taka jest chyba przyszłość interfejsu, przyszłość muzyki, przyszłość instrumentów.
And I'd like now to invite two very special people on the stage, so that I can give you an example of what personal instruments might be like. So, can you give a hand to Adam Boulanger, Ph.D. student from the MIT Media Lab, and Dan Ellsey. Dan, thanks to TED and to Bombardier Flexjet, Dan is here with us today all the way from Tewksbury. He's a resident at Tewksbury Hospital. This is by far the farthest he's strayed from Tewksbury Hospital, I can tell you that, because he's motivated to meet with you today and show you his own music. So, first of all, Dan, do you want to say hi to everyone and tell everyone who you are?
A teraz chciałbym zaprosić na scenę dwóch wyjątkowych ludzi, aby podać wam przykład tego, jak mogą wyglądać instrumenty osobiste. Powitajcie więc Adama Boulangera, doktoranta z MIT Media Lab i Dana Ellseya. Dan, dzięki TED i dzięki Bombardier Flexjet, przyjechał dziś do nas aż z Tewksbury. Jest pacjentem Tewksbury Hospital. To zdecydowanie jego najdalsza podróż od Tewksbury Hospital, tego możecie być pewni, ponieważ jest on zmotywowany do spotkania dzisiaj z wami i do zaprezentowania wam własnej muzyki. Dan, na początek, może przywitasz się ze wszystkimi i przedstawisz się wszystkim?
Dan Ellsey: Hello. My name is Dan Ellsey. I am 34 years old and I have cerebral palsy. I have always loved music and I am excited to be able to conduct my own music with this new software.
Dan Ellsey: Cześć. Nazywam się Dan Ellsey. Mam 34 lata i cierpię na porażenie mózgowe. Zawsze uwielbiałem muzykę i jestem podekscytowany tym, że mogę dyrygować własną muzyką dzięki temu nowemu programowi.
Tod Machover: And we're really excited to have you here, really Dan. (Applause)
Tod Machover: A my jesteśmy naprawdę podekscytowani tym, że tu jesteś, naprawdę, Dan. (Aplauz)
So we met Dan about three years ago, three and a half years ago, when we started working at Tewksbury. Everybody we met there was fantastic, did fantastic music. Dan had never made music before, and it turned out he was really fantastic at it. He's a born composer. He's very shy, too. So, turned out he's a fantastic composer, and over the last few years has been a constant collaborator of ours. He has made many, many pieces. He makes his own CDs. Actually, he is quite well known in the Boston area -- mentors people at the hospital and children, locally, in how to make their own music. And I'll let Adam tell you. So, Adam is a Ph.D. student at MIT, an expert in music technology and medicine. And Adam and Dan have become close collaborators. What Adam's been working on for this last period is not only how to have Dan be able easily to make his own pieces, but how he can perform his piece using this kind of personal instrument. So, you want to say a little bit about how you guys work?
Poznaliśmy Dana jakieś trzy, trzy i pół roku temu, kiedy zaczęliśmy pracę w Tewksbury. Wszyscy, których tam spotkaliśmy byli wspaniali, tworzyli wspaniałą muzykę. Dan nigdy wcześniej nie tworzył muzyki, ale okazało się, że jest w tym naprawdę świetny. To urodzony kompozytor. Jest też bardzo nieśmiały. Więc okazało się, że to świetny kompozytor i od kilku ostatnich lat stale z nami współpracuje. Skomponował bardzo wiele utworów. Nagrywa swoją płytę. Tak się składa, że w okolicach Bostonu jest dość znany, uczy pacjentów szpitala i miejscowe dzieci jak tworzyć własną muzykę. Adam powie wam więcej. Adam jest doktorantem w MIT, ekspertem od muzyki, technologii i medycyny. Adam i Dan blisko ze sobą współpracują. Przez ostatni okres czasu Adam pracował nie tylko nad tym, żeby Dan był w stanie łatwo komponować swoje utwory, ale też nad tym, żeby mógł wykonać swój utwór przy pomocy tego osobistego instrumentu. W takim razie może opowiesz trochę o tym jak wygląda wasza praca?
Adam Boulanger: Yes. So, Tod and I entered into a discussion following the Tewksbury work and it was really about how Dan is an expressive person, and he's an intelligent and creative person. And it's in his face, it's in his breathing, it's in his eyes. How come he can't perform one of his pieces of music? That's our responsibility, and it doesn't make sense.
Adam Boulanger: Tak. Więc Tod i ja zaczęliśmy dyskutować w związku z pracą w Tewksbury i skupiliśmy się na tym, że Dan jest osobą ekspresywną, osobą inteligentną i kreatywną. Można to zauważyć na jego twarzy, w jego oddechu, w jego oczach. Dlaczego nie może wykonać któregoś ze swoich utworów muzycznych? Musimy robić to za niego, a to bez sensu.
So we started developing a technology that will allow him with nuance, with precision, with control, and despite his physical disability, to be able to do that, to be able to perform his piece of music. So, the process and the technology -- basically, first we needed an engineering solution. So, you know, we have a FireWire camera, it looked at an infrared pointer. We went with the type of gesture metaphor that Dan was already used to with his speaking controller. And this was actually the least interesting part of the work, you know, the design process. We needed an input; we needed continuous tracking; in the software, we look at the types of shapes he's making.
Zaczęliśmy więc opracowywać technologię, która pozwoliłaby mu ze szczegółami, z precyzją, z kontrolą i pomimo niepełnosprawności, móc to robić, móc wykonać swój utwór muzyczny. Jeśli chodzi o proces i o technologię, przede wszystkim na początek potrzebujemy rozwiązania technicznego. Mamy więc kamerę FireWire, skierowaną na wskaźnik podczerwieni. Pracowaliśmy z rodzajem metafory gestów, do której już się przyzwyczaił przez swój kontroler mowy. To była właściwie najmniej interesująca część pracy, wiecie, proces projektowania. Potrzebowaliśmy danych wejściowych, potrzebowaliśmy ciągłego śledzenia. Program obserwowałby tworzone przez niego kształty.
But, then was the really interesting aspect of the work, following the engineering part, where, basically, we're coding over Dan's shoulder at the hospital extensively to figure out, you know, how does Dan move? What's useful to him as an expressive motion? You know, what's his metaphor for performance? What types of things does he find important to control and convey in a piece of music? So all the parameter fitting, and really the technology was stretched at that point to fit just Dan. And, you know, I think this is a perspective shift. It's not that our technologies -- they provide access, they allow us to create pieces of creative work. But what about expression? What about that moment when an artist delivers that piece of work? You know, do our technologies allow us to express? Do they provide structure for us to do that? And, you know, that's a personal relationship to expression that is lacking in the technological sphere. So, you know, with Dan, we needed a new design process, a new engineering process to sort of discover his movement and his path to expression that allow him to perform. And so that's what we'll do today.
Ale po części technicznej przyszedł czas na naprawdę interesujący aspekt pracy, w którym, upraszczając, kodujemy ruchy Dana, żeby dokładnie określić, wiecie, jak się porusza. Co jest dla niego użyteczne jako ruch ekspresyjny? Jaka jest jego metafora wykonania utworu? Jakie rzeczy uważa za istotne do kontrolowania i przekazania w utworze? Tak więc dopasowanie parametrów i cała technologia były w tym momencie ukształtowane tak, żeby pasować do Dana I, wiecie, sądzę, że to taka zmiana perspektywy. Nie chodzi tylko o technologie, o to, że zapewniają dostęp, że pozwalają nam na tworzenie dzieł. A co z ekspresją? Co z tą chwilą, gdy artysta przekazuje to dzieło? Czy nasze technologie dają nam możliwość ekspresji? Czy mamy potrzebne do tego struktury? I to jest osobisty stosunek do ekspresji, którego brakuje w sferach technologicznych. W przypadku Dana potrzebowaliśmy nowego procesu projektowego i technicznego, aby jakoś poznać jego ruch i jego drogę do ekspresji, która pozwala mu wykonywać utwory. I to właśnie dziś zrobimy.
TM: So let's do it. So Dan do you want to tell everyone about what you're going to play now?
TM: A więc zaczynajmy. Dan, może powiesz wszystkim co teraz zagrasz?
DE: This is "My Eagle Song." TM: So Dan is going to play a piece of his, called "My Eagle Song". In fact, this is the score for Dan's piece, completely composed by Dan in Hyperscore. So he can use his infrared tracker to go directly into Hyperscore. He's incredibly fast at it, too, faster than I am, in fact.
DE: To utwór "My Eagle Song" ("Moja Orla Piosenka") TM: A więc Dan wykona własny utwór pod tytułem "My Eagle Song". A to jest zapis utworu Dana, skomponowanego w całości przez Dana w Hyperscore. Dan może używać czujnika podczerwieni, żeby dotrzeć prosto do Hyperscore. Jest w tym niesamowicie szybki, właściwie to szybszy ode mnie.
(Laughter)
(śmiech)
TM: He's really modest, too. So he can go in Hyperscore. You start out by making melodies and rhythms. He can place those exactly where he wants. Each one gets a color. He goes back into the composition window, draws the lines, places everything the way he wants to. Looking at the Hyperscore, you can see it also, you can see where the sections are, something might continue for a while, change, get really crazy and then end up with a big bang at the end.
TM: I jest do tego naprawdę skromny. Czyli może włączyć Hyperscore. Zaczyna się od tworzenia melodii i rytmów. Może je porozmieszczać dokładnie tam gdzie chce. Każdy element dostaje kolor, wraca do okna kompozycji, rozrysowuje linie, rozmieszcza wszystko tak jak chce. Patrząc na Hyperscore, wy też możecie to zobaczyć, możecie zobaczyć gdzie są sekcje, coś może trwać przez chwilę, zmieniać się, nabrać szaleńczego tempa i skończyć się wielkim wybuchem.
So that's the way he made his piece, and as Adam says, we then figured out the best way to have him perform his piece. It's going to be looked at by this camera, analyze his movements, it's going to let Dan bring out all the different aspects of his music that he wants to. And you're also going to notice a visual on the screen. We asked one of our students to look at what the camera is measuring. But instead of making it very literal, showing you exactly the camera tracing, we turned it into a graphic that shows you the basic movement, and shows the way it's being analyzed.
W taki właśnie sposób stworzył ten utwór i, jak mówi Adam, znaleźliśmy wtedy najlepszy sposób, żeby mógł wykonać swój utwór. Utwór będzie obserwowany przez tą kamerę, będzie analizował jego ruchy, pozwoli Danowi ukazać wszystkie różnorodne aspekty muzyki, którą chce pokazać. Zobaczycie także wizualizację na ekranie. Poprosiliśmy naszego studenta, aby patrzył na to, co mierzy kamera. Ale zamiast dosłowności i pokazywania wam dokładnie ścieżki kamery, zmieniliśmy to w grafikę, która pokaże wam podstawowy ruch i sposób jego analizowania.
I think it gives an understanding of how we're picking out movement from what Dan's doing, but I think it will also show you, if you look at that movement, that when Dan makes music, his motions are very purposeful, very precise, very disciplined and they're also very beautiful. So, in hearing this piece, as I mentioned before, the most important thing is the music's great, and it'll show you who Dan is. So, are we ready Adam?
Myślę, że to daje pojęcie o tym jak wybieramy ruchy w tym, co robi Dan, ale sądzę, że to także pokaże wam, że kiedy Dan tworzy muzykę, jego ruchy są bardzo celowe, bardzo precyzyjne, bardzo zdyscyplinowane, a także bardzo piękne. W słuchaniu tego utworu, jak już wspomniałem, najważniejsze jest to, że muzyka jest wspaniała i że pokaże wam kim jest Dan. A więc, możemy zaczynać, Adam?
AB: Yeah.
AB: Tak.
TM: OK, now Dan will play his piece "My Eagle Song" for you. (Applause)
TM: OK, teraz Dan wykona dla was swój utwór "My Eagle Song" (Aplauz)
TM: Bravo. (Applause)
TM: Brawo (Aplauz)