The first idea I'd like to suggest is that we all love music a great deal. It means a lot to us. But music is even more powerful if you don't just listen to it, but you make it yourself. So, that's my first idea. And we all know about the Mozart effect -- the idea that's been around for the last five to 10 years -- that just by listening to music or by playing music to your baby [in utero], that it'll raise our IQ points 10, 20, 30 percent.
הרעיון הראשון שהייתי רוצה להציע הוא שכולם אוהבים מאד מוסיקה. כלומר, רבים מאיתנו אבל המוסיקה היא אפילו יותר עוצמתית אם אתה לא רק מקשיב לה, אלא יוצר אותה בעצמך. אז, זהו הרעיון הראשון שלי. וכולנו יודעים על אפקט מוצארט-- הרעיון שרווח בחמש, עשר השנים האחרונות-- שרק בעזרת האזנה למוסיקה או על ידי השמעת מוסיקה לתינוק שלך (תוך רחמי) זה יעלה את רמת האיי קיו שלנו ב-10,20,30 אחוזים.
Great idea, but it doesn't work at all. So, you can't just listen to music, you have to make it somehow. And I'd add to that, that it's not just making it, but everybody, each of us, everybody in the world has the power to create and be part of music in a very dynamic way, and that's one of the main parts of my work. So, with the MIT Media Lab, for quite a while now, we've been engaged in a field called active music. What are all the possible ways that we can think of to get everybody in the middle of a musical experience, not just listening, but making music?
רעיון גדול, אבל הוא לא עובד בכלל. כך שאינך יכול רק להאזין למוסיקה, אתה צריך איכשהו ליצור אותה. ואוסיף לזה, שזה לא רק ליצור אותה, אלא כולם, כל אחד מאיתנו בעולם יש בכוחו ליצור ולהיות חלק ממוסיקה בצורה דרמטית מאד. וזה אחד החלקים העיקריים של עבודתי כך שבעזרת מעבדת התקשורת של MIT, מזה זמן מה עסקנו בתחום שנקרא מוסיקה אקטיבית. מהן כל הדרכים האפשרית שנוכל לחשוב עליהן כדי לגרום לכולם באמצע ניסוי מוסיקלי לא רק להקשיב, אלא ליצור מוסיקה?
And we started by making instruments for some of the world's greatest performers -- we call these hyperinstruments -- for Yo-Yo Ma, Peter Gabriel, Prince, orchestras, rock bands. Instruments where they're all kinds of sensors built right into the instrument, so the instrument knows how it's being played. And just by changing the interpretation and the feeling, I can turn my cello into a voice, or into a whole orchestra, or into something that nobody has ever heard before.
והתחלנו בבניית כלים עבור כמה מהמבצעים הגדולים ביותר בעולם. אנו קוראים להם היפר-אינסטרומנטס-- בשביל יו-יו מה, פיטר גבריאל, פרינס, תזמורות, להקות רוק. כלים שיש בהם סוגים שונים של חיישנים. שבנויים ישר לתוך הכלי, כך שהכלי יודע כיצד מנגנים עליו. ורק על ידי שינוי האינטרפרטציה והתחושה אני יכול להפוך את הצ'לו שלי לקול, או לתזמורת שלמה. או למשהו שאף אחד לא שמע עליו קודם.
When we started making these, I started thinking, why can't we make wonderful instruments like that for everybody, people who aren't fantastic Yo-Yo Mas or Princes? So, we've made a whole series of instruments. One of the largest collections is called the Brain Opera. It's a whole orchestra of about 100 instruments, all designed for anybody to play using natural skill. So, you can play a video game, drive through a piece of music, use your body gesture to control huge masses of sound, touch a special surface to make melodies, use your voice to make a whole aura. And when we make the Brain Opera, we invite the public to come in, to try these instruments and then collaborate with us to help make each performance of the Brain Opera. We toured that for a long time. It is now permanently in Vienna, where we built a museum around it.
כשהתחלנו לעשות זאת, התחלתי לחשוב. למה איננו יכולים ליצר מכשירים נפלאים כאלה עבור כל אחד, אנשים שאינם יו-יו מה או פרינס המדהימים? כד שבנינו סדרה שלמה של כלים, אחד מהאוספים הגדולים ביותר נקרא "אופרת מוח". זוהי תזמורת שלמה של 100 כלים בערך, כולן תוכננו עבור כל אחד כדי שינגן באמצעות כישורים טבעיים שיש לו. כך, שאתם יכולים לשחק משחק וידאו, לנהוג דרך קטע מוסיקלי, להשתמש במחוות הגוף שלך כדי לפקח על מסות ענקיות של צליל, לגעת במשטח מיוחד כדי ליצור מלודיות, להשתמש בקולך כדי ליצור אווירה שלמה. וכאשר אנו עושים את אופרת-המוח, אנחנו מזמינים את הציבור לבוא ולנסות כלים אלה ולאחר מכן לשתף פעולה איתנו לעזור ולהשתתף בכל הביצועים של אופרת-המוח. יצאנו לסיורים עם זה במשך זמן רב. ועכשיו זה נמצא בוינה באופן קבוע, מקום שבו בנינו מוזיאון סביבו.
And that led to something which you probably do know. Guitar Hero came out of our lab, and my two teenage daughters and most of the students at the MIT Media Lab are proof that if you make the right kind of interface, people are really interested in being in the middle of a piece of music, and playing it over and over and over again.
וזה הוביל למשהו שאתם בוודאי יודעים. גיטאר-הירו יצא מהמעבדה שלנו, ושתי בנותי המתבגרות ורוב הסטודנטים במעבדת המדיה של MIT הם ההוכחה שאם תבצע את הסוג המתאים של ממשק, אנשים באמת מעוניינים להיות בתוך קטע מוסיקה, ולנגן אותו שוב ושוב ושוב.
So, the model works, but it's only the tip of the iceberg, because my second idea is that it's not enough just to want to make music in something like Guitar Hero. And music is very fun, but it's also transformative. It's very, very important. Music can change your life, more than almost anything. It can change the way you communicate with others, it can change your body, it can change your mind. So, we're trying to go to the next step of how you build on top of something like Guitar Hero. We are very involved in education. We have a long-term project called Toy Symphony, where we make all kinds of instruments that are also addictive, but for little kids, so the kids will fall in love with making music, want to spend their time doing it, and then will demand to know how it works, how to make more, how to create. So, we make squeezy instruments, like these Music Shapers that measure the electricity in your fingers, Beatbugs that let you tap in rhythms -- they gather your rhythm, and like hot potato, you send your rhythm to your friends, who then have to imitate or respond to what your doing -- and a software package called Hyperscore, which lets anybody use lines and color to make quite sophisticated music. Extremely easy to use, but once you use it, you can go quite deep -- music in any style. And then, by pressing a button, it turns into music notation so that live musicians can play your pieces.
כך, שהמודל עובד, אבל זה רק קצה הקרחון, כי הרעיון השני שלי הוא שלא מספיק רק לרצות לעשות מוזיקה במשהו כמו גיטאר-הירו. והמוזיקה אכן מהנה מאוד, אך היא גם טרנספורמטיבית. זה חשוב, חשוב מאוד. מוסיקה יכולה לשנות את חייך, יותר כמעט מכל דבר אחר. היא יכול לשנות את הדרך בה אתה מתקשר עם אחרים, היא יכולה לשנות את הגוף, היא יכולה לשנות את המיינד שלך. לכן, אנחנו מנסים לעבור לשלב הבא שהוא כיצד לבנות הלאה על גבי משהו כמו גיטאר-הירו. אנחנו מעורבים מאוד בחינוך. יש לנו פרויקט ארוך טווח שנקרא "סימפונית צעצועים", שבו אנו יוצרים כל מיני כלים שגם ממכרים, אבל עבור ילדים קטנים, כך שהילדים יתאהבו ביצירת מוסיקה, ירצו לבלות את הזמן שלהם כשהם עושים את זה, ואז ידרשו לדעת איך זה עובד, איך לעשות יותר, כיצד ליצור. לכן, אנו עושים כלים גמישים לחיצים, כמו "מעצבי מוסיקה" שמודדים את זרם החשמל באצבעותיכם, "חיפושיות קצב" שמאפשרות לכם להקיש במקצבים - הן אוספות את המקצב שלך, וכמו תפוח אדמה חם, אתה שולח את המקצב לחברים שלך, שלאחר מכן צריכים לחקות אותו או להגיב על מה שאתה עושה- וחבילת תוכנה בשם "היפרסקור", שמאפשרת לכל אחד להשתמש בקווים ובצבע כדי לעשות מוזיקה מתוחכמת למדי. קלה מאוד לשימוש, אבל ברגע שאתה משתמש בה, באפשרותך להיכנס די עמוק - מוסיקה בכל סגנון. ולאחר מכן, על-ידי לחיצה על לחצן, זה הופך לתווים כך שנגנים של ממש יכולים לנגן את הקטעים שלך.
We've had good enough, really, very powerful effects with kids around the world, and now people of all ages, using Hyperscore. So, we've gotten more and more interested in using these kinds of creative activities in a much broader context, for all kinds of people who don't usually have the opportunity to make music. So, one of the growing fields that we're working on at the Media Lab right now is music, mind and health. A lot of you have probably seen Oliver Sacks' wonderful new book called "Musicophilia". It's on sale in the bookstore. It's a great book. If you haven't seen it, it's worth reading. He's a pianist himself, and he details his whole career of looking at and observing incredibly powerful effects that music has had on peoples' lives in unusual situations.
היו לנו , אפקטים די טובים, באמת אפקטים חזקים מאד עם ילדים ברחבי העולם, וכעת אנשים בכל הגילים, משתמשים בהיפרסקור. וכך, התחלנו מתעניינים יותר ויותר כיצד להשתמש בסוגים אלה של פעילויות יצירתיות בראייה הרבה יותר רחבה, עבור כל מיני אנשים שאין להם בדרך כלל הזדמנות ליצור מוזיקה. לכן, אחד התחומים הגדלים והולכים שאנחנו עובדים עליו במעבדת המדיה כעת הוא מוסיקה, מיינד ובריאות. הרבה מכם ראו כנראה את ספרו החדש והנפלא של אוליבר סאקס "מוסיקופיליה". הוא מוצע למכירה בחנויות הספרים. זה ספר נהדר. אם לא ראיתם אותו, כדאי שתקראו, הוא עצמו פסנתרן, והוא מתאר את כל הקריירה שלו של הסתכלות והתבוננות בהשפעות החזקות שהיו למוסיקה על חייהם של אנשים במצבים יוצאי דופן.
So we know, for instance, that music is almost always the last thing that people with advanced Alzheimer's can still respond to. Maybe many of you have noticed this with loved ones, you can find somebody who can't recognize their face in the mirror, or can't tell anyone in their family, but you can still find a shard of music that that person will jump out of the chair and start singing. And with that you can bring back parts of people's memories and personalities. Music is the best way to restore speech to people who have lost it through strokes, movement to people with Parkinson's disease. It's very powerful for depression, schizophrenia, many, many things.
כך אנו יודעים, למשל, שהמוזיקה היא כמעט תמיד הדבר האחרון שאנשים עם אלצהיימר מתקדם יכולים עדין להגיב אליו. אולי רבים מכם שמו לב לזה אצל יקיריהם, אתם רואים מישהו שלא מסוגל לזהות את פניו במראה, או שלא יכול להכיר אף אחד מבני המשפחה שלהם, אך עדיין ניתן למצוא שבריר של מוסיקה שאותו אדם יקפוץ מהכיסא ויתחיל לשיר. ועם זה ניתן להחזיר חלקי זיכרונות וזהויות של אנשים. מוסיקה היא הדרך הטובה ביותר כדי לשקם דיבור באנשים שאיבדו אותו כתוצאה מאירוע מוחי, יכולות תנועה באנשים עם מחלת פרקינסון. היא רבת עוצמה עבור דיכאון, סכיזופרניה, הרבה, הרבה דברים,
So, we're working on understanding those underlying principles and then building activities which will let music really improve people's health. And we do this in many ways. We work with many different hospitals. One of them is right near Boston, called Tewksbury Hospital. It's a long-term state hospital, where several years ago we started working with Hyperscore and patients with physical and mental disabilities. This has become a central part of the treatment at Tewksbury hospital, so everybody there clamors to work on musical activities. It's the activity that seems to accelerate people's treatment the most and it also brings the entire hospital together as a kind of musical community. I wanted to show you a quick video of some of this work before I go on. Video: They're manipulating each other's rhythms. It's a real experience, not only to learn how to play and listen to rhythms, but to train your musical memory and playing music in a group. To get their hands on music, to shape it themselves, change it, to experiment with it, to make their own music. So Hyperscore lets you start from scratch very quickly. Everybody can experience music in a profound way, we just have to make different tools.
כך, אנחנו עובדים על הבנת עקרונות בסיסיים אלה ואז לבנות פעילויות שיאפשרו למוסיקה באמת לשפר את בריאותם של אנשים. אנו עושים זאת בדרכים רבות. אנו עובדים עם בתי חולים שונים רבים. אחד מהם טיוקסברי הוספיטל שנמצא ממש קרוב לבוסטון. זהו בית חולים ציבורי לאישפוז ממושך, שבו לפני מספר שנים התחלנו לעבוד עם היפרסקור ועם חולים עם מוגבלויות פיזיות או נפשיות. זה הפך להיות חלק מרכזי מהטיפול בבית-החולים טיוקסברי כך שכולם שם תובעים בקול בפעילויות המוסיקליות. זוהי הפעילות שכנראה מאיצה הכי הרבה את הטיפול והיא גם מפגישה את כל בית החולים יחד למעין קהילה מוזיקלית. רציתי להראות לכם סרטון קצר של חלק מעבודה זו לפני שאני ממשיך הלאה. וידאו: הם מתפעלים את המקצבים זה על זה. זוהי חוויה אמיתית, לא רק כדי ללמוד איך לשחק ולהקשיב למקצבים, אלא כדי לתרגל את הזיכרון המוסיקלי ולהשמיע מוסיקה בקבוצה. להבין את המוזיקה, לעצב אותה בעצמם, לשנות אותה, להתנסות בה, ליצור את המוסיקה שלהם עצמם. כך היפרסקור מאפשרת לך להתחיל מאפס מהר מאוד. כולם יכולים לחוות מוסיקה בצורה עמוקה, אנחנו רק צריכים לבנות כלים אחרים.
The third idea I want to share with you is that music, paradoxically, I think even more than words, is one of the very best ways we have of showing who we really are. I love giving talks, although strangely I feel more nervous giving talks than playing music. If I were here playing cello, or playing on a synth, or sharing my music with you, I'd be able to show things about myself that I can't tell you in words, more personal things, perhaps deeper things.
הרעיון השלישי שאני רוצה לשתף איתכם הוא שמוסיקה, באופן פרדוקסאלי, לדעתי, יותר ממילים אפילו , היא אחת הדרכים הטובות ביותר שיש לנו להראות מי אנחנו באמת. אני אוהב לתת הרצאות, למרות שבאופן מוזר אני מרגיש יותר עצבני, מלהרצות מאשר מלהשמיע מוסיקה. אם הייתי מנגן כאן בצ'לו, או מנגן על סינתיסייזר, או משתף את המוסיקה שלי איתכם, הייתי יכול להראות דברים על עצמי שאינני יכול לומר לכם במילים, דברים אישיים יותר, אולי עמוקים יותר.
I think that's true for many of us, and I want to give you two examples of how music is one of the most powerful interfaces we have, from ourselves to the outside world. The first is a really crazy project that we're building right now, called Death and the Powers. And it's a big opera, one of the larger opera projects going on in the world right now. And it's about a man, rich, successful, powerful, who wants to live forever. So, he figures out a way to download himself into his environment, actually into a series of books. So this guy wants to live forever, he downloads himself into his environment. The main singer disappears at the beginning of the opera and the entire stage becomes the main character. It becomes his legacy.
אני חושב שזה נכון לגבי רבים מאיתנו, אני רוצה לתת לכם שתי דוגמאות איך המוסיקה היא אחד הממשקים החזקים שיש לנו, מתוך עצמנו אל העולם החיצוני. הראשון הוא פרוייקט ממש מטורף שאנחנו בונים עכשיו, שנקרא "מוות והכוחות." וזוהי אופרה גדולה מאד, אחד הפרוייקטים הגדולים ביותר של אופרה שקורים כעת בעולם. והיא אודות אדם, עשיר, מצליח, רב עוצמה, שרוצה לחיות לנצח. כך, שהוא מוצא דרך דרך "להוריד" את עצמו לתוך הסביבה שלו, למעשה לתוך סדרת ספרים. אם כן, הברנש הזה רוצה לחיות לנצח, הוא "מוריד" את עצמו לסביבה שלו. הזמר הראשי נעלם בתחילת האופרה והבמה כולה הופכת להיות הדמות הראשית. הוא נהפכת למורשת שלו.
And the opera is about what we can share, what we can pass on to others, to the people we love, and what we can't. Every object in the opera comes alive and is a gigantic music instrument, like this chandelier. It takes up the whole stage. It looks like a chandelier, but it's actually a robotic music instrument. So, as you can see in this prototype, gigantic piano strings, each string is controlled with a little robotic element -- either little bows that stroke the strings, propellers that tickle the strings, acoustic signals that vibrate the strings. We also have an army of robots on stage. These robots are the kind of the intermediary between the main character, Simon Powers, and his family. There are a whole series of them, kind of like a Greek chorus. They observe the action. We've designed these square robots that we're testing right now at MIT called OperaBots. These OperaBots follow my music. They follow the characters. They're smart enough, we hope, not to bump into each other. They go off on their own. And then they can also, when you snap, line up exactly the way you'd like to. Even though they're cubes, they actually have a lot of personality.
והאופרה היא על מה שאנחנו יכולים לשתף, מה שאנחנו יכולים להעביר לאחרים, לאנשים שאנחנו אוהבים, ומה אנחנו לא יכולים. כל אובייקט באופרה מתעורר לחיים, והוא כלי נגינה ענק, כמו נברשת זו. היא תופסת את הבמה כולה. זה נראה כמו נברשת, אך זה למעשה כלי נגינה רובוטי. לכן, כפי שניתן לראות באב-טיפוס זה, מיתרי פסנתר ענקיים, כל מיתר נשלט על ידי רכיב רובוטי קטן או קשתות קטנות שמכות במיתרים, פרופלורים שטופחים על המיתרים, אותות אקוסטים שמרטיטים את המיתרים. יש לנו גם צבא של רובוטים על הבמה. רובוטים אלה הם סוג של מתווכים בין הדמות הראשית, סיימון פאוארס, ובני משפחתו. יש סדרות שלמות שלהם , משהו כמו מקהלה יוונית. הם צופים בפעולה. תיכננו את הרובוטים המרובעים האלה שאנחנו מנסים כעת ב- MIT שנקראים "אופרה-בוטים." אופרה בוטים אלה עוקבים אחר המוסיקה שלי. הם עוקבים אחר הדמויות. הם חכמים מספיק, אנו מקווים, לא להיתקל זה בזה. הם יוצאים למסעות בעצמם. ואז הם גם, כאשר אתה מקיש באצבעותך, מסתדרים בשורה בדיוק כפי שהיית רוצה. אף-על-פי שהם קוביות, הם למעשה בעלי אישיות רבה.
The largest set piece in the opera is called The System. It's a series of books. Every single book is robotic, so they all move, they all make sound, and when you put them all together, they turn into these walls, which have the gesture and the personality of Simon Powers. So he's disappeared, but the whole physical environment becomes this person. This is how he's chosen to represent himself. The books also have high-packed LEDs on the spines. So it's all display. And here's the great baritone James Maddalena as he enters The System. This is a sneak preview. This premieres in Monaco -- it's in September 2009. If by any chance you can't make it, another idea with this project -- here's this guy building his legacy through this very unusual form, through music and through the environment. But we're also making this available both online and in public spaces, as a way of each of us to use music and images from our lives to make our own legacy or to make a legacy of someone we love. So instead of being grand opera, this opera will turn into what we're thinking of as personal opera.
קטע הסט הגדול ביותר באופרה נקרא "המערכת". זוהי סדרה של ספרים. כל ספר יחיד הוא רובוטי, כך שכולם זזים, כולם משמיעים קולות, וכאשר תמקם את כולם יחד, הם הופכים לקירות האלו, שיש בהן את המחוות והאישיות של סיימון פאוארס. אז הוא נעלם, אבל הסביבה הפיזית כולה הופכת להיות אדם זה. זה האופן שהוא בחר להציג את עצמו. בגב הספרים יש גם לד בדחיסות גבוהה . כך שכל זה הוא תצוגה. והנה הבריטון הגדול ג'יימס מדלנה כשהוא נכנס ל"מערכת". זוהי הצגה מוקדמת. הופעות הבכורה הן במונקו - זה בספטמבר 2009. אם במקרה אינכם יכולים להגיע, רעיון אחר עם פרוייקט זה - הנה הברנש בונה את המורשת שלו באופן מאד בלתי רגיל זה, באמצעות מוסיקה ובאמצעות הסביבה. אבל אנחנו עובדי על כך שזה יהיה זמין הן באינטרנט והן במרחבים ציבוריים, כאמצעי של כל אחד מאיתנו להשתמש במוסיקה ובדימויים מהחיים שלנו כדי לבנות את המורשת שלנו או של מישהו שאנו אוהבים. אז במקום להיות גראנד אופרה, אופרה זו תהפוך למשהו שאנחנו חושבים עליו כעל אופרה אישית.
And, if you're going to make a personal opera, what about a personal instrument? Everything I've shown you so far -- whether it's a hyper-cello for Yo-Yo Ma or squeezy toy for a child -- the instruments stayed the same and are valuable for a certain class of person: a virtuoso, a child. But what if I could make an instrument that could be adapted to the way I personally behave, to the way my hands work, to what I do very skillfully, perhaps, to what I don't do so skillfully? I think that this is the future of interface, it's the future of music, the future of instruments.
ואם אתה מתכון ליצור אופרה אישית, מה לגבי כלי נגינה אישי? כל מה שהיצגתי לכם עד עכשיו – בין אם מדובר בהיפר-צ'לו עבור יו-יו מה או צעצוע כרית-לחיצה לילד – הכלים נשארו זהים והם בעלי ערך עבור רמה מסוימת של אדם: וירטואוז, ילד. אבל מה אם אני יכול ליצור כלי שניתן להתאימו לדרך שבה אני באופן אישי מתנהג לאופן שבו הידיים שלי עובדות, למה שאני עושה במיומנות גדולה, אולי, למה שאני לא כל כך עושה במיומנות? אני חושב שזה העתיד של הממשק, זה הוא העתיד של המוסיקה, העתיד של כלי הנגינה.
And I'd like now to invite two very special people on the stage, so that I can give you an example of what personal instruments might be like. So, can you give a hand to Adam Boulanger, Ph.D. student from the MIT Media Lab, and Dan Ellsey. Dan, thanks to TED and to Bombardier Flexjet, Dan is here with us today all the way from Tewksbury. He's a resident at Tewksbury Hospital. This is by far the farthest he's strayed from Tewksbury Hospital, I can tell you that, because he's motivated to meet with you today and show you his own music. So, first of all, Dan, do you want to say hi to everyone and tell everyone who you are?
ואני רוצה כעת להזמין שני אנשים מאוד מיוחדים לבמה, כך שאני יכול להדגים לכם איך כלים אישיים אלה עשויים להיות. אז, מחיאות כפיים לסטודנט אדם בולאנז'ה, דוקטורנט ממעבדת המדיה של MIT, ודן אלזי. דן, הודות לטד ול "בומברדיה פלקסג'ט", דן נמצא כאן איתנו היום הוא הגיע כל הדרך מטיוקסברי. הוא תושב בית החולים טיוקסברי. זהו המקום הרחוק ביותר עד כה שהוא הגיע אליו מבית החולים טיוקסברי, אני יכול לומר לכם זאת, כי יש לו מוטיבציה להיפגש איתכם היום ולהראות לכם את המוזיקה שלו . לכן, קודם כל, דן, אתה רוצה לומר שלום לכולם ולספר לכולם מי אתה?
Dan Ellsey: Hello. My name is Dan Ellsey. I am 34 years old and I have cerebral palsy. I have always loved music and I am excited to be able to conduct my own music with this new software.
דן אלזי: שלום. שמי דן אלזי. אני בן 34, יש לי שיתוק מוחין. תמיד אהבתי מוסיקה, ואני נרגש מכך שאני יכול לנצח על המוזיקה שלי עם תוכנה חדשה זו.
Tod Machover: And we're really excited to have you here, really Dan. (Applause)
טוד מחובר : ואנחנו באמת מתרגשים שאתה עמנו כאן, באמת דן. (מחיאות כפיים)
So we met Dan about three years ago, three and a half years ago, when we started working at Tewksbury. Everybody we met there was fantastic, did fantastic music. Dan had never made music before, and it turned out he was really fantastic at it. He's a born composer. He's very shy, too. So, turned out he's a fantastic composer, and over the last few years has been a constant collaborator of ours. He has made many, many pieces. He makes his own CDs. Actually, he is quite well known in the Boston area -- mentors people at the hospital and children, locally, in how to make their own music. And I'll let Adam tell you. So, Adam is a Ph.D. student at MIT, an expert in music technology and medicine. And Adam and Dan have become close collaborators. What Adam's been working on for this last period is not only how to have Dan be able easily to make his own pieces, but how he can perform his piece using this kind of personal instrument. So, you want to say a little bit about how you guys work?
אז פגשנו את דן לפני כשלוש, שלוש וחצי שנים, כאשר התחלנו לעבוד בטיוקסברי. כל מי שפגשנו שם היה נפלא, ועשה מוסיקה נפלאה. דן מעולם לא יצר מוסיקה לפני כן, והתברר שהוא היה באמת נפלא בזה. הוא מלחין מלידה. הוא גם מאוד ביישן. כך, שהתברר שהוא מלחין נפלא, ובמשך מספר השנים האחרונות הוא משתף אתנו פעולה באופן קבוע. הוא יצר הרבה קטעים. הוא עושה תקליטורים משלו. למעשה, הוא די ידוע באזור בוסטון- הוא מדריך אנשים בבית החולים וילדים כיצד ליצור את המוסיקה שלהם. ואני אתן לאדם לספר לכם. אז, אדם הוא סטודנט דוקטורנט ב- MIT, מומחה למוזיקה טכנולוגיה ורפואה. ואדם ודן נהיו משתפי פעולה קרובים. אדם עבד בתקופה האחרונה לא רק על האפשרות שדן יוכל בקלות להלחין קטעים משלו, אך גם כיצד הוא יוכל לבצע את הקטע באמצעות סוג זה של כלי אישי. אז אתה רוצה לספר קצת באיזה אופן אתם פועלים?
Adam Boulanger: Yes. So, Tod and I entered into a discussion following the Tewksbury work and it was really about how Dan is an expressive person, and he's an intelligent and creative person. And it's in his face, it's in his breathing, it's in his eyes. How come he can't perform one of his pieces of music? That's our responsibility, and it doesn't make sense.
אדם בולאנז'ה : כן. כך, טוד ואני נקלענו לדיון בעקבות העבודה בטיוקסברי וזה היה בקשר לכך שדן הוא אדם בעל יכולת הבעה, והוא אדם אינטליגנטי ויצירתי. ורואים זאת בפניו, בנשימה שלו, זה בעיניו. איך ייתכן שהוא אינו יכול לבצע אחד מקטעי המוסיקה שלו ? זוהי האחריות שלנו, וזה לא הגיוני.
So we started developing a technology that will allow him with nuance, with precision, with control, and despite his physical disability, to be able to do that, to be able to perform his piece of music. So, the process and the technology -- basically, first we needed an engineering solution. So, you know, we have a FireWire camera, it looked at an infrared pointer. We went with the type of gesture metaphor that Dan was already used to with his speaking controller. And this was actually the least interesting part of the work, you know, the design process. We needed an input; we needed continuous tracking; in the software, we look at the types of shapes he's making.
אז התחלנו לפתח טכנולוגיה שתאפשר לו עם ניואנס, עם דיוק, עם שליטה, ולמרות הנכות הפיזית שלו , לעשות זאת, להיות מסוגל לבצע את היצירה המוזיקלית שלו. כך, התהליך והטכנולוגיה -- ביסודו של דבר, תחילה היינו צריכים פתרון הנדסי. אז, אתם יודעים, יש לנו מצלמת FireWire, שהסתכלה על מצביע אינפרא-אדום. הלכנו עם סוג של מטפורת מחווה שבה דן השתמש כבר עם בקר הדיבור שלו. וזה היה למעשה החלק הפחות מעניין של העבודה, אתם יודעים, תהליך העיצוב. היינו צריכים קלט; נזקקנו למעקב רציף; בתוכנה, אנו רואים את סוגי הצורות שהוא מבצע.
But, then was the really interesting aspect of the work, following the engineering part, where, basically, we're coding over Dan's shoulder at the hospital extensively to figure out, you know, how does Dan move? What's useful to him as an expressive motion? You know, what's his metaphor for performance? What types of things does he find important to control and convey in a piece of music? So all the parameter fitting, and really the technology was stretched at that point to fit just Dan. And, you know, I think this is a perspective shift. It's not that our technologies -- they provide access, they allow us to create pieces of creative work. But what about expression? What about that moment when an artist delivers that piece of work? You know, do our technologies allow us to express? Do they provide structure for us to do that? And, you know, that's a personal relationship to expression that is lacking in the technological sphere. So, you know, with Dan, we needed a new design process, a new engineering process to sort of discover his movement and his path to expression that allow him to perform. And so that's what we'll do today.
אך, לאחר מכן היה ההיבט המעניין באמת של העבודה, בעקבות החלק ההנדסי, היכן, שביסודו של דבר, אנו מקדדים מעבר לכתפו של דן בבית החולים באופן מקיף כדי להבין, אתם יודעים, כיצד דן ינוע? מה שימושי עבורו כתנועה הבעתית? אתה יודע, מה מטאפורת הביצוע שלו? איזה סוגים של דברים לדעתו חשובים כדי לפקח וכדי להעביר בקטע של מוסיקה? כך שכל התאמות ההגדרות, והטכנולוגיה נפרשו בנקודה זו כך שיתאימו בדיוק לדן. ואתם יודעים, אני חושב שזו הסטת פרספקטיבה. זה לא שהטכנולוגיות שלנו - הן מספקות גישה, הן מאפשרות לנו ליצור קטעים של עבודה יצירתית. אבל מה לגבי המבע? מה לגבי הרגע שבו האמן מוסר חלק זה של העבודה? אתם יודעים, האם הטכנולוגיות שלנו מאפשרות לנו לבטא? האם הן מספקות לנו את המבנה הנחוץ כדי לעשות את זה? ואתם יודעים, זוהי מערכת יחסים אישית לביטוי שחסר בתחום הטכנולוגי. אז, אתם יודעים, עם דן, היינו צריכים תהליך עיצוב חדש, תהליך הנדסי חדש כדי לגלות איכשהו את התנועה והנתיב שלו לביטוי שמאפשר לו את הביצוע. אז זה מה שאנחנו נעשה היום.
TM: So let's do it. So Dan do you want to tell everyone about what you're going to play now?
ט.מ: אז בואו ונעשה את זה. כך, דן, ברצונך לספר לכולם מה אתה עומד לנגן כעת?
DE: This is "My Eagle Song." TM: So Dan is going to play a piece of his, called "My Eagle Song". In fact, this is the score for Dan's piece, completely composed by Dan in Hyperscore. So he can use his infrared tracker to go directly into Hyperscore. He's incredibly fast at it, too, faster than I am, in fact.
ד.ה: זהו "שיר הנשר שלי." ט.מ: אם כן, דן עומד לנגן קטע שלו, שנקרא "שיר הנשר שלי". למעשה, זהו דף התווים של הקטע של דן, חובר לחלוטין על-ידי דן בהיפרסקור. כך הוא יכול להשתמש בגשש האינפרא-אדום שלו כדי לעבור ישירות להיפרסקור. הוא מהיר מאוד בכך, גם, מהר יותר ממני, למעשה.
(Laughter)
(צחוק)
TM: He's really modest, too. So he can go in Hyperscore. You start out by making melodies and rhythms. He can place those exactly where he wants. Each one gets a color. He goes back into the composition window, draws the lines, places everything the way he wants to. Looking at the Hyperscore, you can see it also, you can see where the sections are, something might continue for a while, change, get really crazy and then end up with a big bang at the end.
TM: הוא באמת גם צנוע. כך הוא יכול ללכת להיפרסקור. אתה מתחיל ביצירת מלודיות, ומקצבים. הוא יכול למקם את אלה בדיוק היכן שהוא רוצה. כל אחד מקבל צבע. הוא חוזר לתוך חלון הקומפוזיציה, מצייר את הקווים, ממקם הכל באופן שהוא רוצה. מסתכל בהיפרסקור. באפשרותכם לראות זאת גם, ניתן לראות היכן נמצאים הקטעים, משהו עשוי להמשיך לזמן מה, להשתנות, להיעשות ממש מטורף ולאחר מכן להסתיים עם הביג-בנג בסוף.
So that's the way he made his piece, and as Adam says, we then figured out the best way to have him perform his piece. It's going to be looked at by this camera, analyze his movements, it's going to let Dan bring out all the different aspects of his music that he wants to. And you're also going to notice a visual on the screen. We asked one of our students to look at what the camera is measuring. But instead of making it very literal, showing you exactly the camera tracing, we turned it into a graphic that shows you the basic movement, and shows the way it's being analyzed.
אז זו הדרך שהוא יצר את הקטע שלו, וכמו שאדם אומר, לאחר מכן גילינו את הדרך הטובה ביותר לאפשר לו לבצע את הקטע שלו. זה עומד להיראות על ידי מצלמה זו , שתנתח את תנועותיו, זה יאפשר לדן להציג כפי שהוא רוצה את ההיבטים השונים של המוזיקה שלו. ואתם גם עומדים לראות זאת באופן חזותי על המסך. ביקשנו מאחד התלמידים שלנו לבדוק מה המצלמה מודדת. אך במקום לעשות זאת באופן מאד מילולי , להראות לכם בדיוק את המעקב של המצלמה, הפכנו זאת לתרשים גרפי שמציג בפניכם את התנועה הבסיסית, ומראה את הדרך שהיא נחקרת.
I think it gives an understanding of how we're picking out movement from what Dan's doing, but I think it will also show you, if you look at that movement, that when Dan makes music, his motions are very purposeful, very precise, very disciplined and they're also very beautiful. So, in hearing this piece, as I mentioned before, the most important thing is the music's great, and it'll show you who Dan is. So, are we ready Adam?
אני חושב שזה מסביר כיצד אנו בוחרים תנועה ממה שדן עושה, אך לדעתי זה גם יראה לכם, אם אתם מסתכלים על תנועה זו, שכאשר דן יוצר מוסיקה, תנועותיו הן תכליתיות מאוד, מדויקות מאוד, ממושמעות מאוד והן גם יפות מאוד. כך, שכששומעים קטע זה, כמו שאמרתי קודם, הדבר החשוב ביותר הוא שהמוסיקה נפלאה, וזה יראה לכם מי הוא דן. אם כן, אנחנו מוכנים אדם ?
AB: Yeah.
א.ב.: כן.
TM: OK, now Dan will play his piece "My Eagle Song" for you. (Applause)
ט.מ.: טוב, עכשיו דן ישמיע את הקטע שלו "שיר הנשר שלי" בשבילכם. (מחיאות כפיים)
TM: Bravo. (Applause)
ט.מ.: בראבו. (מחיאות כפיים)