Now when we think of our senses, we don't usually think of the reasons why they probably evolved, from a biological perspective. We don't really think of the evolutionary need to be protected by our senses, but that's probably why our senses really evolved -- to keep us safe, to allow us to live. Really when we think of our senses, or when we think of the loss of the sense, we really think about something more like this: the ability to touch something luxurious, to taste something delicious, to smell something fragrant, to see something beautiful. This is what we want out of our senses. We want beauty; we don't just want function. And when it comes to sensory restoration, we're still very far away from being able to provide beauty. And that's what I'd like to talk to you a little bit about today.
Quando pensiamo ai nostri sensi, di solito non pensiamo ai motivi per cui, probabilmente, si sono biologicamente evoluti. Non pensiamo al bisogno evolutivo di essere protetti dai nostri sensi, ma probabilmente si sono evoluti per questo -- per mantenerci al sicuro, permettendoci di vivere. Quando pensiamo ai nostri sensi, o alla perdita di uno dei sensi, in realtà pensiamo a qualcosa come questo: poter toccare un oggetto prezioso, assaporare qualcosa di delizioso, annusare un oggetto fragrante, vedere una bella cosa. È questo che chiediamo ai nostri sensi: bellezza, non solo funzionalità. Ma nel recupero della sensibilità, la bellezza è ancora molto di là da venire. Ed è di questo che vorrei parlare con voi oggi.
Likewise for hearing. When we think about why we hear, we don't often think about the ability to hear an alarm or a siren, although clearly that's an important thing. Really what we want to hear is music.
Vale anche per la capacità di udire: quando pensiamo a ciò che udiamo, spesso non pensiamo alla capacità di udire un allarme o una sirena, anche se è chiaramente una capacità importante. Noi, in realtà, vogliamo ascoltare la musica.
(Music)
(Musica)
So many of you know that that's Beethoven's Seventh Symphony. Many of you know that he was deaf, or near profoundly deaf, when he wrote that. Now I'd like to impress upon you how unusual it is that we can hear music. Music is just one of the strangest things that there is. It's acoustic vibrations in the air, little waves of energy in the air that tickle our eardrum. Somehow in tickling our eardrum that transmits energy down our hearing bones, which get converted to a fluid impulse inside the cochlea and then somehow converted into an electrical signal in our auditory nerves that somehow wind up in our brains as a perception of a song or a beautiful piece of music. That process is entirely abstract and very, very unusual. And we could discuss that topic alone for days to really try to figure out, how is it that we hear something that's emotional from something that starts out as a vibration in the air?
Molti di voi sanno che è la Settima Sinfonia di Beethoven. E molti sanno che era già sordo, o quasi del tutto sordo, all'epoca della composizione. Ora vorrei riuscire a farvi comprendere l'eccezionalità di poter ascoltare musica. La musica è una delle cose più strane che esistano: è composta di vibrazioni acustiche nell'aria, piccole onde di energia nell'aria che solleticano i nostri timpani. In qualche modo, questa sollecitazione dei timpani trasmette energia fino alle ossa dell'orecchio, convertita in un impulso fluido dentro la coclea, convertito dai nervi acustici in un segnale elettrico convertito, nei nostri cervelli, nella percezione di una canzone o di un bel brano musicale. È un processo completamente astratto e molto, molto strano. Potremmo passare giorni interi a chiederci: come facciamo a rispondere emotivamente a una cosa che comincia come una vibrazione nell'aria?
Turns out that if you have hearing loss, most people that lose their hearing lose it at what's called the cochlea, the inner ear. And it's at the hair cell level that they do this. Now if you had to pick a sense to lose, I have to be very honest with you and say, we're better at restoring hearing than we are at restoring any sense that there is. In fact, nothing even actually comes close to our ability to restore hearing. And as a physician and a surgeon, I can confidently tell my patients that if you had to pick a sense to lose, we are the furthest along medically and surgically with hearing. As a musician, I can tell you that if I had to have a cochlear implant, I'd be heartbroken. I'd just be plainly heartbroken, because I know that music would never sound the same to me.
Si è scoperto che la maggior parte delle persone perde l'udito a livello della coclea, l'orecchio interno. Lo perdono a livello delle cellule ciliate. Ora... se doveste scegliere quale senso perdere, devo essere molto onesto con voi e dirvi che l'udito è più facile da recuperare di qualunque altro senso. In effetti, per ora non riusciamo a recuperare gli altri sensi bene quanto l'udito. Come medico e chirurgo, posso dire con certezza ai miei pazienti che, se dovessero scegliere quale senso perdere, i nostri più avanzati progressi medici e chirurgici riguardano l'udito. [Ma] come musicista, posso dirvi che se dovessi sottopormi a impianto cocleare, preferirei che il cuore si spezzasse, e farla finita, perché so che non percepirei mai più la musica come prima.
Now this is a video that I'm going to show you of a girl who's born deaf. She's in a very supportive environment. Her mother's doing everything she can. Okay, play that video please.
Il video che vi mostrerò riguarda una ragazza nata sorda. Vive in un contesto che l'aiuta molto: sua madre fa tutto quello che può. Ok, fate partire il video per favore.
(Video) Mother: That's an owl. Owl, yeah. Owl. Owl. Yeah. Baby. Baby. You want it? (Kiss)
(Video) Madre: Quello è un gufo. Gufo, si. Gufo. Gufo. Sì. Bambino. Bambino. Lo vuoi? (Bacio)
Charles Limb: Now despite everything going for this child in terms of family support and simple infused learning, there is a limitation to what a child who's deaf, an infant who was born deaf, has in this world in terms of social, educational, vocational opportunities. I'm not saying that they can't live a beautiful, wonderful life. I'm saying that they're going to face obstacles that most people who have normal hearing will not have to face.
CL: Malgrado i sostegni a questa bambina, in termini di supporto familiare e di nozioni semplici impartite, c'è un limite a quello che un bambino nato sordo può ricevere, in termini di opportunità sociali, educative e di vocazione. Non voglio dire che non potranno vivere una ricca, bellissima vita. Dico solo che dovranno affrontare degli ostacoli che la maggior parte delle persone con udito normale non devono affrontare.
Now hearing loss and the treatment for hearing loss has really evolved in the past 200 years. I mean literally, they used to do things like stick ear-shaped objects onto your ears and stick funnels in. And that was the best you could do for hearing loss. Back then you couldn't even look at the eardrum. So it's not too surprising that there were no good treatments for hearing loss.
La perdita dell'udito, e il suo trattamento, sono veramente evolute negli ultimi 200 anni. Un tempo inserivano, nelle orecchie, oggetti a forma di orecchio, e attaccavano degli imbuti alle estremità. Non si poteva fare niente di meglio. Non si poteva nemmeno osservare il timpano. Non è dunque sorprendente che mancassero cure efficaci.
And now today we have the modern multi-channel cochlear implant, which is an outpatient procedure. It's surgically placed inside the inner ear. It takes about an hour and a half to two hours, depending on where it's done, under general anesthesia. And in the end, you achieve something like this where an electrode array is inserted inside the cochlea. Now actually, this is quite crude in comparison to our regular inner ear.
Oggi abbiamo un impianto cocleare multicanale, impiantabile con procedura ambulatoriale. Si installa chirurgicamente nell'orecchio interno, in 1,5 - 2 h, a seconda del punto, in anestesia generale. E alla fine si ottiene qualcosa del genere: una matrice di elettrodi inserita nella coclea. In realtà è uno strumento molto primitivo, se paragonato al nostro normale orecchio interno.
But here is that same girl who is implanted now. This is her 10 years later. And this is a video that was taken by my surgical mentor, Dr. John Niparko, who implanted her. If we could play this video please.
Ma ecco la stessa ragazza, ora dopo l'impianto. Sono passati 10 anni. Questo video è stato registrato dal mio mentore, Dr. John Niparko, che le ha installato l'impianto. Fate partire il video, per favore.
(Video) John Niparko: So you've written two books?
(Video) John Niparko: Così hai scritto due libri?
Girl: I have written two books. (Mother: Was the other one a book or a journal entry?) Girl: No, the other one was a book. (Mother: Oh, okay.)
Ragazza: Ne ho scritti due. (Madre: L'altro era un libro o un articolo?) R: No, l'altro era un libro. (M: Ah, ok.)
JN: Well this book has seven chapters, and the last chapter is entitled "The Good Things About Being Deaf." Do you remember writing that chapter?
JN: Bene, questo libro è composto di sette capitoli e l'ultimo capitolo è intitolato "Gli Aspetti Positivi della Sordità." Ti ricordi di aver scritto quel capitolo?
Girl: Yes I do. I remember writing every chapter.
R: Sì. Mi ricordo di aver scritto tutti i capitoli.
JN: Yeah. Girl: Well sometimes my sister can be kind of annoying. So it comes in handy to not be annoyed by her.
JN: Sì. R: Qualche volta mia sorella è piuttosto fastidiosa. Quindi è comodo non poter essere infastidita da lei.
JN: I see. And who is that?
JN: Capisco. E lei chi è?
Girl: Holly. (JN: Okay.)
R: Holly. (JN: Ok.)
Mother: Her sister. (JN: Her sister.) Girl: My sister.
M: Sua sorella. (JN: Sua sorella.) R: Mia sorella.
JN: And how can you avoid being annoyed by her?
JN: E come fai a non farti infastidire da lei?
Girl: I just take off my CI, and I don't hear anything. (Laughter) It comes in handy.
R: Mi tolgo l'impianto e non odo più nulla. (Risate) È comodo.
JN: So you don't want to hear everything that's out there?
JN: Quindi non vuoi udire tutto quello che accade qui attorno?
Girl: No.
Ragazza: No.
CL: And so she's phenomenal. And there's no way that you can't look at that as an overwhelming success. It is. It's a huge success story in modern medicine. However, despite this incredible facility that some cochlear implant users display with language, you turn on the radio and all of a sudden they can't hear music almost at all. In fact, most implant users really struggle and dislike music because it sounds so bad. And so when it comes to this idea of restoring beauty to somebody's life, we have a long way to go when it comes to audition.
CL: E lei è così fenomenale. Possiamo solo considerarlo un successo eccezionale della medicina moderna. Davvero. Tuttavia, malgrado l'incredibile facilità con cui i pazienti impiantati usano il linguaggio, se accendi improvvisamente la radio quasi non riescono a udire la musica. Molti impiantati, in realtà, si sforzano molto e non amano la musica perché la sentono molto male. Quindi, tornando all'idea di restituire la bellezza nella vita degli altri, la strada da fare, nell'udito, è ancora lunga.
Now there are a lot of reasons for that. I mentioned earlier the fact that music is a different capacity because it's abstract. Language is very different. Language is very precise. In fact, the whole reason we use it is because it has semantic-specificity. When you say a word, what you care is that word was perceived correctly. You don't care that the word sounded pretty when it was spoken.
Le ragioni sono diverse: prima ho menzionato il fatto che la musica ha una sua qualità particolare, perché è astratta. Il linguaggio è diverso: è molto preciso. In realtà, il motivo principale per cui lo usiamo è la sua specificità semantica. Quando pronunci una parola, vuoi solo che sia percepita correttamente. Non ti interessa che la parola suoni bene, quando viene pronunciata.
Music is entirely different. When you hear music, if it doesn't sound good, what's the point? There's really very little point in listening to music when it doesn't sound good to you. The acoustics of music are much harder than those of language. And you can see on this figure, that the frequency range and the decibel range, the dynamic range of music is far more heterogeneous. So if we had to design a perfect cochlear implant, what we would try to do is target it to be able to allow music transmission. Because I always view music as the pinnacle of hearing. If you can hear music, you should be able to hear anything.
La musica è completamente diversa: se quella che ascolti non suona bene, a che serve? Non ha molto senso ascoltare musica che non suona bene. L'acustica della musica è molto più complessa di quella del linguaggio. Potete vedere in questa immagine che lo spettro delle frequenze e quello dinamico, dei decibel, della musica sono molto più eterogenei. E quindi, se cercassimo di progettare un impianto perfetto, cercheremmo di ottimizzarlo per la trasmissione della musica. Questo perché considero l'ascoltare musica l'atto uditivo più alto. Se puoi udire della musica, dovresti essere in grado di udire qualsiasi cosa.
Now the problems begin first with pitch perception. I mean, most of us know that pitch is a fundamental building block of music. And without the ability to perceive pitch well, music and melody is a very difficult thing to do -- forget about a harmony and things like that. Now this is a MIDI arrangement of Rachmaninoff's Prelude. Now if we could just play this.
Ora, i problemi hanno inizio dalla percezione della tonalità. Quasi tutti sanno che la tonalità è la base della musica. Senza la capacità di percepire bene la tonalità, è difficile comporre una musica e una melodia -- e ancora di più un'armonia e cose simili. Questo è un arrangiamento MIDI del Preludio di Rachmaninoff. Fate partire la musica, per favore.
(Music)
(Musica)
Okay, now if we consider that in a cochlear implant patient pitch perception could be off as much as two octaves, let's see what happens here when we randomize this to within one semitone. We would be thrilled if we had one semitone pitch perception in cochlear implant users. Go ahead and play this one.
Se consideriamo che in un paziente impiantato la percezione della tonalità può deviare fino a due ottave, sentiamo cosa accade quando stoniamo la musica di un semitono al massimo. Saremmo felicissimi se i pazienti percepissero entro quell'intervallo. Sentiamo che effetto fa.
(Music)
(Musica)
Now my goal in showing you that is to show you that music is not robust to degradation. You distort it a little bit, especially in terms of pitch, and you've changed it. And it might be that you kind of like that. That's kind of hypnotic. But it certainly wasn't the way the music was intended. And you're not hearing the same thing that most people who have normal hearing are hearing.
Vi ho fatto sentire questo brano per mostrarvi che la musica non resiste bene alla degradazione. Distorcendola anche poco, specie in termini di tonalità, la si cambia. E questa magari potrebbe piacervi. Sembra ipnotica. Ma certo non suona come la si voleva far suonare. E non state udendo ciò che la maggior parte dei normo-udenti sentono.
Now the other issue comes with, not just the ability to tell pitches apart, but the ability to tell sounds apart. Most cochlear implant users cannot tell the difference between an instrument. If we could play these two sound clips in succession. (Trumpet) The trumpet. And the second one. (Violin) That's a violin. These have similar wave forms. They're both sustained instruments. Cochlear implant users cannot tell the difference between these instruments. The sound quality, or the sound of the sound is how I like to describe timbre, tone color -- they cannot tell these things whatsoever. This implant is not transmitting the quality of music that usually provides things like warmth.
Ci sono poi altri problemi, sia nella capacità di distinguere le varie tonalità, sia nella capacità di distinguere tra suoni: molti impiantati non riescono a distinguere due strumenti. Proviamo a suonare due brani in successione. (Tromba) Una tromba. Ora il secondo. (Violino) È un violino. La forma d'onda è simile, e tengono entrambi la nota. Gli impiantati non riescono a notare la differenza tra i due strumenti. La "qualità", "l'effetto" del suono, come mi piace descrivere il timbro, il colore del tono -- sono aspetti che non riescono a distinguere. L'impianto non riesce a riprodurre le qualità della musica, che di norma trasmette sensazioni come il calore.
Now if you look at the brain of an individual who has a cochlear implant and you have them listen to speech, have them listen to rhythm and have them listen to melody, what you find is that the auditory cortex is the most active during speech. You would think that because these implants are optimized for speech, they were designed for speech. But actually if you look at melody, what you find is that there's very little cortical activity in implant users compared with normal hearing controls. So for whatever reason, this implant is not successfully stimulating auditory cortices during melody perception.
Se osservate il cervello di un paziente dotato di impianto cocleare e gli fate ascoltare un discorso, un ritmo e una melodia, scoprirete che la corteccia uditiva è la parte più attiva durante il discorso. Forse pensate che questi impianti, ottimizzati per le parole, siano progettati per udire parole. Ma se osservate la melodia, troverete una scarsissima attività nella corteccia degli impiantati, rispetto a quella dei controlli normali. Per qualche motivo, quindi, questo impianto non stimola con successo la corteccia uditiva durante la percezione di una melodia.
Now the next question is, well how does it really sound? Now we've been doing some studies to really get a sense of what sound quality is like for these implant users. I'm going to play you two clips of Usher, one which is normal and one which has almost no high frequencies, almost no low frequencies and not even that many mid frequencies. Go ahead and play that.
La domanda successiva quindi è, ma che effetto fa? Abbiamo condotto alcuni studi per comprendere cosa sentono gli impiantati. Ascolteremo ora due clip di Usher, una è normale, l'altra è quasi del tutto priva di basse e alte frequenze, e le mancano anche molte frequenze medie. Fate partire la clip.
(Music)
(Musica)
(Limited Frequency Music)
(Musica con frequenze limitate)
I had patients tell me that those sound the same. They cannot differentiate sound quality differences between those two clips. Again, we are very, very far away in just getting to where we want to get to.
Alcuni pazienti mi dicono che suonano allo stesso modo. Non possono percepire le differenti qualità del suono tra queste due clip. Siamo molto, molto lontani dalla meta.
Now the question comes to mind: Is there any hope? And yes, there is hope. Now I don't know if anybody knows who this is. This is ... does somebody know? This is Beethoven. Now why would we know what Beethoven's skull looks like? Because his grave was exhumed. And it turns out that his temporal bones were harvested when he died to try to look at the cause of his deafness, which is why he has molding clay and his skull is bulging out on the side there. But Beethoven composed music long after he lost his hearing. What that suggests is that, even in the case of hearing loss, the capacity for music remains. The brains remain hardwired for music.
Ora viene spontaneo domandarsi: c'è qualche speranza? Si, c'è speranza. Non so se qualcuno tra voi sa di chi si tratti. Questo è... qualcuno lo sa? Questo è di Beethoven. Come facciamo a sapere che aspetto ha il teschio di Beethoven? Lo sappiamo perché è stato esumato. Ed è emerso che le sue ossa temporali furono asportate, al decesso, nel tentativo di comprenderne la sordità. Questo spiega l'argilla da modellazione e una protuberanza su un lato del teschio. Ma Beethoven compose musica molto dopo la perdita dell'udito. Ciò suggerisce che, anche in caso di perdita dell'udito, l'abilità musicale permanga. Il cervello resta "cablato" per la musica.
I've been very lucky to work with Dr. David Ryugo where I've been working on deaf cats that are white and trying to figure out what happens when we give them cochlear implants. This is a cat that's been trained to respond to a trumpet for food.
Ho avuto la fortuna di collaborare col Dr. David Ryugo, quando lavoravo sui gatti bianchi sordi, e cercavo di capire cosa accade quando li si dota di impianti cocleari. Ecco un gatto che è stato addestrato ad associare il suono di una tromba con il cibo.
(Music)
(Musica)
Text: Beethoven doesn't excite her. (Music) The "1812 Overture" isn't worth waking for. (Trumpet) But she jumps to action when called to duty! (Trumpet)
Testo: Beethoven non lo emoziona. (Musica) Perché svegliarsi per la "Overture 1812"? (Tromba) Ma si attiva subito quando viene suonato il rancio! (Tromba)
CL: Now I'm not suggesting that the cat is hearing that trumpet the way we're hearing it. I'm suggesting that with training you can imbue a musical sound with significance, even in a cat. If we were to direct efforts towards training cochlear implant users to hear music -- because right now there's virtually no effort put towards that, no rehabilitative strategies, very little in the way of technological advances to actually improve music -- we would come a long way.
CL: Ora, non sto suggerendo che il gatto senta la tromba come noi. Intendo suggerire che, con l'addestramento, si può associare un significato a un suono anche in un gatto. Se ci impegnassimo ad allenare gli impiantati a udire la musica -- dato che adesso praticamente non c'è impegno in tal direzione, nessuna strategia riabilitativa, e poco sviluppo in tecnologie che migliorino davvero l'ascolto musicale, faremmo molta strada.
Now I want to show you one last video. And this is of a student of mine named Joseph who I had the good fortune to work with for three years in my lab. He's deaf, and he learned to play the piano after he received the cochlear implant. And here's a video of Joseph.
Ora voglio mostrarvi un ultimo video. È di Joseph, uno studente con cui ho avuto la fortuna di lavorare per tre anni nel mio laboratorio. È sordo, e ha imparato a suonare il pianoforte dopo aver ricevuto un impianto cocleare. Ecco un video di Joseph.
(Music)
(Musica)
(Video) Joseph: I was born in 1986. And at about four months old, I was diagnosed with profoundly severe hearing loss. Not long after, I was fitted with hearing aids. But although these hearing aids were the most powerful hearing aids on the market at the time, they weren't very helpful. So as a result, I had to rely on lip reading a lot, and I couldn't really hear what people were saying. When I was 12 years old, I was one of the first few people in Singapore who underwent cochlear implantation. And not long after I got my cochlear implant, I started learning how to play piano. And it was absolutely wonderful. Since then, I've never looked back.
(Video) Joseph: Sono nato nel 1986. A circa quattro mesi d'età, mi diagnosticarono una gravissima perdita d'udito. Non molto dopo, mi hanno dotato di protesi acustiche. Ma benché queste protesi acustiche fossero allora tra le più potenti sul mercato, non erano di grande aiuto. Quindi ho dovuto ricorrere molto alla lettura delle labbra e non potevo realmente sentire gli altri. Quando avevo 12 anni, sono stato uno dei primi abitanti di Singapore a ricevere un impianto cocleare. Non molto dopo aver ricevuto il mio impianto cocleare, ho iniziato a imparare a suonare il pianoforte. Era assolutamente fantastico. Da allora non ho più pensato al passato.
CL: Joseph is phenomenal. He's brilliant. He is now a medical student at Yale University, and he's contemplating a surgical career -- one of the first deaf individuals to consider a career in surgery. There are almost no deaf surgeons anywhere. And this is really unheard of stuff, and this is all because of this technology. And the fact that he can play the piano like that is a testament to his brain. Truth of the matter is you can play the piano without a cochlear implant, because all you have to do is press the keys at the right time. You don't actually have to hear it. I know he doesn't hear well, because I've heard him do Karaoke. (Laughter) And it's one of the most awful things -- heartwarming, but awful. (Laughter) And so there is certainly a lot of hope, but there's a lot more that needs to be done.
CL: Joseph è fenomenale. È geniale. Ora studia medicina alla Yale University, e sta pensando di far carriera in chirurgia -- è uno dei primi sordi a pensare di fare il chirurgo. I chirurghi sordi sono una rarità ovunque. È una cosa veramente inaudita, e tutto ciò grazie a questa tecnologia. E il fatto che possa suonare così bene il piano dimostra le capacità del suo cervello. Il punto è che si può suonare un pianoforte senza impianto cocleare: basta premere i tasti al momento giusto. Non è realmente necessario udirli. So che l'effetto è sgradevole, perché l'ho sentito durante il Karaoke. (Risate) Ed è una delle cose più terribili -- è toccante, ma anche terribile. (Risate) Senz'altro c'è molta speranza, ma molto resta ancora da fare.
So I just want to conclude with the following words. When it comes to restoration of hearing, we have certainly come a long way, a remarkably long way. And we have a much longer way to go when it comes to the idea of restoring perfect hearing. And let me tell you right now, it's fine that we would all be very happy with speech. But I tell you, if we lost our hearing, if anyone here suddenly lost your hearing, you would want perfect hearing back. You wouldn't want decent hearing, you would want perfect hearing. Restoration of basic sensory function is critical. And I don't mean to understate how important it is to restore basic function. But it's really restoration of the ability to perceive beauty where we can get inspiring. And I don't think that we should give up on beauty.
Voglio concludere con queste parole: per quanto attiene al recupero dell'udito, certamente abbiamo fatto molta strada. E molta di più ne resta da fare prima di ambire a un completo recupero dell'udito. Devo dirvelo: saremmo tutti molto contenti di poter risentire le parole. Ma se chiunque tra noi perdesse di colpo l'udito, vorrebbe riavere di nuovo un udito perfetto. Non vorremmo riavere un udito decente, ma perfetto. Il recupero delle funzioni sensoriali di base è essenziale: non voglio certo sminuire l'importanza di una funzionalità minima. Ma l'obiettivo a cui possiamo ispirarci è quello di ricominciare a percepire la bellezza. E non penso che dovremmo rinunciarci.
And I want to thank you for your time.
Grazie del vostro tempo.
(Applause)
(Applausi)