Imagine that you invented a device that can record my memories, my dreams, my ideas, and transmit them to your brain. That would be a game-changing technology, right? But in fact, we already possess this device, and it's called human communication system and effective storytelling. To understand how this device works, we have to look into our brains. And we have to formulate the question in a slightly different manner.
Tegyük fel: föltalálnának egy készüléket, amely rögzítheti az emlékképeimet, álmaimat, gondolataimat, és továbbítja az agyukba. Ez forradalmi technológia lenne, ugye? De az a helyzet, hogy van már ilyen készülékünk. A neve: emberi kommunikációs rendszer és hatékony történetmesélés. Hogy megértsük a készülék működését, bele kell pillantanunk az agyunkba. A kérdésünket pedig egy kicsit át kell fogalmaznunk.
Now we have to ask how these neuron patterns in my brain that are associated with my memories and ideas are transmitted into your brains. And we think there are two factors that enable us to communicate. First, your brain is now physically coupled to the sound wave that I'm transmitting to your brain. And second, we developed a common neural protocol that enabled us to communicate.
Azt kell kérdeznünk, hogy az agyamban lévő idegsejtmintázatok, amelyek az emlékképeimmel és gondolataimmal kapcsolatosak, miként adódnak tovább mások agyába. Úgy véljük, hogy két tényező teszi lehetővé a kommunikációt. Először, agyuk fizikailag kapcsolatban van a hanghullámokkal, amelyet agyukkal közlök. Másodszor, közös idegi protokollt fejlesztettünk ki, ami lehetővé teszi számunkra a kommunikációt.
So how do we know that? In my lab in Princeton, we bring people to the fMRI scanner and we scan their brains while they are either telling or listening to real-life stories. And to give you a sense of the stimulus we are using, let me play 20 seconds from a story that we used, told by a very talented storyteller, Jim O'Grady.
Hogy honnan tudjuk ezt? Princetoni laboromban az alanyok agyát fMRI- [funkcionális mágneses rezonancia] vizsgálattal szkenneljük, miközben valós történeteket hallgatnak vagy mesélnek. Hogy értsék, miféle ingereket alkalmazunk, lejátszok 20 másodpercet a felhasznált történetből, amelyet egy nagyon tehetséges mesélő. Jim O'Grady ad elő.
(Audio) Jim O'Grady: So I'm banging out my story and I know it's good, and then I start to make it better --
(Hang) Jim O'Grady: Kinyomom a sztorimat, tudom, hogy frankó, aztán majd följavítom,
(Laughter)
(Nevetés)
by adding an element of embellishment. Reporters call this "making shit up."
hozzáadok valami cicomát. A riporterek ezt hívják szarkavarásnak.
(Laughter)
(Nevetés)
And they recommend against crossing that line. But I had just seen the line crossed between a high-powered dean and assault with a pastry. And I kinda liked it."
És óvnak a határ túllépésétől. De pont most láttam, ahogy átlépték a nagy hatalmú dékán s a tortadobálás közti határt. Eléggé csíptem a dolgot."
Uri Hasson: OK, so now let's look into your brain and see what's happening when you listen to these kinds of stories. And let's start simple -- let's start with one listener and one brain area: the auditory cortex that processes the sounds that come from the ear. And as you can see, in this particular brain area, the responses are going up and down as the story is unfolding. Now we can take these responses and compare them to the responses in other listeners in the same brain area. And we can ask: How similar are the responses across all listeners?
Uri Hasson: Akkor most nézzünk be az agyukba, és lássuk, mi történik, ha efféle történeteket hallanak. Kezdjük az egyszerűvel: az egy hallgató – egy agyterülettel, a halláskéreggel, amely a fülbe jutó hangokat dolgozza föl. Látható, hogy az agynak ebben a bizonyos részében a reagálás nő és csökken, ahogy a történet kibontakozik. Ezeket a reagálásokat összevethetjük más hallgatók azonos agyterületén tapasztalt reagálásával. Föltehetjük a kérdést: Mennyire hasonló az egyes hallgatók reagálása?
So here you can see five listeners. And we start to scan their brains before the story starts, when they're simply lying in the dark and waiting for the story to begin. As you can see, the brain area is going up and down in each one of them, but the responses are very different, and not in sync. However, immediately as the story is starting, something amazing is happening.
Itt öt hallgató látható. A történet kezdete előtt nekilátunk agyukat szkennelni, amikor csak fekszenek a sötétben, és várják a történet kezdetét. Látható, hogy mindegyikük agyterületének reagálása nő és csökken, de a reagálás jellege nagyon más, és nincs szinkronban. Rögtön a történet kezdetekor azonban, valami meglepő történik.
(Audio) JO: So I'm banging out my story and I know it's good, and then I start to make it --
(Hang) JO: Kinyomom a sztorimat, tudom, hogy frankó, aztán majd följavítom...
UH: Suddenly, you can see that the responses in all of the subjects lock to the story, and now they are going up and down in a very similar way across all listeners. And in fact, this is exactly what is happening now in your brains when you listen to my sound speaking. We call this effect "neural entrainment." And to explain to you what is neural entrainment, let me first explain what is physical entrainment.
UH: Az látható, hogy az alanyok reagálása hirtelen a történethez kötődik, és az egyes hallgatóknál nagyon hasonló módon nő és csökken. Pontosan ez történik az önök agyában is, amikor a beszédhangomat hallgatják. E hatást idegi összehangolódásnak hívjuk. Az idegi összehangolódás megértéséhez először elmagyarázom, mi a fizikai összehangolódás.
So, we'll look and see five metronomes. Think of these five metronomes as five brains. And similar to the listeners before the story starts, these metronomes are going to click, but they're going to click out of phase.
Öt metronómot fogunk látni. Tekintsük őket agyaknak. Amikor a történet elkezdődik, a metronómok ketyegni fognak, de nem azonos fázisban.
(Clicking)
(Ketyegés)
Now see what will happen when I connect them together by placing them on these two cylinders.
Nézzük, mi történik, ha összekötöm őket úgy, hogy ráhelyezem őket erre a két hengerre.
(Clicking)
(Ketyegés)
Now these two cylinders start to rotate. This rotation vibration is going through the wood and is going to couple all the metronomes together. And now listen to the click.
Most a két henger elkezd forogni. A forgásból adódó rezgés a fán keresztül összehangolja a metronómokat. Figyeljük most a ketyegésüket.
(Synchronized clicking)
(Szinkronizált ketyegés)
This is what you call physical entrainment. Now let's go back to the brain and ask: What's driving this neural entrainment? Is it simply the sounds that the speaker is producing? Or maybe it's the words. Or maybe it's the meaning that the speaker is trying to convey.
Ezt hívjuk fizikai összehangolódásnak. Nézzük ismét az agyat, és tegyük föl a kérdést: Mi hajtja az idegi összehangolódást? Csupán a beszélő által keltett hang? Vagy talán a szavak? Vagy talán a beszélő által átadni szándékozott jelentés?
So to test it, we did the following experiment. First, we took the story and played it backwards. And that preserved many of the original auditory features, but removed the meaning. And it sounds something like that.
Ennek eldöntésére a következő kísérletet végeztük. Elsőnek, a történetet visszafelé játszottuk le. Ez sokat megőrzött az eredeti hangzás jellemzőiből, de megfosztotta az értelmétől. Valahogy így szól.
(Audio) JO: (Unintelligible)
(Hang) JO: (Érthetetlen)
And we flashed colors in the two brains to indicate brain areas that respond very similarly across people. And as you can see, this incoming sound induced entrainment or alignment in all of the brains in auditory cortices that process the sounds, but it didn't spread deeper into the brain.
A két agyban színeket villantottunk föl, hogy kimutassuk az egyes alanyokban igen hasonlóan reagáló agyterületeket. Látjuk, hogy a bejövő hang összehangolódást gerjesztett mindegyikük agyában – a hangok földolgozását végző hallókéregben, de nem hatolt az agy mélyébe.
Now we can take these sounds and build words out of it. So if we take Jim O'Grady and scramble the words, we'll get a list of words.
Most ezekből a hangokból szavakat képezhetünk. Ha Jim O'Grady szavait összekutyuljuk, szójegyzékhez jutunk.
(Audio) JO: ... an animal ... assorted facts ... and right on ... pie man ... potentially ... my stories
(Hang) JO: ... egy állat ... összeillő tények... és rögtön ... piteember ... potenciálisan ... történeteim
UH: And you can see that these words start to induce alignment in early language areas, but not more than that. Now we can take the words and start to build sentences out of them.
UH: Látható, hogy e szavak összehangolódást eredményeznek a korai nyelvi területeken, de semmi mást. Most a szavakból mondatokat képezhetünk.
(Audio) JO: And they recommend against crossing that line. He says: "Dear Jim, Good story. Nice details. Didn't she only know about him through me?"
(Hang) JO: És óvnak a határ túllépésétől. Azt mondja: "Kedves Jim, jó történet, szép részletek. A nő csak rajtam keresztül ismerte a férfit?"
UH: Now you can see that the responses in all the language areas that process the incoming language become aligned or similar across all listeners. However, only when we use the full, engaging, coherent story do the responses spread deeper into the brain into higher-order areas, which include the frontal cortex and the parietal cortex, and make all of them respond very similarly. And we believe that these responses in higher-order areas are induced or become similar across listeners because of the meaning conveyed by the speaker, and not by words or sound. And if we are right, there's a strong prediction over here if I tell you the exact same ideas using two very different sets of words, your brain responses will still be similar.
UH: Látható, hogy a reagálások a bejövő nyelvet földolgozó minden nyelvterületen, minden hallgatónál összehangolttá vagy hasonlóvá válnak. De csak akkor, amikor összefüggő, őket lekötő teljes történetet kapnak; ekkor a reagálások mélyebben hatolnak az agyba, a magasabb rendű területekbe, beleértve a homloklebenyt és a fali lebenyt, s ezáltal ezek reagálása nagyon hasonló lesz. Úgy gondoljuk, hogy a magasabb rendű területeken e reagálásokat a beszélő által közvetített jelentés idézi elő, vagy teszi hasonlóvá az egyes hallgatóknál, nem pedig a szavak vagy a hangok. Ha igazunk van, akkor nagy valószínűséggel megjósolható: ha önökkel két különböző szócsoporttal közlöm ugyanazt a gondolatot, agyuk reagálása hasonló lesz.
And to test it, we did the following experiment in my lab. We took the English story and translated it to Russian. Now you have two different sounds and linguistic systems that convey the exact same meaning. And you play the English story to the English listeners and the Russian story to the Russian listeners, and we can compare their responses across the groups. And when we did that, we didn't see responses that are similar in auditory cortices in language, because the language and sound are very different. However, you can see that the responses in high-order areas were still similar across these two groups. We believe this is because they understood the story in a very similar way, as we confirmed, using a test after the story ended.
Ennek eldöntésére a laboromban a következő kísérletet végeztük. Az angol nyelvű történetet oroszra fordítottuk. Most két különböző hang- és nyelvi rendszerünk van, amelyek pont ugyanazt a jelentést közvetítik. Lejátsszuk az angol nyelvű történetet az angol hallgatóknak, az oroszt pedig az orosz nyelvű hallgatóknak, és össze tudjuk vetni a csoportok reagálását. Amikor ezt tettük, nem láttunk hasonló reagálást a hallókéregben egy nyelven belül, mert a nyelv és a hang különböző. De azt látjuk, hogy a magasabb rendű területek a két csoportot összevetve mégis hasonlóak voltak. Úgy gondoljuk, hogy azért, mert igen hasonlóan értették a történetet. Ezt a történet végén végzett teszt megerősítette.
And we think that this alignment is necessary for communication. For example, as you can tell, I am not a native English speaker. I grew up with another language, and the same might be for many of you in the audience. And still, we can communicate. How come? We think we can communicate because we have this common code that presents meaning.
Úgy gondoljuk, ez az összehangolódás kell a kommunikációhoz. Például, nem kétséges, hogy nem az angol az anyanyelvem. Más nyelven nőttem föl, és sok jelenlévőre is ez lehet a jellemző. Ennek ellenére képesek vagyunk kommunikálni. Miért? Talán azért, mert közös a kódunk, amely a jelentést hordozza.
So far, I've only talked about what's happening in the listener's brain, in your brain, when you're listening to talks. But what's happening in the speaker's brain, in my brain, when I'm speaking to you? To look in the speaker's brain, we asked the speaker to go into the scanner, we scan his brain and then compare his brain responses to the brain responses of the listeners listening to the story. You have to remember that producing speech and comprehending speech are very different processes. Here we're asking: How similar are they? To our surprise, we saw that all these complex patterns within the listeners actually came from the speaker brain. So production and comprehension rely on very similar processes. And we also found the stronger the similarity between the listener's brain and the speaker's brain, the better the communication. So I know that if you are completely confused now, and I do hope that this is not the case, your brain responses are very different than mine. But I also know that if you really understand me now, then your brain ... and your brain ... and your brain are really similar to mine.
Idáig csak arról beszéltem, hogy mi történik az alany agyában, az önökében, mikor előadást hallgatnak. De mi történik a beszélő agyában, az enyémben, mikor önökhöz beszélek? Hogy belelássunk a beszélő agyába, megkértük, hogy feküdjön a szkennerbe. Szkenneljük az agyműködést, aztán összevetjük agyának reagálását a történetet hallgatók agyának reagálásával, Ne feledjék, hogy a beszédképzés és a beszédértés nagyon eltérő folyamatok. De adódik a kérdés: Mennyire hasonlók? Meglepetésünkre azt látjuk, hogy a hallgatóban keletkező minden bonyolult mintázat voltaképpen a beszélő agyából ered. Tehát a beszédképzés és -értés nagyon hasonló folyamatokon alapul. Még az is kiderült, hogy minél nagyobb a hasonlóság a hallgató agya és a beszélő agya között, annál jobb minőségű a kommunikáció. Tudom, ha mostanra már teljesen összezavarodtak, – de remélem, nem ez a helyzet –, agyuk reagálása nagyon más, mint az enyémé. De azt is tudom, hogy ha engem valóban értenek, akkor az ön agya... és az ön agya... és az ön agya tényleg hasonlít az enyémre.
Now, let's take all this information together and ask: How can we use it to transmit a memory that I have from my brain to your brains? So we did the following experiment. We let people watch, for the first time in their life, a TV episode from the BBC series "Sherlock," while we scanned their brains. And then we asked them to go back to the scanner and tell the story to another person that never watched the movie. So let's be specific. Think about this exact scene, when Sherlock is entering the cab in London driven by the murderer he is looking for.
Most pedig rakjunk össze minden infót, és tegyük föl a kérdést: Hogyan használható föl mindez arra, hogy átvigyem az emlékképeimet az agyamból az önök agyába? A következő kísérletet végeztük ehhez. Az alanyok agyának szkennelésekor megnézettük velük a Sherlock c. BBC-sorozat egy epizódját, amelyet korábban soha nem láttak. Aztán visszafeküdtek a szkennerbe, s elmeséltettük velük a történetet valakinek, aki még nem látta a videót. Tehát, konkrétan: Képzeljük magunk elé a jelenetet, amikor Sherlock beszáll a londoni taxiba, amelyet az általa keresett gyilkos vezet.
With me, as a viewer, there is a specific brain pattern in my brain when I watch it. Now, the exact same pattern, I can reactivate in my brain again by telling the word: Sherlock, London, murderer. And when I'm transmitting these words to your brains now, you have to reconstruct it in your mind. In fact, we see that pattern emerging now in your brains. And we were really surprised to see that the pattern you have now in your brains when I'm describing to you these scenes would be very similar to the pattern I had when I watched this movie a few months ago in the scanner. This starts to tell you about the mechanism by which we can tell stories and transmit information. Because, for example, now you're listening really hard and trying to understand what I'm saying. And I know that it's not easy. But I hope that at one point in the talk we clicked, and you got me. And I think that in a few hours, a few days, a few months, you're going to meet someone at a party, and you're going to tell him about this lecture, and suddenly it will be as if he is standing now here with us. Now you can see how we can take this mechanism and try to transmit memories and knowledge across people, which is wonderful, right?
Miközben nézem, agyamban nézőként egyedi agyi mintázat van jelen. Pontosan ugyanezt a mintázatot előhívhatom az agyamban, ha kiejtem a "Sherlock", "London", "gyilkos" szavakat. Mikor pedig továbbítom e szavakat az önök agyába, önöknek ezt kell újraalkotniuk a saját agyukban. Azt látjuk, hogy az a mintázat most az önök agyában is megjelenik. Nagyon meg voltunk lepődve, mikor azt tapasztaltuk, hogy az agyukban most látható mintázat, – amikor e jeleneteket ismertetem –, nagyon hasonlít a több hónapja a videó nézésekor bennem kialakult, s a szkennerrel észlelt mintázatra. Ez rávilágít arra a mechanizmusra, amellyel történeteket mesélhetünk és információt adhatunk át. Mert például, most feszülten figyelnek, s igyekeznek megérteni, amiről beszélek. Tudom, hogy nem könnyű. De remélem, hogy valahol előadás közben leesett a tantusz, és megértettek. Azt hiszem, hogy pár óra, nap vagy hónap múlva összefutnak valakivel egy buliban, elmesélik neki az előadáson hallottakat, és hirtelen olyan lesz, mintha az illető most itt lenne velünk. Most már látják, hogyan viszünk át emlékképeket és tudást emberről emberre ezzel a mechanizmussal. Ez csodálatos, ugye?
But our ability to communicate relies on our ability to have common ground. Because, for example, if I'm going to use the British synonym "hackney carriage" instead of "cab," I know that I'm going to be misaligned with most of you in the audience. This alignment depends not only on our ability to understand the basic concept; it also depends on our ability to develop common ground and understanding and shared belief systems. Because we know that in many cases, people understand the exact same story in very different ways.
De kommunikációs képességünk a közös alapok birtoklásának képességén nyugszik. Mert például, ha a "taxi" helyett a "bérkocsi" rokon értelmű szót használom, tudom, hogy a jelenlévők zömével félreértjük egymást. Az összehangolódás nemcsak az alapgondolat megértésének képességétől függ, hanem attól a képességünktől is, hogy közös alapot, értelmezést és közös hitrendszert hozzunk létre. Mert tudjuk, hogy az emberek gyakran ugyanazt a történetet más-más módon értik.
So to test it in the lab, we did the following experiment. We took a story by J.D. Salinger, in which a husband lost track of his wife in the middle of a party, and he's calling his best friend, asking, "Did you see my wife?" For half of the subjects, we said that the wife was having an affair with the best friend. For the other half, we said that the wife is loyal and the husband is very jealous. This one sentence before the story started was enough to make the brain responses of all the people that believed the wife was having an affair be very similar in these high-order areas and different than the other group. And if one sentence is enough to make your brain similar to people that think like you and very different than people that think differently than you, think how this effect is going to be amplified in real life, when we are all listening to the exact same news item after being exposed day after day after day to different media channels, like Fox News or The New York Times, that give us very different perspectives on reality.
Ennek vizsgálatára a következő laborkísérletet végeztük. J.D. Salinger egyik elbeszélését vettük, amelyben a férj buli közben szem elől téveszti feleségét, és legjobb barátjától kérdezi: "Nem láttad a feleségem?" Az alanyok felének azt mondtuk, hogy a nőnek viszonya van ezzel a legjobb baráttal. A másik felének pedig azt, hogy a nő hűséges, csak a férj féltékeny természetű. Ez az egyetlen mondat a történet elhangzása előtt elég volt, hogy mindenki agyi reagálását, aki elhitte, hogy a nőnek viszonya van, a magasabb rendű területeken igen hasonlóvá tegye, de egyben különbözővé a másik csoportétól. Ha egy mondat elég, hogy agyunkat hasonlóvá tegye a hozzánk hasonlóan gondolkodókéhoz, és nagyon mássá a tőlünk eltérően gondolkodókéhoz képest, gondoljanak bele, hogy ez a hatás a valóságban mennyire fölerősödik, amikor ugyanazt a hírt halljuk nap mint nap, folyton, más-más hírforrásokból, pl. a Fox Newsból vagy a The New York Timesból, melyek nagyon másként láttatják a valóságot.
So let me summarize. If everything worked as planned tonight, I used my ability to vocalize sound to be coupled to your brains. And I used this coupling to transmit my brain patterns associated with my memories and ideas into your brains. In this, I start to reveal the hidden neural mechanism by which we communicate. And we know that in the future it will enable us to improve and facilitate communication. But these studies also reveal that communication relies on a common ground. And we have to be really worried as a society if we lose this common ground and our ability to speak with people that are slightly different than us because we let a few very strong media channels take control of the mic, and manipulate and control the way we all think. And I'm not sure how to fix it because I'm only a scientist. But maybe one way to do it is to go back to the more natural way of communication, which is a dialogue, in which it's not only me speaking to you now, but a more natural way of talking, in which I am speaking and I am listening, and together we are trying to come to a common ground and new ideas. Because after all, the people we are coupled to define who we are. And our desire to be coupled to another brain is something very basic that starts at a very early age.
Összefoglalva, ha ma este minden a terv szerint alakult, hangformálási képességemet a kiejtett hang agyukba juttatására használtam. Ezt a kapcsolatot arra használtam, hogy agyam emlékképekkel és gondolatokkal összefüggő mintázatait az önök agyába továbbítsam. Ezzel tárom föl azt a rejtett idegi mechanizmust, amely által kommunikálunk. És tudjuk, ennek segítségével a jövőben javíthatjuk és megkönnyíthetjük a kommunikációt. Ám e kutatások azt is föltárták, hogy a kommunikáció közös alapokon áll. Társadalomként tényleg figyelnünk kell rá, hogy elveszítjük e közös alapot és azon képességünket, hogy szót értsünk a tőlünk kissé eltérően gondolkodókkal, ha hagyjuk, hogy egy pár nagyon erős médiacsatorna uralja a mikrofont, manipulálja és irányítsa a gondolkodásmódunkat. Nem tudom, mi a megoldás, mert én csak egy kutató vagyok. De talán az egyik lehetőség visszatérni egy természetesebb kommunikációs módhoz, a párbeszédhez, amelyben nemcsak én beszélek önökhöz, hanem a társalgás természetesebb módján – beszélek is és figyelek is, és együtt törekszünk közös nevezőre és új gondolatokra jutni. Hiszen végtére is tőlünk, emberektől függ, hogy eldöntsük, mik vagyunk. A vágyunk, hogy egy másik agyhoz kapcsolódjunk, nagyon alapvető, s ez már zsenge korban kezdődik.
So let me finish with an example from my own private life that I think is a good example of how coupling to other people is really going to define who we are.
Előadásomat egy magánéleti történettel zárom, amely jól példázza, hogy a másik emberhez történő kapcsolódás valóban meghatározza, hogy mik vagyunk.
This my son Jonathan at a very early age. See how he developed a vocal game together with my wife, only from the desire and pure joy of being coupled to another human being.
Ő Jonathan, a fiam, nagyon apró korában. Nézzék, feleségemmel hogyan bontakoztat ki egy hangokra épülő játékot, csak vágyára és a tiszta örömre alapozva, hogy másik emberi lényhez kapcsolódhat.
(Both vocalizing)
(Mindketten hangot adnak ki)
(Laughter)
(Nevetés)
Now, think how the ability of my son to be coupled to us and other people in his life is going to shape the man he is going to become. And think how you change on a daily basis from the interaction and coupling to other people in your life.
Gondoljanak bele, hogyan fogja fiamnak a képessége a hozzánk és másokhoz való kapcsolódásra formálni azt az embert, amivé válni fog. Gondoljanak bele, hogyan változnak önök napról napra a környezetükben lévőkhöz fűződő kapcsolatuk révén.
So keep being coupled to other people. Keep spreading your ideas, because the sum of all of us together, coupled, is greater than our parts.
Ezért kapcsolódjanak továbbra is másokhoz. Terjesszék a gondolataikat, mert együtt, összekapcsolva többek vagyunk, mint csupán a részek összessége.
Thank you.
Köszönöm.
(Applause)
(Taps)