The kind of neuroscience that I do and my colleagues do is almost like the weatherman. We are always chasing storms. We want to see and measure storms -- brainstorms, that is. And we all talk about brainstorms in our daily lives, but we rarely see or listen to one. So I always like to start these talks by actually introducing you to one of them.
Az a fajta idegtudomány, amivel a munkatársaim és én foglalkozunk, majdnem olyan, mint egy meteorológus munkája. Állandóan viharokat hajszolunk. Látni és mérni szeretnénk ilyen viharokat, agyhullámok formájában. Mindannyian naponta beszélünk agyhullámokról, de ritkán szoktuk őket látni vagy hallani. Ezért az ilyen beszédeket szeretem mindig azzal kezdeni, hogy bemutatok önöknek egy ilyen hullámot.
Actually, the first time we recorded more than one neuron -- a hundred brain cells simultaneously -- we could measure the electrical sparks of a hundred cells in the same animal, this is the first image we got, the first 10 seconds of this recording. So we got a little snippet of a thought, and we could see it in front of us.
Valójában, az első alkalommal, amikor egy neuronnál többet sikerült rögzítenünk, több száz agysejtet egyidejűleg, mérni tudtuk száz sejt elektromos kisülését ugyanabban az állatban, és ez volt az első kép, amit kaptunk a rögzítés első 10 másodpercében. Így elkaptunk egy gondolatfoszlányt, és láthattuk azt magunk előtt.
I always tell the students that we could also call neuroscientists some sort of astronomer, because we are dealing with a system that is only comparable in terms of number of cells to the number of galaxies that we have in the universe. And here we are, out of billions of neurons, just recording, 10 years ago, a hundred. We are doing a thousand now. And we hope to understand something fundamental about our human nature. Because, if you don't know yet, everything that we use to define what human nature is comes from these storms, comes from these storms that roll over the hills and valleys of our brains and define our memories, our beliefs, our feelings, our plans for the future. Everything that we ever do, everything that every human has ever done, do or will do, requires the toil of populations of neurons producing these kinds of storms.
Mindig el szoktam mondani a diákjaimnak, hogy az idegkutatót egyfajta csillagásznak is tekinthetjük, mert egy olyan rendszerrel dolgozik, amiben nagyságrendileg a sejtek száma csupán a világegyetemben lévő galaxisok számához hasonlítható. És itt voltunk mi, a milliárdnyi neuronból, 10 évvel ezelőtt, épp csak száznyit rögzítve. Ma már úgy ezerrel dolgozunk. És reméljük, hogy megérthetünk valami alapvetőt az emberi természetről. Mert, ha még nem tudják, minden, ami az emberi természet meghatározója, ezekből a hullámokból származik, ezekből a hullámokból, amik hegyeken és völgyeken kelnek át az agyunkban, hogy meghatározzák az emlékeinket, meggyőződéseinket, érzelmeinket, és a jövőbeli terveinket. Mindenhez, amit valaha csinálunk, mindenhez, amit minden egyes ember valaha tett, tesz vagy tenni fog, elengedhetetlenek ezek a tengernyi neuron fáradozása eredményeképp keletkezett hullámok.
And the sound of a brainstorm, if you've never heard one, is somewhat like this. You can put it louder if you can. My son calls this "making popcorn while listening to a badly-tuned A.M. station." This is a brain. This is what happens when you route these electrical storms to a loudspeaker and you listen to a hundred brain cells firing, your brain will sound like this -- my brain, any brain. And what we want to do as neuroscientists in this time is to actually listen to these symphonies, these brain symphonies, and try to extract from them the messages they carry.
És ezeknek a hullámoknak a hangja, ha még nem hallották, valahogy így hangzik. Felhangosíthatják, ha lehetséges. A fiam ezt úgy hívja: kukorica-pattogtatás egy rosszul hangolt rádióállomást hallgatva. Ez az agy. Ez történik, amikor ezeket az elektromos hullámokat hangszóróhoz kapcsoljuk, és azon száz agysejt kisülését hallgatjuk, így fog az agy hangzani -- az én agyam, bármely agy. És amit neurológusként tenni szeretnénk, most az, hogy meghallgatjuk ezeket a szimfóniákat, ezeket az agyszimfóniákat, és megkíséreljük kivonni belőlük az üzeneteket, amit hordoznak.
In particular, about 12 years ago we created a preparation that we named brain-machine interfaces. And you have a scheme here that describes how it works. The idea is, let's have some sensors that listen to these storms, this electrical firing, and see if you can, in the same time that it takes for this storm to leave the brain and reach the legs or the arms of an animal -- about half a second -- let's see if we can read these signals, extract the motor messages that are embedded in it, translate it into digital commands and send it to an artificial device that will reproduce the voluntary motor wheel of that brain in real time. And see if we can measure how well we can translate that message when we compare to the way the body does that.
Pontosabban, körülbelül 12 évvel ezelőtt létrehoztunk egy készüléket, amit agy-gép csatolófelületnek neveztünk el. Itt egy vázlat, ami bemutatja a működését. Az ötlet az volt, hogy vegyünk néhány érzékelőt, amikkel rögzítjük ezeket a hullámokat, elektromos kisüléseket, majd nézzük meg ha lehet, attól a pillanattól kezdve, ahogy a hullám elhagyja az agyat, addig, míg eléri az állat végtagjait -- körülbelül fél másodperc -- tehát nézzük meg, hogy tudjuk-e olvasni ezeket a jeleket, ki tudjuk-e vonni bennük hordozott motorikai üzeneteket, le tudjuk-e azokat fordítani digitális parancsokra, egy olyan mesterséges készülékbe továbbítva azt, ami reprodukálni tudja azt a szándékos motorikai vezérlést, amelyet az agy valós időben éppen végez. Kideríteni, hogy mérni tudjuk-e, mennyire jól sikerült az üzenetet lefordítása, összehasonlítva azzal, ahogy az emberi test végzi.
And if we can actually provide feedback, sensory signals that go back from this robotic, mechanical, computational actuator that is now under the control of the brain, back to the brain, how the brain deals with that, of receiving messages from an artificial piece of machinery.
És azt is, hogy tudunk-e visszajelzést küldeni, érzékelési jeleket ezen robotikai, mechanikai, számítógépes szerkezetből, amit most az agy irányít, vissza az agyba. Hogyan fogja az agy azt kezelni, hogy egy mesterséges gépezet által küldött üzeneteket fogad.
And that's exactly what we did 10 years ago. We started with a superstar monkey called Aurora that became one of the superstars of this field. And Aurora liked to play video games. As you can see here, she likes to use a joystick, like any one of us, any of our kids, to play this game. And as a good primate, she even tries to cheat before she gets the right answer. So even before a target appears that she's supposed to cross with the cursor that she's controlling with this joystick, Aurora is trying to find the target, no matter where it is. And if she's doing that, because every time she crosses that target with the little cursor, she gets a drop of Brazilian orange juice. And I can tell you, any monkey will do anything for you if you get a little drop of Brazilian orange juice. Actually any primate will do that. Think about that.
Pontosan ezzel foglalkoztunk 10 éve. Egy szupersztár majommal kezdtük, akit Aurórának hívnak, aki a kutatási területünk egyik szupersztárjává vált. Auróra szeretett videojátékokat játszani. Amint itt láthatják, botkormányt szeret használni ehhez a játékhoz, mint mi is, mint a gyerekeink is. És mint egy igazi főemlős, ő is igyekszik csalni, mielőtt megtalálná a helyes megoldást. Mielőtt még megjelenne a cél, amin keresztül kellene haladnia a kurzorral, amit a botkormánnyal irányít, Auróra megpróbálja előre megtalálni a célt, függetlenül attól, hogy merre van. És amikor ez sikerül neki, minden alkalommal, amikor áthalad a célon a kis kurzorral, kap egy cseppnyi brazil narancslevet. És elárulom önöknek, egy majom bármit megtesz önöknek egy cseppnyi brazil narancsléért. Ami azt illeti, minden főemlős megtesz bármit. Gondolkozzanak ezen.
Well, while Aurora was playing this game, as you saw, and doing a thousand trials a day and getting 97 percent correct and 350 milliliters of orange juice, we are recording the brainstorms that are produced in her head and sending them to a robotic arm that was learning to reproduce the movements that Aurora was making. Because the idea was to actually turn on this brain-machine interface and have Aurora play the game just by thinking, without interference of her body. Her brainstorms would control an arm that would move the cursor and cross the target. And to our shock, that's exactly what Aurora did. She played the game without moving her body.
Nos, míg Auróra ezt a játékot játszotta, amint láthatták, naponta több ezer próbálkozással, 97 százalékos pontossággal, 350 milliliter narancslevet szerezve, mi ezalatt rögzítettük a fejében keletkező agyhullámokat, és átküldtük őket egy robotkarba, ami szép lassan megtanulta utánozni Auróra mozdulatait. Mert az ötlet az volt, hogy bekapcsoljuk ezt az agy-gép csatolófelületet, és rávesszük Aurórát, hogy csupán a gondolatait használva játsszon a játékkal, testmozgás nélkül. Az agyhullámai irányítanának egy kezet, és ez a kéz mozgatná a kurzort a célig. És meglepetésünkre, Auróra pontosan ezt tette. Úgy játszotta a játékot, hogy nem mozdította meg a testét.
So every trajectory that you see of the cursor now, this is the exact first moment she got that. That's the exact first moment a brain intention was liberated from the physical domains of a body of a primate and could act outside, in that outside world, just by controlling an artificial device. And Aurora kept playing the game, kept finding the little target and getting the orange juice that she wanted to get, that she craved for.
Minden pálya, amit most látnak, hogy a kurzor leír, az első alkalommal volt látható, amikor ő ezt sikeresen megcsinálta. Ez éppen az első alkalom, amint egy agyi akarat különvált egy főemlős testi mozgásától, és azon kívül működhetett, a külvilágban, csupán egy mesterséges szerkezet irányításával. És Auróra tovább játszott, továbbra is eltalálta a célpontot a narancsléért cserébe, amit szeretett, amire vágyott.
Well, she did that because she, at that time, had acquired a new arm. The robotic arm that you see moving here 30 days later, after the first video that I showed to you, is under the control of Aurora's brain and is moving the cursor to get to the target. And Aurora now knows that she can play the game with this robotic arm, but she has not lost the ability to use her biological arms to do what she pleases. She can scratch her back, she can scratch one of us, she can play another game. By all purposes and means, Aurora's brain has incorporated that artificial device as an extension of her body. The model of the self that Aurora had in her mind has been expanded to get one more arm.
Azért volt képes erre, mert abban a pillanatban szert tett egy új karra. A robotkart, amit itt mozogni látnak, 30 nappal az imént mutatott első videofelvétel után, Auróra agya irányítja, és az mozgatja a kurzort a célig. És Auróra immár tudja, hogy ezzel a robotkarral is játszhatja a játékot, de nem veszítette el a képességet, hogy a biológiai kezeit továbbra is arra használja, amire szeretné. Megvakarhatja a hátát vagy valakit közülünk, játszhat egy másik játékot. Minden szempontból és értelemben Auróra agya befogadta ezt a mesterséges szerkezetet, a teste kiterjesztéseként. A modell, amit Auróra magáról kialakított a képzeletében, kibővült még egy karral.
Well, we did that 10 years ago. Just fast forward 10 years. Just last year we realized that you don't even need to have a robotic device. You can just build a computational body, an avatar, a monkey avatar. And you can actually use it for our monkeys to either interact with them, or you can train them to assume in a virtual world the first-person perspective of that avatar and use her brain activity to control the movements of the avatar's arms or legs.
Nos, ezzel foglalkoztunk 10 évvel ezelőtt. Most ugorjunk előre 10 évet. Épp a múlt évben jöttünk rá arra, hogy nincs is igazából szükség a robotszerkezetre. Építhetünk csupán egy számítógépes testet, egy avatárt, egy majom avatárt. És ezt arra használhatjuk, hogy például a majmok interakcióba lépjenek a segítségével, vagy pedig arra taníthatjuk őket, hogyan vegyék magukra ezt az avatárt a virtuális világban, saját szemszögükből nézve. Majd az agyi aktivitásukat használva hogyan irányítsák az avatár végtagjainak mozgását.
And what we did basically was to train the animals to learn how to control these avatars and explore objects that appear in the virtual world. And these objects are visually identical, but when the avatar crosses the surface of these objects, they send an electrical message that is proportional to the microtactile texture of the object that goes back directly to the monkey's brain, informing the brain what it is the avatar is touching. And in just four weeks, the brain learns to process this new sensation and acquires a new sensory pathway -- like a new sense. And you truly liberate the brain now because you are allowing the brain to send motor commands to move this avatar. And the feedback that comes from the avatar is being processed directly by the brain without the interference of the skin.
Amit csináltunk, valójában az volt, hogy arra képeztük az állatokat, hogy hogyan tanulhatják meg irányítani ezeket az avatárokat, hogy a virtuális világban megjelenő tárgyakkal dolgozni tudjanak. Ezek a tárgyak látszólag egyformák, de amikor az avatár áthalad a felületükön, egy elektromos üzenetet küldenek, ami megegyezik a szövetük tapintásának mikroszkopikus finomságú érzetével, ami ezután visszajut közvetlenül a majom agyába, jelezvén az agynak, mi is az, amit az éppen megérint. És csupán négy hét elteltével az agy megtanulja értelmezni ezeket az új észleléseket, és egy új észlelési útvonalat fejleszt ki -- egy új érzékszervet. És ezzel valóban függetlenítjük az agyat, mivel lehetővé tesszük számára, hogy motorikai parancsok kiküldésével mozgassa az avatárt. És a visszajelzést, ami az avatártól jön, egyenesen az agy dolgozza fel, anélkül, hogy a bőr közrejátszana a folyamatban.
So what you see here is this is the design of the task. You're going to see an animal basically touching these three targets. And he has to select one because only one carries the reward, the orange juice that they want to get. And he has to select it by touch using a virtual arm, an arm that doesn't exist. And that's exactly what they do.
Amit itt látnak, az a feladat felépítése. Látni fogják, amint az állat tulajdonképpen megérinti ezt a három célpontot. Egyet ki kell választania, mivel csak az egyikért jár jutalom, a narancslé, amit meg akar szerezni. Úgy kell kiválasztania, hogy megérinti egy virtuális, nem létező kéz használatával. És pontosan így is fog tenni.
This is a complete liberation of the brain from the physical constraints of the body and the motor in a perceptual task. The animal is controlling the avatar to touch the targets. And he's sensing the texture by receiving an electrical message directly in the brain. And the brain is deciding what is the texture associated with the reward. The legends that you see in the movie don't appear for the monkey. And by the way, they don't read English anyway, so they are here just for you to know that the correct target is shifting position. And yet, they can find them by tactile discrimination, and they can press it and select it.
Ez az agy teljes mértékű függetlenítése a test és a mozgás-irányítás fizikai kényszereitől egy érzékelési feladat során. Az állat irányítja az avatárt, hogy vele megérintse a célpontokat. És közvetlenül az agyba érkező elektromos üzenetek által érzékeli a felületük mintáját. És az agy eldönti, melyik felületminta jár jutalommal. Az ábrafeliratok, amit a felvételen látnak, nem jelenik meg a majomnak. És különben is, amúgy sem tudnak angolul olvasni, csupán azért vannak ott, hogy önök tudják, hogy a helyes célpont helyet változtat. És mégis, ők képesek tapintás alapján megkülönböztetve megtalálni, megnyomni, és kiválasztani azt.
So when we look at the brains of these animals, on the top panel you see the alignment of 125 cells showing what happens with the brain activity, the electrical storms, of this sample of neurons in the brain when the animal is using a joystick. And that's a picture that every neurophysiologist knows. The basic alignment shows that these cells are coding for all possible directions. The bottom picture is what happens when the body stops moving and the animal starts controlling either a robotic device or a computational avatar. As fast as we can reset our computers, the brain activity shifts to start representing this new tool, as if this too was a part of that primate's body. The brain is assimilating that too, as fast as we can measure.
Amikor megfigyeljük ezeknek az állatoknak az agyát, a felső panelen 125 sejt elhelyezkedését láthatjuk, megfigyelhető, mi történik az agyi aktivitás során, ill. ezen neuronminták elektromos hullámaival az agyban, miközben az állat a botkormányt használja. Ez az a kép, amit minden neurofiziológus ismer. Az alap elhelyezkedés megmutatja, hogy ezek a sejtek minden lehetséges irányt kódolnak. Az alsó kép mutatja, mi történik, amikor a test megáll a mozgásban, és az állat elkezdi akár a robot-szerkezetet, akár a számítógépes avatárt irányítani. Olyan gyorsan, mint ahogy újra lehet indítani számítógépeinket, az agy aktivitása átfordul az új eszköznek megfelelően, mintha ez az eszköz a főemlős testének része lenne. Az agy is feldolgozza ezt, amilyen sebességgel csak mérni tudjuk.
So that suggests to us that our sense of self does not end at the last layer of the epithelium of our bodies, but it ends at the last layer of electrons of the tools that we're commanding with our brains. Our violins, our cars, our bicycles, our soccer balls, our clothing -- they all become assimilated by this voracious, amazing, dynamic system called the brain.
Ez tehát azt sugallja, hogy a felfogásunk saját magunkról nem ér véget a testünk legkülső hámszövetének felületénél, hanem az agyunkkal írányított szerkezetek utolsó elektonjainál végződik. Hegedűink, autóink, kerékpárjaink, focilabdánk, ruházatunk -- mindezek részévé válnak ennek a mohó, elképesztő, dinamikus rendszernek, amit agynak nevezünk.
How far can we take it? Well, in an experiment that we ran a few years ago, we took this to the limit. We had an animal running on a treadmill at Duke University on the East Coast of the United States, producing the brainstorms necessary to move. And we had a robotic device, a humanoid robot, in Kyoto, Japan at ATR Laboratories that was dreaming its entire life to be controlled by a brain, a human brain, or a primate brain.
Milyen messzire juthatunk ezzel? Nos, egy néhány évvel ezelőtt végzett kísérlet során ezt a végső határokig kitoltuk. Egy taposómalmon futó állatot figyeltünk meg a Duke Egyetemen, az Egyesült Államok keleti partján, mely a mozgáshoz szükséges agyhullámok forrásául szolgált. Volt egy robotszerkezetünk, egy ember alakú robot, Japánban, a kiotói ATR Laboratóriumban, aminek egyetlen vágya egész életében az volt, hogy egy agy irányítsa, egy emberi agy, vagy egy főemlős agya.
What happens here is that the brain activity that generated the movements in the monkey was transmitted to Japan and made this robot walk while footage of this walking was sent back to Duke, so that the monkey could see the legs of this robot walking in front of her. So she could be rewarded, not by what her body was doing but for every correct step of the robot on the other side of the planet controlled by her brain activity.
Itt az történik, hogy a majom mozgása által keltett agyi aktivitást átküldjük Japánba, amitől ez a robot járni kezd, s ennek képét visszaküldjük a Duke Egyetemre, így a majom maga előtt láthatta mozogni a robot lábait. Így nem azért kaphatott jutalmat, amit a saját testével végzett, hanem minden egyes olyan sikeres lépésért, melyet a robot tett a világ másik felén az ő agyának az irányítása alatt.
Funny thing, that round trip around the globe took 20 milliseconds less than it takes for that brainstorm to leave its head, the head of the monkey, and reach its own muscle. The monkey was moving a robot that was six times bigger, across the planet. This is one of the experiments in which that robot was able to walk autonomously. This is CB1 fulfilling its dream in Japan under the control of the brain activity of a primate.
Érdekesség, hogy ez a világkörüli út 20 milliszekundummal rövidebb ideig tartott, mint amennyi idő alatt az agyhullám a majom fejének elhagyása után elérné a saját izmait. A majom mozgatni tudta a robotot, a világ másik végéről, ami hatszor nagyobb volt nála, Ez egy azon a kísérletek közül, amelyek során a robot önállóan tudott járni. Ez a CB1 álmainak a beteljesülése Japánban egy főemlős agyának irányítása alatt.
So where are we taking all this? What are we going to do with all this research, besides studying the properties of this dynamic universe that we have between our ears? Well the idea is to take all this knowledge and technology and try to restore one of the most severe neurological problems that we have in the world. Millions of people have lost the ability to translate these brainstorms into action, into movement. Although their brains continue to produce those storms and code for movements, they cannot cross a barrier that was created by a lesion on the spinal cord.
És most mit fogunk kezdeni mindezzel? Mit fogunk kezdeni mindezzel a kutatási eredménnyel, azon kívül, hogy tanulmányozzuk ezt a mozgalmas univerzumot, ami a füleink között rejlik? Nos, az ötlet az, hogy ezt a tudást és technológiát a világ egyik legsúlyosabb neurológiai károsodásának helyreállítására használjuk. Milliók veszítették el a képességet, hogy ezeket az agyhullámokat cselekvéssé, mozgássá alakítsák. Bár az agyuk továbbra is képes a mozgáshoz szükséges ilyen hullámok és kódok kibocsátására, azok nem tudnak átjutni egy, a gerincvelőn lévő, sérülés okozta akadályon.
So our idea is to create a bypass, is to use these brain-machine interfaces to read these signals, larger-scale brainstorms that contain the desire to move again, bypass the lesion using computational microengineering and send it to a new body, a whole body called an exoskeleton, a whole robotic suit that will become the new body of these patients.
Tehát a mi ötletünk az, hogy egy kerülőutat hozzunk létre, majd ezekkel az agy-gép csatolófelületekkel olvassuk ezeket jeleket, nagyobb léptékű agyhullámokat, amikben az újra-mozgás iránti vágy rejlik, számítógépes mérnöki mikrotechnikával megkerüljük az akadályt, és egy új testbe küldjük őket, egy ép testbe, amit mesterséges külső váznak nevezünk, egy komplett robotöltözékbe, ami az ilyen betegek új testévé válik.
And you can see an image produced by this consortium. This is a nonprofit consortium called the Walk Again Project that is putting together scientists from Europe, from here in the United States, and in Brazil together to work to actually get this new body built -- a body that we believe, through the same plastic mechanisms that allow Aurora and other monkeys to use these tools through a brain-machine interface and that allows us to incorporate the tools that we produce and use in our daily life. This same mechanism, we hope, will allow these patients, not only to imagine again the movements that they want to make and translate them into movements of this new body, but for this body to be assimilated as the new body that the brain controls.
Itt láthatják a képet, amit ez a konzorcium készített. Ez a nonprofit konzorcium a "Walk Again Project", [Újra Jársz Projekt] mely tudósokat hoz össze Európából, innen az Egyesült Államokból, hogy Brazíliában együtt dolgozzanak ezen új test tényleges megépítésén -- egy olyan testen, ami reményeink szerint, azon formálható mechanizmusok használatával, melyek Auróra és más majmok számára is lehetővé tették az eszközök agy-gép csatolófelület általi irányítását, elérhetővé teszi, hogy a mindennapi életünk során használt és készített eszközöket a test részeként használhassuk. Ugyanaz a mechanizmus, reményeink szerint, lehetővé teszi majd az ilyen betegeknek, hogy nemcsak újra elképzelhessék a megtenni kívánt mozgásokat, és lefordítsák mozgássá ebben az új testben, hanem hogy ezt a testet az agyuk is befogadja, mint használható, irányítható részét a testüknek.
So I was told about 10 years ago that this would never happen, that this was close to impossible. And I can only tell you that as a scientist, I grew up in southern Brazil in the mid-'60s watching a few crazy guys telling [us] that they would go to the Moon. And I was five years old, and I never understood why NASA didn't hire Captain Kirk and Spock to do the job; after all, they were very proficient -- but just seeing that as a kid made me believe, as my grandmother used to tell me, that "impossible is just the possible that someone has not put in enough effort to make it come true."
10 évvel ezelőtt azt mondták nekem, hogy ez sohasem fog megtörténni, hogy ez a lehetetlenség határát súrolja. Erre tudósként csak annyit mondok önöknek, hogy Brazília déli részén nőttem fel a 60-as évek közepén, s néztem, ahogy pár őrült fazon azt állította, hogy eljutnak a Holdra. Öt éves voltam akkor, és sosem értettem, hogy a NASA miért nem Kirk kapitányt és Spockot bízta meg a munkával; elvégre ők igencsak jártasak voltak ebben; de csupán az, hogy gyerekként láttam ezt, segített hinnem abban, amit a nagymamám is gyakorta mondott nekem, hogy "a lehetetlen csupán az a lehetséges, amiért valaki még nem tett kellő erőfeszítést, hogy valóra váltsa".
So they told me that it's impossible to make someone walk. I think I'm going to follow my grandmother's advice.
Azt mondták nekem tehát, hogy lehetetlen valaki számára újra lehetővé tenni, hogy járjon. Úgy gondolom, a nagymamám tanácsát fogom követni.
Thank you.
Köszönöm.
(Applause)
(Taps)