Other people. Everyone is interested in other people. Everyone has relationships with other people, and they're interested in these relationships for a variety of reasons. Good relationships, bad relationships, annoying relationships, agnostic relationships, and what I'm going to do is focus on the central piece of an interaction that goes on in a relationship. So I'm going to take as inspiration the fact that we're all interested in interacting with other people, I'm going to completely strip it of all its complicating features, and I'm going to turn that object, that simplified object, into a scientific probe, and provide the early stages, embryonic stages of new insights into what happens in two brains while they simultaneously interact.
Andere mensen. Iedereen heeft interesse voor andere mensen. Iedereen heeft relaties met anderen en ze zijn in die relaties geïnteresseerd om verschillende redenen. Goede relaties, slechte relaties, vervelende relaties, neutrale relaties. Ik ga focussen op het centrale deel van de interactie in een relatie. Mijn inspiratie is het feit dat wij allen geïnteresseerd zijn in interactie met andere mensen. Ik verwijder alle complicerende factoren en ik zal dat vereenvoudigd object aan wetenschappelijke toetsing onderwerpen om de embryonale stadia te tonen van nieuwe inzichten in wat gebeurt als twee breinen tegelijk interageren. om de embryonale stadia te tonen van nieuwe inzichten in wat gebeurt als twee breinen tegelijk interageren.
But before I do that, let me tell you a couple of things that made this possible. The first is we can now eavesdrop safely on healthy brain activity. Without needles and radioactivity, without any kind of clinical reason, we can go down the street and record from your friends' and neighbors' brains while they do a variety of cognitive tasks, and we use a method called functional magnetic resonance imaging. You've probably all read about it or heard about in some incarnation. Let me give you a two-sentence version of it. So we've all heard of MRIs. MRIs use magnetic fields and radio waves and they take snapshots of your brain or your knee or your stomach, grayscale images that are frozen in time. In the 1990s, it was discovered you could use the same machines in a different mode, and in that mode, you could make microscopic blood flow movies from hundreds of thousands of sites independently in the brain. Okay, so what? In fact, the so what is, in the brain, changes in neural activity, the things that make your brain work, the things that make your software work in your brain, are tightly correlated with changes in blood flow. You make a blood flow movie, you have an independent proxy of brain activity.
Vooraf vertel ik jullie een paar dingen die dit mogelijk maakten. We kunnen nu veilig gaan luistervinken bij de activiteit van een gezond brein. Zonder naalden en radioactiviteit, zonder klinische reden kunnen we de straat opgaan en opnames maken van het brein van je vrienden en buren terwijl ze een reeks cognitieve taken afwerken. Daarvoor gebruiken we functionele magnetische resonantie-beeldvorming (FMRI). Daar heb je wellicht al van gehoord. Ik vat het in twee zinnen voor jullie samen. We hebben allemaal gehoord van MRI's, die magnetische velden gebruiken en radiogolven om foto's van je brein te nemen, of je knie, of je maag, grijswaardenbeelden die bevroren zijn in de tijd. In de jaren 90 ontdekte men dat je die machines in een andere modus kon gebruiken, en microscopische bloedstroomfilmpjes die machines in een andere modus kon gebruiken, en microscopische bloedstroomfilmpjes kon maken van ontelbare plaatsen in het brein, onafhankelijk van elkaar. En wat dan nog? In je brein zijn de veranderingen in neurale activiteit, wat je brein doet werken, wat de software in je brein doet werken, sterk gecorreleerd met wijzigingen in de bloedstroom. Je maakt een filmpje van de bloedstroom en je hebt een onafhankelijke alias voor breinactiviteit. Je maakt een filmpje van de bloedstroom en je hebt een onafhankelijke alias voor breinactiviteit.
This has literally revolutionized cognitive science. Take any cognitive domain you want, memory, motor planning, thinking about your mother-in-law, getting angry at people, emotional response, it goes on and on, put people into functional MRI devices, and image how these kinds of variables map onto brain activity. It's in its early stages, and it's crude by some measures, but in fact, 20 years ago, we were at nothing. You couldn't do people like this. You couldn't do healthy people. That's caused a literal revolution, and it's opened us up to a new experimental preparation. Neurobiologists, as you well know, have lots of experimental preps, worms and rodents and fruit flies and things like this. And now, we have a new experimental prep: human beings. We can now use human beings to study and model the software in human beings, and we have a few burgeoning biological measures.
Dit was een revolutie in de cognitieve wetenschap. Neem om het even welk cognitief domein, geheugen, bewegingsplanning, denken aan je schoonmoeder, boos worden, emotionele respons, enzovoort -- stop mensen in functionele MRI-toestellen en bekijk hoe deze variabelen overeenkomen met breinactiviteit. Het zijn de eerste stappen en het is nog ruw, maar 20 jaar geleden stonden we nergens. Je kon geen gezonde mensen bekijken. Dat heeft voor een revolutie gezorgd en nieuwe proeven mogelijk gemaakt. Neurobiologen hebben vele proeven, met wormen en knaagdieren en fruitvliegjes en zo. Nu is er een nieuw proefdier: de mens. We kunnen nu mensen gebruiken voor het bestuderen en modelleren van de software in mensen en we hebben een paar ontluikende biologische meetmethodes.
Okay, let me give you one example of the kinds of experiments that people do, and it's in the area of what you'd call valuation. Valuation is just what you think it is, you know? If you went and you were valuing two companies against one another, you'd want to know which was more valuable. Cultures discovered the key feature of valuation thousands of years ago. If you want to compare oranges to windshields, what do you do? Well, you can't compare oranges to windshields. They're immiscible. They don't mix with one another. So instead, you convert them to a common currency scale, put them on that scale, and value them accordingly. Well, your brain has to do something just like that as well, and we're now beginning to understand and identify brain systems involved in valuation, and one of them includes a neurotransmitter system whose cells are located in your brainstem and deliver the chemical dopamine to the rest of your brain. I won't go through the details of it, but that's an important discovery, and we know a good bit about that now, and it's just a small piece of it, but it's important because those are the neurons that you would lose if you had Parkinson's disease, and they're also the neurons that are hijacked by literally every drug of abuse, and that makes sense. Drugs of abuse would come in, and they would change the way you value the world. They change the way you value the symbols associated with your drug of choice, and they make you value that over everything else.
Ik geef je een voorbeeld van een experiment. Het betreft zogenaamde 'waardering'. Waardering is wat je denkt. Als je twee bedrijven ten opzichte van elkaar waardeert, wil je weten welk bedrijf meer waarde heeft. Culturen hebben het basiskenmerk ervan al duizenden jaren begrepen. Als je sinaasappels met autoruiten wil vergelijken, wat doe je dan? Dat gaat niet. Je kan ze niet met elkaar mengen. Dus zet je ze om in een gemeenschappelijke munt, zet je ze op een schaal en waardeer je ze. Je brein moet iets dergelijks doen. We beginnen de breinsystemen die bij waardering betrokken zijn, te begrijpen en te identificeren. We beginnen de breinsystemen die bij waardering betrokken zijn, te begrijpen en te identificeren. Het gaat onder meer om een neurotransmittersysteem met cellen in je hersenstam die het chemisch element dopamine afgeven aan de rest van je brein. Ik bespaar jullie de details, maar dat is een belangrijke ontdekking die we al goed kennen. Ik bespaar jullie de details, maar dat is een belangrijke ontdekking die we al goed kennen. Het is een klein stukje, maar wel belangrijk want die neuronen raak je kwijt als je de ziekte van Parkinson hebt, en ze worden gekaapt door letterlijk elke verslavende drug, wat logisch is. en ze worden gekaapt door letterlijk elke verslavende drug, wat logisch is. Verslavende drugs veranderen hoe je de wereld waardeert, hoe je de symbolen waardeert die gepaard gaan met de drug van je keuze, ze maken dat je die boven alles stelt.
Here's the key feature though. These neurons are also involved in the way you can assign value to literally abstract ideas, and I put some symbols up here that we assign value to for various reasons. We have a behavioral superpower in our brain, and it at least in part involves dopamine. We can deny every instinct we have for survival for an idea, for a mere idea. No other species can do that. In 1997, the cult Heaven's Gate committed mass suicide predicated on the idea that there was a spaceship hiding in the tail of the then-visible comet Hale-Bopp waiting to take them to the next level. It was an incredibly tragic event. More than two thirds of them had college degrees. But the point here is they were able to deny their instincts for survival using exactly the same systems that were put there to make them survive. That's a lot of control, okay?
Het komt hierop aan: die neuronen bepalen ook hoe je waarde hecht aan abstracte ideeën. Hier zijn enkele symbolen die we waarderen om verschillende redenen. In ons brein zit een gedragssupermacht en daar komt minstens gedeeltelijk dopamine aan te pas. We kunnen elk overlevingsinstinct ontkennen omwille van een idee, gewoon een idee. Geen enkele andere soort kan dat. In 1997 pleegde de sekte Heaven's Gate massaal zelfmoord op basis van het idee van een ruimteschip verborgen in de komeet Hale-Bopp die toen zichtbaar was en die hen naar het volgende niveau zou brengen. Een uiterst tragisch gebeuren. Meer dan twee derden waren universitairen. Het punt is dat ze hun overlevingsinstinct konden ontkennen met exact dezelfde systemen die dienen om te overleven. Dat is veel controle, niet?
One thing that I've left out of this narrative is the obvious thing, which is the focus of the rest of my little talk, and that is other people. These same valuation systems are redeployed when we're valuing interactions with other people. So this same dopamine system that gets addicted to drugs, that makes you freeze when you get Parkinson's disease, that contributes to various forms of psychosis, is also redeployed to value interactions with other people and to assign value to gestures that you do when you're interacting with somebody else.
Wat ik uit het verhaal heb weggelaten, is wat voor de hand ligt, de focus van de rest van mijn talk, andere mensen. Dezelfde waarderingssystemen worden gebruikt als we interactie met anderen waarderen. Hetzelfde dopaminesysteem dat aan drugs verslaaft, dat je doet verstijven als je de ziekte van Parkinson krijgt, dat bijdraagt aan een aantal psychosen, wordt ook gebruikt om interactie met anderen te waarderen en de waarde te bepalen van je gebaren als je interageert met iemand anders.
Let me give you an example of this. You bring to the table such enormous processing power in this domain that you hardly even notice it.
Ik geef je een paar voorbeelden. Je brengt zoveel verwerkingscapaciteit mee op dit gebied, dat je het nauwelijks merkt.
Let me just give you a few examples. So here's a baby. She's three months old. She still poops in her diapers and she can't do calculus. She's related to me. Somebody will be very glad that she's up here on the screen. You can cover up one of her eyes, and you can still read something in the other eye, and I see sort of curiosity in one eye, I see maybe a little bit of surprise in the other.
Dit is een baby. Ze is drie maanden oud. Ze doet het in haar luier en ze kent geen hogere wiskunde. We zijn verwant. Iemand is nu heel blij dat ze hier op het scherm staat. Je kan één van haar ogen bedekken en dan lees je nog steeds iets in het andere oog, een soort nieuwsgierigheid, en in het andere iets van verrassing.
Here's a couple. They're sharing a moment together, and we've even done an experiment where you can cut out different pieces of this frame and you can still see that they're sharing it. They're sharing it sort of in parallel. Now, the elements of the scene also communicate this to us, but you can read it straight off their faces, and if you compare their faces to normal faces, it would be a very subtle cue.
Dit is een koppel. Ze delen een moment samen. We deden een experiment waarbij je stukken van dit beeld kan weglaten en nog steeds zie je dat ze het delen, zowat parallel. De elementen van de scène verraden dit ook, maar je kan het van hun gezicht aflezen. Als je die vergelijkt met normale gezichten, zou het een subtiele aanwijzing zijn.
Here's another couple. He's projecting out at us, and she's clearly projecting, you know, love and admiration at him.
Nog een koppel. Hij projecteert naar ons en zij projecteert duidelijk liefde en bewondering naar hem.
Here's another couple. (Laughter) And I'm thinking I'm not seeing love and admiration on the left. (Laughter) In fact, I know this is his sister, and you can just see him saying, "Okay, we're doing this for the camera, and then afterwards you steal my candy and you punch me in the face." (Laughter) He'll kill me for showing that.
Nog een koppel. (Gelach) En ik denk: ik zie geen liefde en bewondering links. (Gelach) Ik weet dat dit zijn zus is, en je ziet hem zeggen: "We doen dit voor de foto, en daarna steel jij mijn snoep en verkoopt me een klap." (Gelach) Hij vermoordt me omdat ik dit toonde.
All right, so what does this mean? It means we bring an enormous amount of processing power to the problem. It engages deep systems in our brain, in dopaminergic systems that are there to make you chase sex, food and salt. They keep you alive. It gives them the pie, it gives that kind of a behavioral punch which we've called a superpower.
Wat betekent dit? Dat we een enorme verwerkingscapaciteit hebben voor deze kwestie. Het zet systemen diep in ons brein aan het werk, dopaminesystemen die je doen jagen op seks, eten en zout. Ze houden je in leven. Het geeft hun de taart, de soort gedragspunch die we een supermacht noemen.
So how can we take that and arrange a kind of staged social interaction and turn that into a scientific probe? And the short answer is games. Economic games. So what we do is we go into two areas. One area is called experimental economics. The other area is called behavioral economics. And we steal their games. And we contrive them to our own purposes. So this shows you one particular game called an ultimatum game. Red person is given a hundred dollars and can offer a split to blue. Let's say red wants to keep 70, and offers blue 30. So he offers a 70-30 split with blue. Control passes to blue, and blue says, "I accept it," in which case he'd get the money, or blue says, "I reject it," in which case no one gets anything. Okay? So a rational choice economist would say, well, you should take all non-zero offers. What do people do? People are indifferent at an 80-20 split. At 80-20, it's a coin flip whether you accept that or not. Why is that? You know, because you're pissed off. You're mad. That's an unfair offer, and you know what an unfair offer is. This is the kind of game done by my lab and many around the world. That just gives you an example of the kind of thing that these games probe. The interesting thing is, these games require that you have a lot of cognitive apparatus on line. You have to be able to come to the table with a proper model of another person. You have to be able to remember what you've done. You have to stand up in the moment to do that. Then you have to update your model based on the signals coming back, and you have to do something that is interesting, which is you have to do a kind of depth of thought assay. That is, you have to decide what that other person expects of you. You have to send signals to manage your image in their mind. Like a job interview. You sit across the desk from somebody, they have some prior image of you, you send signals across the desk to move their image of you from one place to a place where you want it to be. We're so good at this we don't really even notice it. These kinds of probes exploit it. Okay?
Hoe zetten we daarmee nu sociale interactie op en een wetenschappelijk experiment? Hoe zetten we daarmee nu sociale interactie op en een wetenschappelijk experiment? Het korte antwoord luidt: spellen. Economische spellen, in twee domeinen. Het ene heet experimentele economie, het andere gedragseconomie. We stelen hun spellen en zetten ze in voor ons doel. Dit is een zogenaamd ultimatumspel. De rode persoon krijgt 100 dollar en kan een verdeling voorstellen aan blauw. Rood wil 70 houden en biedt blauw 30. Hij stelt een 70/30-verdeling voor. Blauw is aan zet en zegt: "Ik aanvaard het", waarna hij het geld krijgt, of blauw zegt "Ik weiger het", waarna niemand iets krijgt. Een rationele-keuze-econoom zegt: je moet alle niet-nul-voorstellen aannemen. Wat doen mensen? Ze zijn onverschillig bij een 80/20-verdeling. Bij 80/20 is het kop of munt of je aanvaardt of niet. Waarom is dat? Omdat het je ergert. Je bent boos. Het is een onfair aanbod, en jij weet wat dat is. Dat soort spellen doen mijn lab en vele andere op de wereld. Het is een voorbeeld van het soort dingen die deze spellen aantonen. Het interessante is dat je er een sterk cognitief apparaat voor moet inzetten. Je moet een correct model hebben van een andere persoon. Je moet je kunnen herinneren wat je gedaan hebt. Je moet in de situatie beslissen en je model aanpassen op basis van de signalen die terugkomen. Je moet in de situatie beslissen en je model aanpassen op basis van de signalen die terugkomen. Je moet nog iets doen: een soort analyse van de diepte van de gedachte. Je moet beslissen wat de ander van jou verwacht. Je moet signalen uitsturen om jouw beeld in hun geest te beheren. Zoals bij een sollicitatie. Je zit aan de andere kant van de tafel. Zij hebben een beeld van jou, jij zend signalen naar de overkant om dat beeld bij te sturen in de richting die jij wil. We doen dit zo goed dat we het nauwelijks beseffen. Deze soort proeven buiten dat uit.
In doing this, what we've discovered is that humans are literal canaries in social exchanges. Canaries used to be used as kind of biosensors in mines. When methane built up, or carbon dioxide built up, or oxygen was diminished, the birds would swoon before people would -- so it acted as an early warning system: Hey, get out of the mine. Things aren't going so well. People come to the table, and even these very blunt, staged social interactions, and they, and there's just numbers going back and forth between the people, and they bring enormous sensitivities to it. So we realized we could exploit this, and in fact, as we've done that, and we've done this now in many thousands of people, I think on the order of five or six thousand. We actually, to make this a biological probe, need bigger numbers than that, remarkably so. But anyway, patterns have emerged, and we've been able to take those patterns, convert them into mathematical models, and use those mathematical models to gain new insights into these exchanges. Okay, so what? Well, the so what is, that's a really nice behavioral measure, the economic games bring to us notions of optimal play. We can compute that during the game. And we can use that to sort of carve up the behavior.
Daarbij ontdekten we dat mensen kanaries zijn in sociale uitwisselingen. Daarbij ontdekten we dat mensen kanaries zijn in sociale uitwisselingen. Kanaries werden als biosensoren ingezet in de mijnen. Als methaan of koolstofdioxide zich ophoopte, of er minder zuurstof was, vielen de vogels eerder flauw dan de mensen, dus dit gaf een vroege waarschuwing: maak je uit de voeten, het gaat niet zo goed. Mensen treden aan, en zelfs in deze ruwe, opgezette sociale interacties -- het gaat maar om cijfers die over en weer gaan tussen mensen -- brengen ze enorme gevoeligheid mee. We beseften dat we dit konden uitbuiten. We hebben dit intussen gedaan bij duizenden mensen, ik geloof ongeveer vijf- of zesduizend. Om er een biologische test van te maken heb je grotere getallen nodig, vreemd genoeg. Om er een biologische test van te maken heb je grotere getallen nodig, vreemd genoeg. We zagen patronen verschijnen die we vastlegden in mathematische modellen, die we gebruiken om nieuwe inzichten te verwerven in deze uitwisselingen. Wat dan nog? Wel, dat is leuke gedragsmaatstaf. De economische spellen bieden ons de notie van optimaal spel. We kunnen dat tijdens het spel berekenen. Daarmee kunnen we het gedrag ontleden.
Here's the cool thing. Six or seven years ago, we developed a team. It was at the time in Houston, Texas. It's now in Virginia and London. And we built software that'll link functional magnetic resonance imaging devices up over the Internet. I guess we've done up to six machines at a time, but let's just focus on two. So it synchronizes machines anywhere in the world. We synchronize the machines, set them into these staged social interactions, and we eavesdrop on both of the interacting brains. So for the first time, we don't have to look at just averages over single individuals, or have individuals playing computers, or try to make inferences that way. We can study individual dyads. We can study the way that one person interacts with another person, turn the numbers up, and start to gain new insights into the boundaries of normal cognition, but more importantly, we can put people with classically defined mental illnesses, or brain damage, into these social interactions, and use these as probes of that. So we've started this effort. We've made a few hits, a few, I think, embryonic discoveries. We think there's a future to this. But it's our way of going in and redefining, with a new lexicon, a mathematical one actually, as opposed to the standard ways that we think about mental illness, characterizing these diseases, by using the people as birds in the exchanges. That is, we exploit the fact that the healthy partner, playing somebody with major depression, or playing somebody with autism spectrum disorder, or playing somebody with attention deficit hyperactivity disorder, we use that as a kind of biosensor, and then we use computer programs to model that person, and it gives us a kind of assay of this.
Het leuke is: zes of zeven jaar geleden vormden we een team, destijds in Houston, Texas, nu in Virginia en Londen. We maakten software die functionele MRI-toestellen over het internet verbindt. We hebben tot 6 machines aan elkaar gekoppeld, maar houden het hier bij twee. Het synchroniseert machines overal ter wereld. We synchroniseren, stellen ze in voor onze opgezette sociale interacties en gaan luistervinken bij beide breinen in interactie. Voor het eerst kijken we niet allen naar gemiddelden van individuen, breinen in interactie. Voor het eerst kijken we niet allen naar gemiddelden van individuen, of individuen die spelen op de computer. We bestuderen individuele dyaden, de manier waarop één mens met een andere interageert, we drijven de cijfers op en verwerven nieuwe inzichten in de grenzen van normale cognitie. Belangrijker: we kunnen ook mensen inzetten met klassiek gedefinieerde geestesziekte, of hersenschade, in deze sociale interactie, die als proef dienen. We begonnen ermee en deden een paar embryonale ontdekkingen. We denken dat dit een toekomst heeft. We herdefiniëren, met een nieuw, wiskundig lexicon, We herdefiniëren, met een nieuw, wiskundig lexicon, in plaats van onze standaardvisie op geestesziekte. We karakteriseren de ziekte door de mensen te gebruiken als vogels in de interactie. We gebruiken het feit dat de gezonde partner, die speelt met iemand met een diepe depressie, of met een autismespectrumstoornis, of met ADHD, een soort biosensor is. Dan gebruiken we computerprogramma's om hem te modelleren, wat ons een soort analyse geeft.
Early days, and we're just beginning, we're setting up sites around the world. Here are a few of our collaborating sites. The hub, ironically enough, is centered in little Roanoke, Virginia. There's another hub in London, now, and the rest are getting set up. We hope to give the data away at some stage. That's a complicated issue about making it available to the rest of the world. But we're also studying just a small part of what makes us interesting as human beings, and so I would invite other people who are interested in this to ask us for the software, or even for guidance on how to move forward with that.
We zijn nog maar net gestart en we beginnen overal ter wereld sites op te zetten. Hier zie je een paar van onze partners. De hub is ironisch genoeg gevestigd in het kleine Roanoke, Virginia. Nog een Hub in Londen, en de rest wordt opgezet. We hopen de data weg te geven op een bepaald moment. Een ingewikkelde kwestie, ze beschikbaar maken voor de rest van de wereld. We bestuderen ook een klein deel van wat ons interessant maakt als mensen. Ik wil dus andere geïnteresseerden uitnodigen om ons de software te vragen, of hulp te vragen bij het betreden van dit pad.
Let me leave you with one thought in closing. The interesting thing about studying cognition has been that we've been limited, in a way. We just haven't had the tools to look at interacting brains simultaneously. The fact is, though, that even when we're alone, we're a profoundly social creature. We're not a solitary mind built out of properties that kept it alive in the world independent of other people. In fact, our minds depend on other people. They depend on other people, and they're expressed in other people, so the notion of who you are, you often don't know who you are until you see yourself in interaction with people that are close to you, people that are enemies of you, people that are agnostic to you. So this is the first sort of step into using that insight into what makes us human beings, turning it into a tool, and trying to gain new insights into mental illness. Thanks for having me. (Applause) (Applause)
Dit is mijn slotgedachte voor jullie. Het interessante aan de studie van cognitie was vroeger dat we beperkt waren. We hadden niet de middelen om breinen in interactie te bestuderen, tegelijk. We hadden niet de middelen om breinen in interactie te bestuderen, tegelijk. Het feit is dat we zelfs als we alleen zijn, een diep sociaal wezen zijn. We zijn geen eenzame geest gebaseerd op eigenschappen die hem in leven hielden, onafhankelijk van anderen. Onze geesten hangen van anderen af, zijn in anderen uitgedrukt. Je weet vaak niet wie je bent tot je jezelf ziet in interactie met anderen die dicht bij je staan, mensen die je vijand zijn, mensen die neutraal staan tegenover jou. Dit is de eerste stap in het gebruik van dat inzicht in wat ons mens maakt. We maken er een tool van en proberen inzicht te verwerven in geestesziekte. Bedankt dat ik mocht komen. (Applaus) (Applaus)