I want to start with a game. Okay? And to win this game, all you have to do is see the reality that's in front of you as it really is, all right? So we have two panels here, of colored dots. And one of those dots is the same in the two panels. And you have to tell me which one.
Jag ska börja med en lek. För att vinna den här leken behöver du bara se verkligheten framför dig som den är, okej? Vi har två paneler här, med färgade prickar. En av prickarna är densamma i båda panelerna. Och du ska tala om för mig vilken det är
Now, I narrowed it down to the gray one, the green one, and, say, the orange one. So by a show of hands, we'll start with the easiest one. Show of hands: how many people think it's the gray one? Really? Okay. How many people think it's the green one? And how many people think it's the orange one? Pretty even split.
Vi minskar urvalet till den grå, den gröna och den orangefärgade. Räck upp händerna - vi börjar med den enklaste - upp med händerna, hur många tror att det är den grå? Verkligen? Okej. Hur många tror att det är den gröna? Och hur många tror att det är orange? Ganska jämnt.
Let's find out what the reality is. Here is the orange one.
Låt oss ta reda på verkligheten. Här är den orangefärgade
(Laughter)
(Skratt)
Here is the green one. And here is the gray one.
Här är den gröna. Och här är den grå.
(Laughter)
(Skratt)
So for all of you who saw that, you're complete realists. All right?
Så alla ni som såg det är realister. (Skratt)
(Laughter)
So this is pretty amazing, isn't it? Because nearly every living system has evolved the ability to detect light in one way or another. So for us, seeing color is one of the simplest things the brain does. And yet, even at this most fundamental level, context is everything. What I'm going to talk about is not that context is everything, but why context is everything. Because it's answering that question that tells us not only why we see what we do, but who we are as individuals, and who we are as a society.
Det är rätt häpnadsväckande, eller hur? Nästan allt levande har utvecklat förmågan att känna av ljus på ett eller annat sätt. För oss är färgseende något av det enklaste som hjärnan gör. Men även på den mest fundamentala nivån betyder sammanhanget allt. Det jag vill tala om är inte <i>att</i> sammanhanget betyder allt, utan <i>varför</i> sammanhanget betyder allt. För svaret på den frågan talar inte bara om varför vi ser det vi ser, utan vilka vi är som individer, och vilka vi är som samhälle.
But first, we have to ask another question, which is, "What is color for?" And instead of telling you, I'll just show you. What you see here is a jungle scene, and you see the surfaces according to the amount of light that those surfaces reflect. Now, can any of you see the predator that's about to jump out at you? And if you haven't seen it yet, you're dead, right?
Men först måste vi ställa en annan fråga, nämligen: "Vad är färg till för?" Istället för att tala om det ska jag visa er. Det ni ser här är en djungelscen. Ni ser ytorna utifrån mängden ljus som de reflekterar. Så, kan någon av er se rovdjuret som är på väg att hoppa på er? Har du inte sett det än så är du död, okej?
(Laughter)
(Skratt)
Can anyone see it? Anyone? No? Now let's see the surfaces according to the quality of light that they reflect. And now you see it.
Kan någon se det? Någon? Nej? Nu tittar vi på ytan utifrån kvaliteten på det ljus den reflekterar. Och nu ser ni det.
So, color enables us to see the similarities and differences between surfaces, according to the full spectrum of light that they reflect. But what you've just done is in many respects mathematically impossible. Why? Because, as Berkeley tells us, we have no direct access to our physical world, other than through our senses. And the light that falls onto our eyes is determined by multiple things in the world, not only the color of objects, but also the color of their illumination, and the color of the space between us and those objects. You vary any one of those parameters, and you'll change the color of the light that falls onto your eye.
Så, färg låter oss se likheter och skillnader mellan ytor, utifrån det fulla ljusspektrum som de reflekterar. Men det ni just gjort är, på många sätt, matematiskt omöjligt. Varför? För att, som Berkeley säger, vi har ingen direktkontakt med vår fysiska värld förutom genom våra sinnen. Ljuset som faller på våra ögon bestäms av många saker i världen - inte bara sakers färg utan också färgen som lyser upp dem och färgen på utrymmet mellan oss och dem. Varierar man en av dessa parametrar så förändras också färgen på det ljus som når ögat.
This is a huge problem, because it means that the same image could have an infinite number of possible real-world sources. Let me show you what I mean. Imagine that this is the back of your eye, okay? And these are two projections from the world. They're identical in every single way. Identical in shape, size, spectral content. They are the same, as far as your eye is concerned. And yet they come from completely different sources. The one on the right comes from a yellow surface, in shadow, oriented facing the left, viewed through a pinkish medium. The one on the left comes from an orange surface, under direct light, facing to the right, viewed through sort of a bluish medium. Completely different meanings, giving rise to the exact same retinal information. And yet it's only the retinal information that we get.
Detta är ett enormt problem eftersom det betyder att en och samma bild kan ha oändligt många möjliga källor i verkligheten. Låt mig visa vad jag menar. Detta är ögats botten. Detta är två projektioner från den yttre världen. De är identiska på alla vis. Identiska i form, storlek, spektralt innehåll. Såvitt ögat vet så är de desamma. Ändå kommer de från helt olika källor. Den till höger kommer från en gul yta, i skugga, vänd åt vänster, sedd genom ett rosa filter. Den till vänster kommer från en orange yta, under direktljus, vänd åt höger, sedd genom ett slags blått filter. Helt olika betydelser, men ger exakt samma information till näthinnan. Och det är bara näthinnans information som vi får.
So how on Earth do we even see? So if you remember anything in this next 18 minutes, remember this: that the light that falls onto your eye, sensory information, is meaningless, because it could mean literally anything. And what's true for sensory information is true for information generally. There's no inherent meaning in information. It's what we do with that information that matters.
Så hur i hela världen ser vi? Om du ska minnas något från de närmsta 18 minuterna, minns detta: ljuset som faller på ditt öga, sensorisk information, är helt meningslös. Eftersom den kan betyda i stort sett vad som helst. Det som gäller för sensorisk information, gäller för all information. Information har ingen inbyggd mening, det är vad vi gör med informationen som betyder något.
So, how do we see? Well, we see by learning to see. The brain evolved the mechanisms for finding patterns, finding relationships in information, and associating those relationships with a behavioral meaning, a significance, by interacting with the world. We're very aware of this in the form of more cognitive attributes, like language. I'm going to give you some letter strings, and I want you to read them out for me, if you can.
Så hur ser vi? Vi ser genom att vi lär oss se. Hjärnan har utvecklat mekanismer för att hitta mönster, hitta relationer i information och associera de relationerna med en mening, en signifikans, genom att interagera med världen. Vi är väl medvetna om detta i form av kognitiva attribut som t.ex. språk. Jag ska visa bokstavsföljder som jag vill att ni läser för mig, om ni kan.
Audience: "Can you read this?" "You are not reading this." "What are you reading?"
Publiken: "Can you read this?" "You are not reading this" "What are you reading?"
Beau Lotto: "What are you reading?" Half the letters are missing, right? There's no a priori reason why an "H" has to go between that "W" and "A." But you put one there. Why? Because in the statistics of your past experience, it would have been useful to do so. So you do so again. And yet you don't put a letter after that first "T." Why? Because it wouldn't have been useful in the past. So you don't do it again.
Vad är det du läser? Hälften av bokstäverna fattas ju. Det finns ingen faktisk anledning att sätta ett "H" mellan "W" och "A". Men du sätter dit ett, varför? För att statistiken från dina erfarenheter säger att det brukar vara användbart, så du gör det igen. Men du sätter ingen bokstav efter första "T". Varför? För att det inte har varit användbart förut. Så du gör inte om det.
So, let me show you how quickly our brains can redefine normality, even at the simplest thing the brain does, which is color. So if I could have the lights down up here. I want you to first notice that those two desert scenes are physically the same. One is simply the flipping of the other. Now I want you to look at that dot between the green and the red. And I want you to stare at that dot. Don't look anywhere else. We're going to look at it for about 30 seconds, which is a bit of a killer in an 18-minute talk.
Låt mig visa hur snabbt hjärnan kan omdefiniera vad som är normalt, även när det gäller det enklaste hjärnan gör, ser färg. Kan jag få ljuset dämpat här uppe. Notera att ökenbilderna är likadana. Den ena är bara en spegling av den andra, okej? Titta nu på pricken mellan grönt och rött. Stirra på pricken, titta ingen annanstans. Vi ska titta på den i 30 sekunder, vilket är rätt mördande i ett 18-minuterstal.
(Laughter)
(Skratt)
But I really want you to learn. And I'll tell you -- don't look anywhere else -- I'll tell you what's happening in your head. Your brain is learning, and it's learning that the right side of its visual field is under red illumination; the left side of its visual field is under green illumination. That's what it's learning. Okay? Now, when I tell you, I want you to look at the dot between the two desert scenes. So why don't you do that now?
Men jag vill verkligen att ni ska lära er. Jag ska berätta - titta ingen annanstans - jag ska berätta vad som händer i huvudet. Hjärnan lär sig, den lär sig att dess högra synfält är belyst med rött, och det vänstra synfältet är belyst med grönt. Det är vad den lär sig. När jag säger till, titta på pricken mellan ökenbilderna. Varför inte göra det nu?
(Laughter)
(Skratt)
Can I have the lights up again?
Kan jag få mer ljus här igen?
I take it from your response they don't look the same anymore, right?
Jag antar, från era reaktioner, att det inte ser likadant ut längre, eller hur?
(Applause)
(Applåder)
Why? Because your brain is seeing that same information as if the right one is still under red light, and the left one is still under green light. That's your new normal. Okay? So, what does this mean for context? It means I can take two identical squares, put them in light and dark surrounds, and the one on the dark surround looks lighter than on the light surround. What's significant is not simply the light and dark surrounds that matter. It's what those light and dark surrounds meant for your behavior in the past.
Varför? För att hjärnan fortfarande ser samma information som om den högra var belyst med rött och den vänstra belyst med grönt. Det är det nya normala. Så vad betyder detta för sammanhanget? Det betyder att de här kvadraterna kan placeras i ljusa och mörka omgivningar. Den med mörk omgivning ser ljusare ut än den med ljus. Det signifikanta är inte bara ljus eller mörk omgivning, utan vad ljus eller mörk omgivning har betytt för din tolkning förut.
So I'll show you what I mean. Here we have that exact same illusion. We have two identical tiles on the left, one in a dark surround, one in a light surround. And the same thing over on the right. Now, I'll reveal those two scenes, but I'm not going to change anything within those boxes, except their meaning. And see what happens to your perception.
Jag ska visa vad jag menar. Här har vi exakt samma synvilla. Vi har två identiska rutor till vänster en i mörk omgivning, en i ljus omgivning. Samma sak på höger sida. Det jag ska göra nu är att granska dessa scener. Jag ska inte ändra på något i dem, mer än deras betydelse. Och se vad som händer med uppfattningen av dem.
Notice that on the left the two tiles look nearly completely opposite: one very white and one very dark, right? Whereas on the right, the two tiles look nearly the same. And yet there is still one on a dark surround, and one on a light surround. Why? Because if the tile in that shadow were in fact in shadow, and reflecting the same amount of light to your eye as the one outside the shadow, it would have to be more reflective -- just the laws of physics. So you see it that way.
Notera att till vänster ser rutorna nästan helt motsatta ut: en väldigt vit och en väldigt mörk. Medan det på höger sida ser ut som att rutorna är nästan likadana. Trots att den ena är i mörk omgivning och den andra i ljus. Varför? För att om rutan i skugga faktiskt var i skugga, och reflekterade lika mycket ljus till ögat som rutan utanför skuggan, skulle den behöva vara mer reflexiv - fysikens lagar. Så du ser det på det viset.
Whereas on the right, the information is consistent with those two tiles being under the same light. If they're under the same light reflecting the same amount of light to your eye, then they must be equally reflective. So you see it that way. Which means we can bring all this information together to create some incredibly strong illusions.
På höger sida är informationen förenlig med att båda rutorna är under samma ljus. Om de är under samma ljus och reflekterar samma mängd ljus till ögat måste de vara lika reflexiva. Så du ser det på det viset. Det innebär att vi kan samla all denna information och skapa oerhört kraftiga synvillor.
This is one I made a few years ago. And you'll notice you see a dark brown tile at the top, and a bright orange tile at the side. That is your perceptual reality. The physical reality is that those two tiles are the same.
Den här gjorde jag för några år sedan. Notera en mörkbrun ruta högst upp, och en klart orange ruta på sidan. Det är din perceptuella verklighet. Den fysiska verkligheten är att rutorna är likadana.
Here you see four gray tiles on your left, seven gray tiles on the right. I'm not going to change those tiles at all, but I'm going to reveal the rest of the scene. And see what happens to your perception. The four blue tiles on the left are gray. The seven yellow tiles on the right are also gray. They are the same. Okay? Don't believe me? Let's watch it again.
Här ser du fyra grå rutor till vänster, sju grå rutor till höger. Jag ska inte ändra något på rutorna, men jag ska avslöja resten av bilden. Se vad som händer med din uppfattning av den. De fyra blå rutorna till vänster är grå. De sju gula rutorna till höger är också grå. De är likadana. Okej? Tror du mig inte? Vi tittar på det igen.
What's true for color is also true for complex perceptions of motion. So, here we have -- let's turn this around -- a diamond. And what I'm going to do is, I'm going to hold it here, and I'm going to spin it. And for all of you, you'll see it probably spinning this direction. Now I want you to keep looking at it. Move your eyes around, blink, maybe close one eye. And suddenly it will flip, and start spinning the opposite direction. Yes? Raise your hand if you got that. Yes? Keep blinking. Every time you blink, it will switch. So I can ask you, which direction is it rotating? How do you know? Your brain doesn't know, because both are equally likely. So depending on where it looks, it flips between the two possibilities.
Det som gäller för färger gäller även för komplexa uppfattningar av rörelser. Här har vi - vi vänder på den här - en diamant. Det jag ska göra är att hålla den här och snurra på den. Ni ser förmodligen att den snurrar åt det här hållet. Fortsätt titta på den. Flytta blicken lite, blinka, stäng ena ögat. Plötsligt kommer den börja snurra åt andra hållet. Eller hur? Räck upp handen om du såg det. Fortsätt blinka, varje gång du blinkar kommer den att byta håll. Så om jag frågar åt vilket håll den snurrar? Hur vet du? Din hjärna vet inte, för båda hållen är lika sannolika. Beroende på var hjärnan tittar, byter den mellan de två sannolikheterna.
Are we the only ones that see illusions? The answer to this question is no. Even the beautiful bumblebee, with its mere one million brain cells, which is 250 times fewer cells than you have in one retina, sees illusions, does the most complicated things that even our most sophisticated computers can't do. So in my lab we work on bumblebees, because we can completely control their experience, and see how it alters the architecture of their brain. We do this in what we call the Bee Matrix.
Är vi de enda som ser synvillor? Svaret på den frågan är nej. Även den vackra humlan, med bara en miljon hjärnceller, vilket är 250 gånger färre celler än du har i en näthinna, ser synvillor och gör de mest komplicerade saker som inte ens våra mest sofistikerade datorer kan göra. Så i mitt labb arbetar vi såklart med humlor. För vi kan styra deras upplevelser och se hur det förändrar hjärnans arkitektur. Vi gör detta i vad vi kallar Bee Matrix.
Here you have the hive. You can see the queen bee, the large bee in the middle. Those are her daughters, the eggs. They go back and forth between this hive and the arena, via this tube. You'll see one of the bees come out here. You see how she has a little number on her? There's another one coming out, she also has a number on her. Now, they're not born that way, right? We pull them out, put them in the fridge, and they fall asleep. Then you can superglue little numbers on them.
Här har vi bikupan, ni ser drottningen, den stora humlan i mitten, det där är hennes döttrar, äggen. De går fram och tillbaka mellan den här kupan och arenan, via det här röret. Ni ser en av humlorna komma ut här. Ser ni att hon har ett litet nummer på sig? Där kommer en till ut, hon har ett annat nummer. De föds inte på det viset. (Skratt) Vi tar ut dem, lägger dem i kylen och så somnar de. Sedan kan vi superlimma små nummer på dem.
(Laughter)
(Skratt)
And now, in this experiment they get a reward if they go to the blue flowers. They land on the flower, stick their tongue in there, called a proboscis, and drink sugar water. She's drinking a glass of water that's about that big to you and I, will do that about three times, then fly. And sometimes they learn not to go to the blue, but to go where the other bees go. So they copy each other. They can count to five. They can recognize faces. And here she comes down the ladder. And she'll come into the hive, find an empty honey pot, and throw up, and that's honey.
I detta experiment belönas de ifall de går till de blå blommorna. De landar på blomman, de sticker in tungan, som kallas snabel, och de dricker sockervatten. Hon dricker ett glas vatten som är så stort för dig och mig, gör det ungefär tre gånger och flyger sedan iväg. Ibland lär de sig att inte gå till den blå, utan att gå dit de andra humlorna går. De härmar varandra, de kan räkna till fem, de kan känna igen ansikten. Här kommer hon nedför stegen. Hon kommer in i kupan, hittar en tom honungscell, kräks, och där har vi honungen.
(Laughter)
(Skratt)
Now remember, she's supposed to be going to the blue flowers, but what are these bees doing in the upper right corner? It looks like they're going to green flowers. Now, are they getting it wrong? And the answer to the question is no. Those are actually blue flowers. But those are blue flowers under green light. So they're using the relationships between the colors to solve the puzzle, which is exactly what we do.
Kom ihåg - (Skratt) - att hon ska till de blå blommorna. Men vad gör humlorna uppe till höger? Det ser ut som att de går till gröna blommor. Gör de fel? Svaret på frågan är nej, det är i själva verket blå blommor. Men blå blommor under grönt ljus. Så de använder förhållanden mellan färger för att lösa gåtan. Vilket är precis vad vi gör.
So, illusions are often used, especially in art, in the words of a more contemporary artist, "to demonstrate the fragility of our senses." Okay, this is complete rubbish. The senses aren't fragile. And if they were, we wouldn't be here. Instead, color tells us something completely different, that the brain didn't actually evolve to see the world the way it is. We can't. Instead, the brain evolved to see the world the way it was useful to see in the past. And how we see is by continually redefining normality.
Så synvillor används ofta, särskilt inom konsten, som en nutida konstnär sa, "för att visa våra sinnens bräcklighet". Det är bara trams. Sinnena är inte bräckliga, om de vore skulle vi inte vara här. Färger säger oss istället något helt annat, att hjärnan inte utvecklades till att se världen som den är. Vi kan inte, istället utvecklades hjärnan till att se världen som det varit användbart att göra förut. Vårt sätt att se är genom att ständigt omdefiniera normalitet.
So, how can we take this incredible capacity of plasticity of the brain and get people to experience their world differently? Well, one of the ways we do it in my lab and studio is we translate the light into sound, and we enable people to hear their visual world. And they can navigate the world using their ears.
Så hur kan vi ta denna otroliga förmåga till plasticitet hos hjärnan och få människor att uppleva världen annorlunda? Ett av sätten vi använder i mitt labb är att översätta ljus till ljud så att folk kan höra sin visuella värld. De kan navigera i världen med hjälp av öronen.
Here's David on the right, and he's holding a camera. On the left is what his camera sees. And you'll see there's a faint line going across that image. That line is broken up into 32 squares. In each square, we calculate the average color. And then we just simply translate that into sound. And now he's going to turn around, close his eyes, and find a plate on the ground with his eyes closed.
Här är David, till höger, han håller i en kamera. Till vänster ser man vad hans kamera ser. Ni ser en linje, en svag linje som korsar bilden. Linjen är uppdelad i 32 kvadrater. I varje kvadrat beräknas medelfärgen. Sedan översätts det helt enkelt till ljud. Nu ska han vända sig om, stänga ögonen, och hitta en tallrik på marken, med ögonen stängda.
(Continuous sound)
(Oavbrutet ljud)
(Sound changes momentarily)
(Sound changes momentarily)
(Ljudet förändras tillfälligt)
(Sound changes momentarily)
(Sound changes momentarily)
(Sound changes momentarily)
Beau Lotto: He finds it. Amazing, right? So not only can we create a prosthetic for the visually impaired, but we can also investigate how people literally make sense of the world. But we can also do something else. We can also make music with color. So, working with kids, they created images, thinking about what might the images you see sound like if we could listen to them. And then we translated these images. And this is one of those images. And this is a six-year-old child composing a piece of music for a 32-piece orchestra. And this is what it sounds like.
Han hittar den. Otroligt, eller hur? Så vi kan inte bara skapa en protes för synskadade, utan också undersöka hur människor bokstavligt talat blir kloka på världen. Men vi kan göra något mer, vi kan skapa musik med färg. I arbete med barn, fick barnen skapa bilder, och tänka på hur bilderna man ser skulle låta om vi kunde lyssna på dem. Sedan översatte vi bilderna. Detta är en av dem. Det här är en sexåring som komponerar ett musikstycke för en orkester med 32 instrument. Och så här låter det.
(Electronic representation of orchestral music)
(Elektronisk musik)
So, a six-year-old child. Okay?
En sexåring alltså.
Now, what does all this mean? What this suggests is that no one is an outside observer of nature, okay? We're not defined by our central properties, by the bits that make us up. We're defined by our environment and our interaction with that environment, by our ecology. And that ecology is necessarily relative, historical and empirical. So, what I'd like to finish with is this over here. Because what I've been trying to do is really celebrate uncertainty. Because I think only through uncertainty is there potential for understanding.
Så, vad betyder allt detta? Detta antyder att ingen är en utomstående observatör av världen. Vi definieras inte av våra centrala egenskaper, av delarna som skapar oss. Vi definieras av vår omgivning och interaktion med omgivningen - av vår miljö. Och den miljön är ovillkorligen relativ, historisk och empirisk. Jag vill avsluta med det jag har här borta. För det jag försökt göra är egentligen att hylla osäkerhet. Jag tror att enbart genom osäkerhet når man förståelse.
So, if some of you are still feeling a bit too certain, I'd like to do this one. So, if we have the lights down. And what we have here -- Can everyone see 25 purple surfaces on your left, and 25, call it yellowish, surfaces on your right? So now, what I want to do, I'm going to put the middle nine surfaces here under yellow illumination, by simply putting a filter behind them. Now you can see that changes the light that's coming through there, right? Because now the light is going through a yellowish filter and then a purplish filter. I'm going to do the opposite on the left here. I'm going to put the middle nine under a purplish light.
Så ifall några av er fortfarande känner er lite för säkra, skulle jag vilja göra detta. Kan vi dämpa ljuset. Det vi har här - kan alla se 25 lila ytor till vänster, och 25 gulaktiga ytor till höger? Det jag ska göra: Jag ska sätta de mittersta nio ytorna här under gul belysning genom att helt enkelt sätta ett gult filter bakom dem. Ni ser att det förändrar ljuset som kommer genom här, okej? För nu går ljuset genom ett gulaktigt filter och sedan ett lilaaktigt filter. Jag ska göra det motsatta till vänster. Jag sätter de mittersta nio under lila ljus.
Now, some of you will have noticed that the consequence is that the light coming through those middle nine on the right, or your left, is exactly the same as the light coming through the middle nine on your right. Agreed? Yes? Okay. So they are physically the same. Let's pull the covers off. Now remember -- you know that the middle nine are exactly the same. Do they look the same? No. The question is, "Is that an illusion?" And I'll leave you with that.
Några av er lägger märke till att ljuset som kommer genom de mittersta nio till höger, eller vänster för er, är exakt samma som ljuset som kommer genom de mittersta nio till höger. Är vi överens? Ja? Okej, så de är fysiskt desamma. Vi tar bort skärmarna. Kom ihåg, ni vet att de mittersta nio är exakt lika. Ser de likadana ut? Nej. Så frågan är, "Är det där en synvilla?" Jag lämnar er med det.
So, thank you very much.
Tack så mycket.
(Laughter)
(Applåder)
(Applause)