So, I lead a team at Google that works on machine intelligence; in other words, the engineering discipline of making computers and devices able to do some of the things that brains do. And this makes us interested in real brains and neuroscience as well, and especially interested in the things that our brains do that are still far superior to the performance of computers.
Ik leid het onderzoeksteam naar machine-intelligentie bij Google. Dat is de wetenschap die computers en andere apparaten in staat wil stellen om dezelfde dingen te doen die onze hersenen kunnen. Daarom zijn we geïnteresseerd in echte hersenen en in neurowetenschappen. We zijn zeer geïnteresseerd in alles wat onze hersenen kunnen, maar wat voor computers nog veel te ingewikkeld is.
Historically, one of those areas has been perception, the process by which things out there in the world -- sounds and images -- can turn into concepts in the mind. This is essential for our own brains, and it's also pretty useful on a computer. The machine perception algorithms, for example, that our team makes, are what enable your pictures on Google Photos to become searchable, based on what's in them. The flip side of perception is creativity: turning a concept into something out there into the world. So over the past year, our work on machine perception has also unexpectedly connected with the world of machine creativity and machine art.
Eén van deze onderzoeksgebieden is altijd al waarneming geweest, het proces waarbij dingen in de buitenwereld, zoals geluiden en beelden, in onze hersenen kunnen veranderen in concepten. Dat is een belangrijke taak van onze hersenen. Maar het is ook handig voor een computer. De perceptie-algoritmes die we schrijven voor machines, bijvoorbeeld, maken het mogelijk om foto's op te zoeken in Google Photos, volgens wat erop te zien is. De keerzijde van perceptie is creativiteit. Hierbij worden concepten omgezet in iets in de echte wereld. Het afgelopen jaar is ons werk over machinewaarneming ook onverwacht in verband geraakt met de wereld van machine-creativiteit, en machinekunst.
I think Michelangelo had a penetrating insight into to this dual relationship between perception and creativity. This is a famous quote of his: "Every block of stone has a statue inside of it, and the job of the sculptor is to discover it." So I think that what Michelangelo was getting at is that we create by perceiving, and that perception itself is an act of imagination and is the stuff of creativity.
Volgens mij had Michelangelo een diepzinnig inzicht in deze duale verhouding tussen waarneming en creativiteit. Dit is één van zijn beroemde citaten: "In iedere blok steen zit een standbeeld verborgen... De taak van de beeldhouwer is om dat eruit te halen." Ik denk dat Michelangelo bedoelde dat we door waar te nemen zelf gaan creëren. En dat waarneming zelf een manier van inbeelding is. En daar draait het om bij creativiteit.
The organ that does all the thinking and perceiving and imagining, of course, is the brain. And I'd like to begin with a brief bit of history about what we know about brains. Because unlike, say, the heart or the intestines, you really can't say very much about a brain by just looking at it, at least with the naked eye. The early anatomists who looked at brains gave the superficial structures of this thing all kinds of fanciful names, like hippocampus, meaning "little shrimp." But of course that sort of thing doesn't tell us very much about what's actually going on inside.
Het orgaan dat verantwoordelijk is voor de waarneming en inbeelding zijn de hersenen, natuurlijk. En ik zou willen beginnen met een korte geschiedenis van wat we weten over onze hersenen. In tegenstelling tot het hart of de darmen zijn de hersenen niet veelzeggend als je er gewoon naar kijkt, althans niet met het blote oog. De eerste anatomisten die de hersenen bestudeerden, hebben veel namen gegeven aan de oppervlaktestructuren van de hersenen, zoals de hippocampus, of 'kleine garnaal'. Maar die benamingen zeggen ons natuurlijk niet veel over wat er aan de binnenkant gebeurt.
The first person who, I think, really developed some kind of insight into what was going on in the brain was the great Spanish neuroanatomist, Santiago Ramón y Cajal, in the 19th century, who used microscopy and special stains that could selectively fill in or render in very high contrast the individual cells in the brain, in order to start to understand their morphologies. And these are the kinds of drawings that he made of neurons in the 19th century.
De eerste persoon die, denk ik, een eerste inzicht bracht over wat er echt gebeurt in de hersenen, was de grote Spaanse neuro-anatomist, Santiago Ramón y Cajal, in de negentiende eeuw. Hij gebruikte microscopen en speciale beitsen die individuele hersencellen selectief konden opvullen of in contrast konden weergeven, zodat hij hun morfologie kon onderzoeken. Dit zijn de soort tekeningen die hij maakte van neuronen in de negentiende eeuw.
This is from a bird brain. And you see this incredible variety of different sorts of cells, even the cellular theory itself was quite new at this point. And these structures, these cells that have these arborizations, these branches that can go very, very long distances -- this was very novel at the time. They're reminiscent, of course, of wires. That might have been obvious to some people in the 19th century; the revolutions of wiring and electricity were just getting underway. But in many ways, these microanatomical drawings of Ramón y Cajal's, like this one, they're still in some ways unsurpassed.
Dit komt van de hersenen van een vogel. Je ziet hier de geweldige verscheidenheid aan soorten cellen. Zelfs de cellentheorie was nogal nieuw op dat moment. Deze structuren... die cellen met hun boomstructuur, en vertakkingen die zeer uitgestrekt kunnen zijn. Dat was heel vernieuwend toen. Ze doen ons natuurlijk denken aan kabels. Misschien dachten enkele mensen dit ook al in de negentiende eeuw. De revolutie van de elektriciteit en de bedrading waren in volle gang. Maar in vele opzichten zijn de micro-analytische tekeningen van Ramón y Calal, zoals deze, in veel opzichten nog steeds onovertroffen.
We're still more than a century later, trying to finish the job that Ramón y Cajal started. These are raw data from our collaborators at the Max Planck Institute of Neuroscience. And what our collaborators have done is to image little pieces of brain tissue. The entire sample here is about one cubic millimeter in size, and I'm showing you a very, very small piece of it here. That bar on the left is about one micron. The structures you see are mitochondria that are the size of bacteria. And these are consecutive slices through this very, very tiny block of tissue. Just for comparison's sake, the diameter of an average strand of hair is about 100 microns. So we're looking at something much, much smaller than a single strand of hair.
Meer dan een eeuw later zetten we nog steeds het werk van Ramón y Cajal verder. Dit zijn de ruwe gegevens van onze collega's in het Max Planck Institute of Neuroscience. Daar hebben onze collega's kleine deeltjes van het hersenweefsel in beeld gebracht. Het volledige monster is ongeveer één kubieke millimeter groot. En dit is een heel klein stukje daarvan. Het staafje links is ongeveer één micron groot. Deze structuren hier, zijn mitochondriën. Ze zijn zowat de grootte van een bacterie. En dit zijn de volgende plakken in dit zeer kleine blokje weefsel. Om even te vergelijken... De doorsnede van een haar is gemiddeld zo'n honderd micron. Dit is dus veel, veel kleiner dan één enkel haartje.
And from these kinds of serial electron microscopy slices, one can start to make reconstructions in 3D of neurons that look like these. So these are sort of in the same style as Ramón y Cajal. Only a few neurons lit up, because otherwise we wouldn't be able to see anything here. It would be so crowded, so full of structure, of wiring all connecting one neuron to another.
Uit deze reeksen elektro- microscopische beelden kunnen we 3D-modellen maken van neuronen, die er dan als volgt uitzien: ze zijn gemaakt in dezelfde stijl als Ramón y Cajals tekeningen. Je ziet maar een paar neuronen, anders zou het zo druk worden dat je niets meer ziet. Het zou zo opeengepakt zijn, vol van structuren, bekabeling die de neuronen met elkaar verbindt.
So Ramón y Cajal was a little bit ahead of his time, and progress on understanding the brain proceeded slowly over the next few decades. But we knew that neurons used electricity, and by World War II, our technology was advanced enough to start doing real electrical experiments on live neurons to better understand how they worked. This was the very same time when computers were being invented, very much based on the idea of modeling the brain -- of "intelligent machinery," as Alan Turing called it, one of the fathers of computer science.
Ramón y Cajal was zijn tijd wat vooruit en de vooruitgang van onze kennis van de hersenen evolueerde maar traag in de volgende decennia. Maar we wisten dat neuronen elektriciteit gebruikten. Tegen WO II was onze technologie geavanceerd genoeg om met elektriciteit te experimenteren op levende neuronen, om beter te begrijpen hoe ze functioneren. In diezelfde periode werd de computer uitgevonden. Computers zijn gebaseerd op het idee dat het brein moduleerbaar is. De 'intelligente machine', in termen van Alan Turing, een grondlegger van de computerwetenschap.
Warren McCulloch and Walter Pitts looked at Ramón y Cajal's drawing of visual cortex, which I'm showing here. This is the cortex that processes imagery that comes from the eye. And for them, this looked like a circuit diagram. So there are a lot of details in McCulloch and Pitts's circuit diagram that are not quite right. But this basic idea that visual cortex works like a series of computational elements that pass information one to the next in a cascade, is essentially correct.
Warren McCulloch en Walter Pitts bestudeerden Ramón y Cayals tekening van de visuele cortex, die je hier ziet. De cortex verwerkt de beelden die binnenkomen via het oog. Het zag er volgens hen uit als een schakelschema. Het schakelschema van McCullough en Pitt bevat veel details die niet helemaal kloppen. Maar het basisidee dat de visuele cortex werkt als een reeks computeronderdelen die informatie doorgeven van één niveau naar het andere is in essentie correct.
Let's talk for a moment about what a model for processing visual information would need to do. The basic task of perception is to take an image like this one and say, "That's a bird," which is a very simple thing for us to do with our brains. But you should all understand that for a computer, this was pretty much impossible just a few years ago. The classical computing paradigm is not one in which this task is easy to do.
Laat me het even hebben over wat een model dat visuele info wil verwerken moet kunnen doen. De kerntaak van perceptie is om naar een afbeelding te kijken en te zeggen: "Dat is een vogel." Dat is zeer eenvoudig voor onze hersenen, maar je moet begrijpen dat tot voor enkele jaren geleden, dit vrijwel onmogelijk was voor een computer. Binnen het klassieke computermodel is dat geen eenvoudige taak.
So what's going on between the pixels, between the image of the bird and the word "bird," is essentially a set of neurons connected to each other in a neural network, as I'm diagramming here. This neural network could be biological, inside our visual cortices, or, nowadays, we start to have the capability to model such neural networks on the computer. And I'll show you what that actually looks like.
Wat gebeurt er nu tussen de pixels, de afbeelding van een vogel, en het woord 'vogel'? Een reeks neuronen zijn met elkaar verbonden in een neuraal netwerk, zoals op deze schets hier. Dit neuraal netwerk kan biologisch zijn, binnen onze visuele cortex, maar tegenwoordig zijn we in staat om neurale netwerken na te maken op de computer. Ik zal jullie laten zien hoe dat eruitziet.
So the pixels you can think about as a first layer of neurons, and that's, in fact, how it works in the eye -- that's the neurons in the retina. And those feed forward into one layer after another layer, after another layer of neurons, all connected by synapses of different weights. The behavior of this network is characterized by the strengths of all of those synapses. Those characterize the computational properties of this network. And at the end of the day, you have a neuron or a small group of neurons that light up, saying, "bird."
De pixels kan je zien als de eerste laag neuronen. Hier zie je in feite de werking van het oog. Dat zijn de neuronen in het netvlies. Deze geven hun informatie door naar de volgende lagen neuronen. Ze zijn verbonden met zenuwknopen van verschillende groottes. Het gedrag van dit netwerk wordt gekenmerkt door de kracht van al deze zenuwknopen. Zij bepalen de computationele eigenschappen van dat netwerk. Op het einde van de rit is er een neuron, of een kleine groep neuronen die oplichten en zeggen: "Vogel."
Now I'm going to represent those three things -- the input pixels and the synapses in the neural network, and bird, the output -- by three variables: x, w and y. There are maybe a million or so x's -- a million pixels in that image. There are billions or trillions of w's, which represent the weights of all these synapses in the neural network. And there's a very small number of y's, of outputs that that network has. "Bird" is only four letters, right? So let's pretend that this is just a simple formula, x "x" w = y. I'm putting the times in scare quotes because what's really going on there, of course, is a very complicated series of mathematical operations.
Ik wil nu deze drie dingen, de pixels en de synaps van het neuronennetwerk, of de input, en de vogel, of de output, voorstellen door de variabelen x, w en y. Er zit misschien wel een miljoen x'en, of pixels, in deze afbeelding. En een miljard, of triljard w's. Ze vertegenwoordigen al de zenuwknopen in het neurale netwerk. En er zijn maar een klein aantal y's, of output van het netwerk. Het woord 'vogel' telt slechts vijf letters, niet? Laten we het even voorstellen als een simpele formule: x 'maal' w is gelijk aan y. 'Maal' staat tussen aanhalingstekens, want in werkelijkheid gebeurt er natuurlijk een hele reeks ingewikkelde wiskundige berekeningen.
That's one equation. There are three variables. And we all know that if you have one equation, you can solve one variable by knowing the other two things. So the problem of inference, that is, figuring out that the picture of a bird is a bird, is this one: it's where y is the unknown and w and x are known. You know the neural network, you know the pixels. As you can see, that's actually a relatively straightforward problem. You multiply two times three and you're done. I'll show you an artificial neural network that we've built recently, doing exactly that.
Dat is één vergelijking, met drie variabelen. We weten allemaal dat als je over twee variabelen beschikt je de derde variabele kan achterhalen. Dus het proces van gevolgtrekking, het uit de afbeelding afleiden dat dit een vogel is, is als volgt: wanneer de y de onbekende is en de w en x allebei gekend. Je hebt de neuronennetwerken en de pixels. Je kunt zien dat dit probleem relatief eenvoudig is. Je vermenigvuldigt twee met drie en klaar. Ik toon jullie nu een netwerk neuronen dat we gebouwd hebben om dit op te lossen.
This is running in real time on a mobile phone, and that's, of course, amazing in its own right, that mobile phones can do so many billions and trillions of operations per second. What you're looking at is a phone looking at one after another picture of a bird, and actually not only saying, "Yes, it's a bird," but identifying the species of bird with a network of this sort. So in that picture, the x and the w are known, and the y is the unknown. I'm glossing over the very difficult part, of course, which is how on earth do we figure out the w, the brain that can do such a thing? How would we ever learn such a model?
Dit werkt realtime op een mobiele telefoon. Dat is op zich natuurlijk al verbazingwekkend, dat een telefoon zoveel miljarden en biljarden bewerkingen kan uitvoeren per seconde. Jullie zien hier een telefoon waarop een reeks afbeeldingen verschijnen van vogels. Hij herkent ze niet alleen als vogels, maar hij kan ook de soort identificeren met dit type netwerk. In die afbeelding waren de x en de w gekend en was de y de onbekende. Ik sla het ingewikkeldste deel over, natuurlijk, namelijk, hoe achterhalen we de w, de hersenen die tot dit alles in staat zijn? Hoe hebben we ooit zo'n model aangeleerd?
So this process of learning, of solving for w, if we were doing this with the simple equation in which we think about these as numbers, we know exactly how to do that: 6 = 2 x w, well, we divide by two and we're done. The problem is with this operator. So, division -- we've used division because it's the inverse to multiplication, but as I've just said, the multiplication is a bit of a lie here. This is a very, very complicated, very non-linear operation; it has no inverse. So we have to figure out a way to solve the equation without a division operator. And the way to do that is fairly straightforward. You just say, let's play a little algebra trick, and move the six over to the right-hand side of the equation. Now, we're still using multiplication. And that zero -- let's think about it as an error. In other words, if we've solved for w the right way, then the error will be zero. And if we haven't gotten it quite right, the error will be greater than zero.
Dit leerproces, waarbij we de w willen oplossen, als we dit in een eenvoudige vergelijking gieten, waarbij we getallen gebruiken, weten we wat we moeten doen: 6 is gelijk aan 2 maal w. We delen 6 door 2 en het zit erop. Het probleem zit 'm bij deze bewerking. Deling... We gebruiken deling, want dat is het omgekeerde van vermenigvuldiging. Maar zoals ik zopas zei, klopt de vermenigvuldiging hier niet echt. Dit is een zeer gecompliceerde, zeer non-lineaire bewerking, die niet omgekeerd kan worden. We moeten een manier vinden om die vergelijking op te lossen, zonder te moeten delen. We doen dit op een zeer eenvoudige manier. We spelen wat met de algebra en verplaatsen de 6 naar de rechterkant van de vergelijking. We vermenigvuldigen nog steeds. Maar laten we die nul de foutmarge noemen. Met andere woorden, als we de w juist oplossen, dan zal die marge nul bedragen. En als de oplossing niet klopt, dan zal de marge groter zijn dan nul.
So now we can just take guesses to minimize the error, and that's the sort of thing computers are very good at. So you've taken an initial guess: what if w = 0? Well, then the error is 6. What if w = 1? The error is 4. And then the computer can sort of play Marco Polo, and drive down the error close to zero. As it does that, it's getting successive approximations to w. Typically, it never quite gets there, but after about a dozen steps, we're up to w = 2.999, which is close enough. And this is the learning process.
Nu kunnen we beginnen te gokken en de foutmarge zo klein mogelijk maken, daar zijn computers zeer goed in. Laten we eens gokken: w = 0 misschien? Dan zou de marge 6 bedragen. En als w gelijk zou zijn aan 1, dan zou de marge 4 zijn. De computer kan blijven raden en de foutmarge tot bijna nul reduceren. En ondertussen komt hij steeds dichter bij w. Hij raakt nooit helemaal tot bij w, maar na zo'n twaalf stappen zien we dat w gelijk is aan 2,999 en dat is precies genoeg. Dat is het leerproces.
So remember that what's been going on here is that we've been taking a lot of known x's and known y's and solving for the w in the middle through an iterative process. It's exactly the same way that we do our own learning. We have many, many images as babies and we get told, "This is a bird; this is not a bird." And over time, through iteration, we solve for w, we solve for those neural connections.
Vergeet niet wat we hier aan het doen zijn. We hebben zeer veel van die gekende x'en en y's genomen en daar de w in het midden mee achterhaald door een iteratief proces. Wij leren op precies dezelfde manier. Als baby hebben we zeer veel afbeeldingen. Ze vertellen ons: "Dit is een vogel. Dat is geen vogel." Wanneer we de bewerking eindeloos herhalen kunnen we de w achterhalen voor deze zenuwverbindingen.
So now, we've held x and w fixed to solve for y; that's everyday, fast perception. We figure out how we can solve for w, that's learning, which is a lot harder, because we need to do error minimization, using a lot of training examples.
Nu hebben we naar de x en w gekeken om de y te achterhalen. Dat is alledaagse, snelle waarneming. Nu willen we weten hoeveel w is. Da's veel moeilijker, want dat is leren. Om de foutenmarge te beperken, hebben we veel voorbeelden nodig. Zo'n jaar geleden besloot iemand van ons team, Alex Mordvintsev,
And about a year ago, Alex Mordvintsev, on our team, decided to experiment with what happens if we try solving for x, given a known w and a known y. In other words, you know that it's a bird, and you already have your neural network that you've trained on birds, but what is the picture of a bird? It turns out that by using exactly the same error-minimization procedure, one can do that with the network trained to recognize birds, and the result turns out to be ... a picture of birds. So this is a picture of birds generated entirely by a neural network that was trained to recognize birds, just by solving for x rather than solving for y, and doing that iteratively.
om eens te kijken wat er zou gebeuren als we de x probeerden op te lossen als we de w en de y zouden kennen. Met andere woorden, je weet dat het een vogel is en je netwerk zenuwcellen kunnen al vogels herkennen. Maar wat is nu een afbeelding van een vogel? Blijkbaar kan je met dezelfde foutenminimalisatie-procedure, gebruik makend van het netwerk dat vogels kan herkennen, het volgende resultaat krijgen ... een afbeelding van vogels. Deze afbeelding van vogels is volledig gegenereerd door een neuraal netwerk dat vogels kon herkennen, door simpelweg naar de x te zoeken in plaats van naar de y en dat dan eindeloos te herhalen.
Here's another fun example. This was a work made by Mike Tyka in our group, which he calls "Animal Parade." It reminds me a little bit of William Kentridge's artworks, in which he makes sketches, rubs them out, makes sketches, rubs them out, and creates a movie this way. In this case, what Mike is doing is varying y over the space of different animals, in a network designed to recognize and distinguish different animals from each other. And you get this strange, Escher-like morph from one animal to another.
Dit is nog een leuk voorbeeld. Dit is het werk van Mike Tyka in onze groep. Hij noemt het 'Animal Parade'. Het doet me wat denken aan William Kentridges' schilderijen. Hij maakt schetsen en veegt ze uit, altijd maar opnieuw, en zo creëert hij een film. In dit geval probeert Mike de y te laten variëren over de ruimte van de verschillende dieren in een netwerk dat dieren van elkaar kan onderscheiden. En dan krijg je zo'n Escher-achtige overgang van het ene dier in het andere.
Here he and Alex together have tried reducing the y's to a space of only two dimensions, thereby making a map out of the space of all things recognized by this network. Doing this kind of synthesis or generation of imagery over that entire surface, varying y over the surface, you make a kind of map -- a visual map of all the things the network knows how to recognize. The animals are all here; "armadillo" is right in that spot.
Hier hebben hij en Alex geprobeerd om de y's terug te brengen tot een tweedimensionale ruimte. De uitkomst daarvan was een kaart met daarop de ruimte van alle dingen die dit netwerk kon herkennen. Bij dit soort synthese of beeldweergave over die hele oppervlakte, waarbij de y varieert over het oppervlak, creëer je een visuele kaart van alles wat het netwerk herkent. Alle dieren staan hierop aangeduid. Dat daar is een gordeldier.
You can do this with other kinds of networks as well. This is a network designed to recognize faces, to distinguish one face from another. And here, we're putting in a y that says, "me," my own face parameters. And when this thing solves for x, it generates this rather crazy, kind of cubist, surreal, psychedelic picture of me from multiple points of view at once. The reason it looks like multiple points of view at once is because that network is designed to get rid of the ambiguity of a face being in one pose or another pose, being looked at with one kind of lighting, another kind of lighting. So when you do this sort of reconstruction, if you don't use some sort of guide image or guide statistics, then you'll get a sort of confusion of different points of view, because it's ambiguous. This is what happens if Alex uses his own face as a guide image during that optimization process to reconstruct my own face. So you can see it's not perfect. There's still quite a lot of work to do on how we optimize that optimization process. But you start to get something more like a coherent face, rendered using my own face as a guide.
Dit werkt ook met andere netwerken. Dit netwerk is ontwikkeld om gezichten te herkennen, om gezichten van elkaar te onderscheiden. Hier hebben we de y ingevoerd die mij vertegenwoordigt. Het zijn mijn gezichtsparameters. Als dit systeem naar x gaat zoeken, genereert het een absurd, nogal kubistisch, surreëel en psychedelisch beeld van mij, vanuit verschillende perspectieven. Je ziet hier verschillende perspectieven tegelijkertijd, omdat ons netwerk zo ontworpen is dat het de dubbelzinnigheid tegengaat van de verschillende mogelijke poses of de verschillende mogelijke belichtingen. Als je zo'n reconstructie uitvoert en je geen afbeelding of statistieken als richtlijnen gebruikt, dan krijg je een samenraapsel van 'n heleboel perspectieven, want het is ambigue. Dit is het resultaat wanneer Alex zijn eigen gezicht gebruikt als richtlijn tijdens het optimalisatieproces om mijn gezicht te reconstrueren. Je ziet dat het niet perfect is. We hebben nog wat werk voor de boeg om het optimalisatieproces te optimaliseren. Maar je krijgt toch iets wat meer lijkt op een gezicht, met mijn gezicht als richtlijn.
You don't have to start with a blank canvas or with white noise. When you're solving for x, you can begin with an x, that is itself already some other image. That's what this little demonstration is. This is a network that is designed to categorize all sorts of different objects -- man-made structures, animals ... Here we're starting with just a picture of clouds, and as we optimize, basically, this network is figuring out what it sees in the clouds. And the more time you spend looking at this, the more things you also will see in the clouds. You could also use the face network to hallucinate into this, and you get some pretty crazy stuff.
Je hoeft niet meer te beginnen met een wit doek, of met 'witte ruis'. Wanneer je naar x zoekt, kan je beginnen met een x die op zich al een afbeelding is. Dat toont de volgende demo. Dit is een netwerk dat ontworpen is om allerlei verschillende voorwerpen te categoriseren, zoals kunstmatige structuren, dieren... We vertrokken hier gewoon van een afbeelding van wolken. Terwijl we het beeld optimaliseren, probeert het netwerk te bepalen wat het kan zien in de wolken. Hoe langer je hier naar kijkt, hoe meer je ook gaat zien in deze wolken. Je kunt er ook hallucinaties van het gezichtsnetwerk in verwerken. Dat levert ook gekke beelden op.
(Laughter)
(Gelach)
Or, Mike has done some other experiments in which he takes that cloud image, hallucinates, zooms, hallucinates, zooms hallucinates, zooms. And in this way, you can get a sort of fugue state of the network, I suppose, or a sort of free association, in which the network is eating its own tail. So every image is now the basis for, "What do I think I see next? What do I think I see next? What do I think I see next?"
Mike heeft nog enkele andere experimenten uitgevoerd, waarbij hij de afbeelding van de wolken neemt, een hallucinatie toevoegt, inzoomt, weer 'n hallucinatie toevoegt, inzoomt. Op deze manier krijg je een soort dissociatieve vlucht, denk ik, of een soort vrije associatie, waarin het netwerk haar eigen staart opeet. Iedere afbeelding is de basis voor... "Wat zie ik hierna?" "En wat daarna? En wat daarna?"
I showed this for the first time in public to a group at a lecture in Seattle called "Higher Education" -- this was right after marijuana was legalized.
Ik heb dit voor het eerst getoond aan een groep in Seattle bij een lezing, genaamd 'Hoger Onderwijs'. Marihuana was toen nog maar net gelegaliseerd.
(Laughter)
(Gelach)
So I'd like to finish up quickly by just noting that this technology is not constrained. I've shown you purely visual examples because they're really fun to look at. It's not a purely visual technology. Our artist collaborator, Ross Goodwin, has done experiments involving a camera that takes a picture, and then a computer in his backpack writes a poem using neural networks, based on the contents of the image. And that poetry neural network has been trained on a large corpus of 20th-century poetry. And the poetry is, you know, I think, kind of not bad, actually.
Ik zou snel willen afsluiten door te zeggen dat deze technologie geen grenzen kent. Ik heb enkel visuele voorbeelden getoond, omdat die leuk zijn om naar te kijken. Maar de technologie is niet enkel visueel. Ross Goodwin, een medewerker van ons, heeft enkele experimenten gedaan waarbij hij foto's nam met een camera en die dan gebruikte om een gedicht mee te schrijven, met z'n computer, op basis van de inhoud van de afbeelding. Dat poëzienetwerk werd getraind op een groot corpus gedichten uit de 20e eeuw. En de gedichten zijn, weet je, al bij al niet slecht, denk ik.
(Laughter)
(Gelach)
In closing, I think that per Michelangelo, I think he was right; perception and creativity are very intimately connected. What we've just seen are neural networks that are entirely trained to discriminate, or to recognize different things in the world, able to be run in reverse, to generate. One of the things that suggests to me is not only that Michelangelo really did see the sculpture in the blocks of stone, but that any creature, any being, any alien that is able to do perceptual acts of that sort is also able to create because it's exactly the same machinery that's used in both cases.
Om af te sluiten... Ik denk dat Michelangelo het bij het rechte eind had. Waarneming en creativiteit zijn zeer nauw met elkaar verbonden. We hebben zopas gezien dat neurale netwerken die getraind zijn om keuzes te maken of om dingen in de wereld te herkennen, ook andersom kunnen werken en kunst voortbrengen. Dit doet mij afleiden dat Michelangelo de kunstwerken kon zien uit massieve blokken steen, maar ook dat eender welk wezen, van eender welke planeet die in staat is om waar te nemen ook in staat is om te creëren. Want in beide gevallen wordt exact hetzelfde mechanisme gebruikt.
Also, I think that perception and creativity are by no means uniquely human. We start to have computer models that can do exactly these sorts of things. And that ought to be unsurprising; the brain is computational.
Ik ben er ook van overtuigd dat waarneming en creativiteit helemaal niet uniek zijn aan mensen. Onze computermodellen kunnen deze dingen ook al. En dat zou niet mogen verrassen, ons brein is immers computationeel.
And finally, computing began as an exercise in designing intelligent machinery. It was very much modeled after the idea of how could we make machines intelligent. And we finally are starting to fulfill now some of the promises of those early pioneers, of Turing and von Neumann and McCulloch and Pitts. And I think that computing is not just about accounting or playing Candy Crush or something. From the beginning, we modeled them after our minds. And they give us both the ability to understand our own minds better and to extend them.
En ten slotte... Computertechnologie begon als een manier om intelligente machines te ontwikkelen. Het was gebaseerd op het idee dat machines intelligent gemaakt konden worden. We beginnen nu eindelijk enkele van de beloftes waar te maken van vroege pioniers, zoals Turing en von Neuman, en McCulloch en Pitts. Ik denk dat het bij computers niet enkel draait om berekeningen, of 'Candy Crush' of andere spelletjes. We hebben ze steeds vormgegeven volgens onze hersenen. Ze geven ons de mogelijkheid om onze hersenen beter te begrijpen en om onze capaciteiten uit te breiden.
Thank you very much.
Dankjewel.
(Applause)
(Applaus)