The world is filled with incredible objects and rich cultural heritage. And when we get access to them, we are blown away, we fall in love. But most of the time, the world's population is living without real access to arts and culture. What might the connections be when we start exploring our heritage, the beautiful locations and the art in this world?
De wereld is boordevol geweldige objecten en rijk cultureel erfgoed. Wanneer we daarmee in contact komen worden we overrompeld en raken verliefd. Voor het overgrote deel echter, leeft de wereldbevolking zonder directe toegang tot kunst en cultuur. Welke connecties zouden we vinden op een ontdekkingstocht naar ons erfgoed, de wonderschone locaties en de kunst van deze wereld?
Before we get started in this presentation, I just want to take care of a few housekeeping points. First, I am no expert in art or culture. I fell into this by mistake, but I'm loving it. Secondly, all of what I'm going to show you belongs to the amazing museums, archives and foundations that we partner with. None of this belongs to Google. And finally, what you see behind me is available right now on your mobile phones, on your laptops.
Voordat we beginnen met de presentatie, even wat huishoudelijke mededelingen. Allereerst: ik ben geen expert in kunst of cultuur. Ik raakte hier per ongeluk in verzeild, maar vind het fantastisch. Ten tweede: alles wat ik je ga laten zien, is eigendom van de grandioze musea, archieven en stichtingen waarmee we samenwerken. Niets hiervan is Googles eigendom. En tenslotte: wat je achter me ziet, is op dit moment beschikbaar op je telefoon, op je laptop. Dit is ons huidige platform,
This is our current platform, where you can explore thousands of museums and objects at your fingertips, in extremely high-definition detail. The diversity of the content is what's amazing. If we just had European paintings, if we just had modern art, I think it gets a bit boring. For example, this month, we launched the "Black History" channel with 82 curated exhibitions, which talk about arts and culture in that community. We also have some amazing objects from Japan, centered around craftsmanship, called "Made in Japan." And one of my favorite exhibitions, which actually is the idea of my talk, is -- I didn't expect to become a fan of Japanese dolls. But I am, thanks to this exhibition, that has really taught me about the craftsmanship behind the soul of a Japanese doll. Trust me, it's very exciting. Take my word for it.
dat duizenden musea en objecten voor je toegankelijk maakt in extreem hoge resolutie. Het meest verbijsterende is de diversiteit van de content. Als we enkel Europese schilderijen hadden, of alleen moderne kunst, zou ik het wat saai vinden. Deze maand lanceerden we het 'Zwarte geschiedenis'-kanaal, met 82 gecureerde exposities, die gaan over kunst en cultuur in die gemeenschap. Ook hebben we geweldige objecten uit Japan rondom het thema ambachtelijkheid, genaamd 'Made in Japan'. Een van mijn favoriete exposities, en dit is feitelijk het idee achter deze talk, is -- ik had nooit verwacht fan te worden van Japanse poppen. Maar dat ben ik, dankzij deze tentoonstelling die me liet zien hoeveel ambacht schuilgaat achter de ziel van een Japanse pop. Echt, het is ongelofelijk spannend, dat garandeer ik je.
So, moving on swiftly. One quick thing I wanted to showcase in this platform, which you can share with your kids and your friends right now, is you can travel to all these amazing institutions virtually, as well. One of our recent ideas was with The Guggenheim Museum in New York, where you can get a taste of what it might feel like to actually be there. You can go to the ground floor and obviously, most of you, I assume, have been there. And you can see the architectural masterpiece that it is. But imagine this accessibility for a kid in Bombay who's studying architecture, who hasn't had a chance to go to The Guggenheim as yet. You can obviously look at objects in the Guggenheim Museum, you can obviously get into them and so on and so forth. There's a lot of information here.
Ik ga snel verder. Wat ik jullie even wilde laten zien van dit platform, wat je nu al aan je kinderen en vrienden kan laten zien, is dat je ook virtueel naar allerlei fantastische instellingen kan reizen. Een van onze recente ideeën betrof het Guggenheim museum in New York, waar je kan proeven hoe het is om daadwerkelijk daar te zijn. Je kunt naar de begane grond -- ik neem aan dat jullie er al eens geweest zijn -- waar je dit architectonische meesterwerk kan aanschouwen. Maar stel je voor: deze toegang heeft ook de jonge architectuurstudent in Bombay die nog nooit de gelegenheid had om naar het Guggenheim te gaan. Je kunt in het museum uiteraard de objecten bekijken; daar kun je helemaal induiken. Er is een hoop informatie hier.
But this is not the purpose of my talk today. This exists right now. What we now have are the building blocks to a very exciting future, when it comes to arts and culture and accessibility to arts and culture. So I am joined today onstage by my good friend and artist in residence at our office in Paris, Cyril Diagne, who is the professor of interactive design at ECAL University in Lausanne, Switzerland. What Cyril and our team of engineers have been doing is trying to find these connections and visualize a few of these.
Maar dit is niet het doel van mijn talk vandaag. Dit bestaat nu al. Wat we nu hebben, zijn de bouwstenen voor een reuzespannende toekomst in de wereld van kunst en cultuur en toegankelijkheid daarvan. Vandaag staat bij mij op het podium mijn goede vriend en 'artist in residence' in onze Parijse vestiging, Cyril Diagne, professor interactief design aan de ECAL Universiteit in Lausanne, Zwitserland. Cyril en ons team van technici hebben getracht om connecties te vinden en enkele ervan te visualiseren.
So I'm going to go quite quick now. This object you see behind me -- oh, just clarification: Always, seeing the real thing is better. In case people think I'm trying to replicate the real thing. So, moving on. This object you see behind me is the Venus of Berekhat Ram. It's one of the oldest objects in the world, found in the Golan Heights around 233,000 years ago, and currently residing at the Israel Museum in Jerusalem. It is also one of the oldest objects on our platform.
Ik ga er snel doorheen. Dit object dat je achter me ziet -- oh, even ter verduidelijking: in het echt is alles beter. Voor het geval mensen denken dat ik dingen probeer te repliceren. Verder nu. Dit object achter me is de Venus van Berekhat Ram. Het is een van de oudste objecten ter wereld: zo'n 233.000 jaar oud. Het is gevonden in de Golanhoogten, en bevindt zich momenteel in het Israel Museum in Jeruzalem. Het is tevens een van de oudste objecten op ons platform.
So let's zoom. We start from this one object. What if we zoomed out and actually tried to experience our own cultural big bang? What might that look like? This is what we deal with on a daily basis at the Cultural Institute -- over six million cultural artifacts curated and given to us by institutions, to actually make these connections. You can travel through time, you can understand more about our society through these. You can look at it from the perspective of our planet, and try to see how it might look without borders, if we just organized art and culture. We can also then plot it by time, which obviously, for the data geek in me, is very fascinating. You can spend hours looking at every decade and the contributions in that decade and in those years for art, history and cultures. We would love to spend hours showing you each and every decade, but we don't have the time right now. So you can go on your phone and actually do it yourself.
Laten we aannemen dat we starten bij dit object. Stel, we zoomen uit en proberen om onze eigen culturele big bang te beleven. Hoe zou dat eruitzien? Dit is waar we bij het Cultural Institute dagelijks mee te maken hebben -- meer dan zes miljoen culturele kunstvoorwerpen, beheerd en ons ter beschikking gesteld door instellingen, om die connecties te maken. Je kan hiermee reizen door de tijd, en onze samenleving beter begrijpen. Je kunt het natuurlijk bekijken vanuit het perspectief van onze planeet, en proberen te zien hoe het zou zijn zonder grenzen, als we enkel kunst en cultuur zouden ordenen. We kunnen het ook indelen op basis van tijd, wat uiteraard voor de datageek in mij buitengewoon fascinerend is. Je kunt uren kijken naar elk decennium en wat er in die jaren is bijgedragen aan kunst, geschiedenis en culturen. We zouden jullie graag urenlang elk decennium laten zien, maar daar hebben ze de tijd niet voor. Dat kun je zelf doen op je telefoon.
(Applause)
(Applaus)
But if you don't mind and can hold your applause till later, I don't want to run out of time, because I want to show you a lot of cool stuff.
Ik hoop dat je het niet erg vindt om je applaus te bewaren voor later. Ik wil jullie binnen mijn tijdslimiet nog een hoop coole dingen laten zien.
So, just very quickly: you can move on from here to another very interesting idea. Beyond the pretty picture, beyond the nice visualization, what is the purpose, how is this useful? This next idea comes from discussions with curators that we've been having at museums, who, by the way, I've fallen in love with, because they dedicate their whole life to try to tell these stories. One of the curators told me, "Amit, what would it be like if you could create a virtual curator's table where all these six million objects are displayed in a way for us to look at the connections between them?" You can spend a lot of time, trust me, looking at different objects and understanding where they come from. It's a crazy Matrix experience.
Heel snel even: je hebt van hieruit toegang tot andere interessante data. Los van het mooie plaatje, los van de gave visualisatie, welk doel heeft het, welk nut dient het? Het volgende idee komt uit discussies met conservatoren die we hebben gehad in musea, op wie ik trouwens verliefd ben geraakt, want zij wijden hun hele leven aan het vertellen van deze verhalen, Een van de conservatoren zei: "Amit, hoe zou het zijn om een virtueel overzicht te maken dat al deze zes miljoen objecten weergeeft zodat we kunnen kijken naar de verbanden tussen hen?" Geloof me, er gaat heel wat tijd in zitten als je begint te kijken naar objecten en hun herkomst. Het is een waanzinnige matrixervaring.
(Laughter)
(Gelach)
Just moving on, let's take the world-famous Vincent Van Gogh, who is very well-represented on this platform. Thanks to the diversity of the institutions we have, we have over 211 high-definition, amazing artworks by this artist, now organized in one beautiful view. And as it resolves, and as Cyril goes deeper, you can see all the self-portraits, you can see still life. But I just wanted to highlight one very quick example, which is very timely: "The Bedroom." This is an artwork where three copies exist -- one at the Van Gogh Museum in Amsterdam, one at the Orsay in Paris and one at the Art Institute of Chicago, which, actually, currently is hosting a reunion of all three artworks physically, I think only for the second time ever. But, it is united digitally and virtually for anybody to look at in a very different way, and you won't get pushed in the line in the crowd. So let's take you and let's travel through "The Bedroom" very quickly, so you can experience what we are doing for every single object. We want the image to speak as much as it can on a digital platform. And all you need is an internet connection and a computer
Laten we nu eens kijken naar de wereldberoemde Vincent Van Gogh die sterk vertegenwoordigd is op dit platform. Dankzij de verscheidenheid aan instellingen die aangesloten zijn, hebben we 211 geweldige kunstwerken in hoge resolutie van deze kunstenaar, nu samengebracht in één overzicht. Naarmate de beelden laden en Cyril dieper gaat, kun je alle zelfportretten zien, de stillevens. Maar ik wilde één voorbeeld heel snel aanstippen, dat heel toepasselijk is: 'De slaapkamer'. Van dit kunstwerk bestaan drie versies -- een in het Van Goghmuseum in Amsterdam, een in het Musée d'Orsay in Parijs, en een in het Art Institute in Chicago, dat momenteel een reünie organiseert van alle drie de schilderijen, voor de tweede keer ooit, geloof ik. Maar ze zijn digitaal samengebracht om virtueel te bewonderen, op een heel andere wijze, zonder geduwd te worden in de rij. Laten we 'de slaapkamer' even wat nader bekijken, zodat je kan ervaren wat we voor ieder object aan het doen zijn. We willen het beeld zo duidelijk mogelijk laten spreken op een digitaal platform. Alles wat je nodig hebt, is een internetverbinding en een computer.
(Applause)
(Applaus)
And, Cyril, if you can go deeper, quickly. I'm sorry, this is all live, so you have to give Cyril a little bit of -- and this is available for every object: modern art, contemporary art, Renaissance -- you name it, even sculpture.
En, Cyril, als je even wat dieper gaat... Sorry, dit is allemaal live, dus we moeten Cyril even de tijd geven -- en dit is beschikbaar voor ieder object: moderne kunst, hedendaagse kunst, Renaissance -- noem maar op, zelfs sculptuur.
Sometimes, you don't know what can attract you to an artwork or to a museum or to a cultural discovery. So for me, personally, it was quite a challenge because when I decided to make this my full-time job at Google, my mother was not very supportive. I love my mother, but she thought I was wasting my life with this museum stuff. And for her, a museum is what you do when you go on vacation and you tick-mark and it's over, right? And it took around four and a half years for me to convince my lovely Indian mother that actually, this is worthwhile. And the way I did it was, I realized one day that she loves gold. So I started showing her all objects that have the material gold in them. And the first thing my mom asks me is, "How can we buy these?"
Soms weet je niet wat jou kan trekken, naar een kunstwerk of museum of culturele ontdekking. Voor mezelf was het een behoorlijke uitdaging want toen ik besloot om dit voltijds te gaan doen bij Google, was mijn moeder niet erg enthousiast. Ik ben dol op mijn moeder, maar zij vond dit museumgedoe zonde van mijn tijd. Voor haar was een museum iets waar je op vakantie heen gaat, en daarna is het een vinkje op je lijst. Pas na vierenhalf jaar had ik mijn lieve Indiase moeder overtuigd van het nut van dit alles. Dat deed ik als volgt: ik realiseerde me op een dag dat ze gek is op goud. Dus liet ik haar allemaal objecten zien die het materiaal goud in zich hebben. De eerste vraag van mijn moeder was: "Hoe kunnen we dit kopen?"
(Laughter)
(Gelach)
And obviously, my salary is not that high, so I was like, "We can't actually do that, mom. But you can explore them virtually." And so now my mom -- every time I meet her, she asks me, "Any more gold, any more silver in your project? Can you show me?" And that's the idea I'm trying to illustrate. It does not matter how you get in, as long as you get in. Once you get in, you're hooked.
Mijn salaris is natuurlijk niet zo hoog, dus zei ik: "Dat gaat niet lukken, mam, maar we kunnen ze virtueel ontdekken." Nu vraagt mijn moeder me elke keer dat ze me ziet: "Heb je nog nieuw goud of zilver in je project? Laat eens zien." Dat is het idee dat ik wil illustreren. Hoe je begint, maakt niet uit, zolang je maar begint. Eenmaal bezig, ben je verkocht.
Moving on from here very quickly, there is kind of a playful idea, actually, to illustrate the point of access, and I'm going to go quite quickly on this one. We all know that seeing the artwork in person is amazing. But we also know that most of us can't do it, and the ones that can afford to do it, it's complicated. So -- Cyril, can we load up our art trip, what do we call it? We don't have a good name for this. But essentially, we have around 1,000 amazing institutions, 68 countries. But let's start with Rembrandt. We might have time for only one example. But thanks to the diversity, we've got around 500 amazing Rembrandt object artworks from 46 institutions and 17 countries. Let's say that on your next vacation, you want to go see every single one of them. That is your itinerary, you will probably travel 53,000 kilometers, visit around, I think, 46 institutions, and just FYI, you might release 10 tons of CO2 emissions.
We gaan weer even snel verder met een nogal speels idee om die toegankelijkheid te illustreren. In een sneltreinvaart. We weten allemaal hoe geweldig het is om een kunstwerk van nabij te zien. Maar dit is voor de meesten van ons onmogelijk, en al heb je het geld ervoor, het blijft gecompliceerd. Dus -- Cyril, kun je onze kunstreis laden? Of hoe noemen we het? We hebben geen goede naam hiervoor. We hebben zo'n 1000 geweldige instituten in 68 landen. Laten we beginnen met Rembrandt. Misschien hebben we enkel tijd voor één voorbeeld. Maar dankzij de diversiteit hebben we zo'n 500 prachtige kunstwerken van Rembrandt, van 46 instituten in 17 landen. Stel je wil tijdens je volgende vakantie al deze objecten zien. Dit is je programma, je legt waarschijnlijk 53.000 km af, bezoekt ongeveer 46 instituten, en dat je het weet: je veroorzaakt wellicht 10 ton CO2-uitstoot.
(Laughter)
(Gelach)
But remember, it's art, so you can justify it, perhaps, in some way.
Maar het is omwille van de kunst, zullen we maar denken.
Moving on swiftly from here, is something a little bit more technical and more interesting. All that we've shown you so far uses metadata to make the connections. But obviously we have something cool nowadays that everyone likes to talk about, which is machine learning. So what we thought is, let's strip out all the metadata, let's look at what machine learning can do based purely on visual recognition of this entire collection. What we ended up with is this very interesting map, these clusters that have no reference point information, but has just used visuals to cluster things together. Each cluster is an art to us by itself of discovery. But one of the clusters we want to show you very quickly is this amazing cluster of portraits that we found from museums around the world. If you could zoom in a little bit more, Cyril. Just to show you, you can just travel through portraits. And essentially, you can do nature, you can do horses and clusters galore.
We gaan weer snel verder met iets interessants van meer technische aard. Wat je tot nu toe zag, berust op metadata voor het maken van de connecties. Maar we hebben tegenwoordig uiteraard iets cools waar iedereen het over heeft, en dat is machinaal leren. Dus wij dachten: we laten alle metadata weg en kijken waartoe machinaal leren in staat is, puur op basis van visuele herkenning van de gehele collectie. Dat leverde deze zeer interessante kaart op, van clusters die niet ontstaan zijn rondom geformuleerde referentiepunten maar die puur op basis van visuele kenmerken gevormd zijn. Elke cluster is een kunstvorm op zich in termen van ontdekking. Een van de clusters die we even willen tonen, is deze fantastische groep portretten van musea over de hele wereld. Zoom even wat meer in, Cyril. Je kan dus een reis maken door enkel de portretten. Hetzelfde is mogelijk met natuur, paarden, en talloze andere clusters.
When we saw all these portraits, we were like, "Hey, can we do something fun for kids, or can we do something playful to get people interested in portraits?" Because I haven't really seen young kids really excited to go to a portrait gallery. I wanted to try to figure something out. So we created something called the portrait matcher. It's quite self-explanatory, so I'm just going to let Cyril show his beautiful face. And essentially what's happening is, with the movement of his head, we are matching different portraits around the world from museums.
Toen we al die portretten zagen, dachten we: 'Kunnen we iets leuks maken voor kinderen, of iets ludieks opzetten om mensen te interesseren voor portretten?" Want ik heb nooit echt kinderen gezien die staan te trappelen om naar een portrettengalerij te gaan. Ik wilde daar iets op vinden. We creëerden de portret-vinder. Veel uitleg is niet nodig, dus ik laat gewoon Cyril zijn mooie gezicht tonen. Bij elke beweging van het hoofd vinden we een corresponderend portret.
(Applause)
(Applaus)
And I don't know about you, but I've shown it to my nephew and sister, and the reaction is just phenomenal. All they ask me is, "When can we go see this?" And by the way, if we're nice, maybe, Cyril, you can smile and find a happy one? Oh, perfect. By the way, this is not rehearsed. Congrats, Cyril. Great stuff. Oh wow. OK, let's move on; otherwise, this will just take the whole time.
En ik weet niet wat jij vindt, maar ik toonde dit aan mijn neefje en zo en de reacties waren fenomenaal. Hun enige vraag is dan: "Wanneer kunnen we die gaan zien?" Trouwens, als we braaf zijn, misschien kun je even lachen om een blije te vinden? Oh, perfect. Dit is overigens onvoorbereid. Chapeau Cyril, heel mooi. We gaan verder, anders neemt dit alle tijd in beslag.
(Applause)
(Applaus)
So, art and culture can be fun also, right? For our last quick experiment -- we call all of these "experiments" -- our last quick experiment comes back to machine learning. We show you clusters, visual clusters, but what if we could ask the machine to also name these clusters? What if it could automatically tag them, using no actual metadata? So what we have is this kind of explorer, where we have managed to match, I think, around 4,000 labels. And we haven't really done anything special here, just fed the collection. And we found interesting categories. We can start with horses, a very straightforward category. You would expect to see that the machine has put images of horses, right? And it has, but you also notice, right over there, that it has a very abstract image that it has still managed to recognize and cluster as horses. We also have an amazing head in terms of a horse. And each one has the tags as to why it got categorized in this.
Hoe kunst en cultuur ook leuk kunnen zijn. Voor ons laatste experiment -- we noemen dit allemaal 'experimenten' -- en het laatste voert ons terug naar machinaal leren. We zagen nu visuele clusters. Kunnen we de machine vragen om deze clusters te benoemen? Kan ze die automatisch taggen, zonder enige metadata? We hebben een soort navigator, met daarin volgens mij zo'n 4.000 labels. Wij hebben niets bijzonders gedaan, alleen de collectie ingevoerd. We vonden interessante categorieën. Paarden zijn een voor de hand liggende categorie. Je verwacht dat de machine afbeeldingen van paarden clustert, toch? Dat is ook zo, maar kijk eens hier: dat is een heel abstracte afbeelding die ze toch herkend en geclusterd heeft als 'paard'. We hebben ook een fantastisch hoofd bij wijze van paard. Bij elk van deze staat beschreven waarom het zo gecategoriseerd is.
So let's move to another one which I found very funny and interesting, because I don't understand how this category came up. It's called "Lady in Waiting." If, Cyril, you do it very quickly, you will see that we have these amazing images of ladies, I guess, in waiting or posing. I don't really understand it. But I've been trying to ask my museum contacts, you know, "What is this? What's going on here?" And it's fascinating.
Dan een andere, die ik grappig en interessant vond, want ik begrijp niet hoe deze categorie ontstond. Ze heet 'Wachtende dame'. Als je dit even snel doet, Cyril, dan zie je al deze fraaie afbeeldingen van dames, die... wachten, poseren? Ik begrijp het niet echt. Maar zoiets vraag ik aan mijn museumcontacten: "Wat is dit? Hoe zit dit?" Het is fascinerend.
Coming back to gold very quickly, I wanted to search for gold and see how the machine tagged all the gold. But, actually, it doesn't tag it as gold. We are living in popular times. It tags it as "bling-bling."
Even terugkomend op goud; ik wilde zoeken naar goud en zien hoe de machine alle goud tagt. Maar ze tagt het niet als 'goud'. Dit zijn andere tijden. Ze noemt het 'bling-bling'.
(Laughter)
(Gelach)
I'm being hard on Cyril, because I'm moving too fast. Essentially, here you have all the bling-bling of the world's museums organized for you.
Ik maak het Cyril niet makkelijk, want we gaan nogal snel. Je ziet hier alle bling-bling van 's werelds musea voor je gerangschikt.
And finally, to end this talk and these experiments, what I hope you feel after this talk is happiness and emotion. And what would we see when we see happiness? If we actually look at all the objects that have been tagged under "happiness," you would expect happiness, I guess. But there was one that came up that was very fascinating and interesting, which was this artwork by Douglas Coupland, our friend and artist in residence as well, called, "I Miss My Pre-Internet Brain." I don't know why the machine feels like it misses its pre-Internet brain and it's been tagged here, but it's a very interesting thought. I sometimes do miss my pre-Internet brain, but not when it comes to exploring arts and culture online.
Na deze talk en deze experimenten hoop ik dat je geluk en emotie voelt. Hoe zou dat eruitzien? Als we alle objecten bekijken die staan onder 'geluk', verwacht je waarschijnlijk geluk... maar er was één bijzonder fascinerend plaatje: dit werk van Douglas Coupland, onze vriend en 'artist in residence', getiteld 'Ik mis mijn pre-internetbrein'. Ik weet niet waarom de machine haar pre-internetbrein mist en dit hier getagd heeft, maar het is een interessante gedachte. Ik mis soms ook mijn pre-internetbrein maar niet bij het ontdekken van kunst en cultuur online.
So take out your phones, take out your computers, go visit museums. And just a quick call-out to all the amazing archivists, historians, curators, who are sitting in museums, preserving all this culture. And the least we can do is get our daily dose of art and culture for ourselves and our kids.
Pak dus je telefoons, je computers, en bezoek musea. En even een schijnwerper op alle geweldige archivisten, historici, conservatoren, die in musea bezig zijn al deze cultuur te bewaren. Het minste wat wij kunnen doen, is onze dagelijkse dosis halen voor onszelf en onze kinderen.
Thank you.
Dankjewel.
(Applause)
(Applaus)