I'd like to start by asking you to imagine a color that you've never seen before. Just for a second give this a try.
J’aimerais commencer en vous demandant d’imaginer une couleur que vous n’avez encore jamais vue. Essayez un instant.
Can you actually visualize a color that you've never been able to perceive? I never seem to get tired of trying this although I know it's not an easy challenge. And the thing is, we can't imagine something without drawing upon our experiences. A color we haven't yet seen outside the spectrum we can perceive is outside our ability to conjure up. It's almost like there's a boundary to our imagination where all the colors we can imagine can only be various shades of other colors we have previously seen. Yet we know for a fact that those color frequencies outside our visible spectrum are there. And scientists believe that there are species that have many more photo receptors than just the three color ones we humans have.
Pouvez-vous visualiser une couleur que vous n’avez encore jamais perçue ? Je ne me lasse jamais d’essayer de le faire même si je suis consciente que ce n’est pas un défi facile. Voyez-vous, on ne peut pas imaginer quelque chose sans s’appuyer sur nos expériences. Une couleur que nous n’avons jamais vue, hors du spectre de notre perception, est hors de notre champ des possibles. C’est presque comme s’il y avait une limite à notre imagination faisant que les couleurs qu’on peut imaginer ne peuvent être que certaines nuances d’autres couleurs que nous avons déjà vues. Nous savons pourtant parfaitement que des fréquences de couleur existent hors du spectre visible. Les scientifiques pensent que certaines espèces ont beaucoup plus de photorécepteurs que les seuls trois que nous, humains, possédons.
Which, by the way, not all humans see the world in the same way. Some of us are colorblind to various degrees, and very often we don't even agree on small things, like if a dress on the internet is blue and black or white and gold. But my favorite creature, one of my favorite creatures, is the peacock mantis shrimp, which is estimated to have 12 to 16 photo receptors. And that indicates the world to them might look so much more colorful.
D’ailleurs, tous les humains ne voient pas le monde de la même façon. Certains d’entre nous sont daltoniens, à des degrés différents, et nous ne sommes très souvent pas d’accord sur des détails, par exemple, si une robe sur Internet est bleue et noire, ou blanche et or. Ma créature préférée, en tout cas une de mes préférées, est la squille multicolore. On estime qu’elle possède 12 à 16 photorécepteurs. Ça signifie que le monde doit être beaucoup plus coloré pour ces animaux.
So what about artificial intelligence? Can AI help us see beyond our human capabilities?
Qu’en est-il de l’IA, l’intelligence artificielle ? Peut-elle nous aider à voir au-delà de nos capacités humaines ?
Well, I've been working with AI for the past five years, and in my experience, it can see within the data it gets fed. But then you might be wondering, OK, if AI can't help imagine anything new, why would an artist see any point in using it? And my answer to that is because I think that it can help augment our creativity as there's value in creating combinations of known elements to form new ones. And this boundary of what we can imagine based on what we have experienced is the place that I have been exploring.
J’ai travaillé avec l’IA au cours des cinq dernières années, et selon mon expérience, elle peut voir dans les limites des données qu’on lui fournit. Vous devez vous dire : « Si l’IA ne peut pas aider à imaginer quelque chose de nouveau, pourquoi un artiste y verrait-il un intérêt à s’en servir ? » Je pense que c’est parce qu’elle peut aider à développer notre créativité. Il est en effet utile de créer des combinaisons d’éléments connus pour en faire de nouveaux. Cette limite qui entoure ce qu’on peut imaginer en s’inspirant des expériences passées est l’endroit que j’ai exploré.
For me, it started with jellyfish on a screen at an aquarium and wearing those old 3D glasses, which I hope you remember, the ones with the blue and red lens. And this experience made me want to recreate their textures. But not just that, I also wanted to create new jellyfish that I hadn't seen before, like these. And what started with jellyfish, very quickly escalated to other sea creatures like sea anemone, coral and fish. And then from there came amphibians, birds and insects. And this became a series called “Neural Zoo”.
Tout a commencé pour moi lorsque j’ai vu une méduse sur un écran dans un aquarium. Je portais ces vieilles lunettes 3D, vous savez desquelles je parle, celles avec les filtres bleus et rouges. Cette expérience m’a donné envie de recréer leurs textures. Mais ce n’est pas tout, je voulais aussi créer de nouvelles méduses que je n’avais encore jamais vues, comme celles-ci. Ce qui a commencé avec une méduse s’est très rapidement étendu à d’autres créatures de la mer comme des anémones, du corail et des poissons, puis j’ai continué avec des amphibiens, des oiseaux et des insectes. C’est devenu une série appelée « Neural Zoo ».
But when you look closely, what do you see?
Si vous regardez attentivement,
There's no single creature in these images. And AI augments my creative process by allowing me to distill and recombine textures. And that's something that would otherwise take me months to draw by hand. Plus I'm actually terrible at drawing.
que voyez-vous ? Il n’y a aucune créature isolée dans ces images. L’IA stimule ma créativité puisqu’elle me permet de distiller et de recombiner des textures. Sans elle, ça me prendrait des mois à dessiner à la main. De toute façon, je suis nulle en dessin.
So you could say, in a way, what I'm doing is a contemporary version of something that humans have already been doing for a long time, even before cameras existed. In medieval times, people went on expeditions, and when they came back they would share about what they saw to an illustrator. And the illustrator, having never seen what was being described, would end up drawing based on the creatures that they had previously seen and in the process creating hybrid animals of some sort. So an explorer might describe a beaver, but having never seen one, the illustrator might give it the head of a rodent, the body of a dog and a fish-like tail. In the series “Artificial Natural History”, I took thousands of illustrations from a natural history archives, and I fed them to a neural network to generate new versions of them. But up until now, all my work was done in 2D. And with the help of my studio partner, Feileacan McCormick, we decided to train a neural network on a data set of 3D scanned beetles. But I must warn you that our first results were extremely blurry, and they looked like the blobs you see here. And this could be due to many reasons, but one of them being that there aren't really a lot of openly available data sets of 3D insects. And also we were repurposing a neural network that normally gets used to generate images to generate 3D. So believe it or not, these are very exciting blobs to us.
On pourrait dire que ce que je fais, d’une certaine façon, est une version moderne de quelque chose que les humains font depuis longtemps déjà, bien avant l’arrivée des appareils photo. Au Moyen-Âge, des gens partaient en expédition et ils décrivaient, à leur retour, ce qu’ils avaient vu à un illustrateur. Cet illustrateur, n’ayant jamais vu ce qui lui était décrit, finissait par dessiner des créatures inspirées de ce qu’il avait déjà vu et créait donc par ce biais des genres d’animaux hybrides. Si on décrivait un castor à l’illustrateur mais qu’il n’en avait jamais vu avant, il aurait pu le dessiner avec la tête d’un rongeur, le corps d’un chien et une queue de poisson. Pour la série nommée « Artificial Natural History », j’ai pris des milliers d’illustrations dans les archives de l’histoire naturelle et je les ai intégrées dans un réseau neuronal pour en générer de nouvelles versions. Jusqu’à maintenant, je travaillais uniquement en 2D. Avec l’aide de mon partenaire de studio, Feileacan McCormick, nous avons décidé d’entraîner un réseau neuronal avec un jeu de données de scarabées scannés en 3D. Je vous préviens, nos premiers résultats n’étaient vraiment pas nets. Ils ressemblaient à ces trucs flous. Il y a plusieurs raisons à ça, mais l’une d’entre elles est le manque de jeux de données d’insectes 3D en accès libre. De plus, nous avons modifié la fonction d’un réseau neuronal qui servait normalement à générer des images pour générer de la 3D. Que vous soyez convaincus ou pas, ces trucs flous sont très encourageants pour nous.
But with time and some very hacky solutions like data augmentation, where we threw in ants and other beetle-like insects to enhance the data set, we ended up getting this, which we've been told they look like grilled chicken.
Avec le temps, et grâce à des solutions basiques, comme l’augmentation de données, où nous avons rajouté des fourmis et d’autres insectes de type scarabée pour élargir le jeu de données, nous avons fini par obtenir ceci, que certains disent ressembler à des poulets grillés.
(Laughter)
(Rires)
But hungry for more, we pushed our technique,
Nous voulions aller plus loin.
and eventually they ended up looking like this. We use something called 3D style transfer to map textures onto them, and we also trained a natural language model to generate scientific-like names and anatomical descriptions. And eventually we even found a network architecture that could handle 3D meshes. So they ended up looking like this. And for us, this became a way of creating kind of a speculative study --
Nous avons donc fait progresser notre technique jusqu’à ce qu’ils finissent par ressembler à ça. Nous nous servons d’une technique appelée transfert de style 3D pour créer leurs textures et nous avons aussi entraîné un modèle de langage naturel pour générer des noms à consonance scientifique et des descriptions anatomiques. Nous avons même fini par trouver une architecture de réseau capable de traiter les maillages 3D, et voici ce que nous avons obtenu. C’est devenu pour nous un moyen de créer une sorte d’étude spéculative...
(Applause)
(Applaudissements)
A speculative study of creatures that never existed, kind of like a speculative biology.
une étude spéculative de créatures qui n’ont jamais existé, une sorte de biologie spéculative.
But I didn't want to talk about AI and its potential unless it brought me closer to a real species. Which of these do you think is easier to find data about online?
Je n’aurais pas parlé de l’IA et de son potentiel si je n’avais pas pu faire le lien avec une véritable espèce. Selon vous, sur lequel est-il plus facile de trouver des données sur Internet ?
(Laughter)
(Rires)
Yeah, well, as you guessed correctly, the red panda. And this maybe could be due to many reasons, but one of them being how cute they are, which means we photograph and talk about them a lot, unlike the boreal felt lichen. But both of them are classified as endangered. So I wanted to bring visibility to other endangered species that don't get the same amount of digital representation as a cute, fluffy red panda. And to do this, we trained an AI on millions of images of the natural world, and then we prompted with text to generate some of these creatures.
Le panda roux, bien évidemment. Probablement pour plusieurs raisons, l’une d’entre elles étant le fait qu’ils soient très mignons. Ça explique qu’ils soient beaucoup photographiés et qu’on en parle beaucoup, contrairement à l’érioderme boréal. Les deux sont pourtant menacés. Je souhaitais apporter de la visibilité aux autres espèces menacées, moins présentes sur Internet que l’adorable panda roux. Pour y parvenir, nous avons entraîné une IA avec des millions d’images de la nature avant d’entrer un texte pour générer certaines de ces créatures.
So when prompted with a text, "an image of a critically endangered spider, the peacock tarantula" and its scientific name, our model generated this. And here's an image of the real peacock tarantula, which is a wonderful spider endemic to India. But when prompted with a text "an image of a critically endangered bird, the mangrove finch," our model generated this. And here's a photo of the real mangrove finch. Both these creatures exist in the wild, but the accuracy of each generated image is fully dependent on the data available. These chimeras of our everyday data to me are a different way of how the future could be. Not in a literal sense, perhaps, but in the sense that through practicing the expanding of our own imagination about the ecosystems we are a part of, we might just be better equipped to recognize new opportunities and potential.
Quand on a entré le texte « une image d’une araignée en danger critique, la mygale bleue » avec son nom scientifique, notre modèle a généré ceci. Voici une image d’une vraie mygale bleue, une araignée extraordinaire, endémique de l’Inde. Mais quand nous avons entré le texte « une image d’un oiseau en danger critique, le géospize des mangroves », notre modèle a généré ceci. Voici maintenant une photo d’un vrai géospize des mangroves. Ces deux créatures existent dans la nature, mais la précision de chaque image générée dépend entièrement des données disponibles. Ces chimères issues de nos simples données sont pour moi une autre façon de voir à quoi le futur pourrait ressembler. Peut-être pas de façon littérale, mais en se disant qu’en nous entraînant et en développant notre imagination sur les écosystèmes dont nous faisons partie, nous serions plus préparés pour reconnaître de nouvelles opportunités et du potentiel.
Knowing that there's a boundary to our imagination doesn't have to feel limiting. On the contrary, it can help motivate us to expand that boundary further and to seek out colors and things we haven't yet seen and perhaps enrich our imagination as a result.
Savoir que notre imagination est limitée ne doit pas être perçue comme une limite. Au contraire, ça peut nous aider à repousser cette limite, à partir à la recherche de couleurs et de choses que nous n’avons jamais vues, et peut-être à arriver à plus stimuler notre imagination.
So thank you.
Merci.
(Applause)
(Applaudissements)