Many of us here use technology in our day-to-day. And some of us rely on technology to do our jobs. For a while, I thought of machines and the technologies that drive them as perfect tools that could make my work more efficient and more productive.
Beaucoup d'entre nous ici utilisent la technologie au quotidien. Et certains se fient à la technologie pour effectuer leur travail. Pendant un moment, je pensais aux machines et aux technologies qui les propulsent comme des outils parfaits qui rendraient mon travail plus efficace et productif.
But with the rise of automation across so many different industries, it led me to wonder: If machines are starting to be able to do the work traditionally done by humans, what will become of the human hand? How does our desire for perfection, precision and automation affect our ability to be creative?
L'augmentation de l'automatisation dans beaucoup d'industries m'a incitée à me demander : si des machines commencent à faire le travail historiquement fait par les humains, quel sera l'avenir de la main humaine ? Comment notre désir de perfection, de précision et d'automatisation affecte-il nos capacités créatives ?
In my work as an artist and researcher, I explore AI and robotics to develop new processes for human creativity. For the past few years, I've made work alongside machines, data and emerging technologies. It's part of a lifelong fascination about the dynamics of individuals and systems and all the messiness that that entails. It's how I'm exploring questions about where AI ends and we begin and where I'm developing processes that investigate potential sensory mixes of the future. I think it's where philosophy and technology intersect.
Dans mon travail comme chercheuse et artiste, j'étudie l'IA et la robotique afin de développer des nouveaux processus de créativité humaine. Depuis quelques années, je travaille avec des machines, des données et les nouvelles technologies. C'est une fascination de toujours des dynamiques des personnes et des systèmes et de tout le désordre que ça entraîne. C'est la façon dont j'explore la question d'où se termine l'IA, d'où nous commençons et d'où je développe des processus pour examiner les combinaisons sensorielles possibles du futur. C'est là où se croisent philosophie et technologie.
Doing this work has taught me a few things. It's taught me how embracing imperfection can actually teach us something about ourselves. It's taught me that exploring art can actually help shape the technology that shapes us. And it's taught me that combining AI and robotics with traditional forms of creativity -- visual arts in my case -- can help us think a little bit more deeply about what is human and what is the machine. And it's led me to the realization that collaboration is the key to creating the space for both as we move forward.
Effectuer ce travail m'a appris quelque chose. Il m'a appris qu'accueillir l'imperfection nous permet d'apprendre quelque chose sur nous-même. Il m'a appris que la découverte de l'art peut fait donner forme à la technologie qui nous définit. Et il m'a appris que combiner l'IA et la robotique avec des formes classiques de créativité - pour ma part, les arts visuels - peut nous faire réfléchir un peu plus sur ce qui est humain et ce qui est mécanique. Et ça m'a fait prendre conscience que collaborer est la clé pour créer de la place pour les deux alors que nous progressons.
It all started with a simple experiment with machines, called "Drawing Operations Unit: Generation 1." I call the machine "D.O.U.G." for short. Before I built D.O.U.G, I didn't know anything about building robots. I took some open-source robotic arm designs, I hacked together a system where the robot would match my gestures and follow [them] in real time. The premise was simple: I would lead, and it would follow. I would draw a line, and it would mimic my line.
Tout a commencé avec une expérience avec des machines, appelée « Drawing Operations Unit : Génération 1 ». J'appelle la machine « D. O. U. G. » pour faire court. Avant de l'avoir créé, je ne savais rien sur la construction des robots. J'ai utilisé quelques modèles de bras robotiques open-source et j'ai conçu un système pour que le robot imite mes mouvements et les suive en temps réel. Le principe était simple : Je le mènerais, il me suivrait. Je dessinerais une ligne, et il la reproduirait.
So back in 2015, there we were, drawing for the first time, in front of a small audience in New York City. The process was pretty sparse -- no lights, no sounds, nothing to hide behind. Just my palms sweating and the robot's new servos heating up. (Laughs) Clearly, we were not built for this. But something interesting happened, something I didn't anticipate.
Donc, en 2015, nous y voilà, nous dessinions pour la première fois devant un petit auditoire à New York. Le procédé était assez clairsemé - sans lumières ni sons, rien pour se cacher. Juste mes paumes moites et le nouveau servos du robot surchauffé. (Rit) On n'était clairement pas faits pour cela. Mais une chose intéressante s'est passée, que je n'avais pas prévue.
See, D.O.U.G., in its primitive form, wasn't tracking my line perfectly. While in the simulation that happened onscreen it was pixel-perfect, in physical reality, it was a different story. It would slip and slide and punctuate and falter, and I would be forced to respond. There was nothing pristine about it. And yet, somehow, the mistakes made the work more interesting. The machine was interpreting my line but not perfectly. And I was forced to respond. We were adapting to each other in real time.
D.O.U.G., dans sa première forme, ne suivait pas parfaitement ma ligne. Bien que dans la simulation montrée à l'écran il était précis au pixel, en réalité, c'était bien différent. Le bras glissait, ponctuait, et hésitait et j'étais obligée de répondre. Rien de parfait là-dedans. Mais finalement, les erreurs ont rendu le travail plus intéressant. Le robot interprétait la ligne, mais pas parfaitement. J'étais obligée de répondre. On s'adaptait en temps réel.
And seeing this taught me a few things. It showed me that our mistakes actually made the work more interesting. And I realized that, you know, through the imperfection of the machine, our imperfections became what was beautiful about the interaction. And I was excited, because it led me to the realization that maybe part of the beauty of human and machine systems is their shared inherent fallibility. For the second generation of D.O.U.G., I knew I wanted to explore this idea. But instead of an accident produced by pushing a robotic arm to its limits, I wanted to design a system that would respond to my drawings in ways that I didn't expect.
Le voir m'a appris plusieurs choses : déjà, que le travail était en fait plus intéressant grâce aux erreurs. Et je me suis rendu compte que, grâce aux défauts de la machine, nos défauts rendaient l'interaction belle. Et j'étais motivée parce que je me suis rendu compte qu'en partie, la beauté des humains et des systèmes mécaniques se trouve possiblement dans leur faillibilité inhérente. Pour la seconde génération de D.O.U.G., je voulais envisager cette idée. Mais au lieu d'un accident créé par un bras robotique poussé à ses limites, je voulais concevoir un système qui répondrait à mes dessins de manière imprévue.
So, I used a visual algorithm to extract visual information from decades of my digital and analog drawings. I trained a neural net on these drawings in order to generate recurring patterns in the work that were then fed through custom software back into the machine. I painstakingly collected as many of my drawings as I could find -- finished works, unfinished experiments and random sketches -- and tagged them for the AI system. And since I'm an artist, I've been making work for over 20 years. Collecting that many drawings took months, it was a whole thing.
Donc, j'ai utilisé un algorithme visuel afin d'extraire des données visuelles de mes dessins numériques et fait main de plusieurs décennies. J'ai créé un réseau neuronal sur les dessins dans le but de générer des motifs récurrents là-dedans qui ont ensuite été réintroduits dans la machine par un logiciel personnalisé. J'ai péniblement rassemblé autant de mes dessins que possible - des dessins finis ou inachevés, des croquis aléatoires - et je les ai importés dans l'IA. Comme je suis artiste, je crée de l'art depuis plus de 20 ans. Rassembler autant de dessins prend des mois donc c'était tout un projet.
And here's the thing about training AI systems: it's actually a lot of hard work. A lot of work goes on behind the scenes. But in doing the work, I realized a little bit more about how the architecture of an AI is constructed. And I realized it's not just made of models and classifiers for the neural network. But it's a fundamentally malleable and shapable system, one in which the human hand is always present. It's far from the omnipotent AI we've been told to believe in.
Il faut savoir qu'entraîner des IA, c'est effectivement beaucoup de travail. Beaucoup de choses se passent en coulisses. Mais en effectuant le travail, j'ai appris davantage sur la construction d'un tel système. Il ne se compose pas seulement de modèles et classificateurs qui forment le réseau. C'est un système fondamentalement malléable et modelable dans lequel la main humaine est toujours présente. C'est loin de l'IA omnipotente en laquelle on est censé croire.
So I collected these drawings for the neural net. And we realized something that wasn't previously possible. My robot D.O.U.G. became a real-time interactive reflection of the work I'd done through the course of my life. The data was personal, but the results were powerful. And I got really excited, because I started thinking maybe machines don't need to be just tools, but they can function as nonhuman collaborators. And even more than that, I thought maybe the future of human creativity isn't in what it makes but how it comes together to explore new ways of making.
J'ai rassemblé ces dessins pour le réseau neuronal. Et on s'est rendu compte de quelque chose qui n'avait pas été possible avant. Mon robot, D.O.U.G., était devenu un reflet interactif, en temps réel, du travail que j'avais effectué au cours de ma vie. Les données étaient personnelles, mais les résultats étaient puissants. Et j'ai été très enthousiaste car j'ai réalisé que les machines, n'étaient pas seulement des outils, mais aussi qu'elles pouvaient être des collaboratrices non humaines. Et même plus que cela, le futur de la créativité humaine n'est pas ce qu'elle produit mais comment elle collabore pour explorer d'autres manières de créer.
So if D.O.U.G._1 was the muscle, and D.O.U.G._2 was the brain, then I like to think of D.O.U.G._3 as the family. I knew I wanted to explore this idea of human-nonhuman collaboration at scale. So over the past few months, I worked with my team to develop 20 custom robots that could work with me as a collective. They would work as a group, and together, we would collaborate with all of New York City.
Si D.O.U.G._1 était le muscle, et D.O.U.G._2 le cerveau, alors j'aime imaginer D.O.U.G._3 comme la famille. J'explorais l'idée de la collaboration humain-non humain. Au cours de ces mois, j'ai travaillé avec mon équipe pour créer 20 robots sur mesure travaillant collectivement avec moi. Ils formeraient un groupe et ensemble, on collaborerait avec la ville de New York.
I was really inspired by Stanford researcher Fei-Fei Li, who said, "if we want to teach machines how to think, we need to first teach them how to see." It made me think of the past decade of my life in New York, and how I'd been all watched over by these surveillance cameras around the city. And I thought it would be really interesting if I could use them to teach my robots to see. So with this project, I thought about the gaze of the machine, and I began to think about vision as multidimensional, as views from somewhere. We collected video from publicly available camera feeds on the internet of people walking on the sidewalks, cars and taxis on the road, all kinds of urban movement. We trained a vision algorithm on those feeds based on a technique called "optical flow," to analyze the collective density, direction, dwell and velocity states of urban movement. Our system extracted those states from the feeds as positional data and became pads for my robotic units to draw on. Instead of a collaboration of one-to-one, we made a collaboration of many-to-many. By combining the vision of human and machine in the city, we reimagined what a landscape painting could be.
J'étais inspirée par un chercheur de Stanford, Fei-Fei Li, qui a dit : « Si on veut apprendre à penser aux robots, il faut d'abord leur apprendre à voir. » J'ai pensé aux 10 dernières années de ma vie à New York, et comment les caméras de surveillance me regardaient partout dans la ville. Je pensais que ce serait très intéressant de les utiliser afin d'apprendre aux robots à voir. Donc, pour ce projet, j'ai pensé au regard de la machine, et j'ai commencé à penser à la vue comme multidimensionnelle, comme des vues de quelque part. On a recueilli des images vidéo des flux de caméras accessibles au public sur Internet : des gens marchant sur le trottoir, des voitures et taxis dans la rue, toutes sortes de mouvements urbains. On a entraîné un algorithme de vision sur ces données, basé sur la technique de « flux optique » pour analyser les états de densité, direction, durée de temporisation, et vélocité du mouvement urbain. Notre système a extrait ces états des flux en tant que données de position qui sont devenues des cartes sur lesquelles mes robots dessineraient. Au lieu d'une collaboration en tête-à-tête, on a créé une collaboration en plusieurs-à-plusieurs. En combinant la vue humaine et mécanique dans la ville, on a refait ce qui s'assimile à une peinture de paysage.
Throughout all of my experiments with D.O.U.G., no two performances have ever been the same. And through collaboration, we create something that neither of us could have done alone: we explore the boundaries of our creativity, human and nonhuman working in parallel.
Lors de toutes mes expériences avec D.O.U.G., il n'y avait jamais eu deux performances semblables. Grâce à la collaboration, on réalise quelque chose que personne n'aurait pu faire seul : on découvre les limites de notre créativité ; humaine et non-humaine en travaillant parallèlement.
I think this is just the beginning. This year, I've launched Scilicet, my new lab exploring human and interhuman collaboration. We're really interested in the feedback loop between individual, artificial and ecological systems. We're connecting human and machine output to biometrics and other kinds of environmental data. We're inviting anyone who's interested in the future of work, systems and interhuman collaboration to explore with us. We know it's not just technologists that have to do this work and that we all have a role to play.
Je pense que ce n'est que le début. Cette année, j'ai lancé Scilicet, un laboratoire qui explore la collaboration humaine et interhumaine. On s'intéresse à la boucle de rétroaction entre les systèmes individuels, artificiels, et écologiques. On lie la production humaine et mécanique et la biométrie et toutes sortes de données environnementales. On invite quiconque qui s'intéresse au futur du travail, des systèmes, et la collaboration interhumaine à explorer avec nous. Ce n'est pas que les technologues qui sont en charge de ce travail, nous avons tous un rôle à jouer.
We believe that by teaching machines how to do the work traditionally done by humans, we can explore and evolve our criteria of what's made possible by the human hand. And part of that journey is embracing the imperfections and recognizing the fallibility of both human and machine, in order to expand the potential of both.
On croit qu'en apprenant aux machines à faire le travail fait par les humains, on peut explorer et faire évoluer ce qui est rendu possible par la main humaine. Ce travail requiert l'acceptation des défauts et la reconnaissance de la faillibilité des êtres humains et des machines afin d'agrandir les capacités des deux.
Today, I'm still in pursuit of finding the beauty in human and nonhuman creativity. In the future, I have no idea what that will look like, but I'm pretty curious to find out.
Aujourd'hui, je cherche toujours la beauté dans la créativité humaine et non-humaine. À l'avenir, je ne sais pas à quoi elle ressemblera, mais j'ai hâte de le découvrir.
Thank you.
Merci.
(Applause)
(Applaudissements)