Many of us here use technology in our day-to-day. And some of us rely on technology to do our jobs. For a while, I thought of machines and the technologies that drive them as perfect tools that could make my work more efficient and more productive.
Velen van ons gebruiken technologie in ons dagelijks leven. En sommigen van ons zijn in ons werk afhankelijk van technologie. Een tijd lang heb ik machines en de technologie erachter gezien als perfecte middelen om efficiënter en productiever te werken.
But with the rise of automation across so many different industries, it led me to wonder: If machines are starting to be able to do the work traditionally done by humans, what will become of the human hand? How does our desire for perfection, precision and automation affect our ability to be creative?
Maar met de opkomst van automatisering in veel industrieën rees bij mij de vraag: Als machines steeds meer het werk doen dat normaal door mensen wordt gedaan, wat zijn dan de gevolgen voor de mensenhand? Hoe beïnvloedt ons streven naar perfectie, precisie en automatisering onze creatieve vermogens?
In my work as an artist and researcher, I explore AI and robotics to develop new processes for human creativity. For the past few years, I've made work alongside machines, data and emerging technologies. It's part of a lifelong fascination about the dynamics of individuals and systems and all the messiness that that entails. It's how I'm exploring questions about where AI ends and we begin and where I'm developing processes that investigate potential sensory mixes of the future. I think it's where philosophy and technology intersect.
Als kunstenaar en onderzoeker, gebruik ik KI en robotica om nieuwe manieren te ontwikkelen voor menselijke creativiteit. In de afgelopen paar jaar heb ik werk gemaakt met machines, data en nieuwe technologieën. Dit komt voort uit een levenslange fascinatie voor de dynamiek tussen individuen en systemen en de warboel die daar vaak mee gepaard gaat. Zo zoek ik antwoord op de vraag waar KI eindigt en wij beginnen, en ontwikkel ik werkwijzen die mogelijke zintuiglijke mengeling voor de toekomst onderzoekt. Dit speelt zich af op het raakvlak van filosofie en technologie.
Doing this work has taught me a few things. It's taught me how embracing imperfection can actually teach us something about ourselves. It's taught me that exploring art can actually help shape the technology that shapes us. And it's taught me that combining AI and robotics with traditional forms of creativity -- visual arts in my case -- can help us think a little bit more deeply about what is human and what is the machine. And it's led me to the realization that collaboration is the key to creating the space for both as we move forward.
Dit werk heeft me een paar dingen geleerd. Ik heb geleerd dat door imperfectie te accepteren, we dingen kunnen leren over onszelf. Ik heb ook geleerd dat door kunst te verkennen, we de technologie die ons vormt beter kunnen maken. En het heeft me geleerd dat door KI en robotica te combineren met traditionele vormen van creativiteit -- in mijn geval beeldende kunst -- we beter kunnen nadenken over wat een mens is en wat een machine. Hierdoor kwam ik tot de conclusie dat samenwerking essentieel is voor het creëren van ruimte voor allebei voor de toekomst.
It all started with a simple experiment with machines, called "Drawing Operations Unit: Generation 1." I call the machine "D.O.U.G." for short. Before I built D.O.U.G, I didn't know anything about building robots. I took some open-source robotic arm designs, I hacked together a system where the robot would match my gestures and follow [them] in real time. The premise was simple: I would lead, and it would follow. I would draw a line, and it would mimic my line.
Het begon met een tekenexperiment met machines, genaamd: 'Draw Operations Unit: Generation 1'. Afgekort noem ik de machine 'D.O.U.G.' Voordat ik D.O.U.G. bouwde, wist ik niets af van het bouwen van robots. Ik nam een paar opensourceontwerpen voor een robotarm en hackte het zodanig dat de robot mijn gebaren na zou doen en ze in realtime zou volgen. Het uitgangspunt was simpel: Ik zou leiden en hij zou me volgen. Ik zou een lijn tekenen en hij zou mijn lijn imiteren.
So back in 2015, there we were, drawing for the first time, in front of a small audience in New York City. The process was pretty sparse -- no lights, no sounds, nothing to hide behind. Just my palms sweating and the robot's new servos heating up. (Laughs) Clearly, we were not built for this. But something interesting happened, something I didn't anticipate.
En in 2015 was het zover en tekende we voor het eerst samen voor een klein publiek in New York. Het was simpel opgezet -- geen licht, geen geluid, niets om je achter te verbergen. Alleen mijn zwetende handen en de nieuwe servomotoren van de robots die warm werden. (Gelach) We zijn hier duidelijk niet voor gemaakt. Maar er gebeurde iets interessants, iets dat ik niet verwacht had.
See, D.O.U.G., in its primitive form, wasn't tracking my line perfectly. While in the simulation that happened onscreen it was pixel-perfect, in physical reality, it was a different story. It would slip and slide and punctuate and falter, and I would be forced to respond. There was nothing pristine about it. And yet, somehow, the mistakes made the work more interesting. The machine was interpreting my line but not perfectly. And I was forced to respond. We were adapting to each other in real time.
Deze eerste versie van D.O.U.G. volgde mijn lijn namelijk niet perfect. Hoewel de simulatie die men op het scherm zag tot op de pixel nauwkeurig was, was het in werkelijkheid een heel ander verhaal. Hij slipte en gleed weg en stippelde en haperde, en ik was gedwongen te reageren. Het was verre van perfect. Maar toch maakten de fouten het werk wel een stuk interessanter. De machine interpreteerde mijn lijn, maar niet zorgvuldig. En ik moest daar weer op reageren. We pasten ons in realtime op elkaar aan.
And seeing this taught me a few things. It showed me that our mistakes actually made the work more interesting. And I realized that, you know, through the imperfection of the machine, our imperfections became what was beautiful about the interaction. And I was excited, because it led me to the realization that maybe part of the beauty of human and machine systems is their shared inherent fallibility. For the second generation of D.O.U.G., I knew I wanted to explore this idea. But instead of an accident produced by pushing a robotic arm to its limits, I wanted to design a system that would respond to my drawings in ways that I didn't expect.
Ik heb hier een aantal dingen van geleerd. Ik zag dat onze fouten het werk interessanter maakten. En het was duidelijk dat door de imperfectie van de machine het juist de imperfecties waren die de interactie bijzonder maakten. Ik was enthousiast want ik besefte dat de schoonheid van mens- en machinesystemen deels voortkomt uit de onvolmaaktheid van beiden. Met de tweede generatie van D.O.U.G. wilde ik dit idee verder onderzoeken. Maar in plaats van de robotarm te dwingen tot het uiterste te gaan, wilde ik een systeem ontwerpen dat op een verrassende manier op mijn tekeningen zou reageren.
So, I used a visual algorithm to extract visual information from decades of my digital and analog drawings. I trained a neural net on these drawings in order to generate recurring patterns in the work that were then fed through custom software back into the machine. I painstakingly collected as many of my drawings as I could find -- finished works, unfinished experiments and random sketches -- and tagged them for the AI system. And since I'm an artist, I've been making work for over 20 years. Collecting that many drawings took months, it was a whole thing.
Dus gebruikte ik een visueel algoritme om beeldinformatie te halen uit tientallen jaren aan digitale en analoge tekeningen. Met de tekeningen trainde ik een neuraal netwerk, zodat het terugkerende figuren in het werk kon reproduceren die vervolgens met aangepaste software weer terug in de machine gevoerd werden. Ik verzamelde zoveel mogelijk tekeningen -- complete werken, onvoltooide experimenten en willekeurige sketches -- en gaf ze labels voor het KI-systeem. En als kunstenaar heb ik in twintig jaar veel werk geproduceerd. Om al die tekeningen te verzamelen, kostte maanden werk. Een hele klus. Wat blijkt als je KI-systemen traint:
And here's the thing about training AI systems: it's actually a lot of hard work. A lot of work goes on behind the scenes. But in doing the work, I realized a little bit more about how the architecture of an AI is constructed. And I realized it's not just made of models and classifiers for the neural network. But it's a fundamentally malleable and shapable system, one in which the human hand is always present. It's far from the omnipotent AI we've been told to believe in.
het kost ongelofelijk veel tijd. Het meeste werk gebeurt achter de schermen. Maar door ermee bezig te zijn, leerde ik wat meer over hoe het ontwerp van KI in elkaar steekt. Ik kwam erachter dat het niet alleen bestaat uit modellen en klassen voor het neurale netwerk, maar dat het wezenlijk een flexibel en plastisch systeem is, waarbij de mensenhand altijd aanwezig is. Het lijkt totaal niet op de almachtige KI die ons wordt voorgeschoteld.
So I collected these drawings for the neural net. And we realized something that wasn't previously possible. My robot D.O.U.G. became a real-time interactive reflection of the work I'd done through the course of my life. The data was personal, but the results were powerful. And I got really excited, because I started thinking maybe machines don't need to be just tools, but they can function as nonhuman collaborators. And even more than that, I thought maybe the future of human creativity isn't in what it makes but how it comes together to explore new ways of making.
Dus ik verzamelde de tekeningen voor het neurale netwerk. We ontdekten iets dat nog niet eerder mogelijk was. Mijn robot D.O.U.G. werd een interactieve weergave in realtime van al het werk dat ik in mijn hele leven had gemaakt. De data was persoonlijk, maar de resultaten waren indrukwekkend. En ik was enthousiast, want ik realiseerde me dat machines niet alleen hulpmiddelen konden zijn, maar dat ze ook zouden kunnen werken als niet-menselijke medewerkers. En nog een stap verder, misschien zit de toekomst van menselijke creativiteit niet in wat gemaakt wordt, maar hoe door samenwerking nieuwe manieren van produceren ontstaan.
So if D.O.U.G._1 was the muscle, and D.O.U.G._2 was the brain, then I like to think of D.O.U.G._3 as the family. I knew I wanted to explore this idea of human-nonhuman collaboration at scale. So over the past few months, I worked with my team to develop 20 custom robots that could work with me as a collective. They would work as a group, and together, we would collaborate with all of New York City.
Dus als D.O.U.G._1 de spieren was en D.O.U.G._2 de hersenen, dan zie ik D.O.U.G_3 als de familie. Ik wilde dit idee van een samenwerking tussen mens en machine op grote schaal onderzoeken. De afgelopen paar maanden werkte ik dus met mijn team aan twintig op maat gemaakte robots om mee samen te werken. Zij vormden een groep en samen zouden we werken met heel New York.
I was really inspired by Stanford researcher Fei-Fei Li, who said, "if we want to teach machines how to think, we need to first teach them how to see." It made me think of the past decade of my life in New York, and how I'd been all watched over by these surveillance cameras around the city. And I thought it would be really interesting if I could use them to teach my robots to see. So with this project, I thought about the gaze of the machine, and I began to think about vision as multidimensional, as views from somewhere. We collected video from publicly available camera feeds on the internet of people walking on the sidewalks, cars and taxis on the road, all kinds of urban movement. We trained a vision algorithm on those feeds based on a technique called "optical flow," to analyze the collective density, direction, dwell and velocity states of urban movement. Our system extracted those states from the feeds as positional data and became pads for my robotic units to draw on. Instead of a collaboration of one-to-one, we made a collaboration of many-to-many. By combining the vision of human and machine in the city, we reimagined what a landscape painting could be.
Ik was enorm geïnspireerd door de Stanford onderzoeker Fei-Fei Li, die zei: "Als we machines willen leren na te denken, moeten we ze eerst leren zien." Ik moest denken aan mijn leven in New York de afgelopen tien jaar, en hoe we overal in de stad door camera's in de gaten werden gehouden. Ik dacht dat het interessant kon zijn om met hen mijn robots te leren zien. Door dit project dacht ik na over de blik van de machine, en begon ik zien te beschouwen als multidimensionaal, als beelden ergens vandaan. We verzamelden video's van openbare camera's op internet van voetgangers op de stoep, auto's en taxi's op de weg, allerlei soorten bewegingen op straat. We leerden een visueel algoritme werken met deze invoer, gebaseerd op de techniek 'optische stroom', om de gezamenlijke dichtheid, richting, stilstand en snelheid van stadsbewegingen te analyseren. Ons systeem haalde die standen uit het materiaal als positionele data en hier konden mijn robots mee aan de slag om te tekenen. In plaats van een een-op-een samenwerking werd het een samenwerking van velen. Door de visie van de mens en die van de machine te combineren, konden we opnieuw bepalen wat een landschapsschilderij kan zijn.
Throughout all of my experiments with D.O.U.G., no two performances have ever been the same. And through collaboration, we create something that neither of us could have done alone: we explore the boundaries of our creativity, human and nonhuman working in parallel.
In al mijn experimenten met D.O.U.G. was geen één voorstelling hetzelfde. Door samenwerking ontstaat er iets dat geen van beiden op zichzelf zou kunnen: we verkennen de grenzen van onze creativiteit, mens en machine werkend zij aan zij.
I think this is just the beginning. This year, I've launched Scilicet, my new lab exploring human and interhuman collaboration. We're really interested in the feedback loop between individual, artificial and ecological systems. We're connecting human and machine output to biometrics and other kinds of environmental data. We're inviting anyone who's interested in the future of work, systems and interhuman collaboration to explore with us. We know it's not just technologists that have to do this work and that we all have a role to play.
Ik denk dat dit pas het begin is. Dit jaar lanceerde ik de 'Scillet', een onderzoek naar menselijke- en intermenselijke samenwerking in mijn lab. We zijn vooral geïnteresseerd in de terugkoppeling tussen individuele-, kunstmatige- en ecologische systemen. We vergelijken de output van mens en machine met biometrie en andere ecologische data. Iedereen die geïnteresseerd is in de toekomst van werk, systemen en andere intermenselijke samenwerking is welkom mee te doen met ons onderzoek. Niet alleen de technologen moeten hiervoor aan het werk, we spelen hier allemaal een rol in.
We believe that by teaching machines how to do the work traditionally done by humans, we can explore and evolve our criteria of what's made possible by the human hand. And part of that journey is embracing the imperfections and recognizing the fallibility of both human and machine, in order to expand the potential of both.
Wij denken dat door machines te leren hoe ze het werk moeten doen dat normaal door mensen wordt gedaan, we kunnen onderzoeken en meten wat een mensenhand mogelijk heeft gemaakt. En onderdeel van deze reis is het omarmen van deze imperfecties en de feilbaarheid van zowel mens als machine te accepteren, om zo de potentie van beiden te vergroten.
Today, I'm still in pursuit of finding the beauty in human and nonhuman creativity. In the future, I have no idea what that will look like, but I'm pretty curious to find out.
Op dit moment ben ik nog steeds bezig om schoonheid in menselijke- en niet-menselijke creativiteit te vinden. Ik heb geen idee hoe dit er in de toekomst uit zal zien, maar ik ben zeer benieuwd.
Thank you.
Bedankt.
(Applause)
(Applaus)