Many of us here use technology in our day-to-day. And some of us rely on technology to do our jobs. For a while, I thought of machines and the technologies that drive them as perfect tools that could make my work more efficient and more productive.
Sokan használunk műszaki eszközöket mindennapjainkban. És jó néhányan munkánk elvégzéséhez is. Egy ideig úgy tekintettem a gépekre és az őket vezérlő technológiákra, mint tökéletes eszközökre munkám hatékonysága növelésére.
But with the rise of automation across so many different industries, it led me to wonder: If machines are starting to be able to do the work traditionally done by humans, what will become of the human hand? How does our desire for perfection, precision and automation affect our ability to be creative?
Azonban a gépesítés terjedésével megannyi iparágon keresztül eltűnődtem: ha a robotok egyre alkalmasabbak az emberi munkák elvégzésére, mivé lesz az emberi kéz? Milyen hatással lesz a tökéletesség, precizitás és automatizálás iránti vágyunk a kreativitásunkra?
In my work as an artist and researcher, I explore AI and robotics to develop new processes for human creativity. For the past few years, I've made work alongside machines, data and emerging technologies. It's part of a lifelong fascination about the dynamics of individuals and systems and all the messiness that that entails. It's how I'm exploring questions about where AI ends and we begin and where I'm developing processes that investigate potential sensory mixes of the future. I think it's where philosophy and technology intersect.
Művészként és kutatóként robotokat és a mesterséges intelligenciát vizsgálom, hogy új eljárásokat fejlesszek az emberi kreativitásra. Az elmúlt néhány évben gépek, statisztikai adatok és fejlődő technológiák kísérték munkámat. Ez egy életre szóló rajongás az egyének, rendszereknek dinamikája és minden kuszaság iránt, ami ezzel jár. Így keresek választ arra, hol ér véget az MI és hol nyílunk meg mi, és így fejlesztek műveleteket, melyek a jövő potenciális érzékszervi kavarodásaival foglalkoznak. Úgy gondolom, itt talákozik a filozófia és a technológia.
Doing this work has taught me a few things. It's taught me how embracing imperfection can actually teach us something about ourselves. It's taught me that exploring art can actually help shape the technology that shapes us. And it's taught me that combining AI and robotics with traditional forms of creativity -- visual arts in my case -- can help us think a little bit more deeply about what is human and what is the machine. And it's led me to the realization that collaboration is the key to creating the space for both as we move forward.
Ez a munka megtanított néhány dologra. Megtanított arra, hogy a tökéletlenség elfogadásával miként tanulunk meg valamit saját magunkról. Megtanította, hogy a művészet kutatása igazából segíthet formálni a technológiát, amely minket formál. Illetve megtanította, hogy vegyíteni az MI-t és a robotokat a hagyományos kreativitással - az én esetemben vizuális művészetekkel - segíthet nekünk kicsit mélyebben gondolkozni azon, hogy mi az, ami emberi, és mi a gép. Ez pedig ráébresztett, hogy az együttműködés a kulcsa mindkettő terének megalkotására, ahogy haladunk előre.
It all started with a simple experiment with machines, called "Drawing Operations Unit: Generation 1." I call the machine "D.O.U.G." for short. Before I built D.O.U.G, I didn't know anything about building robots. I took some open-source robotic arm designs, I hacked together a system where the robot would match my gestures and follow [them] in real time. The premise was simple: I would lead, and it would follow. I would draw a line, and it would mimic my line.
Szóval az egész egy egyszerű kísérletezéssel indult gépekkel, "Drawing Operations Unit: Generation 1." néven A gépet röviden "D.O.U.G."-nak hívom. Mielőtt megépítettem D.O.U.G-ot, semmit se tudtam a robotok építéséről. Fogtam néhány nyílt forráskódú robotkartervet, összehekkeltem egy rendszerrel, hogy a robot lemásolja a gesztusaimat és kövesse azokat valós időben. Az elképzelés egyszerű volt: Én vezetek, az pedig követ. Rajzolok egy vonalat, ő lemásolja.
So back in 2015, there we were, drawing for the first time, in front of a small audience in New York City. The process was pretty sparse -- no lights, no sounds, nothing to hide behind. Just my palms sweating and the robot's new servos heating up. (Laughs) Clearly, we were not built for this. But something interesting happened, something I didn't anticipate.
Úgyhogy 2015-ben, ott és akkor először rajzoltunk egy kisebb közönség előtt New York Cityben. Az eljárás meglehetősen szerény volt - se fények, se hangok, semmi, ami eltakart volna, csak az izzadó tenyereim és a robot új, melegedő szervói. (Nevet) Egyértelműen nem erre lettünk teremtve. De történt valami érdekes, amit nem láttam előre.
See, D.O.U.G., in its primitive form, wasn't tracking my line perfectly. While in the simulation that happened onscreen it was pixel-perfect, in physical reality, it was a different story. It would slip and slide and punctuate and falter, and I would be forced to respond. There was nothing pristine about it. And yet, somehow, the mistakes made the work more interesting. The machine was interpreting my line but not perfectly. And I was forced to respond. We were adapting to each other in real time.
Nézzék, D.O.U.G, amilyen primitív, nem követte tökéletesen a vonalaimat. A szimulációban, mely a képernyőn zajlott pixel pontossággal tökéletes volt, a fizikai valóságban pedig egészen más történt. Csúszkált, meg-megszakadt, akadozott, én meg kénytelen voltam reagálni. Semmi ősi eredetiség nem volt ebben. És mégis valahogy a hibák még érdekesebbé tették az alkotást. A gép utánozta a vonalaimat, csakhogy nem hibátlanul. Én pedig reagáltam rá. Egymáshoz alkalmazkodtunk folyamatosan, valós időben.
And seeing this taught me a few things. It showed me that our mistakes actually made the work more interesting. And I realized that, you know, through the imperfection of the machine, our imperfections became what was beautiful about the interaction. And I was excited, because it led me to the realization that maybe part of the beauty of human and machine systems is their shared inherent fallibility. For the second generation of D.O.U.G., I knew I wanted to explore this idea. But instead of an accident produced by pushing a robotic arm to its limits, I wanted to design a system that would respond to my drawings in ways that I didn't expect.
És ezt látva megtanultam néhány dolgot. Megmutatta, hogy tulajdonképpen a hibáink tették a munkát érdekessé. Ráébredtem, hogy a gép tökéletlenségei által a mi tökéletlenségeink váltak azzá, ami az interakcióban csodálatos volt. Izgatott voltam, mert rávezetett a felismerésre, hogy talán egy része az emberek és robotok rendszere szépségének az a megosztó és veleszületett esendőségük. Tudtam, hogy D.O.U.G. második generációjához ezt a gondolatot szeretném továbbvinni. De egy baleset helyett, ami egy robotkar határainak feszegetésével született volna, Egy olyan rendszert szerettem kivitelezni, mely teljesen váratlan módon reagál a rajzaimra.
So, I used a visual algorithm to extract visual information from decades of my digital and analog drawings. I trained a neural net on these drawings in order to generate recurring patterns in the work that were then fed through custom software back into the machine. I painstakingly collected as many of my drawings as I could find -- finished works, unfinished experiments and random sketches -- and tagged them for the AI system. And since I'm an artist, I've been making work for over 20 years. Collecting that many drawings took months, it was a whole thing.
Szóval egy vizuális algoritmust használtam a vizuális információ kivonására az évtizedek alatt készített digitális és analóg rajzaimból. Egy neurális hálót tanítottam be ezekre a rajzokra, hogy visszatérő mintákat gyártson a munkák alapján, amik aztán visszakerültek a gépbe egy szoftver segítségével. Végtelen lelkiismerettel gyűjtögettem rajzokat, amennyit csak találtam - befejezett munkákat, félkész kísérleteket, véletlenszerű vázlatokat - hogy kitegyem őket az MI rendszernek. Mivel művész vagyok, több mint 20 éve alkotok. Ennyi munkát hónapokba telt összegyűjteni, ez egy külön dolog volt.
And here's the thing about training AI systems: it's actually a lot of hard work. A lot of work goes on behind the scenes. But in doing the work, I realized a little bit more about how the architecture of an AI is constructed. And I realized it's not just made of models and classifiers for the neural network. But it's a fundamentally malleable and shapable system, one in which the human hand is always present. It's far from the omnipotent AI we've been told to believe in.
És itt a lényeg az MI rendszerek tanításában: rengeteg kemény munkával jár. Nagyon sok munka zajlik a háttérben. De mindeközben egy kicsit jobban beleláthattam az MI felépítésébe. Rájöttem, nem csupán a neurális hálózat modelljeiből és minősítéseiből áll. Hanem ez egy alapjába véve kezelhető és formálható rendszer, melyben az ember keze folyamatosan jelen van. Messze van attól a mindenható MI-tól, melyben hinni ösztönöztek minket.
So I collected these drawings for the neural net. And we realized something that wasn't previously possible. My robot D.O.U.G. became a real-time interactive reflection of the work I'd done through the course of my life. The data was personal, but the results were powerful. And I got really excited, because I started thinking maybe machines don't need to be just tools, but they can function as nonhuman collaborators. And even more than that, I thought maybe the future of human creativity isn't in what it makes but how it comes together to explore new ways of making.
Szóval összegyűjtöttem ezeket a rajzokat a neurális háló részére és felismertünk valamit, ami korábban nem volt lehetséges. Az én D.O.U.G. robotom lett a valós idős interaktív imitátora pályafutásom munkáinak. Az adatok személyesek voltak, de az eredmény nagyszerű volt. És olyan izgatott lettem, mert elkezdtem azon gondolkozni, hogy talán... talán a gépek nem csak eszközként működhetnek, hanem alkalmazhatóak nem humán együttműködőként is. Sőt mi több, arra gondoltam, esetleg az emberi kreativitás jövője nem abban rejlik, mit hoz létre, hanem hogy hogyan kapcsolhatóak össze új létrehozási mód felfedezése érdekében.
So if D.O.U.G._1 was the muscle, and D.O.U.G._2 was the brain, then I like to think of D.O.U.G._3 as the family. I knew I wanted to explore this idea of human-nonhuman collaboration at scale. So over the past few months, I worked with my team to develop 20 custom robots that could work with me as a collective. They would work as a group, and together, we would collaborate with all of New York City.
Szóval ha D.O.U.G_1 volt az izom, és D.O.U.G_2 az agy, akkor szeretnék úgy gondolni D.O.U.G_3-ra, mint a család. Tudtam, hogy ezt az eszmét szeretném továbbvinni az emberi - nem emberi kollaborációról egy bizonyos szinten. Úgyhogy az elmúlt pár hónapban 20 testreszabott robot fejlesztésével voltunk elfoglalva csapatommal, melyek együtt dolgoznának velem. Csoportként dolgoznának, És közösen egész New York Cityvel kollaborálhatnánk.
I was really inspired by Stanford researcher Fei-Fei Li, who said, "if we want to teach machines how to think, we need to first teach them how to see." It made me think of the past decade of my life in New York, and how I'd been all watched over by these surveillance cameras around the city. And I thought it would be really interesting if I could use them to teach my robots to see. So with this project, I thought about the gaze of the machine, and I began to think about vision as multidimensional, as views from somewhere. We collected video from publicly available camera feeds on the internet of people walking on the sidewalks, cars and taxis on the road, all kinds of urban movement. We trained a vision algorithm on those feeds based on a technique called "optical flow," to analyze the collective density, direction, dwell and velocity states of urban movement. Our system extracted those states from the feeds as positional data and became pads for my robotic units to draw on. Instead of a collaboration of one-to-one, we made a collaboration of many-to-many. By combining the vision of human and machine in the city, we reimagined what a landscape painting could be.
Nagyon inspiráló volt számomra Fei-Fei Li stanfordi kutató, aki azt mondta, "ha gépeket szeretnénk gondolkozni tanítani, először a látást kell velük elsajátíttatni." Eszembe juttatta a New Yorkban töltött elmúlt évtizedem, hogy mennyire végig voltam figyelve ezek a biztonsági kamerák által a városban és arra gondoltam, érdekes lenne, ha ezeket fel tudnám használni arra, hogy megtanítsák a robotjaimat látni. Szóval ezzel a projekttel a gép tekintetére gondoltam és magára a látásra többdimenziós értelemben, mint külső figyelők. Videókat gyűjtöttünk össze nyilvánosság számára elérhető kamera felvételekből az interneten járdán sétáló gyalogosokról, úttesten közlekedő autókról és taxikról, mindenféle városi mozgásról. Kialakítottunk egy látási algoritmust ezeken a csatornákon az "optical flow" nevezetű technika alapján, hogy kielemezze a kollektív sűrűségét, irányát, nyugalmi állapotát és sebességeit a városi mozgásnak. A rendszerünk kivonta ezeket a megállapításokat, mint pozícióadat, és a robot egységem részére amolyan jegyzőtömbbé alakultak. Egy "egy az egyhez" kollaboráció helyett egy "több a többhöz" kollaborációt hoztunk létre. Azzal, hogy vegyítettük az ember és a gép látását a városban, újragondoltuk egy tájkép festését.
Throughout all of my experiments with D.O.U.G., no two performances have ever been the same. And through collaboration, we create something that neither of us could have done alone: we explore the boundaries of our creativity, human and nonhuman working in parallel.
Mind közül egyik D.O.U.G-gal való kísérletezésem során se született két egyforma teljesítmény. És az együttműködés alatt olyat alkotunk, melyet egyikőnk se tudott volna egyedül létrehozni: Felkutatjuk kreativitásunk határait, emberi és nem emberi egyidejűleg alkot.
I think this is just the beginning. This year, I've launched Scilicet, my new lab exploring human and interhuman collaboration. We're really interested in the feedback loop between individual, artificial and ecological systems. We're connecting human and machine output to biometrics and other kinds of environmental data. We're inviting anyone who's interested in the future of work, systems and interhuman collaboration to explore with us. We know it's not just technologists that have to do this work and that we all have a role to play.
Szerintem ez csak a kezdet. Ebben az évben megnyitottam Scilicet-et, az ember és emberközi együttműködést feltáró, új laboratóriumomat. Rendkívül érdekelnek minket a visszajelzések, melyek az egyéni, a mesterséges és az ökológiai rendszereket firtatják. Emberi és gépi teljesítményeket kötünk össze biometrikus és egyéb környezeti adatokkal. Meghívunk mindenkit, akik érdekeltek a munka, a rendszerek és emberek közötti együttműködés jövőjében, hogy kutasson velünk. Tisztában vagyunk azzal, hogy ez nem csak technológusok feladata, és hogy mindenkinek szerepe van ebben a munkában.
We believe that by teaching machines how to do the work traditionally done by humans, we can explore and evolve our criteria of what's made possible by the human hand. And part of that journey is embracing the imperfections and recognizing the fallibility of both human and machine, in order to expand the potential of both.
Szerintünk ha megtanítjuk a robotokat a hagyományosan ember által végzett munkákra, továbbfejleszthetjük azokat a feltételeket, melyeket az emberi kéz tett lehetővé. Része ennek az utazásnak az is, hogy megragadjuk a tökéletlenségeket és felismerjük az esendőségét úgy az embernek, mint a gépnek mindkettő lehetőségei kiterjesztése érdekében.
Today, I'm still in pursuit of finding the beauty in human and nonhuman creativity. In the future, I have no idea what that will look like, but I'm pretty curious to find out.
Arra törekszem ma, hogy megtaláljam az emberi és nem emberi kreativitás szépségét. Ami a jövőt illeti, fogalmam sincsen, hogy fog kinézni, de kíváncsian várom, hogy kiderítsem.
Thank you.
Köszönöm.
(Applause)
(Taps)