Many of us here use technology in our day-to-day. And some of us rely on technology to do our jobs. For a while, I thought of machines and the technologies that drive them as perfect tools that could make my work more efficient and more productive.
Ми часто користуємось технологіями у повсякденному житті. Дехто покладається на них на роботі. Довгий час я вважала, що прилади та технології, які керують ними — це ідеальні інструменти для ефективності та продуктивності моєї роботи.
But with the rise of automation across so many different industries, it led me to wonder: If machines are starting to be able to do the work traditionally done by humans, what will become of the human hand? How does our desire for perfection, precision and automation affect our ability to be creative?
Але через розвиток автоматизації в багатьох галузях я почала замислюватися: якщо машини вже можуть робити те, що зазвичай роблять люди, чи знадобляться вміння людей надалі? Як прагнення до досконалості, точності та автоматизації вплине на наші творчі здібності?
In my work as an artist and researcher, I explore AI and robotics to develop new processes for human creativity. For the past few years, I've made work alongside machines, data and emerging technologies. It's part of a lifelong fascination about the dynamics of individuals and systems and all the messiness that that entails. It's how I'm exploring questions about where AI ends and we begin and where I'm developing processes that investigate potential sensory mixes of the future. I think it's where philosophy and technology intersect.
У своїй роботі митця та дослідника я досліджую ШІ та робототехніку для того, щоб розробити нові прийоми, які сприятимуть розвитку творчості людини. Протягом декількох років в роботі я використовувала техніку, дані та новітні технології. Все життя я захоплююсь вивченням поведінки людей та систем, а ще плутанини, яка стає наслідком цієї взаємодії. Ось так я досліджую межі ШІ і людини і на їх перетині я розробляю методики, які виявляють можливість змішаних чуттів майбутнього. Я вважаю, що саме тут перетинаються філософія та технології.
Doing this work has taught me a few things. It's taught me how embracing imperfection can actually teach us something about ourselves. It's taught me that exploring art can actually help shape the technology that shapes us. And it's taught me that combining AI and robotics with traditional forms of creativity -- visual arts in my case -- can help us think a little bit more deeply about what is human and what is the machine. And it's led me to the realization that collaboration is the key to creating the space for both as we move forward.
Завдяки цій роботі я дещо зрозуміла. Я зрозуміла, що прийняття недосконалості може допомогти нам усвідомити дещо про самих себе. А ще я відкрила для себе, що дослідження мистецтва може допомогти у розвитку технологій, які розвивають нас. Також я побачила, що поєднання ШІ та робототехніки з традиційними видами творчості — образотворчим мистецтвом, як у мене — допоможе нам глибше зрозуміти можливості людини і можливості машини. Пізніше я усвідомила, що саме співпраця дає можливості для обох в подальшій взаємодії.
It all started with a simple experiment with machines, called "Drawing Operations Unit: Generation 1." I call the machine "D.O.U.G." for short. Before I built D.O.U.G, I didn't know anything about building robots. I took some open-source robotic arm designs, I hacked together a system where the robot would match my gestures and follow [them] in real time. The premise was simple: I would lead, and it would follow. I would draw a line, and it would mimic my line.
Все почалося з простого експерименту з технологією, яка називається "Роботизований пристрій для малювання: Перше покоління" Я називаю його скорочено "ДАҐом". До того як я створила ДАҐа, я майже нічого не знала про конструювання роботів. Я використала широкодоступні розробки роботизованого маніпулятора, зібрала механізм, завдяки якому робот буде виявляти мої рухи та одночасно їх відтворювати. Умова була простою: я веду, він повторює. Я малюю лінію, а він повторює мою лінію.
So back in 2015, there we were, drawing for the first time, in front of a small audience in New York City. The process was pretty sparse -- no lights, no sounds, nothing to hide behind. Just my palms sweating and the robot's new servos heating up. (Laughs) Clearly, we were not built for this. But something interesting happened, something I didn't anticipate.
Ще в 2015 році ми вперше малювали перед невеликою групою людей у Нью-Йорку. Презентація була дуже простою — ні світла, ні звуків, нічого приховувати. Лише мої спітнілі долоні та розігріті нові механізми робота. (Сміх) Насправді, я планувала дещо інше. Але сталося дещо цікаве, чого я зовсім не очікувала.
See, D.O.U.G., in its primitive form, wasn't tracking my line perfectly. While in the simulation that happened onscreen it was pixel-perfect, in physical reality, it was a different story. It would slip and slide and punctuate and falter, and I would be forced to respond. There was nothing pristine about it. And yet, somehow, the mistakes made the work more interesting. The machine was interpreting my line but not perfectly. And I was forced to respond. We were adapting to each other in real time.
Ви бачите, примітивний ДАҐ не ідеально відтворював мою лінію. Хоча при моделюванні, яке відображалося на екрані, все було просто ідеально, але на практиці все було зовсім по-іншому. Він буксував і зісковзував, збивався та спотикався, і я була змушена реагувати. Тут немає бездоганності. Однак, якимось чином помилки зробили процес ще цікавішим. Машина відтворювала мою лінію, але не досконало. І я була змушена реагувати. Ми пристосувалися один до одного в режимі реального часу.
And seeing this taught me a few things. It showed me that our mistakes actually made the work more interesting. And I realized that, you know, through the imperfection of the machine, our imperfections became what was beautiful about the interaction. And I was excited, because it led me to the realization that maybe part of the beauty of human and machine systems is their shared inherent fallibility. For the second generation of D.O.U.G., I knew I wanted to explore this idea. But instead of an accident produced by pushing a robotic arm to its limits, I wanted to design a system that would respond to my drawings in ways that I didn't expect.
І, споглядаючи за цим, я дещо зрозуміла. Я побачила, що наші помилки роблять роботу більш цікавою. Я усвідомила, що, незважаючи на недосконалість приладу, наші недоліки перетворилися на гарний результат цієї співпраці. І я була схвильована, адже це наштовхнуло мене на думку, що, можливо, принадою у співпраці людини та машини є ця спільна схильність до помилок. Створюючи наступного ДАҐа, я знала, що хочу заглибитися в цю ідею. Але замість випадкових ліній, які видає робот відповідно до своїх можливостей, я хотіла створити механізм, який буде відповідати на мої малюнки найнесподіванішим чином.
So, I used a visual algorithm to extract visual information from decades of my digital and analog drawings. I trained a neural net on these drawings in order to generate recurring patterns in the work that were then fed through custom software back into the machine. I painstakingly collected as many of my drawings as I could find -- finished works, unfinished experiments and random sketches -- and tagged them for the AI system. And since I'm an artist, I've been making work for over 20 years. Collecting that many drawings took months, it was a whole thing.
Отже, я використала візуальний алгоритм, щоб отримати дані за десятиліття моїх цифрових та аналогових креслень. Я тренувала нейронну мережу на цих малюнках, щоб отримати лінії, які повторювалися під час роботи. Пізніше їх опрацювала програма та записала назад у механізм. Я кропітливо збирала якомога більше малюнків, які тільки могла знайти -- закінчені роботи, недопрацьовані спроби та просто замальовки -- і встановила їх у систему ШІ. Оскільки я митець, я створюю малюнки вже більше 20 років. Збір усіх малюнків тривав багато місяців, адже це був важливий етап.
And here's the thing about training AI systems: it's actually a lot of hard work. A lot of work goes on behind the scenes. But in doing the work, I realized a little bit more about how the architecture of an AI is constructed. And I realized it's not just made of models and classifiers for the neural network. But it's a fundamentally malleable and shapable system, one in which the human hand is always present. It's far from the omnipotent AI we've been told to believe in.
Ось що я скажу про підготовку системи ШІ: це дійсно важка праця. Більша частина роботи -- підготовчий етап. Але під час процесу я поглибила свої знання про те, на чому базується структура ШІ. І я зрозуміла, що треба не лише створити моделі та класифікації для нейронної мережі. А що це, на додачу, гнучка та піддатлива система, в якій завжди спостерігається вплив людини. Нам ще далеко до того всемогутнього ШІ, в який нас переконують вірити.
So I collected these drawings for the neural net. And we realized something that wasn't previously possible. My robot D.O.U.G. became a real-time interactive reflection of the work I'd done through the course of my life. The data was personal, but the results were powerful. And I got really excited, because I started thinking maybe machines don't need to be just tools, but they can function as nonhuman collaborators. And even more than that, I thought maybe the future of human creativity isn't in what it makes but how it comes together to explore new ways of making.
Отже, я зібрала всі ці малюнки в нейронну мережу. І ми зрозуміли те, що раніше здавалося неможливим. Мій робот ДАҐ в режимі реального часу став інтерактивним відображенням моєї творчості, якою я займалася все своє життя. Хоча дані були особистими, результат справді надихав. І це мене дуже схвилювало, адже я почала думати: а якщо розглядати роботів не як допоміжні інструменти, а вважати, що вони можуть бути співавторами? Ба навіть більше, я подумала, що, можливо, майбутнє креативності людей не в тому, що вони роблять, а яким чином це відбувається та які нові способи творчості відкриває.
So if D.O.U.G._1 was the muscle, and D.O.U.G._2 was the brain, then I like to think of D.O.U.G._3 as the family. I knew I wanted to explore this idea of human-nonhuman collaboration at scale. So over the past few months, I worked with my team to develop 20 custom robots that could work with me as a collective. They would work as a group, and together, we would collaborate with all of New York City.
Отже, якщо ДАҐ 1 був силою, а ДАҐ 2 був мозком, то ДАҐ 3 -- це сім'я для мене. Я знала, що хочу глибше дослідити цю ідею співпраці "людина-машина". Тож протягом останніх місяців ми з моєю командою працювали над розробкою 20 власних роботів, з якими ми б взаємодіяли колективно. Вони працюватимуть у групі, а разом ми будемо співпрацювати зі всім Нью-Йорком.
I was really inspired by Stanford researcher Fei-Fei Li, who said, "if we want to teach machines how to think, we need to first teach them how to see." It made me think of the past decade of my life in New York, and how I'd been all watched over by these surveillance cameras around the city. And I thought it would be really interesting if I could use them to teach my robots to see. So with this project, I thought about the gaze of the machine, and I began to think about vision as multidimensional, as views from somewhere. We collected video from publicly available camera feeds on the internet of people walking on the sidewalks, cars and taxis on the road, all kinds of urban movement. We trained a vision algorithm on those feeds based on a technique called "optical flow," to analyze the collective density, direction, dwell and velocity states of urban movement. Our system extracted those states from the feeds as positional data and became pads for my robotic units to draw on. Instead of a collaboration of one-to-one, we made a collaboration of many-to-many. By combining the vision of human and machine in the city, we reimagined what a landscape painting could be.
Мене дуже надихнуло дослідження Фей-Фей Лі зі Стенфорду, яка казала: "Якщо ви хочете навчити машину, як думати, спершу треба навчити її, як бачити". Це наштовхнуло мене на думки про мої останні 10 років у Нью-Йорку, і те, як за нами постійно наглядають камери спостереження по всьому місту. І я подумала, що буде досить цікаво, якщо використати їх, щоб навчити моїх роботів бачити. Під час цього проекту я замислилася над зором машини та почала думати про нього, як про багатосторонній інструмент, як про погляд з різних точок. Ми зібрали відеодані з камер, які є у вільному доступі в Інтернеті: люди йдуть по тротуарах, машини чи таксі їдуть по дорозі, тобто різні види руху в місті. Ми створили візуальний алгоритм із цих зображень, на основі принципу "оптичний потік", щоб проаналізувати загальну щільність, напрям, зупинки та швидкість руху в місті. Наша система виявила з камер інформацію про напрям руху, місцезнаходження, що стало основою для подальших малюнків моїх роботів. Замість роботи один на один, ми створили колективну співпрацю. Завдяки комбінації бачення міста людиною і машиною, ми переосмислили те, яким може бути пейзажний живопис.
Throughout all of my experiments with D.O.U.G., no two performances have ever been the same. And through collaboration, we create something that neither of us could have done alone: we explore the boundaries of our creativity, human and nonhuman working in parallel.
Під час усіх моїх дослідів з ДАҐами, кожен із виступів був абсолютно різним. І, завдяки співпраці, ми створили те, що жоден із нас не зміг би створити окремо: ми розширили межі нашої креативності, де людина та машина працюють пліч-о-пліч.
I think this is just the beginning. This year, I've launched Scilicet, my new lab exploring human and interhuman collaboration. We're really interested in the feedback loop between individual, artificial and ecological systems. We're connecting human and machine output to biometrics and other kinds of environmental data. We're inviting anyone who's interested in the future of work, systems and interhuman collaboration to explore with us. We know it's not just technologists that have to do this work and that we all have a role to play.
Я думаю, що це лише початок. Цього року я заснувала "Сілісет", мою нову лабораторію, яка досліджує тип співпраці "людина-людина". Ми глибоко зацікавлені у зворотньому зв'язку між індивідуальною, штучною та екологічними системами. Ми поєднуємо результати людини та машини з біометричними та іншими екологічними даними. Ми закликаємо всіх, хто цікавиться майбутнім праці та систем, а також міжлюдських взаємозв'язків досліджувати разом з нами. Ми вважаємо, що це не лише робота технологів, а кожен із нас може зіграти свою роль.
We believe that by teaching machines how to do the work traditionally done by humans, we can explore and evolve our criteria of what's made possible by the human hand. And part of that journey is embracing the imperfections and recognizing the fallibility of both human and machine, in order to expand the potential of both.
Ми впевнені, що якщо навчити машини, як робити те, що зазвичай робили люди, ми зможемо розширити та розвинути критерії того, що може створити людська рука. І частиною цього шляху є прийняття недосконалості та визнання схильності до помилок і людини, і машини, для того, щоб розширити потенціал обох.
Today, I'm still in pursuit of finding the beauty in human and nonhuman creativity. In the future, I have no idea what that will look like, but I'm pretty curious to find out.
У даний час я все ще шукаю красу в творчості людини та машини. Я взагалі не уявляю, як це буде виглядати в майбутньому, але мені дуже цікаво про це дізнатися.
Thank you.
Дякую.
(Applause)
(Оплески)