Many of us here use technology in our day-to-day. And some of us rely on technology to do our jobs. For a while, I thought of machines and the technologies that drive them as perfect tools that could make my work more efficient and more productive.
우리 대부분은 매일 과학 기술을 이용합니다. 어떤 분들은 자기 업무에 기술의 도움을 받기도 하죠. 한때 저는 기계와 과학기술이 발전함에 따라서 제 일을 더 능률적이고 생산적으로 만들 훌륭한 도구가 될 거라고 생각했습니다.
But with the rise of automation across so many different industries, it led me to wonder: If machines are starting to be able to do the work traditionally done by humans, what will become of the human hand? How does our desire for perfection, precision and automation affect our ability to be creative?
하지만 다양한 산업 분야에서 자동화가 증가하는 걸 보고 한가지 의문을 품게 됐습니다. 만약 오랫동안 인간이 한던 일들을 기계가 해내기 시작한다면 인간의 역할은 무엇이 될까요? 완벽과 정확성 그리고 자동화에 대한 우리의 열망은 인간의 창조적 능력에 어떤 영향을 미칠까요?
In my work as an artist and researcher, I explore AI and robotics to develop new processes for human creativity. For the past few years, I've made work alongside machines, data and emerging technologies. It's part of a lifelong fascination about the dynamics of individuals and systems and all the messiness that that entails. It's how I'm exploring questions about where AI ends and we begin and where I'm developing processes that investigate potential sensory mixes of the future. I think it's where philosophy and technology intersect.
저는 예술가이자 연구자로서 인공지능과 로봇을 활용하여 인간의 창의성을 높이는 새로운 방법을 찾고 있습니다. 지난 몇 년 동안, 저는 기계와 데이터 그리고 새로운 기술을 이용해 작업했습니다. 그것은 제 평생의 관심사 중 하나였습니다. 개인과 시스템의 역동성과 그들의 뒤섞임을 다루는 것이죠. 인공지능과 인간의 경계에 관한 질문의 해답을 찾고 새로운 방법을 통해서 미래에 둘의 감각이 결합될 가능성을 찾고자 하는 것입니다. 전 이 연구가 철학과 과학기술이 만나는 접점이라고 봅니다.
Doing this work has taught me a few things. It's taught me how embracing imperfection can actually teach us something about ourselves. It's taught me that exploring art can actually help shape the technology that shapes us. And it's taught me that combining AI and robotics with traditional forms of creativity -- visual arts in my case -- can help us think a little bit more deeply about what is human and what is the machine. And it's led me to the realization that collaboration is the key to creating the space for both as we move forward.
이 작업을 통해 저는 몇 가지를 배웠습니다. 불완전함을 용인하는 것이 우리가 어떤 존재인지를 알려준다는 것입니다. 예술을 탐구함으로써 우리 인간을 바꾸는 기술을 만들 수도 있다는 점도 배웠죠. 또한 인공지능과 로봇 기술을 결합함으로써 고전적 형태의 창작에 있어서, 저의 경우에는 시각 예술입니다만, 인간과 기계의 차이에 대해 더 깊이 생각할 수 있게 해준다는 걸 알았죠. 그리고 또 하나 깨닫게 된 것은 우리가 함께 공존하려면 협동이 중요하다는 사실이었습니다. 기계와 인간이 진보하려면 말이죠.
It all started with a simple experiment with machines, called "Drawing Operations Unit: Generation 1." I call the machine "D.O.U.G." for short. Before I built D.O.U.G, I didn't know anything about building robots. I took some open-source robotic arm designs, I hacked together a system where the robot would match my gestures and follow [them] in real time. The premise was simple: I would lead, and it would follow. I would draw a line, and it would mimic my line.
이 모든 것은 기계를 이용한 간단한 실험에서 시작되었습니다. '1세대 그림 그리는 기계' 라 불리는 로봇이었죠. 줄여서 '더그'라고 부릅니다. 더그를 만들기 전, 저는 로봇 개발에 대해 아는 게 전혀 없었습니다. 그래서 로봇 팔 디자인 오픈소스를 이용해서 시스템을 여러가지 변형한 뒤에 더그가 실시간으로 제 동작을 따라 할 수 있도록 만들었죠. 기본 전제는 간단해요. 제가 하는 대로 로봇 팔이 따라오는 거죠. 제가 선을 그리면 로봇 팔이 따라 그립니다.
So back in 2015, there we were, drawing for the first time, in front of a small audience in New York City. The process was pretty sparse -- no lights, no sounds, nothing to hide behind. Just my palms sweating and the robot's new servos heating up. (Laughs) Clearly, we were not built for this. But something interesting happened, something I didn't anticipate.
그렇게 2015년, 더그와 저는 뉴욕의 소규모 관중 앞에서 처음으로 함께 그림을 그렸습니다. 과정은 다소 촘촘하지 못했습니다. 조명과 음향도 없고, 무언가를 뒤에 숨길 수도 없었지요. 땀에 젖은 저의 손바닥과 로봇 제어 장치의 열기만 있었죠. (웃음) 확실히 체질은 아니었어요. 하지만 제가 예상치 못했던 재미있는 일이 벌어졌습니다.
See, D.O.U.G., in its primitive form, wasn't tracking my line perfectly. While in the simulation that happened onscreen it was pixel-perfect, in physical reality, it was a different story. It would slip and slide and punctuate and falter, and I would be forced to respond. There was nothing pristine about it. And yet, somehow, the mistakes made the work more interesting. The machine was interpreting my line but not perfectly. And I was forced to respond. We were adapting to each other in real time.
보시는 바와 같이 더그의 초기 형태는 선을 완벽히 따라 그리지 못했습니다. 컴퓨터 화면에서의 모의실험에서는 한 픽셀조차 오차가 없었는데 실제 현실에서는 그렇지 않았죠. 미끄러지거나 떨어지거나 중단되거나 버벅거렸고 저는 거기에 반응할 수밖에 없었습니다. 깔끔한 작업은 아니었어요. 그러함에도 불구하고, 이 실수들이 작업을 더 흥미롭게 했습니다. 로봇은 저의 선을 해독했지만 완벽하진 않았죠. 저도 거기에 반응해야 했고요. 우리는 실시간으로 서로에게 적응해갔습니다.
And seeing this taught me a few things. It showed me that our mistakes actually made the work more interesting. And I realized that, you know, through the imperfection of the machine, our imperfections became what was beautiful about the interaction. And I was excited, because it led me to the realization that maybe part of the beauty of human and machine systems is their shared inherent fallibility. For the second generation of D.O.U.G., I knew I wanted to explore this idea. But instead of an accident produced by pushing a robotic arm to its limits, I wanted to design a system that would respond to my drawings in ways that I didn't expect.
그리고 이를 통해 몇 가지를 배웠습니다. 바로 우리의 실수들이 작업을 더 흥미롭게 만든다는 점이었습니다. 그리고 깨달았죠. 바로 기계의 불완전성이, 서로의 불완전성이 상호작용하여 아름다움으로 바뀌었다는 것을요. 그리고 한 가지 사실에 매우 기뻤습니다. 어쩌면 인간과 로봇이 창조하는 예술에는 불완전성을 공유할 필요도 있다는 점이었죠. 저는 2세대 더그를 통해 이 아이디어를 탐구하고 싶었습니다. 이번에는 로봇팔의 능력을 초과해서 발생한 실수 대신, 제 예상을 벗어나는 방식으로 그림에 반응하는 시스템을 디자인하고 싶었습니다. 그래서 시각 알고리즘을 이용해서
So, I used a visual algorithm to extract visual information from decades of my digital and analog drawings. I trained a neural net on these drawings in order to generate recurring patterns in the work that were then fed through custom software back into the machine. I painstakingly collected as many of my drawings as I could find -- finished works, unfinished experiments and random sketches -- and tagged them for the AI system. And since I'm an artist, I've been making work for over 20 years. Collecting that many drawings took months, it was a whole thing.
제 과거 디지털 혹은 아날로그 방식의 그림에서 시각 정보를 추출하고 그것으로 신경망 프로그램을 훈련시켰습니다. 작품마다의 반복적인 패턴을 생성한 뒤에 맞춤형 소프트웨어로 그것을 로봇에 입력시켰죠. 저는 열심히 제 그림들을 가능한 많이 모았습니다. 완성된 그림, 미완성된 습작과 아무렇게나 그린 스케치들을 모아서 인공지능 시스템과 연결했죠. 저는 예술가로 20년 넘게 활동해왔기에 그림 모으는 데만 수개월이 걸렸어요. 정말 힘든 작업이었습니다. 인공지능 시스템을 훈련하는 것은
And here's the thing about training AI systems: it's actually a lot of hard work. A lot of work goes on behind the scenes. But in doing the work, I realized a little bit more about how the architecture of an AI is constructed. And I realized it's not just made of models and classifiers for the neural network. But it's a fundamentally malleable and shapable system, one in which the human hand is always present. It's far from the omnipotent AI we've been told to believe in.
사실 정말 어려운 일입니다. 보이지 않는 곳에서 많은 작업이 이루어집니다. 하지만 작업을 하는 동안 인공지능 설계가 어떻게 구성되는지 좀 더 잘 알게 되었습니다. 단지 신경망 모델과 분류기준으로만 구성되는 게 아니라는 걸 알았죠. 오히려 근본적으로 가변적이고 수정할 수 있는 시스템이라 사람의 작업을 항상 필요로 한다는 점도요. 이는 우리가 믿어온 완전무결한 인공지능과는 거리가 있습니다. 어찌 됐든 전 신경망 구성을 위해 그림들을 모았습니다.
So I collected these drawings for the neural net. And we realized something that wasn't previously possible. My robot D.O.U.G. became a real-time interactive reflection of the work I'd done through the course of my life. The data was personal, but the results were powerful. And I got really excited, because I started thinking maybe machines don't need to be just tools, but they can function as nonhuman collaborators. And even more than that, I thought maybe the future of human creativity isn't in what it makes but how it comes together to explore new ways of making.
그리고 우리는 전엔 불가능했던 무언가를 발견했습니다. 저의 로봇 더그가 제가 일생 그려온 작업과 실시간으로 상호작용하는 거울이 된 것이죠. 비록 개인적인 데이터였지만 그 결과는 강력했습니다. 그리고 저는 매우 기뻤습니다. 왜냐하면 저는 기계가 단순히 도구뿐만 아니라 비인간 협력자로 기능할 수 있다는 걸 알았기 때문이죠. 그리고 이에 더해 인간 창조성의 미래가 단순히 결과물에 있는 것이 아닌 힘을 합쳐 새로운 과정을 찾는 방법에 있으리라 생각했습니다.
So if D.O.U.G._1 was the muscle, and D.O.U.G._2 was the brain, then I like to think of D.O.U.G._3 as the family. I knew I wanted to explore this idea of human-nonhuman collaboration at scale. So over the past few months, I worked with my team to develop 20 custom robots that could work with me as a collective. They would work as a group, and together, we would collaborate with all of New York City.
더그 1세대를 근육이라 하고 더그 2세대를 뇌라고 한다면 더그 3세대는 가족이라 생각합니다. 저는 인간과 기계의 협업에 대한 생각을 더 넓은 범위에서 탐구하고 싶었습니다. 그래서 지난 몇 달 동안 저희 연구진은 공동 작업이 가능한 맞춤형 로봇 스무 개를 개발했습니다. 그리고 이 로봇 무리와 함께 우리는 뉴욕 도시 전체와 공동으로 작업하게 되었죠.
I was really inspired by Stanford researcher Fei-Fei Li, who said, "if we want to teach machines how to think, we need to first teach them how to see." It made me think of the past decade of my life in New York, and how I'd been all watched over by these surveillance cameras around the city. And I thought it would be really interesting if I could use them to teach my robots to see. So with this project, I thought about the gaze of the machine, and I began to think about vision as multidimensional, as views from somewhere. We collected video from publicly available camera feeds on the internet of people walking on the sidewalks, cars and taxis on the road, all kinds of urban movement. We trained a vision algorithm on those feeds based on a technique called "optical flow," to analyze the collective density, direction, dwell and velocity states of urban movement. Our system extracted those states from the feeds as positional data and became pads for my robotic units to draw on. Instead of a collaboration of one-to-one, we made a collaboration of many-to-many. By combining the vision of human and machine in the city, we reimagined what a landscape painting could be.
저는 스탠퍼드 대학교의 연구자인 페이페이 리의 말에 영감을 얻었습니다. 그녀는 기계에 생각하는 법을 가르치려면 보는 법부터 가르쳐야 한다고 말했죠. 이 말은 뉴욕에서 생활한 지난 10년간을 돌아보게 했고 그간 도시의 감시 카메라들이 저를 지켜봐 왔다는 걸 떠올렸습니다. 그리고 흥미로운 생각이 떠올랐어요. 이를 통해 로봇에게 보는 법을 가르치면 어떨까 생각했죠. 저는 이 프로젝트를 하는 동안 기계의 시선에 대해 생각했습니다. 시선이라는 것은 서로 다른 장소에서의 다면적 시각이라고 생각했습니다. 우리는 인터넷에 공개적으로 올려진 카메라 영상들을 수집했습니다. 길을 걷는 사람들이나 길 위를 달리는 차와 택시들 같은 도시의 모든 움직임을 수집했죠. 그리고 '광학적 흐름'이라는 기술로 시각 알고리즘을 훈련시켰습니다. 도시 내 집단의 밀도, 이동 방향, 거주 그리고 속도 같은 도시의 움직임을 분석하는 것이죠. 저희 시스템은 이 상태를 영상에서 추출해서 위치 데이터로 변환하고 로봇이 그 위에 그림을 그릴 수 있는 도화지 역할을 하게 되었습니다. 우리는 일대일의 협업 대신 다수 대 다수의 협업을 이루어냈습니다. 도시 내 인간과 기계의 시야를 하나로 묶음으로써 우리는 풍경화란 어떤 것인지 다시 상상하게 되었습니다.
Throughout all of my experiments with D.O.U.G., no two performances have ever been the same. And through collaboration, we create something that neither of us could have done alone: we explore the boundaries of our creativity, human and nonhuman working in parallel.
더그를 이용한 모든 실험에는 이전과 동일한 작업이란 없습니다. 그리고 협업을 통해 혼자서는 불가능했을 무언가를 창조하고 창의성의 경계를 탐구합니다. 인간과 기계의 수평적인 작업을 통해서 말이죠.
I think this is just the beginning. This year, I've launched Scilicet, my new lab exploring human and interhuman collaboration. We're really interested in the feedback loop between individual, artificial and ecological systems. We're connecting human and machine output to biometrics and other kinds of environmental data. We're inviting anyone who's interested in the future of work, systems and interhuman collaboration to explore with us. We know it's not just technologists that have to do this work and that we all have a role to play.
이것은 시작에 불과합니다. 올해 저는 '실리셋 (Scilicet)'을 설립했습니다. 사람과 사람과의 협업을 탐구하는 새로운 연구소입니다. 저희가 관심을 두는 것은 사람과 기계, 그리고 생태계 간의 피드백 순환에 관한 것입니다. 인간과 기계가 만들어낸 결과물을 생체측정 데이터 및 다른 환경 데이터와 연결하죠. 여기에는 누구나 참여할 수 있습니다. 일의 미래, 시스템과 사람 간의 협업을 탐구하고 싶은 분이라면 누구든지요. 이는 기술자만의 일이 아니며 우리가 각자 할 수 있는 역할이 있습니다. 전통적으로 인간이 하던 일을 기계에 가르침으로써
We believe that by teaching machines how to do the work traditionally done by humans, we can explore and evolve our criteria of what's made possible by the human hand. And part of that journey is embracing the imperfections and recognizing the fallibility of both human and machine, in order to expand the potential of both.
인간이 할 수 있는 일의 기준을 탐구하며 발전시킬 수 있습니다. 그리고 이 여정은 인간과 기계에게 결점이 있음을 받아들이고 인간과 기계 모두의 불완전성을 인지함으로써 그들의 잠재력을 확장하려는 것입니다.
Today, I'm still in pursuit of finding the beauty in human and nonhuman creativity. In the future, I have no idea what that will look like, but I'm pretty curious to find out.
저는 지금도 인간과 비인간인 기계의 창조성에 깃든 아름다움을 탐구하고 있습니다. 그것이 미래에 어떤 모습일지 아직은 모르지만 저는 너무나 궁금하네요.
Thank you.
감사합니다.
(Applause)
(박수)