Many of us here use technology in our day-to-day. And some of us rely on technology to do our jobs. For a while, I thought of machines and the technologies that drive them as perfect tools that could make my work more efficient and more productive.
Muitos de nós aqui usam a tecnologia dia-a-dia. E alguns de nós confiam na tecnologia para fazer o nosso trabalho. Antigamente, eu pensava nas máquinas e nas tecnologias que as governam como ferramentas perfeitas que podem tornar o meu trabalho mais eficiente e mais produtivo.
But with the rise of automation across so many different industries, it led me to wonder: If machines are starting to be able to do the work traditionally done by humans, what will become of the human hand? How does our desire for perfection, precision and automation affect our ability to be creative?
Mas com o aumento da automação em tantas diferentes indústrias, isso levou-me a pensar: Se as máquinas tornam possível fazer o trabalho habitualmente feito pelos seres humanos, o que acontecerá com o trabalho manual humano? Como é que o nosso desejo por perfeição, precisão e automação afeta a nossa capacidade de sermos criativos?
In my work as an artist and researcher, I explore AI and robotics to develop new processes for human creativity. For the past few years, I've made work alongside machines, data and emerging technologies. It's part of a lifelong fascination about the dynamics of individuals and systems and all the messiness that that entails. It's how I'm exploring questions about where AI ends and we begin and where I'm developing processes that investigate potential sensory mixes of the future. I think it's where philosophy and technology intersect.
No meu trabalho como artista e investigadora eu exploro a IA e a robótica para desenvolver novos processos para a criatividade humana. Nos últimos anos, eu trabalhei com máquinas, com dados e com tecnologias emergentes. Faz parte de um fascínio ao longo da vida sobre a dinâmica de indivíduos e sistemas e toda a complicação que isso implica. É assim que eu estou a explorar questões sobre onde a IA termina e nós começamos e em que nós desenvolvemos processos que investigam potenciais misturas sensoriais do futuro. Penso que é aí que se cruzam a filosofia e a tecnologia.
Doing this work has taught me a few things. It's taught me how embracing imperfection can actually teach us something about ourselves. It's taught me that exploring art can actually help shape the technology that shapes us. And it's taught me that combining AI and robotics with traditional forms of creativity -- visual arts in my case -- can help us think a little bit more deeply about what is human and what is the machine. And it's led me to the realization that collaboration is the key to creating the space for both as we move forward.
Fazendo esse trabalho, eu aprendi algumas coisas. Aprendi que aceitar a imperfeição pode ensinar-nos algo sobre nós mesmos. Aprendi que explorar a arte pode ajudar a modelar a tecnologia que nos modela. E aprendi que, combinando a IA e a robótica com formas tradicionais de criatividade — as artes visuais no meu caso — pode ajudar-nos a pensar um pouco mais profundamente no que é o ser humano e no que é a máquina. Isso levou-me à compreensão de que a colaboração é a chave para criar o espaço para as duas coisas, à medida que avançamos.
It all started with a simple experiment with machines, called "Drawing Operations Unit: Generation 1." I call the machine "D.O.U.G." for short. Before I built D.O.U.G, I didn't know anything about building robots. I took some open-source robotic arm designs, I hacked together a system where the robot would match my gestures and follow [them] in real time. The premise was simple: I would lead, and it would follow. I would draw a line, and it would mimic my line.
Tudo começou com uma simples experiência com máquinas, chamada "Unidade de Operações de Desenho: Geração 1." Chamei D.O.U.G. a essa máquina para encurtar. Antes de construir a D.O.U.G., eu não sabia nada sobre construção de robôs Agarrei num código-fonte aberto para projetos robóticos de braço, copiei um sistema em que o robô seguiria os meus gestos e segui-los-ia em tempo real. A premissa era simples: Eu lideraria e ele seguiria. Eu desenharia uma linha e ele imitaria a minha linha.
So back in 2015, there we were, drawing for the first time, in front of a small audience in New York City. The process was pretty sparse -- no lights, no sounds, nothing to hide behind. Just my palms sweating and the robot's new servos heating up. (Laughs) Clearly, we were not built for this. But something interesting happened, something I didn't anticipate.
Então, em 2015, estávamos a desenhar pela primeira vez, em frente de uma pequena plateia na cidade de Nova Iorque. O processo era o mais simples possível, sem luzes, sem som, nada onde nos escondermos. Apenas as palmas das mãos suadas e os novos servos do robô a aquecer. Claramente, não estávamos à espera daquilo, mas aconteceu uma coisa, algo que eu não previra.
See, D.O.U.G., in its primitive form, wasn't tracking my line perfectly. While in the simulation that happened onscreen it was pixel-perfect, in physical reality, it was a different story. It would slip and slide and punctuate and falter, and I would be forced to respond. There was nothing pristine about it. And yet, somehow, the mistakes made the work more interesting. The machine was interpreting my line but not perfectly. And I was forced to respond. We were adapting to each other in real time.
A D.O.U.G., na sua forma primitiva, não estava a traçar a minha linha perfeitamente. Enquanto, na simulação que ocorria no ecrã, estava perfeita em pixels, na realidade física, era uma outra história. Escorregava e deslizava e pontuava e vacilava, e eu era obrigada a reagir. Não havia nada de novo nisso. Mas. de certa forma, os erros tornavam o trabalho mais interessante. A máquina interpretava a minha linha, mas não perfeitamente. E eu era obrigada a responder. Estávamos a adaptar-nos uma à outra em tempo real.
And seeing this taught me a few things. It showed me that our mistakes actually made the work more interesting. And I realized that, you know, through the imperfection of the machine, our imperfections became what was beautiful about the interaction. And I was excited, because it led me to the realization that maybe part of the beauty of human and machine systems is their shared inherent fallibility. For the second generation of D.O.U.G., I knew I wanted to explore this idea. But instead of an accident produced by pushing a robotic arm to its limits, I wanted to design a system that would respond to my drawings in ways that I didn't expect.
Ver aquilo ensinou-me algumas coisas. Mostrou-me que os nossos erros tornavam o trabalho mais interessante. Eu percebi que, através da imperfeição da máquina, as nossas imperfeições tornaram-se no que era bonito quanto à interação. Eu estava animada, porque levou-me à compreensão de que talvez parte da beleza do sistema seres humanos e máquinas é a sua herança de possibilidade partilhada de falhas. Para a segunda geração da D.O.U.G., eu sabia que queria explorar esta ideia. Mas, em vez de um acidente produzido, a empurrar um braço robótico até ao limite, eu queria desenhar um sistema que reagisse aos meus desenhos
So, I used a visual algorithm to extract visual information
de uma forma que eu não esperasse.
from decades of my digital and analog drawings. I trained a neural net on these drawings in order to generate recurring patterns in the work that were then fed through custom software back into the machine. I painstakingly collected as many of my drawings as I could find -- finished works, unfinished experiments and random sketches -- and tagged them for the AI system. And since I'm an artist, I've been making work for over 20 years. Collecting that many drawings took months, it was a whole thing.
Então, eu usei um algoritmo visual para extrair informações visuais de décadas dos meus desenhos digitais e analógicos. Eu treinei uma rede neural nestes desenhos para gerar padrões recorrentes no trabalho que voltaram a ser introduzidos na máquina por um "software" personalizado. Reuni cuidadosamente o maior número de desenhos que encontrei — trabalhos concluídos, experiências inacabadas e esboços aleatórios — e marquei-os para o sistema de IA. Como sou artista, trabalho há mais de 20 anos. A reunião daqueles desenhos levou meses, deu um trabalhão.
And here's the thing about training AI systems: it's actually a lot of hard work. A lot of work goes on behind the scenes. But in doing the work, I realized a little bit more about how the architecture of an AI is constructed. And I realized it's not just made of models and classifiers for the neural network. But it's a fundamentally malleable and shapable system, one in which the human hand is always present. It's far from the omnipotent AI we've been told to believe in.
É o que se passa no treino de sistemas da IA: é uma coisa muito trabalhosa. Há muito trabalho nos bastidores. Mas, ao fazer este trabalho, fiquei a perceber um pouco melhor como é construída a arquitetura da IA. Percebi que não é apenas feita de modelos e classificadores para a rede neural. Mas é fundamental um sistema maleável e modelável, em que a mão humana está sempre presente. Está longe da IA omnipotente que nos disseram para acreditar.
So I collected these drawings for the neural net. And we realized something that wasn't previously possible. My robot D.O.U.G. became a real-time interactive reflection of the work I'd done through the course of my life. The data was personal, but the results were powerful. And I got really excited, because I started thinking maybe machines don't need to be just tools, but they can function as nonhuman collaborators. And even more than that, I thought maybe the future of human creativity isn't in what it makes but how it comes together to explore new ways of making.
Então, reuni estes desenhos para a rede neural. E percebemos algo que, anteriormente não era possível. O meu robô D.O.U.G. tornou-se uma reflexão interativa em tempo real do trabalho que eu tinha feito durante toda a minha vida. Os dados eram pessoais, mas os resultados foram poderosos. Eu estava realmente animada, porque comecei a pensar que as máquinas talvez não fossem apenas ferramentas, mas pudessem funcionar como colaboradoras não humanas. E até mais que isso. Eu penso que o futuro da criatividade humana talvez não seja o que ele faz mas como vamos explorar novas maneiras de fazer.
So if D.O.U.G._1 was the muscle, and D.O.U.G._2 was the brain, then I like to think of D.O.U.G._3 as the family. I knew I wanted to explore this idea of human-nonhuman collaboration at scale. So over the past few months, I worked with my team to develop 20 custom robots that could work with me as a collective. They would work as a group, and together, we would collaborate with all of New York City.
Então se a D.O.U.G.:01 foi o músculo, e D.O.U.G.:02 foi o cérebro, então eu gosto de pensar na D.O.U.G.:03 como a família. Eu queria explorar esta ideia de colaboração de colaboração humano-não-humana à escala. Assim, nos últimos meses, a minha equipa e eu trabalhámos para desenvolver 20 robôs personalizados que trabalhariam comigo como um coletivo. Trabalhariam como um grupo e juntos, podíamos colaborar com a cidade de Nova Iorque.
I was really inspired by Stanford researcher Fei-Fei Li, who said, "if we want to teach machines how to think, we need to first teach them how to see." It made me think of the past decade of my life in New York, and how I'd been all watched over by these surveillance cameras around the city. And I thought it would be really interesting if I could use them to teach my robots to see. So with this project, I thought about the gaze of the machine, and I began to think about vision as multidimensional, as views from somewhere. We collected video from publicly available camera feeds on the internet of people walking on the sidewalks, cars and taxis on the road, all kinds of urban movement. We trained a vision algorithm on those feeds based on a technique called "optical flow," to analyze the collective density, direction, dwell and velocity states of urban movement. Our system extracted those states from the feeds as positional data and became pads for my robotic units to draw on. Instead of a collaboration of one-to-one, we made a collaboration of many-to-many. By combining the vision of human and machine in the city, we reimagined what a landscape painting could be.
Eu fui inspirada por Fei-Fei Li, o investigador de Stanford, que disse: "Se quisermos ensinar as máquinas a pensar, "primeiro, temos de ensiná-las a ver." Isto fez-me pensar nas últimas décadas da minha vida em Nova Iorque, e como eu tinha sido vigiada pelas câmaras de vigilância da cidade. Pensei que seria interessante se pudesse usá-las para ensinar os meus robôs a verem. Então com este projeto, eu pensei no olhar da máquina, e tornei a pensar na visão multidimensional, como vistas de algum lugar. Recolhemos vídeos de imagens na Internet de câmaras disponíveis publicamente pessoas a caminhar nos passeios, de carros e táxis na rua, todo o tipo de movimento urbano. Treinámos um algoritmo de visão com aquelas imagens baseando-nos numa técnica chamada "fluxo ótico", para analisar a densidade coletiva, a direção, a paragem, a velocidade do movimento urbano. O nosso sistema extraiu essas situações das imagens, como dados posicionais e tornaram-se almofadas para uso das minhas unidades robóticas. Em vez da colaboração um-a-um, fizemos uma colaboração de muitos-para-muitos. Combinando a visão do ser humano com a da máquina na cidade, reinventámos o que podia ser uma pintura de paisagem.
Throughout all of my experiments with D.O.U.G., no two performances have ever been the same. And through collaboration, we create something that neither of us could have done alone: we explore the boundaries of our creativity, human and nonhuman working in parallel.
Durante toda a minha experiência com a D.O.U.G., nunca os dois desempenhos foram iguais. E através de colaboração, criámos algo que nenhum de nós podia ter feito sozinho: Explorámos as fronteiras da nossa criatividade, humana e não-humana, trabalhando em paralelo.
I think this is just the beginning. This year, I've launched Scilicet, my new lab exploring human and interhuman collaboration. We're really interested in the feedback loop between individual, artificial and ecological systems. We're connecting human and machine output to biometrics and other kinds of environmental data. We're inviting anyone who's interested in the future of work, systems and interhuman collaboration to explore with us. We know it's not just technologists that have to do this work and that we all have a role to play.
Eu penso que isto está apenas a começar. Este ano, lancei o Scilicet, o meu novo laboratório para explorar a colaboração humana e inter-humana. Estamos muito interessados no ciclo de "feedbacks" entre os sistemas individuais, ecológicos e artificiais. Estamos a interligar a produção do ser humano e da máquina para a biometria e outros tipos de dados ambientais. Estamos a convidar quem quer que esteja interessado no trabalho do futuro, em sistemas e colaboração inter.humana, para explorar connosco. Sabemos que não são apenas os tecnólogos que têm de fazer este trabalho, todos nós temos um papel a desempenhar.
We believe that by teaching machines how to do the work traditionally done by humans, we can explore and evolve our criteria of what's made possible by the human hand. And part of that journey is embracing the imperfections and recognizing the fallibility of both human and machine, in order to expand the potential of both.
Acreditamos que, ensinando as máquinas a fazerem o trabalho tradicionalmente feito por pessoas, podemos explorar e melhorar os nossos critérios do que é possível fazer pela mão humana. Uma parte deste percurso está em aceitar as imperfeições e reconhecer a capacidade de falhar tanto dos humanos como das máquinas, a fim de expandir o potencial de ambos.
Today, I'm still in pursuit of finding the beauty in human and nonhuman creativity. In the future, I have no idea what that will look like, but I'm pretty curious to find out.
Hoje, eu ainda estou a procurar encontrar a beleza na criatividade humana e não humana. No futuro, eu não faço ideia de como será isso, mas estou muito curiosa para saber.
Thank you.
Obrigada.
(Applause)
(Aplausos)