Many of us here use technology in our day-to-day. And some of us rely on technology to do our jobs. For a while, I thought of machines and the technologies that drive them as perfect tools that could make my work more efficient and more productive.
Muchos de nosotros aquí usamos la tecnología en nuestro día a día. Y algunos confiamos en la tecnología para hacer nuestros trabajos. Por un tiempo, pensé en las máquinas y las tecnologías que las impulsan como herramientas perfectas que podrían hacer mi trabajo
But with the rise of automation across so many different industries,
más eficiente y productivo
it led me to wonder: If machines are starting to be able to do the work traditionally done by humans, what will become of the human hand? How does our desire for perfection, precision and automation affect our ability to be creative?
Pero con el auge de la automatización en tantas industrias diferentes me llevó a preguntarme: si las máquinas comienzan a hacer el trabajo tradicionalmente hecho por humanos, ¿qué saldrá de la mano humana? ¿Cómo nuestro deseo de perfección, precisión y automatización afecta nuestra habilidad de ser creativos?
In my work as an artist and researcher, I explore AI and robotics to develop new processes for human creativity. For the past few years, I've made work alongside machines, data and emerging technologies. It's part of a lifelong fascination about the dynamics of individuals and systems and all the messiness that that entails. It's how I'm exploring questions about where AI ends and we begin and where I'm developing processes that investigate potential sensory mixes of the future. I think it's where philosophy and technology intersect.
En mi trabajo como artista e investigadora exploro IA y robótica para desarrollar nuevos procesos para la creatividad humana. Durante los últimos años, trabajé junto a máquinas, datos y tecnologías emergentes. Es parte de una fascinación de por vida por las dinámicas de individuos y sistemas y todo el desorden que conlleva. Es cómo exploro preguntas sobre dónde comienza y acaba la IA y dónde desarrollo procesos que investigan posibles mezclas sensoriales del futuro. Creo que es dónde se cruzan la filosofía y la tecnología.
Doing this work has taught me a few things. It's taught me how embracing imperfection can actually teach us something about ourselves. It's taught me that exploring art can actually help shape the technology that shapes us. And it's taught me that combining AI and robotics with traditional forms of creativity -- visual arts in my case -- can help us think a little bit more deeply about what is human and what is the machine. And it's led me to the realization that collaboration is the key to creating the space for both as we move forward.
Hacer este trabajo me enseñó un par de cosas. Me enseñó cómo aceptar la imperfección en realidad puede enseñarnos algo de nosotros mismos. Me enseñó que explorar el arte puede ayudarnos a moldear la tecnología que nos moldea. Y me enseñó que combinando AI y robótica con formas tradicionales de creatividad, artes visuales en mi caso, puede enseñarnos a pensar un poco más profundamente sobre qué es un humano y qué es la máquina. Y me ha llevado a entender que la colaboración es la clave para crear un espacio para ambos a medida que avanzamos.
It all started with a simple experiment with machines, called "Drawing Operations Unit: Generation 1." I call the machine "D.O.U.G." for short. Before I built D.O.U.G, I didn't know anything about building robots. I took some open-source robotic arm designs, I hacked together a system where the robot would match my gestures and follow [them] in real time. The premise was simple: I would lead, and it would follow. I would draw a line, and it would mimic my line.
Todo comenzó con un simple experimento con máquinas. llamado "Drawing Operations Unit: Generation 1" Llamé a la máquina D.O.U.G, para abreviar. Antes de construir a D.O.U.G nos sabía nada sobre construir robots. Tomé algunos diseños de brazo robótico de código abierto, hackeé un sistema en el que el robot copiaba mis gestos y los seguía en tiempo real. La premisa era simple: Yo dirigiría y él seguiría. Yo dibujaría una línea y él imitaría mi línea.
So back in 2015, there we were, drawing for the first time, in front of a small audience in New York City. The process was pretty sparse -- no lights, no sounds, nothing to hide behind. Just my palms sweating and the robot's new servos heating up. (Laughs) Clearly, we were not built for this. But something interesting happened, something I didn't anticipate.
En 2015 allí estábamos, dibujando por primera vez, en frente de una pequeña audiencia en Nueva York. El proceso fue bastante austero, sin luces, sin sonido, nada para esconderse. Solo mis manos sudando y los servomotores del robot calentándose. (Ríe) Claramente, no estábamos hechos para esto. Pero ocurrió algo interesante, algo que no anticipé.
See, D.O.U.G., in its primitive form, wasn't tracking my line perfectly. While in the simulation that happened onscreen it was pixel-perfect, in physical reality, it was a different story. It would slip and slide and punctuate and falter, and I would be forced to respond. There was nothing pristine about it. And yet, somehow, the mistakes made the work more interesting. The machine was interpreting my line but not perfectly. And I was forced to respond. We were adapting to each other in real time.
Verán, D.O.U.G, en su forma primitiva no seguía mi línea perfectamente Mientras que en la simulación que ocurrió en la pantalla era perfecto, en la realidad física, era una historia diferente. Se resbalaba y deslizaba, se interrumpía y vacilaba, y yo debía responder. No había nada puro al respecto. Y aún, de algún modo, los errores hicieron mi trabajo más interesante. La máquina interpretaba mi línea, pero no perfectamente. Y yo debía responder. Nos adaptábamos el uno al otro en tiempo real.
And seeing this taught me a few things. It showed me that our mistakes actually made the work more interesting. And I realized that, you know, through the imperfection of the machine, our imperfections became what was beautiful about the interaction. And I was excited, because it led me to the realization that maybe part of the beauty of human and machine systems is their shared inherent fallibility. For the second generation of D.O.U.G., I knew I wanted to explore this idea. But instead of an accident produced by pushing a robotic arm to its limits, I wanted to design a system that would respond to my drawings in ways that I didn't expect.
Y ver esto me enseñó un par de cosas. Me enseñó que nuestros errores hacen el trabajo más interesante. Y me di cuenta de que, a través de la imperfección de la máquina, nuestras imperfecciones se convirtieron en lo que era hermoso de la interacción. Y estaba emocionada, porque me llevó a darme cuenta de que quizás parte de la belleza de los sistemas humano y máquina es su inherente falibilidad compartida. Para la segunda generación de D.O.U.G, supe que quería explorar esta idea. Pero en lugar de un accidente provocado al llevar al brazo robótico a su límite, quería diseñar un sistema que respondiera a mis dibujos de formas que no esperaba.
So, I used a visual algorithm to extract visual information from decades of my digital and analog drawings. I trained a neural net on these drawings in order to generate recurring patterns in the work that were then fed through custom software back into the machine. I painstakingly collected as many of my drawings as I could find -- finished works, unfinished experiments and random sketches -- and tagged them for the AI system. And since I'm an artist, I've been making work for over 20 years. Collecting that many drawings took months, it was a whole thing.
Así que usé un algoritmo visual para extraer información visual de décadas de mis dibujos digitales y analógicos. Entrené una red neuronal con estos dibujos para generar patrones recurrentes en el trabajo que luego se introdujeron a través de software personalizado a la máquina. Recopilé minuciosamente tantos dibujos como pude encontrar, trabajos acabados, experimentos sin terminar y bocetos aleatorios, y los etiqueté para el sistema IA. Y como soy artista, llevo trabajando más de 20 años. Recopilar tantos dibujos llevó meses, fue un montón.
And here's the thing about training AI systems: it's actually a lot of hard work. A lot of work goes on behind the scenes. But in doing the work, I realized a little bit more about how the architecture of an AI is constructed. And I realized it's not just made of models and classifiers for the neural network. But it's a fundamentally malleable and shapable system, one in which the human hand is always present. It's far from the omnipotent AI we've been told to believe in.
Y aquí está la cuestión sobre entrenar sistemas AI: en realidad es mucho trabajo duro. Hay mucho trabajo detrás de escena. Pero al hacer el trabajo, aprendí un poco más sobre cómo se construye la arquitectura de un IA. Y noté que no solo está hecho de modelos y clasificadores para la red neuronal. Sino que es un sistema fundamentalmente maleable y moldeable, en el que la mano humana siempre está presente. Está lejos de la IA omnipotente en la que nos han dicho que creamos.
So I collected these drawings for the neural net. And we realized something that wasn't previously possible. My robot D.O.U.G. became a real-time interactive reflection of the work I'd done through the course of my life. The data was personal, but the results were powerful. And I got really excited, because I started thinking maybe machines don't need to be just tools, but they can function as nonhuman collaborators. And even more than that, I thought maybe the future of human creativity isn't in what it makes but how it comes together to explore new ways of making.
Así que recopilé estos dibujos para la red neuronal. Y nos dimos cuenta de algo que antes no era posible. Mi robot D.O.U.G se convirtió en una reflexión interactiva a tiempo real del trabajo que había realizado a lo largo de mi vida. Los datos eran personales, pero los resultados fueron poderosos. Y me emocioné mucho, porque empecé a pensar que quizás las máquinas no son solo herramientas, sino que pueden funcionar como colaboradores no humanos. Y aún más que eso, pensé que tal vez el futuro de la creatividad humana no está en lo que hace sino cómo se une para explorar nuevas maneras de crear.
So if D.O.U.G._1 was the muscle, and D.O.U.G._2 was the brain, then I like to think of D.O.U.G._3 as the family. I knew I wanted to explore this idea of human-nonhuman collaboration at scale. So over the past few months, I worked with my team to develop 20 custom robots that could work with me as a collective. They would work as a group, and together, we would collaborate with all of New York City.
Si D.O.U.G_1 fue el músculo, y D.O.U.G_2 fue el cerebro, entonces me gustaría pensar en D.O.U.G_3 como la familia. Sabía que quería explorar esta idea de colaboración entre humanos y no-humanos a escala. En los últimos meses, trabajé con mi equipo para desarrollar 20 robots personalizados que trabajarían conmigo como colectivo. Trabajarían como un grupo y juntos colaboraríamos con todo Nueva York.
I was really inspired by Stanford researcher Fei-Fei Li, who said, "if we want to teach machines how to think, we need to first teach them how to see." It made me think of the past decade of my life in New York, and how I'd been all watched over by these surveillance cameras around the city. And I thought it would be really interesting if I could use them to teach my robots to see. So with this project, I thought about the gaze of the machine, and I began to think about vision as multidimensional, as views from somewhere. We collected video from publicly available camera feeds on the internet of people walking on the sidewalks, cars and taxis on the road, all kinds of urban movement. We trained a vision algorithm on those feeds based on a technique called "optical flow," to analyze the collective density, direction, dwell and velocity states of urban movement. Our system extracted those states from the feeds as positional data and became pads for my robotic units to draw on. Instead of a collaboration of one-to-one, we made a collaboration of many-to-many. By combining the vision of human and machine in the city, we reimagined what a landscape painting could be.
Me inspiró mucho el investigador de Stanford Fei-Fei Li, quien dijo: "Si queremos enseñar a las máquinas a pensar, primero debemos enseñarles cómo ver". Me hizo pensar en la última década de mi vida en Nueva York y cómo nos vigilan todas esas cámaras de seguridad por la ciudad. Y pensé que sería realmente interesante si pudiera usarlas para enseñar a mis robots a ver. Con este proyecto, pensé sobre la mirada de la máquina, y empecé a pensar sobre la visión multidimensional, como vistas de alguna parte. Recopilamos videos de las cámaras públicas disponibles en internet, de gente caminando por las aceras, autos y taxis en la carretera, todo tipo de movimiento urbano. Entrenamos un algoritmo de la visión con esas fuentes basado en una técnica llamada "flujo óptico", para analizar la densidad colectiva, dirección, permanencia y velocidad del movimiento urbano. Nuestro sistema extrajo esos estados de las fuentes como datos posicionales y se voliveron cuadernos para dibujar para mis unidades robóticas. En lugar de una colaboración uno a uno, hicimos una colaboración de muchos a muchos. Combinando la visión de los humanos y las máquinas en la ciudad, reimaginamos lo que podría ser una pintura de un paisaje.
Throughout all of my experiments with D.O.U.G., no two performances have ever been the same. And through collaboration, we create something that neither of us could have done alone: we explore the boundaries of our creativity, human and nonhuman working in parallel.
En todos mis experimentos con D.O.U.G, no hay dos actuaciones que hayan sido iguales. Y a través de la colaboración creamos algo que ninguno podría haber hecho solo exploramos los límites de nuestra creatividad, humano y no humano trabajando en paralelo.
I think this is just the beginning. This year, I've launched Scilicet, my new lab exploring human and interhuman collaboration. We're really interested in the feedback loop between individual, artificial and ecological systems. We're connecting human and machine output to biometrics and other kinds of environmental data. We're inviting anyone who's interested in the future of work, systems and interhuman collaboration to explore with us. We know it's not just technologists that have to do this work and that we all have a role to play.
Creo que es solo el principio. Este año, lancé Scilicet, mi nuevo laboratorio explorando la interración humana e interhumana. Estamos muy interesados en la retroalimentación entre sistemas individuales, artificiales y ecológicos. Conectamos la producción humana y máquina con datos biométricos y otros tipos de datos ambientales. Invitamos a cualquiera interesado en el futuro del trabajo, sistemas y colaboración interhumana a investigar con nosotros. Sabemos que no solo los tecnólogos tienen que hacer este trabajo y que todos tenemos un papel que desempeñar.
We believe that by teaching machines how to do the work traditionally done by humans, we can explore and evolve our criteria of what's made possible by the human hand. And part of that journey is embracing the imperfections and recognizing the fallibility of both human and machine, in order to expand the potential of both.
Creémos que enseñando a las máquina cómo hacer el trabajo tradicionalmente hecho por humanos. podemos explorar y desarrollar nuestro criterio de lo que ha hecho posible la mano humana. Y parte de ese viaje es aceptar las imperfecciones y reconocer la falibilidad tanto humana y máquina, para expandir el potencial de ambos.
Today, I'm still in pursuit of finding the beauty in human and nonhuman creativity. In the future, I have no idea what that will look like, but I'm pretty curious to find out.
Hoy sigo buscando la belleza en la creatividad humana y no humana. En el futuro, no tengo ni idea de cómo será esto, pero tengo mucha curiosidad por descubrirlo.
Thank you.
Gracias.
(Applause)
(Aplausos)