Many of us here use technology in our day-to-day. And some of us rely on technology to do our jobs. For a while, I thought of machines and the technologies that drive them as perfect tools that could make my work more efficient and more productive.
私たちの多くが日々の生活で テクノロジーを利用しています なかには仕事をする上で テクノロジーに頼り切っている人もいます 長い間 私は機械や それを動かすテクノロジーを 作業の効率をあげ 生産性を高める 最高のツールとして捉えていました
But with the rise of automation across so many different industries, it led me to wonder: If machines are starting to be able to do the work traditionally done by humans, what will become of the human hand? How does our desire for perfection, precision and automation affect our ability to be creative?
でも 多岐に渡る産業で 自動化が進むにつれて こう思うようになりました これまで人によって行われてきた仕事を 機械ができるようになってきたら 人間の技能は どうなってしまうのでしょうか? 完璧さ 緻密さ 自動化を求める 私たちの願望は 創造性にどう影響するのでしょうか?
In my work as an artist and researcher, I explore AI and robotics to develop new processes for human creativity. For the past few years, I've made work alongside machines, data and emerging technologies. It's part of a lifelong fascination about the dynamics of individuals and systems and all the messiness that that entails. It's how I'm exploring questions about where AI ends and we begin and where I'm developing processes that investigate potential sensory mixes of the future. I think it's where philosophy and technology intersect.
芸術家で研究者である 私の仕事は AIとロボット工学を研究して 人間の創造性を高める 新たなプロセスを生み出すことです ここ数年は 機械やデータ 新しいテクノロジーを 使って制作しています これは 個人とシステムの力学と その中に含まれる あらゆる乱雑さに対する 生涯を通じた 私の関心の一部です AIと人間の境界はどこにあるかという 課題を追究する方法であり 未来における 感覚の組み合わせ方の可能性を 探る方法を開発する場でもあります 哲学とテクノロジーが 交差する場だと思います
Doing this work has taught me a few things. It's taught me how embracing imperfection can actually teach us something about ourselves. It's taught me that exploring art can actually help shape the technology that shapes us. And it's taught me that combining AI and robotics with traditional forms of creativity -- visual arts in my case -- can help us think a little bit more deeply about what is human and what is the machine. And it's led me to the realization that collaboration is the key to creating the space for both as we move forward.
この仕事から学んだことがあります 不完全さを受け入れると 私たち自身について 分かることがあるということ 芸術を研究することで 私たちを形作るテクノロジーの 生成を促しうるということ AIとロボット工学を 既存の創造性の形― 私の場合 視覚芸術と 結びつけることで 人間とは何か 機械とは何かを より深く考える手助けになること そして 研究を通して気づいたのは 機械と人間が進歩するとき 両者のための空間を作るには 協働が大切だという点です
It all started with a simple experiment with machines, called "Drawing Operations Unit: Generation 1." I call the machine "D.O.U.G." for short. Before I built D.O.U.G, I didn't know anything about building robots. I took some open-source robotic arm designs, I hacked together a system where the robot would match my gestures and follow [them] in real time. The premise was simple: I would lead, and it would follow. I would draw a line, and it would mimic my line.
すべての始まりは簡単な実験で 使った機械は 「Drawing Operations Unit: Generation 1 (描画操作ユニット 第1世代)」 略して「D.O.U.G.」でした D.O.U.G.の製作前は ロボットの作り方など 全く知りませんでした オープンソースのロボットアームの 設計を採用し リアルタイムで 私の動きに追従する システムを組み上げました 前提はシンプルでした 私がすることを 機械がまねる 私が線を描けば 線をまねて描きます
So back in 2015, there we were, drawing for the first time, in front of a small audience in New York City. The process was pretty sparse -- no lights, no sounds, nothing to hide behind. Just my palms sweating and the robot's new servos heating up. (Laughs) Clearly, we were not built for this. But something interesting happened, something I didn't anticipate.
2015年 ニューヨークで 少人数の観客を前に 初めて描いたときの映像です まばらなパフォーマンスで 照明も音楽もなく 観客の目を 遮るものもありませんでした 私の手は汗だくになり ロボットのサーボモーターは過熱しました (笑)あきらかに 私たち向きの状況ではありません ところが 予期せぬ 興味深いことが起こったのです
See, D.O.U.G., in its primitive form, wasn't tracking my line perfectly. While in the simulation that happened onscreen it was pixel-perfect, in physical reality, it was a different story. It would slip and slide and punctuate and falter, and I would be forced to respond. There was nothing pristine about it. And yet, somehow, the mistakes made the work more interesting. The machine was interpreting my line but not perfectly. And I was forced to respond. We were adapting to each other in real time.
初期のD.O.U.G.を見てください 私の描いた線を完璧にはまねていません スクリーン上の シミュレーションでは 1ピクセルの狂いもなかったのに 現実世界だと そうはいかなかったのです 滑ったり ずれたり 途切れたり ぶれたりしたので 私が対応しなくては なりませんでした そこに本来の姿はありませんでした それでも なぜか誤りによって 興味深い作品になりました 機械は私の描線を解釈していましたが 完ぺきではなく 私が対処を強いられました お互いリアルタイムで 順応していたのです
And seeing this taught me a few things. It showed me that our mistakes actually made the work more interesting. And I realized that, you know, through the imperfection of the machine, our imperfections became what was beautiful about the interaction. And I was excited, because it led me to the realization that maybe part of the beauty of human and machine systems is their shared inherent fallibility. For the second generation of D.O.U.G., I knew I wanted to explore this idea. But instead of an accident produced by pushing a robotic arm to its limits, I wanted to design a system that would respond to my drawings in ways that I didn't expect.
これを見て 分かったことがあります 誤りが作品を よりおもしろいものにするのです ロボットの不完全さを通して 両者の不完全さは 相互作用から生まれる 美しさへと変化するのです 人間と機械システムが持つ 美しさの一部は 両者に共通する誤りやすさに あるのかもしれないと気づいて 私の胸は高鳴りました D.O.U.G.の第2世代では このアイデアを 掘り下げたいと思いました ただ ロボットアームを限界まで 追い込んで生じる偶発性ではなく 私の描線に予測不能な反応をするシステムを 設計しようと思いました
So, I used a visual algorithm to extract visual information from decades of my digital and analog drawings. I trained a neural net on these drawings in order to generate recurring patterns in the work that were then fed through custom software back into the machine. I painstakingly collected as many of my drawings as I could find -- finished works, unfinished experiments and random sketches -- and tagged them for the AI system. And since I'm an artist, I've been making work for over 20 years. Collecting that many drawings took months, it was a whole thing.
そこで過去数十年の 私のデジタルとアナログ両方の絵から 視覚情報を抽出するために 視覚アルゴリズムを利用しました その絵を ニューラルネットワークに学習させ 作品に繰り返し表れるパターンを生成し 専用のソフトウェアで ロボットに入力するのです 絵は 探せる限り 徹底的に集めました 完成した作品 未完成の試作 雑多なスケッチもです そして AIシステムのために タグ付けしました 私は芸術家ですから 20年以上創作をしています そこまで集めるのに 何か月もかけて 全体像が見えました
And here's the thing about training AI systems: it's actually a lot of hard work. A lot of work goes on behind the scenes. But in doing the work, I realized a little bit more about how the architecture of an AI is constructed. And I realized it's not just made of models and classifiers for the neural network. But it's a fundamentally malleable and shapable system, one in which the human hand is always present. It's far from the omnipotent AI we've been told to believe in.
AIシステムに学習させるのは とても手間がかかります 見えない部分で多くの作業が進みます しかしこの作業を進めるなかで AIが どのように 構築されているかが分かりました 単にニューラルネットワーク用の モデルや識別器から できている訳ではなく 順応性があり形成可能で 常に人の手が入っている システムなのです 私たちが全能と信じさせられてきた AIとはかけ離れています
So I collected these drawings for the neural net. And we realized something that wasn't previously possible. My robot D.O.U.G. became a real-time interactive reflection of the work I'd done through the course of my life. The data was personal, but the results were powerful. And I got really excited, because I started thinking maybe machines don't need to be just tools, but they can function as nonhuman collaborators. And even more than that, I thought maybe the future of human creativity isn't in what it makes but how it comes together to explore new ways of making.
だからニューラルネットのために 絵を集めました そして それ以前なら 不可能だったことを認識したのです 私のロボットD.O.U.G. は 私の人生で手掛けた作品をリアルタイムで インタラクティブに反映するようになりました データは個人的なものでも 結果はとても力強く 私はとてもワクワクしました なぜなら機械は 単なる道具である必要はなく 人ではない協力者として 機能すると考え始めたからです またそれ以上に 創造性の未来は 何を作ったかではなく 新しい制作方法を探って どのように協働したかにあるのでは と思ったのです
So if D.O.U.G._1 was the muscle, and D.O.U.G._2 was the brain, then I like to think of D.O.U.G._3 as the family. I knew I wanted to explore this idea of human-nonhuman collaboration at scale. So over the past few months, I worked with my team to develop 20 custom robots that could work with me as a collective. They would work as a group, and together, we would collaborate with all of New York City.
だから D.O.U.G._1 を筋肉 D.O.U.G._2 を頭脳とすると D.O.U.G._3 は家族と思いたいのです 人とモノとの大規模な協働というアイデアを 詳しく探りたくなっていました ここ数ヶ月は 共同体として私と作業できる 20台のロボットの開発に チームと共に取り組みました そのロボットは集団で作業し 私たちと共に ニューヨーク全体と 協働するものでした
I was really inspired by Stanford researcher Fei-Fei Li, who said, "if we want to teach machines how to think, we need to first teach them how to see." It made me think of the past decade of my life in New York, and how I'd been all watched over by these surveillance cameras around the city. And I thought it would be really interesting if I could use them to teach my robots to see. So with this project, I thought about the gaze of the machine, and I began to think about vision as multidimensional, as views from somewhere. We collected video from publicly available camera feeds on the internet of people walking on the sidewalks, cars and taxis on the road, all kinds of urban movement. We trained a vision algorithm on those feeds based on a technique called "optical flow," to analyze the collective density, direction, dwell and velocity states of urban movement. Our system extracted those states from the feeds as positional data and became pads for my robotic units to draw on. Instead of a collaboration of one-to-one, we made a collaboration of many-to-many. By combining the vision of human and machine in the city, we reimagined what a landscape painting could be.
スタンフォードの研究者 フェイフェイ・リーの言葉に触発されました 「機械に考え方を教えたければ まず見方を教える必要がある」 その言葉に従い 過去十年の ニューヨークでの生活を再考し 街中にある監視カメラに どう見られていたかを考えてみました そして ロボットに 見方を教えるために それらの映像を使えたら 面白そうだと思いました そこでこのプロジェクトでは 機械からの視線について考察し 視覚を 様々な方向から来る どこか別の場所から見た光景として 考え始めました 私たちはインターネットで 一般公開されている ライブカメラ映像を集めました 歩道を歩く人々や 車道を行き交う車やタクシーなど 都会のあらゆる運動です この映像をもとに オプティカルフローと呼ばれる 技術を応用して 視覚アルゴリズムに学習させ 全体の密度や 方向 静止 速度の状態といった 都会の動きを分析しました このシステムは それらの状態を 映像から位置データとして抽出し ロボットが描くための スケッチブックになりました 1対1の協働ではなく 複数対複数の協働です 人間の視覚と 都市の機械を組み合わせることで 私たちは風景画の可能性を イメージし直しました
Throughout all of my experiments with D.O.U.G., no two performances have ever been the same. And through collaboration, we create something that neither of us could have done alone: we explore the boundaries of our creativity, human and nonhuman working in parallel.
D.O.U.G.を使った どの実験をとっても 同じ作品にはなりません そして協働を通して 人間かロボット 片方だけでは できないものを作ります 人間とモノが並行して作業し 私たちの創造性の限界を 研究しているのです
I think this is just the beginning. This year, I've launched Scilicet, my new lab exploring human and interhuman collaboration. We're really interested in the feedback loop between individual, artificial and ecological systems. We're connecting human and machine output to biometrics and other kinds of environmental data. We're inviting anyone who's interested in the future of work, systems and interhuman collaboration to explore with us. We know it's not just technologists that have to do this work and that we all have a role to play.
これは始まりに過ぎないと 私は思います 今年 私はScilicetを立ち上げました 人間や人々の協働作業を探る 新しい研究所です 個人と人工物と生態系の フィードバックループに 関心を持っています 私たちは 人や機械からの出力を 生体測定や その他の環境データと 結びつけようとしています 仕事やシステム 人々の協働の 未来に関心がある方なら 一緒に研究するために 誰でも招いています この仕事を任された 技術者だけでなく 全員に役割があるのです
We believe that by teaching machines how to do the work traditionally done by humans, we can explore and evolve our criteria of what's made possible by the human hand. And part of that journey is embracing the imperfections and recognizing the fallibility of both human and machine, in order to expand the potential of both.
これまで伝統的に人の手で行われてきた 仕事の仕方を機械に教えることで 人の手によって可能とされることの 基準を研究し進化させられると 信じています そして その旅の一部は 人間と機械の双方の 不完全性を容認し 誤りやすさを認識することであり それにより双方の可能性を 広げようとするものです
Today, I'm still in pursuit of finding the beauty in human and nonhuman creativity. In the future, I have no idea what that will look like, but I'm pretty curious to find out.
現在 私は人間とモノが持つ 創造性の素晴らしさを 見つけ出そうとしている 只中にいます それが将来 どんなものになるか 想像もつきませんが それを見出すことに とても関心があるのです
Thank you.
ありがとう
(Applause)
(拍手)