So, artificial intelligence is known for disrupting all kinds of industries. What about ice cream? What kind of mind-blowing new flavors could we generate with the power of an advanced artificial intelligence? So I teamed up with a group of coders from Kealing Middle School to find out the answer to this question. They collected over 1,600 existing ice cream flavors, and together, we fed them to an algorithm to see what it would generate. And here are some of the flavors that the AI came up with.
인공지능은 온갖 종류의 산업을 와해시키는 것으로 알려져 있죠. 아이스크림 시장은 어떨까요? 어떤 새롭고 놀라운 맛들을 고도의 인공지능으로 만들 수 있을까요? 그래서 저는 킬링 중학교 학생들과 이 문제의 답을 찾아 보고자 했습니다. 현재 존재하는 1600가지가 넘는 아이스크림 맛들을 모으고, 어떤 것을 만들 수 있는지 보기 위해 알고리즘을 적용했습니다. 그리고 여기 AI가 만들어낸 맛들이 있습니다.
[Pumpkin Trash Break]
[호박 쓰레기 브레이크]
(Laughter)
(웃음)
[Peanut Butter Slime]
[땅콩 버터 슬라임]
[Strawberry Cream Disease]
[딸기 크림 질병]
(Laughter)
(웃음)
These flavors are not delicious, as we might have hoped they would be. So the question is: What happened? What went wrong? Is the AI trying to kill us? Or is it trying to do what we asked, and there was a problem?
이 맛들은 저희가 바랐던 것 만큼 맛있지 않습니다. 무슨 일이 일어난 것일까요? 뭐가 잘못된 거죠? AI가 우리를 죽이려고 하는 것일까요? 아니면 우리가 요청했던 걸 하려 했지만 문제가 있었던 걸까요?
In movies, when something goes wrong with AI, it's usually because the AI has decided that it doesn't want to obey the humans anymore, and it's got its own goals, thank you very much. In real life, though, the AI that we actually have is not nearly smart enough for that. It has the approximate computing power of an earthworm, or maybe at most a single honeybee, and actually, probably maybe less. Like, we're constantly learning new things about brains that make it clear how much our AIs don't measure up to real brains. So today's AI can do a task like identify a pedestrian in a picture, but it doesn't have a concept of what the pedestrian is beyond that it's a collection of lines and textures and things. It doesn't know what a human actually is. So will today's AI do what we ask it to do? It will if it can, but it might not do what we actually want.
영화에서 AI와 관련해 뭔가 잘못되면, 보통은 AI가 인간에게 더 이상 복종하기 싫다고 결정하고 AI 스스로의 목표를 가지기 때문이죠, 아주 감사하게도요. 실제 상황에서는 그러나, 실제 AI는 전혀 그렇게 똑똑하지 않습니다. AI의 연산 능력은 대략 지렁이 정도, 아마 기껏해봐야 꿀벌 한마리, 사실, 아마 그것도 안 될 겁니다. 우리는 끊임없이 두뇌에 대해 새로운 것을 배워서 AI가 실제 두뇌에 얼마나 못미치는지 분명히 알 수 있죠. 오늘날의 AI는 사진 속의 행인을 식별하기 같은 일을 할 수 있죠. 그러나 AI는 행인이 무엇이라는 개념은 가지고 있지 않습니다. 그것은 선과 질감같은 것들의 덩어리 너머의 것입니다. AI는 실제 인간이라는 게 무엇인지 알지 못합니다. 그래서 오늘날의 AI는 우리가 요청한 것을 수행할까요? 할 수 있다면 하겠죠, 그러나 우리가 진짜 원하는 것을 하지 않을 수도 있습니다.
So let's say that you were trying to get an AI to take this collection of robot parts and assemble them into some kind of robot to get from Point A to Point B. Now, if you were going to try and solve this problem by writing a traditional-style computer program, you would give the program step-by-step instructions on how to take these parts, how to assemble them into a robot with legs and then how to use those legs to walk to Point B. But when you're using AI to solve the problem, it goes differently. You don't tell it how to solve the problem, you just give it the goal, and it has to figure out for itself via trial and error how to reach that goal. And it turns out that the way AI tends to solve this particular problem is by doing this: it assembles itself into a tower and then falls over and lands at Point B. And technically, this solves the problem. Technically, it got to Point B. The danger of AI is not that it's going to rebel against us, it's that it's going to do exactly what we ask it to do. So then the trick of working with AI becomes: How do we set up the problem so that it actually does what we want?
가령 여러분이 AI를 이용해서 이 로봇 부품들로 로봇을 조립해서 A에서 B로 간다고 생각해 봅시다. 만약 여러분이 이 문제를 해결하기 위해 전통적인 방식의 컴퓨터 프로그래밍을 이용한다면, 이 프로그램에 단계별 지시를 주겠죠. 부품들은 다루는 방법이라든가, 다리가 있는 로봇으로 만드는 방법과, 그 다리로 B까지 걸어가는 방법을요. 그러나 AI를 이용해서 이 문제를 해결한다면, 다른 이야기가 됩니다. 어떻게 문제를 해결하는지에 대해 AI에게 알려주지 않고 여러분은 그냥 목표를 줍니다. 그리고 그것은 시행착오를 통해 스스로 목표에 도달할 방법을 알아내는 것이죠. AI가 이 특정한 문제를 푸는 방식은 이렇습니다. 스스로를 탑으로 조립한 다음에 쓰러져서 B에 떨어지는 것이죠. 그리고, 따지고 보면, 이건 문제를 해결하긴 합니다. 기술적으로는, B까지 도달한 것이죠. AI의 위험은 그것이 우리에게 맞설 것이라는 것이 아니라, 우리가 요청한 것을 아주 그대로 할 것이라는 겁니다. 따라서 AI를 사용할 때의 요점은 AI가 우리가 원하는 결과를 만들도록 어떻게 문제를 설정하느냐입니다.
So this little robot here is being controlled by an AI. The AI came up with a design for the robot legs and then figured out how to use them to get past all these obstacles. But when David Ha set up this experiment, he had to set it up with very, very strict limits on how big the AI was allowed to make the legs, because otherwise ...
여기 이 조그만 로봇은 AI가 조종합니다. AI는 로봇다리의 디자인을 생각해냈고 모든 장애물들을 지나가기 위해 다리를 이용할 방법을 알아냈습니다. 그러나 데이비드 하씨가 이 실험을 고안할 때, 그는 아주, 아주 엄격한 제한을 설정해야만 했습니다. AI가 만들 수 있는 다리의 크기에요. 그렇지 않았다면...
(Laughter)
(웃음)
And technically, it got to the end of that obstacle course. So you see how hard it is to get AI to do something as simple as just walk.
그리고 엄밀히 말하면, 이것은 장애물 코스를 통과했습니다. 이처럼 그냥 걷는 것 같은 간단한 일도 AI에게는 어렵습니다.
So seeing the AI do this, you may say, OK, no fair, you can't just be a tall tower and fall over, you have to actually, like, use legs to walk. And it turns out, that doesn't always work, either. This AI's job was to move fast. They didn't tell it that it had to run facing forward or that it couldn't use its arms. So this is what you get when you train AI to move fast, you get things like somersaulting and silly walks. It's really common. So is twitching along the floor in a heap.
그래서 AI가 이러는 것을 보면, 여러분은 아마 이렇게 말할 겁니다. 규칙위반이야, 그냥 큰 탑이 돼서 넘어지면 안돼. 걸으려면 다리같은 걸 써야지. 그런데 그 방법도 항상 되지는 않죠. 이 AI의 목표는 빠르게 움직이는 것입니다. 그들은 AI에게 앞으로 달려야 하고, 팔을 사용하면 안된다고 알려주지 않았습니다. AI에게 빨리 움직이는 것을 훈련시키면 이런 결과를 얻을 것입니다. 공중제비를 하거나 바보같은 걸음같은 것을 볼 수 있죠. 이건 아주 흔합니다. 바닥에서 웅크리고 씰룩거리는 것도요.
(Laughter)
(웃음)
So in my opinion, you know what should have been a whole lot weirder is the "Terminator" robots. Hacking "The Matrix" is another thing that AI will do if you give it a chance. So if you train an AI in a simulation, it will learn how to do things like hack into the simulation's math errors and harvest them for energy. Or it will figure out how to move faster by glitching repeatedly into the floor. When you're working with AI, it's less like working with another human and a lot more like working with some kind of weird force of nature. And it's really easy to accidentally give AI the wrong problem to solve, and often we don't realize that until something has actually gone wrong.
그래서 제 생각에는, 더 이상했어야 했던 것은 “터미네이터” 로봇입니다. “매트릭스”를 해킹하는 것은 기회를 주면 AI가 할 또다른 일이죠. 만약 여러분이 시뮬레이션에서 AI를 훈련시킨다면, 시뮬레이션의 수학적 오류들을 해킹하는 것과 같은 방법을 배워서 그것들을 통해 에너지를 얻을 것입니다. 아니면 반복적으로 바닥에 고장을 내 더 빨리 움직이는 방법을 알아내겠죠. AI와 일하는 것은 사람과 일하는 것과 다르고, 자연의 어떤 이상한 힘과 일하는 것과 더 유사합니다. 실수로 AI에게 잘못된 문제를 주는 것도 쉬운 일입니다. 보통 실제로 일이 잘못될 때까지 우리는 그걸 알아채지 못하죠.
So here's an experiment I did, where I wanted the AI to copy paint colors, to invent new paint colors, given the list like the ones here on the left. And here's what the AI actually came up with.
제가 진행한 실험이 하나 있습니다. 저는 AI가 물감 색들을 복사해서 새로운 물감을 만들어내기를 원했습니다. 여기 왼쪽에 있는 목록을 주고요. 이게 AI가 실제로 만들어낸 것입니다.
[Sindis Poop, Turdly, Suffer, Gray Pubic]
[신디스 똥, 똥덩어리같은, 고생하다, 회색 음부]
(Laughter)
(웃음)
So technically, it did what I asked it to. I thought I was asking it for, like, nice paint color names, but what I was actually asking it to do was just imitate the kinds of letter combinations that it had seen in the original. And I didn't tell it anything about what words mean, or that there are maybe some words that it should avoid using in these paint colors. So its entire world is the data that I gave it. Like with the ice cream flavors, it doesn't know about anything else.
그래서 엄밀히 말하면, 제가 요청한 것을 하긴 했습니다. 저는 제가 멋진 물감 이름들을 요청했다고 생각했는데 실제로 제가 요청했던 것은 원래에 있던 것들에 보이는 문자조합을 그냥 모방하는 것이었습니다. 그 단어들의 뜻이 무엇인지에 대해 알려주지 않았습니다. 혹은 물감에 사용하면 안되는 단어도 있을 수 있다는 것도요. AI가 알고 있는 세계는 제가 준 데이터가 전부였지요. 아이스크림 맛처럼, 다른 것에 대해서는 전혀 아는 것이 없었습니다.
So it is through the data that we often accidentally tell AI to do the wrong thing. This is a fish called a tench. And there was a group of researchers who trained an AI to identify this tench in pictures. But then when they asked it what part of the picture it was actually using to identify the fish, here's what it highlighted. Yes, those are human fingers. Why would it be looking for human fingers if it's trying to identify a fish? Well, it turns out that the tench is a trophy fish, and so in a lot of pictures that the AI had seen of this fish during training, the fish looked like this.
그래서 이 데이터를 통해서 우리는 AI에게 잘못된 것을 하라고 종종 실수로 말합니다. 이건 잉어라고 불리는 물고기입니다. 연구자들이 AI를 훈련시켜 사진에서 잉어를 식별하도록 했습니다. 그러나 그들이 AI에게 사진의 어떤 부분을 물고기를 식별하는데 썼는지 물어보자 이것이 나타났습니다. 네, 저것들은 사람의 손가락입니다. 왜 물고기를 식별하는데 사람의 손가락을 찾고 있을까요? 잉어는 기념사진으로 남길만한 물고기여서, AI가 훈련동안 보았던 이 물고기의 사진들은 이러했습니다.
(Laughter)
(웃음)
And it didn't know that the fingers aren't part of the fish.
손가락이 물고기의 일부가 아니라는 것을 몰랐죠.
So you see why it is so hard to design an AI that actually can understand what it's looking at. And this is why designing the image recognition in self-driving cars is so hard, and why so many self-driving car failures are because the AI got confused. I want to talk about an example from 2016. There was a fatal accident when somebody was using Tesla's autopilot AI, but instead of using it on the highway like it was designed for, they used it on city streets. And what happened was, a truck drove out in front of the car and the car failed to brake. Now, the AI definitely was trained to recognize trucks in pictures. But what it looks like happened is the AI was trained to recognize trucks on highway driving, where you would expect to see trucks from behind. Trucks on the side is not supposed to happen on a highway, and so when the AI saw this truck, it looks like the AI recognized it as most likely to be a road sign and therefore, safe to drive underneath.
그래서 여러분은 진짜로 무엇을 찾고 있는지 이해할 수 있는 AI를 디자인하는 것이 왜 어려운지 알 수 있을 것입니다. 그리고 이것이 자율주행 자동차에서의 이미지 인식을 디자인하는 것이 왜 그렇게 힘든 일인 지에 대한 이유이고 많은 자율주행 자동차의 실패들의 이유는 AI가 혼란스러워했기 때문입니다. 2016년에 있었던 한 예에 대해 이야기해보고 싶습니다. 테슬라 자동조종 AI를 이용하던 사람이 아주 치명적인 사고를 당했습니다. 원래 고속도로에서 사용하도록 디자인되었는데 도시 도로에서 사용되었습니다. 그리고 어떤 일이 일어났냐면, 어떤 트럭이 차 앞으로 나왔는데, 그 차는 서지 못했습니다. AI는 분명히 사진들에서 트럭을 인식하도록 훈련되었습니다. 그러나 좀더 들여다 보면 AI가 고속도로에 있는 트럭들을 인식하도록 훈련된 거 같아 보였습니다. 트럭의 뒷모습을 볼 것이라고 생각하도록 말이죠. 트럭의 옆모습을 보는 것은 고속도로에는 일어나지 않는 일이었고, 이 AI가 이 트럭을 봤을 땐, 아마도 트럭을 도로 표지판으로 인식하고 따라서 운전을 해도 안전하다고 판단한 것이죠.
Here's an AI misstep from a different field. Amazon recently had to give up on a résumé-sorting algorithm that they were working on when they discovered that the algorithm had learned to discriminate against women. What happened is they had trained it on example résumés of people who they had hired in the past. And from these examples, the AI learned to avoid the résumés of people who had gone to women's colleges or who had the word "women" somewhere in their resume, as in, "women's soccer team" or "Society of Women Engineers." The AI didn't know that it wasn't supposed to copy this particular thing that it had seen the humans do. And technically, it did what they asked it to do. They just accidentally asked it to do the wrong thing.
여기, 다른 분야에서 AI의 실수가 있습니다. 아마존은 이력서분류 알고리즘을 포기해야만 했습니다. 실제 적용에서 이 알고리즘이 여성을 차별한다는 것을 발견한 것이죠. 그들이 AI 훈련용으로 사용한 이력서는 과거에 고용한 사람들의 것이었습니다. 그 예시들로부터, AI는 이런 사람들을 기피하는 것을 배웠습니다. 여대를 나온 사람들, 이력서 어딘가에 ‘여성’이라는 단어가 있는 사람들, 예를 들어 '여자 축구팀', '여성공학자협회'같은 단어말이죠. AI는 이 특정한 행동을 따라 해선 안된다는 것을 모르고 있었죠. 인간들이 하는 걸 봤더라도요. 그리고 엄밀히 말하자면, AI는 아마존이 요청한 것을 했습니다. 그들은 그저 실수로 잘못된 일을 시킨 것이죠.
And this happens all the time with AI. AI can be really destructive and not know it. So the AIs that recommend new content in Facebook, in YouTube, they're optimized to increase the number of clicks and views. And unfortunately, one way that they have found of doing this is to recommend the content of conspiracy theories or bigotry. The AIs themselves don't have any concept of what this content actually is, and they don't have any concept of what the consequences might be of recommending this content.
AI에게 이런 일은 항상 일어납니다. AI는 아주 해로운 일을 하는 와중에, 해롭다는 것을 모를 수 있습니다. 페이스북, 유튜브에서 새로운 콘텐츠를 추천해주는 AI들은 클릭 수와 조회 수를 늘리도록 최적화되어 있습니다. 그리고 불행하게도, 그들이 찾은 방법은 음모론이나 심한 편견이 있는 콘텐츠를 추천하는 것입니다. AI들 자체에는 이 콘텐츠들이 실제로 무엇인지에 대한 개념이 없습니다. 그리고 그들은 결과가 어떨 것인지에 대한 개념도 없습니다. 이러한 콘텐츠를 추천해줌으로써 발생될 결과요.
So, when we're working with AI, it's up to us to avoid problems. And avoiding things going wrong, that may come down to the age-old problem of communication, where we as humans have to learn how to communicate with AI. We have to learn what AI is capable of doing and what it's not, and to understand that, with its tiny little worm brain, AI doesn't really understand what we're trying to ask it to do. So in other words, we have to be prepared to work with AI that's not the super-competent, all-knowing AI of science fiction. We have to be prepared to work with an AI that's the one that we actually have in the present day. And present-day AI is plenty weird enough.
그래서 우리가 AI와 일할 때, 문제들을 피하는 것은 우리에게 달려있습니다. 일들이 잘못되는 것을 피하는 것은, 아주 오래된 소통의 문제로 이어집니다. 인간인 우리가 AI와 소통하는 방법을 배워야하는 거죠. AI가 할 수 있는 일과 없는 일이 무엇인지 알아야 합니다. 또한 AI는 그 조그만 지렁이같은 뇌로 우리가 어떤 것을 요청하려고 하는지 이해하지 못한다는 것을 알아야합니다. 다시 말해, 우리는 준비해야 합니다. 우리가 사용할 AI는 공상과학에나 있는 전지전능한 AI가 아닙니다. 현재 우리가 실제로 갖고 있는 AI와 함께 일하도록 준비해야 합니다. 그리고 오늘날의 AI는 대단히 이상합니다.
Thank you.
감사합니다.
(Applause)
(박수)