So I've been an AI researcher for over a decade. And a couple of months ago, I got the weirdest email of my career. A random stranger wrote to me saying that my work in AI is going to end humanity. Now I get it, AI, it's so hot right now.
저는 인공 지능 연구원으로 십 년 넘게 일했습니다. 그런데 몇 개월 전, 최고로 이상한 메일을 받았죠. 모르는 사람이 보냈는데, 제가 연구하는 AI가 인류를 멸망시킬 거라고 했어요. 무슨 말인지 알겠어요, AI가 지금 한창이잖아요.
(Laughter)
(웃음)
It's in the headlines pretty much every day, sometimes because of really cool things like discovering new molecules for medicine or that dope Pope in the white puffer coat. But other times the headlines have been really dark, like that chatbot telling that guy that he should divorce his wife or that AI meal planner app proposing a crowd pleasing recipe featuring chlorine gas. And in the background, we've heard a lot of talk about doomsday scenarios, existential risk and the singularity, with letters being written and events being organized to make sure that doesn't happen.
매일 뉴스 머리기사에 뜨는데 때로는 아주 대단한 걸 때도 있죠. 의료용 새로운 분자를 발견했다거나 흰색 패딩을 입은 교황 같은 거요. 하지만 그를 제외하면 머리기사들은 정말 암담했죠. 아내와 이혼하라고 부추기는 챗봇이라든가 사람들에게 대접할 음식으로 염소 가스가 들어간 요리법을 알려준 AI 식사 계획 어플이라든지요. 또한 그와 함께 인류 최후의 날이라든가 실존적인 위험, 그리고 특이점에 대해 많이 들었죠. 그런 일들이 일어나지 않도록 하려는 글이나 행사도 있었고요.
Now I'm a researcher who studies AI's impacts on society, and I don't know what's going to happen in 10 or 20 years, and nobody really does. But what I do know is that there's some pretty nasty things going on right now, because AI doesn't exist in a vacuum. It is part of society, and it has impacts on people and the planet.
저는 인공 지능이 사회에 미칠 영향에 대해 연구하지만 10년이나 20년 뒤에 무슨 일이 일어날진 모르겠어요. 사실 아무도 모르죠. 제가 아는 건 지금 이 순간에 아주 안 좋은 일이 일어나고 있다는 거예요. AI는 혼자 존재하는 게 아니거든요. AI는 사회의 일부분이고 인간과 지구에 영향을 미쳐요.
AI models can contribute to climate change. Their training data uses art and books created by artists and authors without their consent. And its deployment can discriminate against entire communities. But we need to start tracking its impacts. We need to start being transparent and disclosing them and creating tools so that people understand AI better, so that hopefully future generations of AI models are going to be more trustworthy, sustainable, maybe less likely to kill us, if that's what you're into.
기후 변화에 AI 모형이 영향을 줄 수도 있죠. AI는 창작가의 동의 없이 그림이나 책을 사용해서 학습해요. 그리고 AI를 적용하면 한 집단 전체를 차별할 수도 있죠. 그 영향들을 추적하기 시작해야 해요. 이제 투명하게 밝히고 도구를 만들어서 인공 지능을 더 잘 이해할 수 있게 하고 미래 AI가 더욱 신뢰받고 지속 가능할 수 있게 하고 여러분이 원하는 게 그거라면, 인간을 죽이지 않게 해야 해요.
But let's start with sustainability, because that cloud that AI models live on is actually made out of metal, plastic, and powered by vast amounts of energy. And each time you query an AI model, it comes with a cost to the planet. Last year, I was part of the BigScience initiative, which brought together a thousand researchers from all over the world to create Bloom, the first open large language model, like ChatGPT, but with an emphasis on ethics, transparency and consent. And the study I led that looked at Bloom's environmental impacts found that just training it used as much energy as 30 homes in a whole year and emitted 25 tons of carbon dioxide, which is like driving your car five times around the planet just so somebody can use this model to tell a knock-knock joke. And this might not seem like a lot, but other similar large language models, like GPT-3, emit 20 times more carbon. But the thing is, tech companies aren't measuring this stuff. They're not disclosing it. And so this is probably only the tip of the iceberg, even if it is a melting one.
먼저 지속 가능성부터 봅시다. AI가 살아가는 ‘클라우드’는 사실 철, 플라스틱으로 되어 있고 에너지가 엄청나게 많이 필요하거든요. 인공 지능에 질문을 할 때마다 지구의 자원이 소모되죠. 작년에 빅사이언스 계획에 참여했었는데 전 세계에서 연구자들 천 명이 모여서 '블룸'을 만드는 일이었죠. 챗지피티 같은 것으로 최초 대규모 공개 언어 모델이지만 윤리, 투명성과 동의에 중점을 두었죠. 저는 블룸이 환경에 미치는 영향 연구를 주도했는데 블룸을 훈련하는 것만으로도 가정집 30곳이 일 년 내내 쓰는 에너지만큼을 소모하고 이산화 탄소 25톤을 배출한다고 나타났죠. 차로 지구를 다섯 바퀴 도는 셈인데 AI로 그저 말장난을 하나 하는 데에 말이죠. 이건 그렇게 많아 보이지 않을지 몰라도 지피티 3 같은 비슷한 다른 대규모 언어 모델들은 탄소를 20배나 더 배출합니다. 그런데 문제는 기술 회사들이 이걸 측정도 공개도 안 한다는 겁니다. 이것은 빙산의 일각에 불과해요. 녹고 있는 빙산이긴 하지만 말이죠.
And in recent years we've seen AI models balloon in size because the current trend in AI is "bigger is better." But please don't get me started on why that's the case. In any case, we've seen large language models in particular grow 2,000 times in size over the last five years. And of course, their environmental costs are rising as well. The most recent work I led, found that switching out a smaller, more efficient model for a larger language model emits 14 times more carbon for the same task. Like telling that knock-knock joke. And as we're putting in these models into cell phones and search engines and smart fridges and speakers, the environmental costs are really piling up quickly. So instead of focusing on some future existential risks, let's talk about current tangible impacts and tools we can create to measure and mitigate these impacts.
최근 몇 년간 AI 모델 규모가 커지는 것을 봤는데 이건 현재 AI 추세가 '클수록 좋다'이기 때문이에요. 왜 그런 건지는 묻지 마세요. 어쨌든 특히 대형 언어 모델들이 지난 오 년간 이천 배나 성장했죠. 물론 환경 비용도 증가하고 있습니다. 최근에 제가 주도했던 연구에서는 작고 효율적인 모델을 더 큰 언어 모델로 바꾸게 되면 똑같은 작업에 탄소를 14배나 더 배출한다는 걸 알 수 있었죠. 아까 말한 말장난 같은 작업 말입니다. 이런 모델을 휴대폰, 검색 엔진, 스마트 냉장고와 스피커에 적용하면서 환경 비용이 본격적으로 빠르게 상승하고 있죠. 그러므로 미래의 실존적 위험보다는 지금 일어나고 있는 눈에 보이는 영향과 그 영향을 측정하고 완화할 도구에 대해 얘기해 봅시다.
I helped create CodeCarbon, a tool that runs in parallel to AI training code that estimates the amount of energy it consumes and the amount of carbon it emits. And using a tool like this can help us make informed choices, like choosing one model over the other because it's more sustainable, or deploying AI models on renewable energy, which can drastically reduce their emissions.
제가 제작에 참여했던 ‘코드카본’ 프로그램은 코드를 학습하는 인공 지능과 병행해서 작동하며 인공 지능이 소비하는 에너지와 방출하는 탄소를 측정합니다. 이 프로그램을 사용하면 더 나은 선택을 할 수 있어요. 예를 들어 모델들을 비교해 지속 가능성이 높은 걸 고르거나 재생 가능한 에너지로 돌아가는 인공 지능을 사용할 수 있는데 그러면 탄소 배출량을 눈에 띄게 줄일 수 있겠죠.
But let's talk about other things because there's other impacts of AI apart from sustainability. For example, it's been really hard for artists and authors to prove that their life's work has been used for training AI models without their consent. And if you want to sue someone, you tend to need proof, right? So Spawning.ai, an organization that was founded by artists, created this really cool tool called “Have I Been Trained?” And it lets you search these massive data sets to see what they have on you. Now, I admit it, I was curious. I searched LAION-5B, which is this huge data set of images and text, to see if any images of me were in there. Now those two first images, that's me from events I've spoken at. But the rest of the images, none of those are me. They're probably of other women named Sasha who put photographs of themselves up on the internet. And this can probably explain why, when I query an image generation model to generate a photograph of a woman named Sasha, more often than not I get images of bikini models. Sometimes they have two arms, sometimes they have three arms, but they rarely have any clothes on. And while it can be interesting for people like you and me to search these data sets, for artists like Karla Ortiz, this provides crucial evidence that her life's work, her artwork, was used for training AI models without her consent, and she and two artists used this as evidence to file a class action lawsuit against AI companies for copyright infringement. And most recently --
다른 것도 얘기해 볼까요? 지속 가능성 외에도 AI가 미치는 영향들이 있죠. 예를 들어 예술가와 작가들은 자신들의 작품들이 AI 모델 학습에 쓰일 때 그들의 동의를 받지 않았음을 증명하기가 무척 힘들었죠. 누군가를 고소하려면 증거가 필요하잖아요? 그래서 예술가들이 설립한 단체인 스파우닝 AI가 '내가 학습에 사용됐나?'라는 정말 멋진 프로그램을 만들었죠. 그걸로 거대한 데이터를 검색해서 내 작품이 쓰였는지 알 수 있어요. 사실 저도 궁금했죠. 영상과 문자의 거대한 집합체인 LAION-5B를 조사했어요. 제 사진도 있는지 궁금했거든요. 저 첫 번째 사진 두 장은 제가 강연한 행사에서 찍은 거예요. 하지만 나머지 사진들은 제가 아니에요. 그것들은 사샤라는 다른 여자가 인터넷에 올린 사진일 거예요. 제가 이미지 생성 모델을 이용해서 사샤라는 여성의 사진을 만들면 자꾸 비키니 모델 이미지가 나오는 이유가 바로 이것이겠죠. 팔이 두 개이기도 하고 가끔은 세 개이기도 하지만 (웃음) 옷을 제대로 갖춰 입은 사진은 거의 없죠. 이런 사진을 찾아보는 저나 여러분에게는 재미있는 것이겠지만 카를라 오티즈 같은 예술가인 경우 그녀의 예술 작품이 동의 없이 AI 모델을 훈련하는 데 사용되었다는 중요한 증거를 제공하는 프로그램이죠. 카를라와 예술가 두 명은 이 증거를 사용해서 AI 회사를 상대로 저작권 침해 혐의로 집단 소송을 제기했습니다. 그리고 최근에, (박수)
(Applause)
And most recently Spawning.ai partnered up with Hugging Face, the company where I work at, to create opt-in and opt-out mechanisms for creating these data sets. Because artwork created by humans shouldn’t be an all-you-can-eat buffet for training AI language models.
최근에 스파우닝 AI는 제 직장인 허깅페이스와 협약을 맺어 이런 데이터 집합을 생성하는 데에 참여, 거부 절차를 만들었습니다. 사람이 창작하는 예술은 AI 언어 모델 교육을 위한 무한 리필 뷔페가 아니니까요.
(Applause)
(박수)
The very last thing I want to talk about is bias. You probably hear about this a lot. Formally speaking, it's when AI models encode patterns and beliefs that can represent stereotypes or racism and sexism. One of my heroes, Dr. Joy Buolamwini, experienced this firsthand when she realized that AI systems wouldn't even detect her face unless she was wearing a white-colored mask. Digging deeper, she found that common facial recognition systems were vastly worse for women of color compared to white men. And when biased models like this are deployed in law enforcement settings, this can result in false accusations, even wrongful imprisonment, which we've seen happen to multiple people in recent months. For example, Porcha Woodruff was wrongfully accused of carjacking at eight months pregnant because an AI system wrongfully identified her.
마지막으로 편견에 대해서 봅시다. 이에 대해 많이 들어보셨을 거예요. 길게 말하자면 AI 모델이 고정 관념과 인종 차별, 그리고 성차별이 담긴 패턴과 신념을 부호화하는 것이죠. 제 영웅인 조이 부올람위니 박사가 이걸 직접 경험했죠. 조이가 흰색 마스크를 끼지 않으면 AI는 그의 얼굴을 감지하지 못했어요. 더 깊이 파고들자 일반적인 안면 인식 시스템은 백인 남성에 비해 유색 인종 여성에서 더욱 엉망이라는 점을 알게 되었죠. 이렇게 편향된 프로그램들이 사법 체계에 적용되면 누명이나 부당한 징역살이를 초래할 수도 있어요. 최근 몇 달간 이런 일이 여러 명에게 일어났죠. 임신 팔 개월 차인 포르차 우드러프는 억울하게 자동차 절도 혐의를 받았는데 그 이유는 AI 시스템이 그녀를 잘못 인식했기 때문이었죠.
But sadly, these systems are black boxes, and even their creators can't say exactly why they work the way they do. And for example, for image generation systems, if they're used in contexts like generating a forensic sketch based on a description of a perpetrator, they take all those biases and they spit them back out for terms like dangerous criminal, terrorists or gang member, which of course is super dangerous when these tools are deployed in society.
그런데 안타깝지만 이 시스템은 불랙박스예요. 왜 이렇게 작동하는지는 만든 사람조차 설명하지 못하죠. 예를 들어서 영상 생성 시스템이 가해자에 대한 묘사를 바탕으로 용의자 몽타주를 생성할 때 위험한 범죄자, 테러리스트, 범죄 집단이라는 단어를 넣으면 그에 대한 편견을 그대로 반영해서 답을 내놓죠. 이런 도구가 우리 사회에 적용되면 당연히 정말 위험합니다.
And so in order to understand these tools better, I created this tool called the Stable Bias Explorer, which lets you explore the bias of image generation models through the lens of professions. So try to picture a scientist in your mind. Don't look at me. What do you see? A lot of the same thing, right? Men in glasses and lab coats. And none of them look like me. And the thing is, is that we looked at all these different image generation models and found a lot of the same thing: significant representation of whiteness and masculinity across all 150 professions that we looked at, even if compared to the real world, the US Labor Bureau of Statistics. These models show lawyers as men, and CEOs as men, almost 100 percent of the time, even though we all know not all of them are white and male.
저는 이러한 도구를 더 잘 알아보려고 스테이블 바이어스 익스플로러라는 프로그램을 만들었죠. 이것으로 영상 생성 모델들에 있는 직업에 대한 편견을 알아볼 수 있어요. 과학자에 대한 영상을 마음속으로 그려 보세요. 절 쳐다보지 마시구요. 뭐가 보이시나요? 이런 게 많이 보이죠? 안경을 쓰고 실험복을 입은 남자들이요. 저랑 닮은 사람은 한 명도 없네요. 영상 생성 모델을 모두 봤는데 문제는 같은 현상을 많이 발견했다는 거예요. 저희가 알아 본 직업 150개 모두에서 백인성과 남성성이 과하게 나타났죠. 미국 노동 통계국에 나와 있는 현실 세상과 비교해서도요. 이러한 모델들은 남성 변호사, 남성 CEO 등 거의 모든 사람을 백인 남성으로 그렸죠. 변호사나 CEO가 모두 백인 남자인 건 아닌데도요. 안타깝지만 제 프로그램이 아직 법률 제정에 이용되진 않았죠.
And sadly, my tool hasn't been used to write legislation yet. But I recently presented it at a UN event about gender bias as an example of how we can make tools for people from all walks of life, even those who don't know how to code, to engage with and better understand AI because we use professions, but you can use any terms that are of interest to you.
하지만 최근 성 편견을 다룬 UN 행사에 프로그램을 소개하면서 각계각층의 사람들, 혹은 코딩을 할 줄 모르는 사람들을 위해서도 AI에 관여하고 더 잘 이해할 수 있는 도구를 만들 수 있다는 걸 설명했죠. 저희는 직업을 사용했지만 마음에 드는 어떤 단어로 해도 돼요.
And as these models are being deployed, are being woven into the very fabric of our societies, our cell phones, our social media feeds, even our justice systems and our economies have AI in them. And it's really important that AI stays accessible so that we know both how it works and when it doesn't work. And there's no single solution for really complex things like bias or copyright or climate change. But by creating tools to measure AI's impact, we can start getting an idea of how bad they are and start addressing them as we go. Start creating guardrails to protect society and the planet. And once we have this information, companies can use it in order to say, OK, we're going to choose this model because it's more sustainable, this model because it respects copyright. Legislators who really need information to write laws, can use these tools to develop new regulation mechanisms or governance for AI as it gets deployed into society. And users like you and me can use this information to choose AI models that we can trust, not to misrepresent us and not to misuse our data.
이런 모델들이 사용되면서 우리 사회의 모든 면과 핸드폰, 소셜미디어 피드, 심지어 사법 체계나 경제까지 모든 것이 영향을 받습니다. AI가 언제 잘 작동하고 언제 작동하지 않는지 알 수 있도록 AI에 언제나 접근할 수 있도록 하는 건 정말 중요합니다. 편견, 저작권, 기후 변화처럼 너무나 복잡한 문제들에는 간단한 해결 방법이 없어요. 하지만 AI의 영향을 측정하는 도구를 만들어서 이것들이 얼마나 안 좋은지 알 수 있으며 앞으로 문제를 해결해 나갈 수 있고 사회와 지구를 보호하는 방호책을 만들 수도 있죠. 일단 우리가 이 정보를 얻으면 기업들은 이렇게 말할 거예요. "이 모델이 더 지속 가능하니까 이걸 써야겠군." "이 모델이 저작권을 보호하니까 이걸 써야겠군." 법률 제정에 정보가 정말로 필요한 국회의원들은 이 도구들을 이용해 새로운 법안을 개발하거나 사회에 널리 쓰이는 인공 지능을 관리하는 방법을 모색할 수 있죠. 저와 여러분 같은 이용자는 이러한 정보들을 사용해 믿을 수 있는 AI 모델, 우리를 왜곡하지 않을 AI 모델, 우리 정보를 남용하지 않을 AI 모델을 선택할 수 있죠.
But what did I reply to that email that said that my work is going to destroy humanity? I said that focusing on AI's future existential risks is a distraction from its current, very tangible impacts and the work we should be doing right now, or even yesterday, for reducing these impacts. Because yes, AI is moving quickly, but it's not a done deal. We're building the road as we walk it, and we can collectively decide what direction we want to go in together.
제 일이 인류를 멸망시킬 거라는 이메일에는 뭐라고 답했냐고요? 우리가 AI가 몰고 올 미래 실존 위험에 집중한다면 현재 일어나고 있는 매우 실질적인 영향을 무시하게 되고 이런 영향을 줄이기 위해 오늘 할, 심지어는 어제 했어야 할 일들에 집중하지 못한다고 했습니다. 네, AI 발전이 빠르긴 하지만 아직 끝난 게 아니에요. 우리는 걸으면서 길을 만들고 어디로 함께 나아갈지 같이 결정할 수 있습니다.
Thank you.
감사합니다.
(Applause)
(박수)