Chris Anderson: Help us understand what machine learning is, because that seems to be the key driver of so much of the excitement and also of the concern around artificial intelligence. How does machine learning work?
크리스 앤더슨: 머신러닝을 이해하는 데 도움을 주실 분을 모셨습니다. 머신 러닝은 인공지능을 둘러싼 세간의 걱정과 기대의 중심에 있기 때문입니다. 머신 러닝은 어떻게 작동하나요?
Sebastian Thrun: So, artificial intelligence and machine learning is about 60 years old and has not had a great day in its past until recently. And the reason is that today, we have reached a scale of computing and datasets that was necessary to make machines smart. So here's how it works. If you program a computer today, say, your phone, then you hire software engineers that write a very, very long kitchen recipe, like, "If the water is too hot, turn down the temperature. If it's too cold, turn up the temperature." The recipes are not just 10 lines long. They are millions of lines long. A modern cell phone has 12 million lines of code. A browser has five million lines of code. And each bug in this recipe can cause your computer to crash. That's why a software engineer makes so much money. The new thing now is that computers can find their own rules. So instead of an expert deciphering, step by step, a rule for every contingency, what you do now is you give the computer examples and have it infer its own rules.
세바스찬: 인공지능과 머신 러닝은 사실 60년 정도 된 연구분야인데 최근까지는 큰 관심을 받지 못했습니다. 최근에 들어서야 기계를 똑똑하게 만들 수 있을 만큼 컴퓨팅, 데이터 기술의 발전이 이루어졌기 때문이죠. 작동 원리를 살펴보죠. 스마트폰을 위한 프로그램을 만든다고 가정해봅시다. 그러면 소프트웨어 개발자를 고용해서 아주, 아주 긴 음식 조리법을 적게 합니다. "만약 물이 너무 뜨거우면, 온도를 내려라. 너무 차가우면, 온도를 올려라." 하는 식으로 말이죠. 조리법은 열 줄 짜리가 아니죠. 수 백만 줄 정도는 되어야 할 겁니다. 최신 스마트폰은 1,200만 줄의 소스 코드로 되어 있습니다. 하나의 브라우저는 5백만 줄 정도로 구성됩니다. 조리법에 포함된 오류 하나 하나가 컴퓨터를 고장나게 할 수 있죠. 이러한 이유로 개발자가 돈을 많이 벌 수 밖에 없죠. 그런데 요즘은 컴퓨터가 스스로 규칙을 찾아냅니다. 기존에는 모든 만일의 사태를 대비해 전문가가 규칙을 일일이 해독해야 했습니다. 그러나 이제는 컴퓨터에게 예시만 던져주고 스스로 규칙을 추론하게 합니다.
A really good example is AlphaGo, which recently was won by Google. Normally, in game playing, you would really write down all the rules, but in AlphaGo's case, the system looked over a million games and was able to infer its own rules and then beat the world's residing Go champion. That is exciting, because it relieves the software engineer of the need of being super smart, and pushes the burden towards the data. As I said, the inflection point where this has become really possible -- very embarrassing, my thesis was about machine learning. It was completely insignificant, don't read it, because it was 20 years ago and back then, the computers were as big as a cockroach brain. Now they are powerful enough to really emulate kind of specialized human thinking. And then the computers take advantage of the fact that they can look at much more data than people can. So I'd say AlphaGo looked at more than a million games. No human expert can ever study a million games. Google has looked at over a hundred billion web pages. No person can ever study a hundred billion web pages. So as a result, the computer can find rules that even people can't find.
최근 승리를 거둔 구글의 알파고가 좋은 예시가 되겠네요. 보통 게임을 하려면 모든 규칙을 적어주어야 하겠죠. 그러나 알파고의 경우는 다릅니다. 시스템이 백만 개도 넘는 기보를 공부해서 스스로 규칙을 추론했고 그렇게 세계 최고의 바둑 기사를 이겼죠. 이 기술의 좋은 점은 소프트웨어를 개발하는 사람이 아주 똑똑해야 한다거나 데이터를 잘 다루어야 한다는 부담을 덜어줍니다. 말씀드렸듯이, 이것이 가능하게 된 계기는 -- 부끄럽지만, 졸업 논문을 기계학습에 관해 썼습니다. 정말 시시한 논문이니 읽지는 말아주세요. 20년 전이었기 때문에 그 때는 컴퓨터가 매우 컸지요. 지금은 특정 사고를 사람과 거의 비슷하게 해낼 수 있을만큼 똑똑하고 강력해졌죠. 게다가 컴퓨터는 사람보다 더 많은 데이터를 처리할수 있다는 점에서 우위에 있습니다. 그래서 알파고가 백만 개 이상의 기보를 학습할 수 있었던 거죠. 백만 개의 기보를 공부하는 건 사람에겐 불가능한 일이지요. 구글은 1천억 개가 넘는 웹 페이지를 살펴 봅니다. 이 역시 사람에게는 무리지요. 결과적으로 사람이 찾을 수 없던 규칙들을 컴퓨터는 찾아낼 수 있습니다.
CA: So instead of looking ahead to, "If he does that, I will do that," it's more saying, "Here is what looks like a winning pattern, here is what looks like a winning pattern."
크리스: "상대편이 이렇게 하면, 나는 저렇게 해야지" 라고 내다보고 생각 하는 게 아니라 "이런 식으로 하면 이기는구나." "이런 식으로 하면 이기는구나." 라고 생각하는 거군요.
ST: Yeah. I mean, think about how you raise children. You don't spend the first 18 years giving kids a rule for every contingency and set them free and they have this big program. They stumble, fall, get up, they get slapped or spanked, and they have a positive experience, a good grade in school, and they figure it out on their own. That's happening with computers now, which makes computer programming so much easier all of a sudden. Now we don't have to think anymore. We just give them lots of data.
세바스찬: 그렇죠. 아이를 키울 때를 생각해보세요. 18살이 될 때까지 모든 돌발 상황에 일일이 지시를 내리지는 않죠. 그저 자연스럽게 두면 큰 프로그램을 갖게 되죠. 흔들리고, 넘어지고, 다시 일어서고, 또 혼나기도 합니다. 학교에서 좋은 성적을 받는 등 긍정적인 경험도 할 겁니다. 나름대로 살아가는 법을 알아내죠. 지금 컴퓨터가 이렇게 하고 있어요. 덕분에 컴퓨터 프로그래밍이 갑자기 너무 쉬워졌죠. 그저 컴퓨터에게 많은 양의 정보를 넘겨주면 됩니다.
CA: And so, this has been key to the spectacular improvement in power of self-driving cars. I think you gave me an example. Can you explain what's happening here?
크리스: 자율주행 자동차가 혁신적으로 발전하게 된 데에 그런 배경이 있었군요. 예시를 가지고 오셨는데 영상으로 설명 해 주시겠어요?
ST: This is a drive of a self-driving car that we happened to have at Udacity and recently made into a spin-off called Voyage. We have used this thing called deep learning to train a car to drive itself, and this is driving from Mountain View, California, to San Francisco on El Camino Real on a rainy day, with bicyclists and pedestrians and 133 traffic lights. And the novel thing here is, many, many moons ago, I started the Google self-driving car team. And back in the day, I hired the world's best software engineers to find the world's best rules. This is just trained. We drive this road 20 times, we put all this data into the computer brain, and after a few hours of processing, it comes up with behavior that often surpasses human agility. So it's become really easy to program it. This is 100 percent autonomous, about 33 miles, an hour and a half.
세바스찬: 유다시티의 자율주행 자동차가 주행 중인 모습입니다. 최근에는 보야지(Voyage)라는 새 버전을 만들었죠. 딥러닝 이라는 기술을 이용해서 차가 스스로 주행하도록 훈련시켰습니다. 캘리포니아의 마운틴뷰에서 출발해서 샌프란시스코까지 비오는 날 '엘 카미노 리얼'을 따라 주행하며 자전거 타는 사람들, 보행자들, 133개의 신호등을 지나쳤죠. 여기서 대단한 점은 아주 오래전 제가 구글의 자율주행 자동차 팀에서 일했을 때 저는 세계 최고의 개발자들을 고용해서 세계 최고의 규칙을 찾으려 했죠. 그런데 이 자동차는 그냥 훈련을 받았습니다. 도로 주행을 20번 한 후 그 정보를 컴퓨터의 뇌에 건네주고 몇 시간동안 처리하도록 했더니 심지어 사람보다 더 능숙하게 운전하기도 하는 겁니다. 그러니까 프로그래밍하기가 쉬워졌죠. 실험에서는 53km를 한 시간 반 만에 사람의 도움없이 주행했습니다.
CA: So, explain it -- on the big part of this program on the left, you're seeing basically what the computer sees as trucks and cars and those dots overtaking it and so forth.
크리스: 이제 영상을 설명 해 주시죠. 왼쪽에는 컴퓨터가 지각하는 모습이죠? 트럭이나 차로 보이는 점들이 자율주행차를 추월 하고 있는 것 같네요.
ST: On the right side, you see the camera image, which is the main input here, and it's used to find lanes, other cars, traffic lights. The vehicle has a radar to do distance estimation. This is very commonly used in these kind of systems. On the left side you see a laser diagram, where you see obstacles like trees and so on depicted by the laser. But almost all the interesting work is centering on the camera image now. We're really shifting over from precision sensors like radars and lasers into very cheap, commoditized sensors. A camera costs less than eight dollars.
세바스찬: 오른편에 카메라로 촬영된 영상이 컴퓨터의 메인 입력이죠. 이 영상을 통해 차선이나 다른 차, 신호등을 인식합니다. 차량에는 거리를 추정하는 레이더도 달려있습니다. 이런 자율주행차에 흔히 쓰이는 장비입니다. 왼편에 보이는 것은 레이저 도표입니다. 나무 등의 장애물을 레이저로 그린 것을 보실 수 있습니다. 하지만 정말 재밌는 건 카메라 영상 쪽 입니다. 레이더나 레이저 같은 정밀 감지기를 값싸고 상용화된 감지기로 바꾸는 중입니다. 이제 8달러도 안되는 카메라를 씁니다.
CA: And that green dot on the left thing, what is that? Is that anything meaningful?
크리스: 그런데 왼쪽에 초록점은 뭔가요? 뭔가 의미있는 건가요?
ST: This is a look-ahead point for your adaptive cruise control, so it helps us understand how to regulate velocity based on how far the cars in front of you are.
세바스찬: 앞 차와의 거리에 따라 속도를 조절하는 적응형 순항 장치가 어디를 앞 차라고 인식하고 있는지 표시한 겁니다. 우리가 보고 속도 조절 기재를 이해하도록 말이죠.
CA: And so, you've also got an example, I think, of how the actual learning part takes place. Maybe we can see that. Talk about this.
크리스: 제가 듣기로, 기계가 어떻게 학습을 하는지에 대한 예시도 오늘 준비하셨죠? 거기에 대해 듣고 싶군요.
ST: This is an example where we posed a challenge to Udacity students to take what we call a self-driving car Nanodegree. We gave them this dataset and said "Hey, can you guys figure out how to steer this car?" And if you look at the images, it's, even for humans, quite impossible to get the steering right. And we ran a competition and said, "It's a deep learning competition, AI competition," and we gave the students 48 hours. So if you are a software house like Google or Facebook, something like this costs you at least six months of work. So we figured 48 hours is great. And within 48 hours, we got about 100 submissions from students, and the top four got it perfectly right. It drives better than I could drive on this imagery, using deep learning. And again, it's the same methodology. It's this magical thing. When you give enough data to a computer now, and give enough time to comprehend the data, it finds its own rules.
세바스찬: 유다시티에 자율주행 자동차 '나노디그리'라고 부르는 교육과정을 듣는 학생들이 있는데요. 준비된 데이터셋을 주고 "이 차가 어떻게 방향을 조절하는지 알아낼 수 있겠니?" 라고 물었습니다. 영상을 보시면 아시겠지만 사실 사람도 제대로 방향을 맞추기 힘듭니다. 작은 대회를 열고, "이건 딥러닝 대회이고, AI 대회야." 라고 얘기하고 학생들에게 48시간을 주었습니다. 구글이나 페이스북같은 기업에서 같은 작업을 했다면 최소한 여섯 달 정도는 걸렸을 겁니다. 48시간이면 대단한거죠. 결국 48시간 안에 100명의 학생들이 답안을 제출하였습니다. 그중 가장 우수한 4명의 답안은 거의 완벽에 가까웠습니다. 제가 운전한다고 해도 딥러닝 보다 못할 겁니다. 다시 한 번 말씀드리지만 같은 방법론입니다. 정말 마법같아요. 이제 컴퓨터에게 충분한 데이터를 주고 데이터를 파악할 시간을 충분히 주면 자신만의 규칙을 찾아냅니다.
CA: And so that has led to the development of powerful applications in all sorts of areas. You were talking to me the other day about cancer. Can I show this video?
크리스: 이 기술이 좋은 서비스들이 많이 개발되는 데에 동력원이 되고 있군요. 암에 관련해서 얘기하실 게 있다고 하셨죠. 영상을 같이 볼까요?
ST: Yeah, absolutely, please. CA: This is cool.
세바스찬: 네, 그러죠. 크리스: 대단한 영상이에요.
ST: This is kind of an insight into what's happening in a completely different domain. This is augmenting, or competing -- it's in the eye of the beholder -- with people who are being paid 400,000 dollars a year, dermatologists, highly trained specialists. It takes more than a decade of training to be a good dermatologist. What you see here is the machine learning version of it. It's called a neural network. "Neural networks" is the technical term for these machine learning algorithms. They've been around since the 1980s. This one was invented in 1988 by a Facebook Fellow called Yann LeCun, and it propagates data stages through what you could think of as the human brain. It's not quite the same thing, but it emulates the same thing. It goes stage after stage. In the very first stage, it takes the visual input and extracts edges and rods and dots. And the next one becomes more complicated edges and shapes like little half-moons. And eventually, it's able to build really complicated concepts. Andrew Ng has been able to show that it's able to find cat faces and dog faces in vast amounts of images.
세바스찬: 완전히 다른 분야에서는 어떻게 인공지능이 활용 되는지 이해를 돕는 영상입니다. 증가하고 경합하는 것들이 보입니다. 보는 사람의 눈에는 40만달러씩 연봉을 받는 피부과 전문의의 작업처럼 보이죠. 고도로 훈련받은 전문가들 말입니다. 제대로 된 피부과전문의가 되려면 10년이 넘게 걸립니다. 지금 보시는 것은 사실 머신러닝의 결과물 입니다. 전문용어로 인공신경망이라고 하죠. 이런 기계학습 알고리즘을 부르는 말입니다. 이 개념은 1980년대부터 있었죠. 이 프로그램은 1988년도 얀 르쿤 이라는 페이스북 개발자의 작품입니다. 여러 단계에 걸쳐 데이터를 전달합니다. 마치 사람의 뇌가 하듯이 말이죠. 엄밀하게 말하면 다르지만, 비슷하게 모방한 것이죠. 여러 단계를 거칩니다. 맨 처음 단계에서는 시각 자료를 입력받은 후 그 안에서 모서리, 선, 점 등을 구분합니다. 다음 단계에서는 더 복잡한 모서리나 작은 반달 같은 모양이 되죠. 그리고 마침내 정말 복잡한 개념들을 다룰 수 있어요. 앤드류 응은 인공신경망을 이용해 많은 사진 속에서 고양이와 개의 얼굴을 구별해 낼 수 있다는 것을 보여줬죠.
What my student team at Stanford has shown is that if you train it on 129,000 images of skin conditions, including melanoma and carcinomas, you can do as good a job as the best human dermatologists. And to convince ourselves that this is the case, we captured an independent dataset that we presented to our network and to 25 board-certified Stanford-level dermatologists, and compared those. And in most cases, they were either on par or above the performance classification accuracy of human dermatologists.
스탠퍼드 대학교에 제가 데리고있는 학생들은 흑색종과 피부암을 포함한 12만 9천 장의 피부 사진을 가지고 인공지능을 훈련시키면 현존하는 최고의 실력을 가진 피부과 전문의 만큼의 실력을 갖추게 할 수 있다는 것을 보여줬습니다. 이 프로그램 또한 그만큼 실력이 있다는 것을 증명하기 위해 인공지능 프로그램에서 뽑아낸 독립적인 데이터셋과 스탠포드 수준으로 실력이 증명된 피부과 전문의들의 데이타셋을 모아서 결과를 비교 했습니다. 대부분의 경우에 인공지능의 결과가 피부과 전문의가 내린 결과와 비슷하거나 더 뛰어난 분류 정확도를 보였습니다.
CA: You were telling me an anecdote. I think about this image right here. What happened here?
크리스: 할 이야기가 있으시죠. 여기 있는 사진에 관한건데 어떤 얘기 였죠?
ST: This was last Thursday. That's a moving piece. What we've shown before and we published in "Nature" earlier this year was this idea that we show dermatologists images and our computer program images, and count how often they're right. But all these images are past images. They've all been biopsied to make sure we had the correct classification. This one wasn't. This one was actually done at Stanford by one of our collaborators. The story goes that our collaborator, who is a world-famous dermatologist, one of the three best, apparently, looked at this mole and said, "This is not skin cancer." And then he had a second moment, where he said, "Well, let me just check with the app." So he took out his iPhone and ran our piece of software, our "pocket dermatologist," so to speak, and the iPhone said: cancer. It said melanoma. And then he was confused. And he decided, "OK, maybe I trust the iPhone a little bit more than myself," and he sent it out to the lab to get it biopsied. And it came up as an aggressive melanoma. So I think this might be the first time that we actually found, in the practice of using deep learning, an actual person whose melanoma would have gone unclassified, had it not been for deep learning.
세바스찬: 지난 목요일이었어요. 이전에 공개했고 올해 초 네이쳐 지에도 실린 내용인데요. 피부과 의사와 컴퓨터에게 이미지를 보여준 뒤 둘 중 누가 더 정확도가 높았는지 측정해보았죠. 이 사진들은 모두 분류가 끝난 것들입니다. 정확한 분류를 위해 이미 생체 검사가 끝난 것들만 모았죠. 이 한 장만 빼고요. 이 사진은 우리 중 한 명이 스탠포드에서 찍은 사진이에요. 어떻게 된거냐면 우리 팀원 중 한 명이 피부과 의사인데요. 전 세계에서 유명한, 세 손가락 중에 하나에 드는 사람이죠. 이 반점을 보고는 "피부암이 아니다"고 했어요. 하지만 잠시 뒤에 다시 이렇게 말했어요. "잠깐, 어플로 확인해보고 싶은데" 그리고는 자기 아이폰을 꺼내서 우리가 만든 소프트웨어 말하자면 "주머니 속 피부 전문의"죠. 그것을 꺼내서 확인해보니 암이라고 진단했어요. 흑색종이라고 했죠. 친구는 망설이다가 이렇게 말했죠. "좋아, 아이폰을 한 번 믿어봐야겠어." 그리고 조직검사를 하기 위해 사진을 연구소로 보냈습니다. 그 결과 악성 흑색종으로 판명되었죠. 이것이 우리가 딥러닝 기술을 적용해 흑색종이 발생했지만 놓칠 뻔했던 환자를 딥러닝을 통해 찾아낸 첫 번째 사례입니다.
CA: I mean, that's incredible.
크리스: 정말 대단하네요.
(Applause)
(박수)
It feels like there'd be an instant demand for an app like this right now, that you might freak out a lot of people. Are you thinking of doing this, making an app that allows self-checking?
이 어플을 출시하자마자 어마어마한 숫자의 사람들이 그 성능에 깜짝 놀라 이용하고 싶어할 것 같은데요. 자가 진단이 가능한 어플을 만들 계획을 갖고 있나요?
ST: So my in-box is flooded about cancer apps, with heartbreaking stories of people. I mean, some people have had 10, 15, 20 melanomas removed, and are scared that one might be overlooked, like this one, and also, about, I don't know, flying cars and speaker inquiries these days, I guess. My take is, we need more testing. I want to be very careful. It's very easy to give a flashy result and impress a TED audience. It's much harder to put something out that's ethical. And if people were to use the app and choose not to consult the assistance of a doctor because we get it wrong, I would feel really bad about it. So we're currently doing clinical tests, and if these clinical tests commence and our data holds up, we might be able at some point to take this kind of technology and take it out of the Stanford clinic and bring it to the entire world, places where Stanford doctors never, ever set foot.
세바스찬: 지금 제 이메일은 가슴 아픈 사연을 가진 사람들이 보낸 어플 관련 메일로 폭주하는 상황인데요. 어떤 사람들은 10개, 15개, 20개의 흑색종을 제거하고도 지금처럼 놓친 흑색종이 하나라도 있을까 두려워합니다. 또 저도 잘 모르지만 날아다니는 자동차를 비롯해서 아직 더 많은 시행착오가 필요합니다. 신중하게 가고 싶어요. 놀라운 결과로 TED의 청중들에게 깊은 인상을 심어주는 일은 쉽지만 윤리적인 문제가 결부되어 있는만큼 섣불리 움직일 수 없습니다. 만약 사람들이 의사와 상담하는 대신 우리 어플을 이용하고 그 때문에 나쁜 결과가 발생한다면 저는 굉장히 불편해질 것 같아요. 현재 우리는 임상 실험을 진행중입니다. 임상 실험이 시작되고 언젠가는 이 기술을 스탠포드 병원 뿐만 아니라 스탠포드의 의사들이 찾아갈 수 없는 전 세계에서 활용할 수 있게 되겠죠.
CA: And do I hear this right, that it seemed like what you were saying, because you are working with this army of Udacity students, that in a way, you're applying a different form of machine learning than might take place in a company, which is you're combining machine learning with a form of crowd wisdom. Are you saying that sometimes you think that could actually outperform what a company can do, even a vast company?
크리스: 제가 제대로 들은게 맞다면 당신 말인즉슨, 유다시티의 학생들과 함께 작업하기 때문에 당신은 기업이나 가능할 법한, 머신 러닝 기술과 집단 지성을 결합해서 새로운 종류의 머신 러닝을 현실 분야에 적용하려고 한다는 말인가요? 당신 말대로라면 언젠가 머신 러닝이 일개 회사, 심지어는 거대 회사의 능력을 앞설 수 있다고 보십니까?
ST: I believe there's now instances that blow my mind, and I'm still trying to understand. What Chris is referring to is these competitions that we run. We turn them around in 48 hours, and we've been able to build a self-driving car that can drive from Mountain View to San Francisco on surface streets. It's not quite on par with Google after seven years of Google work, but it's getting there. And it took us only two engineers and three months to do this. And the reason is, we have an army of students who participate in competitions. We're not the only ones who use crowdsourcing. Uber and Didi use crowdsource for driving. Airbnb uses crowdsourcing for hotels. There's now many examples where people do bug-finding crowdsourcing or protein folding, of all things, in crowdsourcing. But we've been able to build this car in three months, so I am actually rethinking how we organize corporations.
세바스찬: 저 스스로도 감탄하는 순간들이 있죠. 아직도 이해하려고 노력해요. 크리스는 우리가 진행하는 경연대회를 말하는 거에요. 제한 시간이 48시간이구요. 그 시간 내에 자율 주행 자동차를 만들 수 있습니다. 이 차는 평면 가로에서 마운틴 뷰부터 샌프란시스코까지 주행 가능합니다. 7년이나 연구한 구글과 비교할 바는 아니지만 꽤 성공적이에요. 연구원 두 명이 고작 세 달만에 완성했죠. 그 이유인즉슨 우리에게는 대회에 참가한 수 많은 학생들이 있거든요. 크라우드소싱을 활용하는 것은 우리뿐만이 아닙니다. 우버와 디디도 주행에 크라우드소싱을 활용하죠. 에어비앤비도 크라우드소싱을 호텔에 적용했습니다. 버그를 잡기 위해 크라우드소싱을 활용하는 예는 얼마든지 있습니다. 단백질 중첩이나 모든 분야에서 말이죠. 하지만 우리는 3달만에 차를 완성했고 저는 회사를 어떻게 구성해야 할지 다시 구상중입니다.
We have a staff of 9,000 people who are never hired, that I never fire. They show up to work and I don't even know. Then they submit to me maybe 9,000 answers. I'm not obliged to use any of those. I end up -- I pay only the winners, so I'm actually very cheapskate here, which is maybe not the best thing to do. But they consider it part of their education, too, which is nice. But these students have been able to produce amazing deep learning results. So yeah, the synthesis of great people and great machine learning is amazing.
지금 우리에게는 고용한 적도 없고 해고하지도 않는 직원이 9천명 있습니다. 저도 모르는 새에 사람들은 일을 하고 9천 개의 응답이 저에게 전달됩니다. 그 중 어느 것을 사용해야만 한다는 규정도 없습니다. 답변 중 가장 좋은 것을 골라 댓가를 지불하죠. 이 점에서는 꽤나 구두쇠처럼 행동하고 있습니다. 최선은 아니죠. 하지만 응답자들에게도 경험이 될 거라고 생각합니다. 학생들도 딥러닝을 이용해 놀라운 결과물을 만들 수 있죠. 훌륭한 사람들과 훌륭한 머신 러닝이 만난 결과는 정말 놀랍습니다.
CA: I mean, Gary Kasparov said on the first day [of TED2017] that the winners of chess, surprisingly, turned out to be two amateur chess players with three mediocre-ish, mediocre-to-good, computer programs, that could outperform one grand master with one great chess player, like it was all part of the process. And it almost seems like you're talking about a much richer version of that same idea.
크리스: 개리 카스파로프가 TED2017의 첫째날 한 말인데요. 체스 대회의 우승자가 사실은 두 명의 아마추어 체스 기사 세 가지의 중간, 혹은 중상급의 컴퓨터 프로그램을 이용하여 한 명의 그랜드 마스터, 한 명의 뛰어난 체스 기사를 이겼다는 거요. 이것도 역시 그 과정의 일부였던거죠. 당신이 말하는 버전은 이보다 더 상위호환 버전 같은데요.
ST: Yeah, I mean, as you followed the fantastic panels yesterday morning, two sessions about AI, robotic overlords and the human response, many, many great things were said. But one of the concerns is that we sometimes confuse what's actually been done with AI with this kind of overlord threat, where your AI develops consciousness, right? The last thing I want is for my AI to have consciousness. I don't want to come into my kitchen and have the refrigerator fall in love with the dishwasher and tell me, because I wasn't nice enough, my food is now warm. I wouldn't buy these products, and I don't want them. But the truth is, for me, AI has always been an augmentation of people. It's been an augmentation of us, to make us stronger. And I think Kasparov was exactly correct. It's been the combination of human smarts and machine smarts that make us stronger. The theme of machines making us stronger is as old as machines are. The agricultural revolution took place because it made steam engines and farming equipment that couldn't farm by itself, that never replaced us; it made us stronger. And I believe this new wave of AI will make us much, much stronger as a human race.
세바스찬: 어제 아침에 들으셨던 것처럼 두 번의 세션을 통해 인공지능 로봇에 의한 인간 지배과 사람들의 반응 등 아주 훌륭한 주제들에 관해 이야기했죠. 다만 사람들이 종종 우려를 표하는 부분은 우리가 만드는 AI가 갖는 자의식이 로봇의 인간 지배라는 관점에서 비춰볼 때 어느 정도 수준까지 도달했냐하는 거죠. 제 마지막 목표는 AI에 의식을 심어주는 것입니다. 저는 부엌에 들어갔을 때 식기 세척기와 사랑에 빠진 냉장고가 제가 친절하게 굴지 않아서 음식들이 녹게 내버려뒀다고 말하는 상황을 원하지 않아요. 이런 제품들은 사고 싶지도 않고 원하지도 않아요. 하지만 제 생각에 한가지 확실한 것은 AI는 언제나 사람들을 돕기 위한 것이었습니다. 우리를 돕기 위한 것 더 나아지도록 도움을 주는 것이죠. 저는 카스파로프가 한 말이 정확했다고 생각해요. 인간의 지능과 기계의 지능이 만나서 더 큰 힘이 되는 것이죠. 기계가 탄생한 이후로 그 목적은 줄곧 인류를 위한 것이었습니다. 농업 혁명은 증기기관과 농작 기계들을 만들어 냈지만 이것들은 인간을 대체하지 않았고 오히려 우리의 농업 활동을 좀 더 용이하게 해주었습니다. 따라서 저는 지금의 새로운 인공지능 바람도 인류를 더욱 편리하게 해줄 것이라 믿습니다.
CA: We'll come on to that a bit more, but just to continue with the scary part of this for some people, like, what feels like it gets scary for people is when you have a computer that can, one, rewrite its own code, so, it can create multiple copies of itself, try a bunch of different code versions, possibly even at random, and then check them out and see if a goal is achieved and improved. So, say the goal is to do better on an intelligence test. You know, a computer that's moderately good at that, you could try a million versions of that. You might find one that was better, and then, you know, repeat. And so the concern is that you get some sort of runaway effect where everything is fine on Thursday evening, and you come back into the lab on Friday morning, and because of the speed of computers and so forth, things have gone crazy, and suddenly --
크리스: 이 점에 대해 좀 더 이야기할 것이 있는데요. 이 점에 두려움을 갖고 계신 분들을 위해서 말이죠. 스스로 코드를 다시 만들 수 있는 컴퓨터를 만들고 이 컴퓨터가 자신과 동일한 컴퓨터를 재생산할 수 있는 능력은 물론 다른 버전의 코드를 가진 컴퓨터를 여러 대 만들어 보는 거죠. 심지어 무작위로요. 그리고 목표가 달성되고 더 향상되었는지 확인하는 겁니다. 그 목표란 지능 시험에서 더 좋은 성적 을 내는 것이라고 치죠. 컴퓨터는 그런 분야에서는 꽤 훌륭하잖아요. 백만 개의 다른 버전을 시험해볼 수 있고 좋은 것을 찾아내서 그것들을 모아서 다시 위 과정을 반복하는 거죠. 사람들의 우려란 컴퓨터를 통제하지 못하는 상황과 마주치지 않을까 하는 건데요. 목요일 밤까지 모든 게 정상이었는데 금요일 아침에 연구소에 들어오자 컴퓨터가 폭주하면서 문제를 일으키고 상황이 통제불능으로 변해버리는
ST: I would say this is a possibility, but it's a very remote possibility. So let me just translate what I heard you say. In the AlphaGo case, we had exactly this thing: the computer would play the game against itself and then learn new rules. And what machine learning is is a rewriting of the rules. It's the rewriting of code. But I think there was absolutely no concern that AlphaGo would take over the world. It can't even play chess.
세바스찬: 가능성에 불과합니다. 하지만 아주 먼 미래에 일어날 가능성이죠. 제 식대로 한 번 말해보겠습니다. 알파고를 통해 우리는 다음 사실을 목격했습니다. 컴퓨터가 자기 자신을 상대로 바둑을 둘 수 있고 새로운 규칙을 배울 수 있죠. 하지만 머신 러닝은 이미 존재하는 규칙을 다시 사용하는 것입니다. 원래 있던 코드를 다시 사용하는 거구요. 저는 알파고가 지구를 지배할 거라는 걱정은 완전히 기우라고 생각합니다. 알파고는 체스도 두지 못해요.
CA: No, no, no, but now, these are all very single-domain things. But it's possible to imagine. I mean, we just saw a computer that seemed nearly capable of passing a university entrance test, that can kind of -- it can't read and understand in the sense that we can, but it can certainly absorb all the text and maybe see increased patterns of meaning. Isn't there a chance that, as this broadens out, there could be a different kind of runaway effect?
크리스: 하지만 우리는 지금 한 분야에 대해서만 이야기하고 있어요. 가능할 법한 상황이라고 보는데요. 우리는 대학 입학 시험을 통과할 수 있을 정도의 컴퓨터를 목격했습니다. 사람처럼 글을 읽고 이해할 수는 없지만 대신 문장 자체를 통째로 흡수해버리죠. 그리고 이해의 폭을 넓힐지도 모릅니다. 그렇다면 그 영역을 점차 넓혀서 언젠가 통제가 불가능한 상황이 생길 수 있지 않을까요?
ST: That's where I draw the line, honestly. And the chance exists -- I don't want to downplay it -- but I think it's remote, and it's not the thing that's on my mind these days, because I think the big revolution is something else. Everything successful in AI to the present date has been extremely specialized, and it's been thriving on a single idea, which is massive amounts of data. The reason AlphaGo works so well is because of massive numbers of Go plays, and AlphaGo can't drive a car or fly a plane. The Google self-driving car or the Udacity self-driving car thrives on massive amounts of data, and it can't do anything else. It can't even control a motorcycle. It's a very specific, domain-specific function, and the same is true for our cancer app. There has been almost no progress on this thing called "general AI," where you go to an AI and say, "Hey, invent for me special relativity or string theory." It's totally in the infancy.
세바스찬: 그렇지 않다고 생각합니다. 가능성은 있겠죠. 그것까지 부정하고 싶진 않아요. 하지만 현재로선 아주 먼 이야기이고 지금 염두에 두고 있는 문제는 아닙니다. 저는 진짜 혁명은 다른 곳에서 일아나고 있다고 생각해요. 지금까지 모든 성공적인 AI는 극도로 특수화, 전문화된 분야에 한정되어 있구요. 엄청난 양의 데이터를 기반으로 한다는 발상에 기대어 지금까지 왔습니다. 알파고가 바둑을 잘 두는 이유는 엄청난 횟수의 대국을 두기 때문이죠. 알파고는 자동차를 운전하거나 비행기를 몰 수 없어요. 구글이나 유다시티의 자율주행차는 많은 양의 데이터를 활용할 뿐 그 이상의 것은 불가능합니다. 오토바이도 운전할 수 없어요. 정말 특정 분야에 한정되어 활용 가능하고 우리가 만든 암 진단 앱도 마찬가지입니다. 인공지능에게 "상대성 이론이나 끈 이론을 만들어 봐"라고 명령할 수 있는, 통칭 "일반 AI" 라고 하는 영역에서는 거의 진전이 없는 상태입니다. 아직 유아기 단계죠.
The reason I want to emphasize this, I see the concerns, and I want to acknowledge them. But if I were to think about one thing, I would ask myself the question, "What if we can take anything repetitive and make ourselves 100 times as efficient?" It so turns out, 300 years ago, we all worked in agriculture and did farming and did repetitive things. Today, 75 percent of us work in offices and do repetitive things. We've become spreadsheet monkeys. And not just low-end labor. We've become dermatologists doing repetitive things, lawyers doing repetitive things. I think we are at the brink of being able to take an AI, look over our shoulders, and they make us maybe 10 or 50 times as effective in these repetitive things. That's what is on my mind.
제가 이 점을 강조하는 이유는 사람들의 우려가 뭔지 알기에 제대로 확인시켜 주고 싶기 때문입니다. 저는 스스로에게 이런 질문을 던져봅니다. "만약 우리가 어떤 반복 작업이든지 지금보다 100배 더 효율적으로 일할 수 있다면 어떻게 될까?" 300년 전 인류는 모두 농사를 지으며 반복적인 작업을 했죠. 오늘날 우리 중 75%가 사무실에서 일하고 역시 반복 작업을 합니다. 스프레드시트만 만드는 원숭이처럼 되버렸어요. 단순히 저소득 직장 뿐만이 아니에요. 피부과 전문의도 같은 일을 반복하고 변호사도 같은 일을 반복하죠. 저는 우리가 AI를 이용해 지금까지의 자신을 넘어 현재의 반복 작업에서 10배, 50배의 효율을 낼 수 있다고 생각합니다. 그게 요즘 제가 하는 생각입니다.
CA: That sounds super exciting. The process of getting there seems a little terrifying to some people, because once a computer can do this repetitive thing much better than the dermatologist or than the driver, especially, is the thing that's talked about so much now, suddenly millions of jobs go, and, you know, the country's in revolution before we ever get to the more glorious aspects of what's possible.
크리스: 정말 멋진 이야기네요. 그 수준까지 가는 일이 어떤 이들에게는 두려움으로 다가올 것 같아요. 컴퓨터가 피부과 의사보다 반복 작업을 더 잘 할 수 있게 된다면 말이죠. 아니면 운전 기사들도 그렇죠. 자율주행 자동차 등으로 많이 언급했는데요. 갑자기 수백만 개의 일자리가 사라지지 않을까요? 우리가 AI를 통해 만날 수 있는 희망찬 미래에 도달하기 전에 이런 일이 일어날 거 같은데요.
ST: Yeah, and that's an issue, and it's a big issue, and it was pointed out yesterday morning by several guest speakers. Now, prior to me showing up onstage, I confessed I'm a positive, optimistic person, so let me give you an optimistic pitch, which is, think of yourself back 300 years ago. Europe just survived 140 years of continuous war, none of you could read or write, there were no jobs that you hold today, like investment banker or software engineer or TV anchor. We would all be in the fields and farming. Now here comes little Sebastian with a little steam engine in his pocket, saying, "Hey guys, look at this. It's going to make you 100 times as strong, so you can do something else." And then back in the day, there was no real stage, but Chris and I hang out with the cows in the stable, and he says, "I'm really concerned about it, because I milk my cow every day, and what if the machine does this for me?"
세바스찬: 네 문제죠. 정말 큰 문제입니다. 어제 아침에도 여러 초청 연사들이 그 점을 지적했어요. 제 의견을 말하기에 앞서 저는 긍정적이고 낙관적인 사람임을 고백합니다. 자 그럼 낙관적인 이야기를 하기 위해 300년 전으로 돌아가 보죠. 유럽은 140년간 지속적으로 전쟁에 시달렸고 누구도 읽거나 쓸 수 없었으며 현재 여러분이 갖고 있는 직업 중 아무것도 존재하지 않았습니다. 은행 투자가나 소프트웨어 엔지니어, TV 앵커 같은 직업이요. 모두 논과 밭에 나가서 일을 했었죠. 그 때 어린 세바스찬이 주머니 속에 있는 작은 증기 기관을 꺼내 보여주며 "얘들아 이것 좀 봐. 이 증기기관을 사용하면 100배나 효율적으로 일해서 남은 시간을 활용할 수 있어." 다시 옛날로 돌아가서 크리스와 제가 외양간의 소들을 둘러보는 동안 크리스가 말하겠죠. "요즘 생각하고 있는 게 하나 있는데 만약 매일 우유 짜는 일을 기계가 대신해주면 어떨까?"
The reason why I mention this is, we're always good in acknowledging past progress and the benefit of it, like our iPhones or our planes or electricity or medical supply. We all love to live to 80, which was impossible 300 years ago. But we kind of don't apply the same rules to the future. So if I look at my own job as a CEO, I would say 90 percent of my work is repetitive, I don't enjoy it, I spend about four hours per day on stupid, repetitive email. And I'm burning to have something that helps me get rid of this. Why? Because I believe all of us are insanely creative; I think the TED community more than anybody else. But even blue-collar workers; I think you can go to your hotel maid and have a drink with him or her, and an hour later, you find a creative idea. What this will empower is to turn this creativity into action. Like, what if you could build Google in a day? What if you could sit over beer and invent the next Snapchat, whatever it is, and tomorrow morning it's up and running?
제가 이 말을 하는 이유는 우리는 항상 과거를 돌아보며 좋은 점을 취할 줄 알았어요. 아이폰이나 비행기, 전기, 의료기기 같은 것들 말이에요. 우리는 모두 80세까지 살 수 있죠. 300년 전에는 불가능했던 일입니다. 하지만 미래에도 지금과 똑같으리라 가정할 수는 없겠죠. CEO로서 제 일을 보면 일의 90%가 반복작업이고 별로 좋아하지 않습니다. 하루에 4시간을 바보같은, 똑같은 이메일 작성에 허비해요. 그리고 낭비하는 시간을 줄일 수 있다면 정말 좋겠다고 생각합니다. 왜냐구요? 저는 우리가 모두가 놀라울 정도로 창의적이라고 믿으니까요. 특히 TED 커뮤니티의 여러분은 그럴거라 생각합니다. 육체 노동자들도 마찬가지에요. 호텔의 종업원과 어울리며 한 잔 할 수도 있겠죠. 그리고 1시간 뒤에, 창의적인 생각이 떠오르는 겁니다. AI의 도움으로 우리는 창의력을 실제 행동으로 옮길 수 있게 되는 겁니다. 구글같은 회사를 하루만에 만들 수 있다면 어떨까요? 맥주 한 잔을 마시며 또 다른 '스냅챗'을 발명하고 그게 무엇이든 간에 내일 아침은 또 다가오겠죠.
And that is not science fiction. What's going to happen is, we are already in history. We've unleashed this amazing creativity by de-slaving us from farming and later, of course, from factory work and have invented so many things. It's going to be even better, in my opinion. And there's going to be great side effects. One of the side effects will be that things like food and medical supply and education and shelter and transportation will all become much more affordable to all of us, not just the rich people.
그런 일은 공상과학이 아닙니다. 앞으로 일어날 일은 우리가 이미 역사의 일부가 될 것이라는 점입니다. 우리는 농업에서 해방되면서 그리고 후에는 공장 작업에서 해방되면서 우리가 가진 놀라운 창의력을 해방시킬 수 있었고 많은 것들을 발명했습니다. 저는 앞으로 더욱 나아질거라 생각합니다. 물론 부작용도 만만치 않겠죠. 그 중 하나는 음식과 의료 서비스, 교육, 주거, 운송수단등이 부자들뿐만 아니라 우리 모두에게 좀 더 공평하게 주어질 것이라는 점입니다.
CA: Hmm. So when Martin Ford argued, you know, that this time it's different because the intelligence that we've used in the past to find new ways to be will be matched at the same pace by computers taking over those things, what I hear you saying is that, not completely, because of human creativity. Do you think that that's fundamentally different from the kind of creativity that computers can do?
크리스: 으음... 마틴 포드가 이번엔 상황이 조금 다르다고 했던 것 기억하시나요? 지금까지 우리가 새로운 길을 찾기 위해 사용한 인공지능은 같은 속도로 컴퓨터에 의해 그 영역을 잃게 될 거라는 거였죠. 당신은 인간이 가진 창조성 때문에 완전히 빼앗기지는 않을거라는 거죠? 당신은 인간의 창의성이 컴퓨터의 그것과 근본적으로 다르다고 보십니까?
ST: So, that's my firm belief as an AI person -- that I haven't seen any real progress on creativity and out-of-the-box thinking. What I see right now -- and this is really important for people to realize, because the word "artificial intelligence" is so threatening, and then we have Steve Spielberg tossing a movie in, where all of a sudden the computer is our overlord, but it's really a technology. It's a technology that helps us do repetitive things. And the progress has been entirely on the repetitive end. It's been in legal document discovery. It's been contract drafting. It's been screening X-rays of your chest. And these things are so specialized, I don't see the big threat of humanity. In fact, we as people -- I mean, let's face it: we've become superhuman. We've made us superhuman. We can swim across the Atlantic in 11 hours. We can take a device out of our pocket and shout all the way to Australia, and in real time, have that person shouting back to us. That's physically not possible. We're breaking the rules of physics. When this is said and done, we're going to remember everything we've ever said and seen, you'll remember every person, which is good for me in my early stages of Alzheimer's. Sorry, what was I saying? I forgot.
세바스찬: 네 그것이 인공지능을 개발 하는 사람으로서 제가 가진 신념입니다. 창의력과 틀을 벗어난 독창성에서 AI는 아무런 진보도 이뤄내지 못했어요. 인공 지능이라는 단어가 주는 위협적인 느낌과 스티븐 스필버그가 만든 영화 속에서 갑자기 기계가 세계를 지배하는 등의 설정 때문에 사람들이 불안해 하는 것을 알지만 지금 제가 만드는 건 단순한 '기술'입니다. 반복 작업에 드는 수고를 덜어주는 기술적 진보죠. AI의 진보는 반복 작업과 연관된 분야에서만 이뤄졌습니다. 법률 문서의 발견이나 계약서 작성 흉부 X-ray촬영 같은 분야요. 매우 전문화된 분야에 한정되어 있기 때문에 인류에게 큰 위협을 줄 정도는 아닐 것 같습니다. 사실상 우리들은 솔직히 마주하죠. 우리는 이미 초인간입니다. 우리 스스로 그 발전을 이뤄냈죠. 대서양을 11시간만에 가로지를 수 있습니다. 주머니에서 꺼낸 기기로 호주에 사는 누군가와 연락할 수 있고 그 사람에게서 실시간으로 연락을 받는 것 역시 가능합니다. 물리적으로는 불가능한 일이지만 우리는 물리법칙을 무너뜨리고 있어요. 제가 말한 것들이 이뤄질 때 여러분은 보고 들은 모든 것을 기억하게 될 것입니다. 만났던 모든 사람을 기억하게 될 것이구요. 알츠하이머 초기인 저에게는 좋은 일이죠. 제가 뭐라고 말했었죠? 기억이 안 나네요.
CA: (Laughs)
크리스: (웃음)
ST: We will probably have an IQ of 1,000 or more. There will be no more spelling classes for our kids, because there's no spelling issue anymore. There's no math issue anymore. And I think what really will happen is that we can be super creative. And we are. We are creative. That's our secret weapon.
세바스찬: 우리의 아이큐는 1000이나 그 이상이 될 겁니다. 아이들은 더 이상 철자 수업을 듣지 않아도 됩니다. 앞으로 철자 때문에 문제 생길 일이 없어질 거니까요. 수학 역시 마찬가지입니다. 대신 우리는 엄청나게 창의적인 인간이 될 수 있습니다. 우리는 이미 창의적이죠. 그것이 인간의 무기입니다.
CA: So the jobs that are getting lost, in a way, even though it's going to be painful, humans are capable of more than those jobs. This is the dream. The dream is that humans can rise to just a new level of empowerment and discovery. That's the dream.
크리스: 일자리의 상실은 어느 정도 발생할 것이고 그로인한 타격이 꽤 있겠지만 우리는 일자리의 상실보다 더 많은 것을 얻게 될 것이다. 꿈과 같은 이야기네요. 인간에게 새로운 기회와 발견을 제공할 수 있는 꿈입니다. 꿈이요.
ST: And think about this: if you look at the history of humanity, that might be whatever -- 60-100,000 years old, give or take -- almost everything that you cherish in terms of invention, of technology, of things we've built, has been invented in the last 150 years. If you toss in the book and the wheel, it's a little bit older. Or the axe. But your phone, your sneakers, these chairs, modern manufacturing, penicillin -- the things we cherish. Now, that to me means the next 150 years will find more things. In fact, the pace of invention has gone up, not gone down, in my opinion. I believe only one percent of interesting things have been invented yet. Right? We haven't cured cancer. We don't have flying cars -- yet. Hopefully, I'll change this. That used to be an example people laughed about. (Laughs) It's funny, isn't it? Working secretly on flying cars. We don't live twice as long yet. OK? We don't have this magic implant in our brain that gives us the information we want. And you might be appalled by it, but I promise you, once you have it, you'll love it. I hope you will. It's a bit scary, I know.
세바스찬: 한 번 생각해 보세요. 인류의 역사를 돌아보면 6만년에서 10만년까지 거슬러 올라가지만 우리에게 도움이 되는 발명품들 기술적 진보이든 건축이든간에 거의 대부분이 지난 150년 사이에 나온 것들입니다. 책이나 바퀴, 도끼 같은 것들은 좀 오래된 발명품들이죠. 하지만 전화나 스니커즈 같은 신발 의자, 공산품, 페니실린 우리에게 꼭 필요한 것들은 전부 최근에 탄생한 것들입니다. 이는 곧 저에게 다음 150년간 인류는 더 많은 발명을 할 수 있다는 의미로 여겨집니다. 저는 발명의 속도가 계속 빨라지고 있다고 생각합니다. 훌륭한 물건의 발명은 아직 1%밖에 이뤄지지 않았다고 생각해요. 우리는 아직 암을 치료할 수 없습니다. 하늘을 나는 자동차도 멀었죠. 하지만 저는 계속 도전할 겁니다. 사람들이 비웃던 발명의 전형적인 예죠. (웃음) 재밌는 발상 아닌가요? 남 몰래 하늘을 나는 자동차를 개발한다는 거요. 우리는 아직 평균 수명의 두 배만큼 살지도 못합니다. 우리가 원하는 정보를 바로 취득할 수 있도록 뇌 속에 칩을 이식하는 일도 아직 멀었죠. 두려움을 가질 수도 있지요. 한 가지 약속할 수 있는 것은 여러분의 마음에 쏙 들게 될거라는 겁니다. 그러길 바랍니다. 조금 무서운 일일수도 있지만요.
There are so many things we haven't invented yet that I think we'll invent. We have no gravity shields. We can't beam ourselves from one location to another. That sounds ridiculous, but about 200 years ago, experts were of the opinion that flight wouldn't exist, even 120 years ago, and if you moved faster than you could run, you would instantly die. So who says we are correct today that you can't beam a person from here to Mars?
제 생각에 인류가 만들어낼 수 있다고 생각하는 것들 중에 수많은 것들이 아직 발명되지 않았어요. 예를들어 중력 쉴드 라던지, 레이저로 먼 거리를 순간이동 하는 장치 말입니다. 지금으로서는 터무니없는 소리죠. 그러나 200여년 전에 전문가들은 사람을 태우는 비행기는 존재하지 못할거라 생각했고 120년 전 만해도 우리는 사람이 달리는 것 보다 더 빠르게 움직이면 즉사할 것이라고 믿었죠. 그래서 지구에서 화성까지 순간이동을 할 수 없다 라는게 사실이라고 누가 단정할 수 있죠?
CA: Sebastian, thank you so much for your incredibly inspiring vision and your brilliance. Thank you, Sebastian Thrun. That was fantastic. (Applause)
크리스: 오늘 영감을 주는 혜안과 재능을 공유해 주셔서 정말 감사드립니다. 세바스찬 쓰런님, 감사합니다. 정말 좋은 대담이었습니다. (박수)