Chris Anderson: Help us understand what machine learning is, because that seems to be the key driver of so much of the excitement and also of the concern around artificial intelligence. How does machine learning work?
Chris Anderson: Hãy giúp chúng tôi hiểu học máy là gì, bởi vì nó dường như là yếu tố then chốt của rất nhiều sự phấn khởi cũng như các lo ngại về trí tuệ nhân tạo. Học máy hoạt động như thế nào?
Sebastian Thrun: So, artificial intelligence and machine learning is about 60 years old and has not had a great day in its past until recently. And the reason is that today, we have reached a scale of computing and datasets that was necessary to make machines smart. So here's how it works. If you program a computer today, say, your phone, then you hire software engineers that write a very, very long kitchen recipe, like, "If the water is too hot, turn down the temperature. If it's too cold, turn up the temperature." The recipes are not just 10 lines long. They are millions of lines long. A modern cell phone has 12 million lines of code. A browser has five million lines of code. And each bug in this recipe can cause your computer to crash. That's why a software engineer makes so much money. The new thing now is that computers can find their own rules. So instead of an expert deciphering, step by step, a rule for every contingency, what you do now is you give the computer examples and have it infer its own rules.
Sebastian Thrun: Trí tuệ nhân tạo và học máy đã ra đời được khoảng 60 năm và chưa có ngày đẹp trời nào cả trong quá khứ cho đến gần đây. Và lý do là ngày nay, chúng ta đã đạt đến quy mô về tính toán và dữ liệu cần thiết để khiến máy móc trở nên thông minh. Nó hoạt động như thế này. Ngày nay khi bạn lập trình một máy tính, chẳng hạn như điện thoại, thì bạn sẽ thuê kỹ sư phần mềm viết một công thức nấu ăn rất, rất dài như, “nếu nước quá nóng, hãy giảm nhiệt độ xuống. Nếu nước quá lạnh, hãy tăng nhiệt độ lên.” Những công thức đó không chỉ có 10, mà có đến tận hàng triệu dòng. Một chiếc điện thoại hiện đại có 12 triệu dòng mã. Một trình duyệt có năm triệu dòng mã. Và mỗi một lỗi trong công thức có thể làm máy tính của bạn bị hỏng. Vậy nên kỹ sư phần mềm mới kiếm được nhiều tiền đến thế. Điều mới mẻ là bây giờ máy tính có thể tự tìm ra quy luật cho riêng chúng. Thay vì cần một chuyên gia từng bước một giải mã ra một quy tắc cho mọi trường hợp, giờ đây chúng ta đưa cho máy tính những ví dụ và để chúng tự tìm ra các quy tắc.
A really good example is AlphaGo, which recently was won by Google. Normally, in game playing, you would really write down all the rules, but in AlphaGo's case, the system looked over a million games and was able to infer its own rules and then beat the world's residing Go champion. That is exciting, because it relieves the software engineer of the need of being super smart, and pushes the burden towards the data. As I said, the inflection point where this has become really possible -- very embarrassing, my thesis was about machine learning. It was completely insignificant, don't read it, because it was 20 years ago and back then, the computers were as big as a cockroach brain. Now they are powerful enough to really emulate kind of specialized human thinking. And then the computers take advantage of the fact that they can look at much more data than people can. So I'd say AlphaGo looked at more than a million games. No human expert can ever study a million games. Google has looked at over a hundred billion web pages. No person can ever study a hundred billion web pages. So as a result, the computer can find rules that even people can't find.
Một ví dụ rất hay là AlphaGo, gần đây đã được Google mua lại. Thông thường, khi chơi trò chơi, ta phải thực sự viết ra tất cả quy luật, nhưng trong trường hợp của AlphaGo, hệ thống đã xem qua hơn một triệu ván cờ, tự suy luận được những quy luật riêng, và sau đó đánh bại đương kim vô địch cờ vây thế giới. Điều đó thật thú vị, vì nó giải phóng kỹ sư phần mềm khỏi áp lực phải trở nên siêu thông minh, và đẩy gánh nặng sang dữ liệu. Như tôi nói, điểm uốn nơi điều này trở nên thật sự khả thi -- xấu hổ thật, luận án của tôi là về học máy, chả có gì ấn tượng đâu, đừng đọc nó, vì cũng được 20 năm rồi, và hồi đó, khả năng của máy tính cũng chỉ cỡ não con gián thôi. Giờ chúng đủ mạnh mẽ để thực sự mô phỏng tư duy chuyên biệt của con người. Và rồi máy tính tận dụng lợi thế từ việc có thể xem xét nhiều dữ liệu hơn hẳn con người. Ví dụ như AlphaGo đã xem hơn một triệu ván cờ. Không chuyên gia nào có thể nghiên cứu một triệu ván cờ. Google đã đọc hơn một trăm tỷ trang mạng. Không ai đọc nổi từng ấy trang mạng cả. Vậy nên kết quả là máy tính có thể tìm ra các quy luật mà thậm chí con người chẳng thể tìm.
CA: So instead of looking ahead to, "If he does that, I will do that," it's more saying, "Here is what looks like a winning pattern, here is what looks like a winning pattern."
CA: Vậy thay vì hướng đến việc “Nếu anh ta đi nước này, tôi đi nước này,” thì ta nói, “Đi các nước này có vẻ sẽ thắng, đi các nước này có vẻ sẽ thắng.”
ST: Yeah. I mean, think about how you raise children. You don't spend the first 18 years giving kids a rule for every contingency and set them free and they have this big program. They stumble, fall, get up, they get slapped or spanked, and they have a positive experience, a good grade in school, and they figure it out on their own. That's happening with computers now, which makes computer programming so much easier all of a sudden. Now we don't have to think anymore. We just give them lots of data.
ST: Đúng. Ta thử nghĩ về cách nuôi dạy con cái. Ta không dành 18 năm đầu đời đặt cho con trẻ quy tắc cho từng tình huống, để chúng tự do, và chúng có chương trình lớn này. Chúng vấp, ngã, đứng dậy, chúng bị tát hay bị chơi khăm, và chúng có một trải nghiệm tốt, chúng đạt điểm tốt ở trường và chúng tự mình tìm ra cách. Các máy tính bây giờ cũng vậy, khiến việc lập trình máy tính bỗng nhiên dễ dàng hơn nhiều. Giờ ta không phải nghĩ nữa, chỉ cần đưa chúng thật nhiều dữ liệu.
CA: And so, this has been key to the spectacular improvement in power of self-driving cars. I think you gave me an example. Can you explain what's happening here?
CA: Vậy đây chính là mấu chốt cho sự cải tiến ngoạn mục trong năng lực của xe tự lái. Tôi nghĩ anh đã cho tôi một ví dụ. Anh có thể giải thích điều gì đang xảy ra ở đây không?
ST: This is a drive of a self-driving car that we happened to have at Udacity and recently made into a spin-off called Voyage. We have used this thing called deep learning to train a car to drive itself, and this is driving from Mountain View, California, to San Francisco on El Camino Real on a rainy day, with bicyclists and pedestrians and 133 traffic lights. And the novel thing here is, many, many moons ago, I started the Google self-driving car team. And back in the day, I hired the world's best software engineers to find the world's best rules. This is just trained. We drive this road 20 times, we put all this data into the computer brain, and after a few hours of processing, it comes up with behavior that often surpasses human agility. So it's become really easy to program it. This is 100 percent autonomous, about 33 miles, an hour and a half.
ST: Đây là hành trình của một chiếc xe tự lái mà chúng tôi tình cờ có được tại Udacity và gần đây phát triển thành công ty con Voyage. Chúng tôi sử dụng phương pháp có tên học sâu để huấn luyện xe tự lái, và đây là chuyến từ Mountain View, California, tới San Francisco trên El Camino Real vào một ngày mưa, với người đạp xe và đi bộ và 133 đèn giao thông. Điều mới mẻ ở đây là, đã từ rất, rất lâu, tôi khởi xướng đội xe tự lái của Google. Hồi đó, tôi thuê các kỹ sư phần mềm giỏi nhất thế giới để tìm ra những quy luật tốt nhất thế giới. Còn xe này chi được huấn luyện thôi. Chúng tôi lái trên cung đường này 20 lần, nạp tất cả dữ liệu đó vào bộ não máy tính, và sau vài giờ đồng hồ xử lý, nó nghĩ ra hành vi hầu như vượt trội sự nhanh nhẹn con người. Việc lập trình nó trở nên rất dễ dàng. Xe này 100 phần trăm tự động, khoảng 53 km, mất một tiếng rưỡi đồng hồ.
CA: So, explain it -- on the big part of this program on the left, you're seeing basically what the computer sees as trucks and cars and those dots overtaking it and so forth.
CA: Vậy, để giải thích -- ở phần lớn của chương trình phía bên trái, ta đang cơ bản thấy thứ máy tính thấy như xe tải và xe hơi và những chấm nhỏ vượt qua nó và cứ thế.
ST: On the right side, you see the camera image, which is the main input here, and it's used to find lanes, other cars, traffic lights. The vehicle has a radar to do distance estimation. This is very commonly used in these kind of systems. On the left side you see a laser diagram, where you see obstacles like trees and so on depicted by the laser. But almost all the interesting work is centering on the camera image now. We're really shifting over from precision sensors like radars and lasers into very cheap, commoditized sensors. A camera costs less than eight dollars.
ST: Ở bên phải, ta thấy hình từ máy ảnh, là dữ liệu đầu vào chính, được sử dụng để tìm làn đường, các xe khác, đèn giao thông. Xe này có radar để ước tính khoảng cách, thường được sử dụng trong những hệ thống tương tự. Ở bên trái ta có một biểu đồ laser, nơi ta thấy các vật cản như cây và vân vân được mô tả bằng laser. Nhưng hầu hết các công việc thú vị bây giờ nằm ở hình ảnh camera. Chúng ta đang chuyển từ cảm biến chuẩn xác như radar và laser sang những cảm biến thương mại rất rẻ. Một máy ảnh có giá chưa đến tám đô-la.
CA: And that green dot on the left thing, what is that? Is that anything meaningful?
CA: Và chấm xanh phía bên trái kia, là cái gì vậy? Nó có ý nghĩa gì không?
ST: This is a look-ahead point for your adaptive cruise control, so it helps us understand how to regulate velocity based on how far the cars in front of you are.
ST: Đó là điểm dò trước của bộ kiểm soát hành trình thích ứng. để giúp chúng ta hiểu cách điều tiết vận tốc dựa trên khoảng cách tới những chiếc xe phía trước.
CA: And so, you've also got an example, I think, of how the actual learning part takes place. Maybe we can see that. Talk about this.
CA: Tôi nghĩ anh cũng có một ví dụ về cách giai đoạn học diễn ra trên thực tế. Chúng ta có thể cùng xem và nói về điều này.
ST: This is an example where we posed a challenge to Udacity students to take what we call a self-driving car Nanodegree. We gave them this dataset and said "Hey, can you guys figure out how to steer this car?" And if you look at the images, it's, even for humans, quite impossible to get the steering right. And we ran a competition and said, "It's a deep learning competition, AI competition," and we gave the students 48 hours. So if you are a software house like Google or Facebook, something like this costs you at least six months of work. So we figured 48 hours is great. And within 48 hours, we got about 100 submissions from students, and the top four got it perfectly right. It drives better than I could drive on this imagery, using deep learning. And again, it's the same methodology. It's this magical thing. When you give enough data to a computer now, and give enough time to comprehend the data, it finds its own rules.
ST: Đây là một ví dụ về thử thách chúng tôi đặt ra cho học viên Udacity về thứ mà chúng tôi gọi là xe tự lái Nanodegree. Chúng tôi đưa họ bộ dữ liệu và bảo “Này, các bạn có thể tìm ra cách đánh lái xe này chứ?” Nếu ta xem các hình ảnh, gần như không thể đánh lái chính xác, thậm chí với con người. Chúng tôi tổ chức một cuộc thi và bảo “Đây là một cuộc thi học sâu, cuộc thi về AI,” rồi chúng tôi cho học viên 48 giờ. Với một hãng công nghệ như Google hay Facebook, một vấn đề như vậy sẽ mất ít nhất sáu tháng làm việc. Nên chúng tôi cho rằng 48 giờ là quá đỉnh. Và trong vòng 48 giờ, chúng tôi nhận được khoảng 100 bài thi từ học viên, và tốp bốn cho kết quả đúng hoàn toàn. Xe lái còn tốt hơn tôi dựa trên các hình ảnh này khi sử dụng học sâu. Một lần nữa, vẫn cùng phương pháp đó. Điều này thật kỳ diệu. Khi bạn cho máy tính ngày nay đủ dữ liệu, và đủ thời gian phân tích dữ liệu, nó sẽ tự tìm ra quy luật riêng.
CA: And so that has led to the development of powerful applications in all sorts of areas. You were talking to me the other day about cancer. Can I show this video?
CA: Từ đó đã dẫn đến sự phát triển của những ứng dụng mạnh mẽ trong mọi lĩnh vực. Hôm trước anh có nói chuyện với tôi về ung thư. Tôi chiếu video này nhé?
ST: Yeah, absolutely, please. CA: This is cool.
ST: Vâng, anh cứ tự nhiên. CA: Ngầu thật đấy.
ST: This is kind of an insight into what's happening in a completely different domain. This is augmenting, or competing -- it's in the eye of the beholder -- with people who are being paid 400,000 dollars a year, dermatologists, highly trained specialists. It takes more than a decade of training to be a good dermatologist. What you see here is the machine learning version of it. It's called a neural network. "Neural networks" is the technical term for these machine learning algorithms. They've been around since the 1980s. This one was invented in 1988 by a Facebook Fellow called Yann LeCun, and it propagates data stages through what you could think of as the human brain. It's not quite the same thing, but it emulates the same thing. It goes stage after stage. In the very first stage, it takes the visual input and extracts edges and rods and dots. And the next one becomes more complicated edges and shapes like little half-moons. And eventually, it's able to build really complicated concepts. Andrew Ng has been able to show that it's able to find cat faces and dog faces in vast amounts of images.
ST: Đây là một góc nhìn sâu sắc vào những điều đang diễn ra trong một lĩnh vực hoàn toàn khác. Đây là sự nâng cấp, hoặc cạnh tranh -- tuỳ quan điểm của người xem -- với các bác sĩ da liễu, những người đang được trả 400.000 đô la mỗi năm, những chuyên gia được đào tạo chuyên sâu. Phải mất hơn một thập kỷ đào tạo để trở thành một bác sĩ da liễu giỏi. Những gì anh thấy ở đây là phiên bản học máy của quá trình đó. Nó được gọi là mạng nơ-ron. “Mạng nơ-ron” là một thuật ngữ kỹ thuật cho những thuật toán học máy này. Chúng đã xuất hiện từ thập niên 80. Mạng này được một thành viên Facebook tên là Yann LeCun phát minh vào năm 1988, và nó truyền các giai đoạn dữ liệu thông qua cái có thể được coi là bộ não con người. Nó không giống hoàn toàn, nhưng mô phỏng lại não bộ. Nó đi từng giai đoạn một. Ở giai đoạn đầu tiên, nó nhận hình ảnh đầu vào và trích xuất các cạnh, que, và chấm. Ở giai đoạn tiếp theo, các cạnh và hình trở nên phức tạp hơn như những hình bán nguyệt nhỏ. Cuối cùng, nó có thể xây dựng những khái niệm thật sự phức tạp. Andrew Ng đã cho thấy rằng nó có thể tìm ra mặt mèo và mặt chó trong một lượng lớn hình ảnh.
What my student team at Stanford has shown is that if you train it on 129,000 images of skin conditions, including melanoma and carcinomas, you can do as good a job as the best human dermatologists. And to convince ourselves that this is the case, we captured an independent dataset that we presented to our network and to 25 board-certified Stanford-level dermatologists, and compared those. And in most cases, they were either on par or above the performance classification accuracy of human dermatologists.
Nhóm sinh viên của tôi ở Stanford đã cho thấy rằng nếu bạn huấn luyện mạng này trên 129.000 hình ảnh về tình trạng da liễu, bao gồm ung thư hắc tố và biểu mô, bạn có thể làm tốt ngang những bác sĩ da liễu giỏi nhất. Và để thuyết phục chính mình rằng đây là sự thật, chúng tôi thu thập một bộ dữ liệu độc lập để nạp cho mạng của mình và cho 25 bác sĩ da liễu đẳng cấp Standford được chứng nhận và so sánh hai bên với nhau. Và trong hầu hết trường hợp hiệu suất phân loại chính xác của các mạng ngang bằng hoặc trội hơn các bác sĩ da liễu.
CA: You were telling me an anecdote. I think about this image right here. What happened here?
CA: Anh đã kể tôi một giai thoại, tôi nhớ là về chính bức hình này. Chuyện gì đã xảy ra vậy?
ST: This was last Thursday. That's a moving piece. What we've shown before and we published in "Nature" earlier this year was this idea that we show dermatologists images and our computer program images, and count how often they're right. But all these images are past images. They've all been biopsied to make sure we had the correct classification. This one wasn't. This one was actually done at Stanford by one of our collaborators. The story goes that our collaborator, who is a world-famous dermatologist, one of the three best, apparently, looked at this mole and said, "This is not skin cancer." And then he had a second moment, where he said, "Well, let me just check with the app." So he took out his iPhone and ran our piece of software, our "pocket dermatologist," so to speak, and the iPhone said: cancer. It said melanoma. And then he was confused. And he decided, "OK, maybe I trust the iPhone a little bit more than myself," and he sent it out to the lab to get it biopsied. And it came up as an aggressive melanoma. So I think this might be the first time that we actually found, in the practice of using deep learning, an actual person whose melanoma would have gone unclassified, had it not been for deep learning.
ST: Chuyện này từ thứ Năm vừa rồi. Đó là một câu chuyện cảm động. Chúng tôi đã trình bày và công bố trên tạp chí “Nature” hồi đầu năm ý tưởng rằng chúng tôi cho các bác sĩ da liễu và chương trình máy tính xem ảnh và đếm số chẩn đoán chính xác. Nhưng tất cả các hình này đều cũ rồi. Chúng đã được sinh thiết để đảm bảo chúng tôi phân loại đúng. Hình này thì không. Hình này thực ra được một cộng sự thực hiện ở Stanford. Chuyện là cộng sự này, một bác sĩ da liễu nổi tiếng thế giới, thuộc nhóm ba người giỏi nhất, nhìn nốt này và bảo, “Đây không phải ung thư da.” Sau đó anh đã suy nghĩ lại và bảo, “Để tôi kiểm tra trên phần mềm xem.” Anh lấy iPhone ra và chạy phần mềm của chúng tôi, hay còn gọi là “bác sĩ da liễu bỏ túi” và iPhone thông báo: là ung thư. Chẩn đoán ung thư hắc tố. Người cộng sự bối rối, rồi quyết định rằng, “Có lẽ tôi tin chiếc iPhone hơn chính mình một chút,” và anh gửi mẫu cho phòng thí nghiệm để làm sinh thiết. Kết quả trả về là ung thư hắc tố tăng triển. Tôi nghĩ đây có lẽ là lần đầu tiên chúng tôi tìm thấy, trong thực hành ứng dụng học sâu, một bệnh nhân ung thư hắc tố suýt bị chẩn đoán sót nếu không nhờ học sâu.
CA: I mean, that's incredible.
CA: Thật đáng kinh ngạc.
(Applause)
(Tiếng vỗ tay)
It feels like there'd be an instant demand for an app like this right now, that you might freak out a lot of people. Are you thinking of doing this, making an app that allows self-checking?
Cảm tưởng như nhu cầu ứng dụng này sẽ tăng vọt ngay bây giờ, anh làm nhiều người phát hoảng đấy. Anh đã nghĩ tới việc tạo một ứng dụng tự chẩn đoán chưa?
ST: So my in-box is flooded about cancer apps, with heartbreaking stories of people. I mean, some people have had 10, 15, 20 melanomas removed, and are scared that one might be overlooked, like this one, and also, about, I don't know, flying cars and speaker inquiries these days, I guess. My take is, we need more testing. I want to be very careful. It's very easy to give a flashy result and impress a TED audience. It's much harder to put something out that's ethical. And if people were to use the app and choose not to consult the assistance of a doctor because we get it wrong, I would feel really bad about it. So we're currently doing clinical tests, and if these clinical tests commence and our data holds up, we might be able at some point to take this kind of technology and take it out of the Stanford clinic and bring it to the entire world, places where Stanford doctors never, ever set foot.
ST: Hộp thư đến của tôi ngập tràn nội dung ứng dụng về ung thư, với những câu chuyện thương tâm của mọi người. Một số người đã từng phẫu thuật loại bỏ 10, 15, 20 khối u hắc tố, và lo rằng vẫn còn sót một khối nào đó như trường hợp vừa rồi, cũng như, tôi không chắc, các thư về xe bay và thư mời phát biểu. Ý kiến của tôi là chúng ta cần thử nghiệm thêm. Tôi muốn thật cẩn thận. Đưa ra kết quả hoành tráng và gây ấn tượng với khán giả của TED thì dễ thôi. Nhưng công bố chuẩn đạo đức thì khó hơn nhiều. Nếu mọi người dùng ứng dụng này và quyết định không tham khảo ý kiến bác sĩ vì chúng tôi chẩn đoán sai, tôi sẽ cảm thấy rất tệ. Giờ chúng tôi đang thử nghiệm lâm sàng, và nếu các thử nghiệm này đạt yêu cầu và dữ liệu ổn định, một lúc nào đó chúng tôi có thể đưa công nghệ này ra khỏi phòng khám của Stanford và mang nó đến toàn thế giới, những nơi các bác sĩ của Stanford không bao giờ tới.
CA: And do I hear this right, that it seemed like what you were saying, because you are working with this army of Udacity students, that in a way, you're applying a different form of machine learning than might take place in a company, which is you're combining machine learning with a form of crowd wisdom. Are you saying that sometimes you think that could actually outperform what a company can do, even a vast company?
CA: Theo tôi hiểu, thì ý anh ở đây là, vì anh đang làm việc với một đội quân học viên Udacity, theo cách nào đó, anh đang ứng dụng một dạng khác của học máy có thể xuất hiện trong một công ty, thông qua việc kết hợp học máy với kiến thức của đám đông. Có phải ý anh là đôi khi việc này có thể tốt hơn so với một công ty, thậm chí là công ty lớn không?
ST: I believe there's now instances that blow my mind, and I'm still trying to understand. What Chris is referring to is these competitions that we run. We turn them around in 48 hours, and we've been able to build a self-driving car that can drive from Mountain View to San Francisco on surface streets. It's not quite on par with Google after seven years of Google work, but it's getting there. And it took us only two engineers and three months to do this. And the reason is, we have an army of students who participate in competitions. We're not the only ones who use crowdsourcing. Uber and Didi use crowdsource for driving. Airbnb uses crowdsourcing for hotels. There's now many examples where people do bug-finding crowdsourcing or protein folding, of all things, in crowdsourcing. But we've been able to build this car in three months, so I am actually rethinking how we organize corporations.
ST: Tôi tin rằng hiện giờ có những ví dụ khiến tôi ngạc nhiên, và tôi vẫn đang cố gắng hiểu. Chris đang nhắc đến các cuộc thi chúng tôi tổ chức. Chúng tôi xoay chuyển tình thế trong 48 giờ, và đã lắp ráp được một xe tự lái có khả năng lái từ Mountain View đến San Francisco trên mặt đất. Cũng chưa đến mức ngang ngửa công sức bảy năm của Google nhưng cũng dần tiệm cận rồi. Và chúng tôi chỉ cần hai kỹ sư và ba tháng để làm được như vậy. Lý do là chúng tôi có một đội quân các học viên tham gia vào các cuộc thi. Chúng tôi không phải những người duy nhất, Uber và Didi cũng dùng crowdsourcing cho lái xe. Airbnb dùng crowdsourcing cho các khách sạn. Giờ cũng có nhiều ví dụ sử dụng crowdsourcing để tìm lỗi phần mềm, hay gấp cuộn protein, cũng như những thứ khác. Nhưng chúng tôi đã chế tạo được chiếc xe này trong ba tháng, nên thực ra tôi đang suy nghĩ lại về cách tổ chức các công ty.
We have a staff of 9,000 people who are never hired, that I never fire. They show up to work and I don't even know. Then they submit to me maybe 9,000 answers. I'm not obliged to use any of those. I end up -- I pay only the winners, so I'm actually very cheapskate here, which is maybe not the best thing to do. But they consider it part of their education, too, which is nice. But these students have been able to produce amazing deep learning results. So yeah, the synthesis of great people and great machine learning is amazing.
Chúng tôi có đội ngũ 9.000 nhân viên chưa từng được tuyển dụng hay bị sa thải. Họ đến làm việc mà tôi còn chẳng biết. Rồi họ nộp cho tôi có lẽ là 9.000 câu trả lời. Tôi không có nghĩa vụ phải dùng bất cứ câu nào. Rồi tôi chỉ trả công cho người thắng cuộc, thực ra ở đây tôi rất ki bo đấy, có lẽ cũng không phải cách hay nhất. Nhưng họ coi đó như một phần trong việc giáo dục, hay thật. Nhưng các học viên này đã cho ra được những kết quả học sâu tuyệt vời. Vậy nên sự kết hợp giữa những người giỏi và học máy tốt thật tuyệt vời.
CA: I mean, Gary Kasparov said on the first day [of TED2017] that the winners of chess, surprisingly, turned out to be two amateur chess players with three mediocre-ish, mediocre-to-good, computer programs, that could outperform one grand master with one great chess player, like it was all part of the process. And it almost seems like you're talking about a much richer version of that same idea.
CA: Gary Kasparov phát biểu ngày đầu [sự kiện TED2017] rằng nhà vô địch cờ vua, ngạc nhiên thay, là hai kỳ thủ nghiệp dư với ba chương trình máy tính làng nhàng, tàm tạm, có thể chơi giỏi hơn một đại kiện tướng với một kỳ thủ giỏi, cứ như thể sắp đặt trước vậy. Dường như anh đang nói về một phiên bản phong phú hơn của ý tưởng này.
ST: Yeah, I mean, as you followed the fantastic panels yesterday morning, two sessions about AI, robotic overlords and the human response, many, many great things were said. But one of the concerns is that we sometimes confuse what's actually been done with AI with this kind of overlord threat, where your AI develops consciousness, right? The last thing I want is for my AI to have consciousness. I don't want to come into my kitchen and have the refrigerator fall in love with the dishwasher and tell me, because I wasn't nice enough, my food is now warm. I wouldn't buy these products, and I don't want them. But the truth is, for me, AI has always been an augmentation of people. It's been an augmentation of us, to make us stronger. And I think Kasparov was exactly correct. It's been the combination of human smarts and machine smarts that make us stronger. The theme of machines making us stronger is as old as machines are. The agricultural revolution took place because it made steam engines and farming equipment that couldn't farm by itself, that never replaced us; it made us stronger. And I believe this new wave of AI will make us much, much stronger as a human race.
ST: Phải, khi theo dõi các phiên thảo luận rất hay sáng hôm qua, hai phiên về AI, các chúa tể robot và phản ứng của con người, có rất nhiều ý tưởng hay. Nhưng một điều gây quan ngại là đôi khi chúng ta nhầm lẫn giữa những thành tựu thực tế của AI và mối đe doạ xâm chiếm này, khi AI thức tỉnh, nhỉ? Tôi không hề muốn AI của tôi có nhận thức. Tôi không muốn một ngày vào bếp và thấy tủ lạnh yêu máy rửa bát rồi bảo tôi, vì tôi không đủ tử tế nên đồ ăn giờ hết lạnh rồi. Tôi sẽ không mua, và tôi không muốn những sản phẩm như thế. Nhưng sự thật với tôi là AI đã luôn luôn là sự nâng cấp của con người. Nó nâng cấp chúng ta, khiến chúng ta mạnh mẽ hơn. Và tôi nghĩ Kasparov đã đúng. Sự kết hợp giữa trí khôn của con người và máy móc sẽ làm chúng ta mạnh mẽ hơn. Chủ đề máy móc giúp con người mạnh mẽ hơn cũng xưa như chính máy móc vậy. Cách mạng nông nghiệp đã diễn ra vì nó tạo ra các động cơ hơi nước và thiết bị nông nghiệp không thể tự làm nông hay thay thế, mà chỉ tăng sức mạnh của ta. Và tôi tin rằng làn sóng mới AI này sẽ khiến ta mạnh hơn rất nhiều ở đơn vị giống loài.
CA: We'll come on to that a bit more, but just to continue with the scary part of this for some people, like, what feels like it gets scary for people is when you have a computer that can, one, rewrite its own code, so, it can create multiple copies of itself, try a bunch of different code versions, possibly even at random, and then check them out and see if a goal is achieved and improved. So, say the goal is to do better on an intelligence test. You know, a computer that's moderately good at that, you could try a million versions of that. You might find one that was better, and then, you know, repeat. And so the concern is that you get some sort of runaway effect where everything is fine on Thursday evening, and you come back into the lab on Friday morning, and because of the speed of computers and so forth, things have gone crazy, and suddenly --
CA: Lát nữa chúng ta sẽ bàn thêm, nhưng để tiếp tục phần đáng sợ ở đây với một số người, như nỗi sợ của nhiều người khi máy tính có thể, một, tự viết lại mã, từ đó có thể nhân bản, thử một loại các phiên bản mã, thậm chí có thể theo cách ngẫu nhiên, rồi tự kiểm tra xem một mục tiêu đã hoàn thành và cải thiện chưa. Giả sử mục tiêu là đạt điểm cao hơn trong bài kiểm tra trí tuệ. Một máy tính ngay từ đầu đã khá giỏi, ta có thể thử hàng triệu phiên bản máy đó. Rồi ta tìm thấy một phiên bản tốt hơn, và lặp lại quá trình. Mối quan ngại ở đây là sẽ xuất hiện hiệu ứng mất kiểm soát, khi vào tối thứ Năm mọi thứ vẫn ổn, nhưng sáng thứ Sáu khi ta đến phòng thí nghiệm, do tốc độ của các máy tính, mọi thứ trở nên điên rồ, rồi đột ngột -- ST: Tôi sẽ nói đây là một khả năng,
ST: I would say this is a possibility, but it's a very remote possibility. So let me just translate what I heard you say. In the AlphaGo case, we had exactly this thing: the computer would play the game against itself and then learn new rules. And what machine learning is is a rewriting of the rules. It's the rewriting of code. But I think there was absolutely no concern that AlphaGo would take over the world. It can't even play chess.
nhưng một khả năng rất khó xảy ra. Để tôi nhắc lại những gì anh vừa nói. Trong trường hợp của Alpha Go, ta có chính xác điều này: máy tính tự đánh với chính nó và học các quy tắc mới. Học máy là sự viết lại các quy tắc, sự viết lại các dòng mã. Nhưng tôi nghĩ không phải quan ngại rằng AlphaGo sẽ xâm chiếm cả thế giới. Nó còn chả thể chơi cờ vua.
CA: No, no, no, but now, these are all very single-domain things. But it's possible to imagine. I mean, we just saw a computer that seemed nearly capable of passing a university entrance test, that can kind of -- it can't read and understand in the sense that we can, but it can certainly absorb all the text and maybe see increased patterns of meaning. Isn't there a chance that, as this broadens out, there could be a different kind of runaway effect?
CA: Không không, nhưng giờ chúng mới chỉ hoạt động trong lĩnh vực hẹp. Nhưng ta có thể tưởng tượng. Chúng ta mới thấy một máy tính gần như có khả năng vượt qua bài kiểm tra đầu vào của một trường đại học, nó không thể đọc hiểu theo cách của con người, nhưng rõ ràng nó có thể tiếp thu văn bản và có lẽ tìm ra càng nhiều những hình mẫu ý nghĩa. Liệu có khả năng nào, khi mở rộng phạm vi, sẽ có một hiệu ứng mất kiểm soát khác không?
ST: That's where I draw the line, honestly. And the chance exists -- I don't want to downplay it -- but I think it's remote, and it's not the thing that's on my mind these days, because I think the big revolution is something else. Everything successful in AI to the present date has been extremely specialized, and it's been thriving on a single idea, which is massive amounts of data. The reason AlphaGo works so well is because of massive numbers of Go plays, and AlphaGo can't drive a car or fly a plane. The Google self-driving car or the Udacity self-driving car thrives on massive amounts of data, and it can't do anything else. It can't even control a motorcycle. It's a very specific, domain-specific function, and the same is true for our cancer app. There has been almost no progress on this thing called "general AI," where you go to an AI and say, "Hey, invent for me special relativity or string theory." It's totally in the infancy.
ST: Thực ra tôi sẽ dừng lại ở đấy. Khả năng có tồn tại -- tôi không muốn xem nhẹ nó -- nhưng tôi nghĩ khó xảy ra, và hiện giờ tôi không quan tâm đến, vì tôi nghĩ cuộc cách mạng lớn là về một thứ khác. Mọi thành công trong AI cho đến thời điểm hiện tại mang tính chuyên môn rất cao, và nó phát triển dựa trên một ý tưởng duy nhất, chính là khối lượng dữ liệu khổng lồ. Lý do AlphaGo hiệu quả đến vậy là nhờ số lượng khổng lồ ván chơi Go, và AlphaGo không thể lái xe hay lái máy bay. Xe tự lái của Google hay của Udacity lớn mạnh nhờ khối lượng dữ liệu khổng lồ, còn chả làm được gì khác. Nó còn chả thể lái xe máy. Chức năng hết sức cụ thể và chuyên môn, tương tự với phần mềm về ung thư. Gần như chưa có tí tiến triển nào về “AI tổng hợp” cả, trường hợp chúng ta tiến đến bảo AI, “Hãy phát minh thuyết tương đối hẹp hay lý thuyết dây.” Mọi thứ vẫn đang ở giai đoạn sơ khai.
The reason I want to emphasize this, I see the concerns, and I want to acknowledge them. But if I were to think about one thing, I would ask myself the question, "What if we can take anything repetitive and make ourselves 100 times as efficient?" It so turns out, 300 years ago, we all worked in agriculture and did farming and did repetitive things. Today, 75 percent of us work in offices and do repetitive things. We've become spreadsheet monkeys. And not just low-end labor. We've become dermatologists doing repetitive things, lawyers doing repetitive things. I think we are at the brink of being able to take an AI, look over our shoulders, and they make us maybe 10 or 50 times as effective in these repetitive things. That's what is on my mind.
Tôi muốn nhấn mạnh điều này bởi vì tôi đã thấy các quan ngại, và tôi muốn công nhận chúng. Nhưng nếu tôi chỉ suy nghĩ về một việc, tôi sẽ tự hỏi bản thân, ”Sẽ ra sao nếu ta có thể lấy một thứ lặp đi lặp lại và giúp bản thân hiệu quả gấp trăm lần?” Hoá ra là 300 năm trước, chúng ta đều làm nông nghiệp, trồng trọt và làm việc lặp đi lặp lại. Ngày nay, 75 phần trăm chúng ta làm việc văn phòng và cũng làm việc lặp đi lặp lại. Ta đã trở thành những con khỉ trang tính. Và không chỉ mỗi lao động cấp thấp đâu. Các bác sĩ da liễu cũng làm việc lặp đi lặp lại, các luật sư cũng thế. Tôi nghĩ chúng ta đang ở bên bờ khả năng có thể sử dụng AI, nhìn qua vai mình, và chúng giúp ta làm việc lặp đi lặp lại hiệu quả gấp 10 hay gấp 50 lần. Tôi nghĩ như vậy.
CA: That sounds super exciting. The process of getting there seems a little terrifying to some people, because once a computer can do this repetitive thing much better than the dermatologist or than the driver, especially, is the thing that's talked about so much now, suddenly millions of jobs go, and, you know, the country's in revolution before we ever get to the more glorious aspects of what's possible.
CA: Nghe thật đáng mong đợi. Tiến trình đạt được như vậy có vẻ hơi đáng sợ với một số người bởi khi máy tính có thể làm việc lặp đi lặp lại này giỏi hơn cả bác sĩ da liễu hay đặc biệt là lái xe, việc này đang được thảo luận rất nhiều ở hiện tại, đột nhiên hàng triệu công việc biến mất, và cả nước nổi dậy trước khi ta đến được những khía cạnh khả thi rực rỡ hơn.
ST: Yeah, and that's an issue, and it's a big issue, and it was pointed out yesterday morning by several guest speakers. Now, prior to me showing up onstage, I confessed I'm a positive, optimistic person, so let me give you an optimistic pitch, which is, think of yourself back 300 years ago. Europe just survived 140 years of continuous war, none of you could read or write, there were no jobs that you hold today, like investment banker or software engineer or TV anchor. We would all be in the fields and farming. Now here comes little Sebastian with a little steam engine in his pocket, saying, "Hey guys, look at this. It's going to make you 100 times as strong, so you can do something else." And then back in the day, there was no real stage, but Chris and I hang out with the cows in the stable, and he says, "I'm really concerned about it, because I milk my cow every day, and what if the machine does this for me?"
ST: Đó đúng là một vấn đề, một vấn đề lớn được nhiều diễn giả khách mời chỉ ra vào sáng hôm qua. Trước khi phát biểu, tôi phải tự thú rằng tôi là người lạc quan, tích cực, nên hãy để tôi phát biểu một cách lạc quan, nghĩa là, hãy đặt mình vào thời điểm 300 năm trước, khi châu Âu mới sống sót qua 140 năm chiến tranh đằng đẵng, không ai biết đọc hay biết viết, không có bất cứ nghề nghiệp nào giống với ngày nay, như nhân viên ngân hàng đầu tư, kỹ sư phần mềm, hay người dẫn chương trình. Ta sẽ phải làm đồng cả ngày. Bỗng Sebastian bé nhỏ với động cơ hơi nước trong túi xuất hiện và bảo, “Mọi người xem này. Cái này sẽ khiến mọi người mạnh gấp trăm lần, để có thể làm việc khác.” Hồi đó chưa có sân khấu như bây giờ, nhưng Chris và tôi chuyện trò ở chuồng với mấy con bò, và anh bảo, “Tôi rất quan ngại, vì ngày nào tôi cũng vắt sữa bò, máy móc làm hộ tôi thì sẽ ra sao đây?”
The reason why I mention this is, we're always good in acknowledging past progress and the benefit of it, like our iPhones or our planes or electricity or medical supply. We all love to live to 80, which was impossible 300 years ago. But we kind of don't apply the same rules to the future. So if I look at my own job as a CEO, I would say 90 percent of my work is repetitive, I don't enjoy it, I spend about four hours per day on stupid, repetitive email. And I'm burning to have something that helps me get rid of this. Why? Because I believe all of us are insanely creative; I think the TED community more than anybody else. But even blue-collar workers; I think you can go to your hotel maid and have a drink with him or her, and an hour later, you find a creative idea. What this will empower is to turn this creativity into action. Like, what if you could build Google in a day? What if you could sit over beer and invent the next Snapchat, whatever it is, and tomorrow morning it's up and running?
Lý do tôi nhắc đến điều này là vì ta luôn biết cách công nhận thành tựu quá khứ cũng như lợi ích của nó, như với iPhone, máy bay, điện lực, hay thuốc men. Chúng ta đều thích sống đến 80 tuổi, điều mà 300 năm trước là bất khả thi. Nhưng chúng ta lại không áp dụng các quy tắc này vào tương lai. Nếu tôi xem xét công việc CEO của chính mình, tôi sẽ nói 90 phần trăm công việc của mình lặp đi lặp lại, tôi chả yêu thích điều đó. Tôi dành khoảng bốn tiếng mỗi ngày để trao đổi email ngu ngốc và trùng lặp. Và tôi khao khát có thứ gì đó giúp tôi thoát khỏi cảnh này. Tại sao ư? Vì tôi tin rằng tất cả chúng ta đều có sức sáng tạo vô biên, tôi nghĩ đặc biệt với cộng đồng TED. Ngay cả các nhân viên cổ cồn xanh; tôi nghĩ bạn có thể gặp người dọn phòng, mời họ một ly, sau một giờ đồng hồ, bạn sẽ tìm ra một ý tưởng sáng tạo. Máy móc tăng cường chúng ta thông qua việc biến ý tưởng thành hành động. Giả sử như, sẽ ra sao nếu bạn có thể xây dựng Google chỉ trong một ngày? Hay trong lúc ngồi uống bia, bạn phát minh ra phiên bản Snapchat mới, gì cũng được, và sáng hôm sau mọi thứ đã đi vào vận hành?
And that is not science fiction. What's going to happen is, we are already in history. We've unleashed this amazing creativity by de-slaving us from farming and later, of course, from factory work and have invented so many things. It's going to be even better, in my opinion. And there's going to be great side effects. One of the side effects will be that things like food and medical supply and education and shelter and transportation will all become much more affordable to all of us, not just the rich people.
Đó không phải khoa học viễn tưởng. Điều sẽ xảy ra là chúng ta đang viết nên lịch sử. Chúng ta đã giải phóng sức sáng tạo tuyệt vời này thông qua tự giải thoát khỏi việc làm nông và sau đó tất nhiên là việc làm trong nhà xưởng và đã phát minh ra thật nhiều thứ. Tôi cho rằng chuyện sẽ còn tuyệt vời thêm. Và sẽ có những hiệu ứng phụ to lớn. Một trong số chúng là việc những thứ như thực phẩm, thuốc men, giáo dục, nhà ở, và phương tiện sẽ vừa túi tiền tất cả chúng ta hơn, chứ không chỉ với người giàu.
CA: Hmm. So when Martin Ford argued, you know, that this time it's different because the intelligence that we've used in the past to find new ways to be will be matched at the same pace by computers taking over those things, what I hear you saying is that, not completely, because of human creativity. Do you think that that's fundamentally different from the kind of creativity that computers can do?
CA: Hừm. Vậy khi Martin Ford phản bác rằng, lần này có sự khác biệt vì trí tuệ chúng ta sử dụng trong quá khứ để tìm ra các cách thức làm việc mới sẽ bị các máy tính làm thay mọi việc theo kịp tốc độ, còn theo tôi hiểu, ý anh là sẽ không hoàn toàn như vậy, nhờ tính sáng tạo của con người. Anh có nghĩ tính sáng tạo của con người về cơ bản khác với tính sáng tạo của máy tính không?
ST: So, that's my firm belief as an AI person -- that I haven't seen any real progress on creativity and out-of-the-box thinking. What I see right now -- and this is really important for people to realize, because the word "artificial intelligence" is so threatening, and then we have Steve Spielberg tossing a movie in, where all of a sudden the computer is our overlord, but it's really a technology. It's a technology that helps us do repetitive things. And the progress has been entirely on the repetitive end. It's been in legal document discovery. It's been contract drafting. It's been screening X-rays of your chest. And these things are so specialized, I don't see the big threat of humanity. In fact, we as people -- I mean, let's face it: we've become superhuman. We've made us superhuman. We can swim across the Atlantic in 11 hours. We can take a device out of our pocket and shout all the way to Australia, and in real time, have that person shouting back to us. That's physically not possible. We're breaking the rules of physics. When this is said and done, we're going to remember everything we've ever said and seen, you'll remember every person, which is good for me in my early stages of Alzheimer's. Sorry, what was I saying? I forgot.
ST: Với tư cách người nghiên cứu AI, tôi vững tin rằng mình chưa từng thấy bất cứ tiến bộ nào trong sức sáng tạo và tư duy đột phá cả. Cái tôi đang thấy -- mọi người rất cần phải nhận ra điều này, vì cụm từ “trí tuệ nhân tạo” nghe thật đáng sợ, lại còn có cả một bộ phim của Steve Spielberg về viễn cảnh đột nhiên máy tính là bá chủ thiên hạ, nhưng thực ra chỉ là một công nghệ giúp chúng ta làm những việc lặp đi lặp lại. Mọi tiến bộ đều nhằm giải quyết sự lặp lại này. Từ việc xác định văn bản pháp luạt, soạn thảo hợp đồng, đến việc chụp X-quang lồng ngực. Tất cả đều có tính chuyên môn cao. Tôi không nhận thấy mối đe doạ lớn với loài người. Sự thật là, con người chúng ta -- hãy đối diện thực tế: ta đã trở thành siêu nhân. Ta đã tự biến mình thành siêu nhân. Chúng ta có thể bơi qua Đại Tây Dương trong 11 tiếng. Ta có thể lôi thiết bị từ trong túi và la lối đến tận Úc, và cùng lúc nghe tiếng la lối đáp lại từ bên kia. Điều này bất khả thi về mặt vật lý. Ta đang phá vỡ các nguyên tắc vật lý. Sau khi xong việc ta sẽ nhớ tất cả những gì mình đã nói ra và nhìn thấy, nhớ tất cả mọi người, rất có lợi với tôi ở giai đoạn đầu bệnh Alzheimer. Xin lỗi, tôi vừa nói gì ta? Quên rồi.
CA: (Laughs)
CA: (cười lớn)
ST: We will probably have an IQ of 1,000 or more. There will be no more spelling classes for our kids, because there's no spelling issue anymore. There's no math issue anymore. And I think what really will happen is that we can be super creative. And we are. We are creative. That's our secret weapon.
ST: Có khi chúng ta sẽ đạt IQ cỡ 1.000 hoặc hơn ấy chứ. Con trẻ sẽ không phải học lớp đánh vần nữa, vì làm gì còn lỗi chính tả. Cũng chả có vấn đề toán học. Tôi nghĩ chúng ta thực sự có thể trở nên siêu sáng tạo. Và đúng như vậy. Chúng ta sáng tạo mà. Đó là vũ khí bí mật của ta.
CA: So the jobs that are getting lost, in a way, even though it's going to be painful, humans are capable of more than those jobs. This is the dream. The dream is that humans can rise to just a new level of empowerment and discovery. That's the dream.
CA: Vậy những công việc đang biến mất, theo một cách nào đó, mặc dù sẽ thật xót xa, nhưng con người có thể làm tốt hơn nữa. Đây chính là giấc mơ. Giấc mơ con người có thể vươn tới một cấp độ năng lực và khám phá mới. Đó chính là giấc mơ. ST: Và hãy nghĩ xem:
ST: And think about this: if you look at the history of humanity, that might be whatever -- 60-100,000 years old, give or take -- almost everything that you cherish in terms of invention, of technology, of things we've built, has been invented in the last 150 years. If you toss in the book and the wheel, it's a little bit older. Or the axe. But your phone, your sneakers, these chairs, modern manufacturing, penicillin -- the things we cherish. Now, that to me means the next 150 years will find more things. In fact, the pace of invention has gone up, not gone down, in my opinion. I believe only one percent of interesting things have been invented yet. Right? We haven't cured cancer. We don't have flying cars -- yet. Hopefully, I'll change this. That used to be an example people laughed about. (Laughs) It's funny, isn't it? Working secretly on flying cars. We don't live twice as long yet. OK? We don't have this magic implant in our brain that gives us the information we want. And you might be appalled by it, but I promise you, once you have it, you'll love it. I hope you will. It's a bit scary, I know.
nếu ta xem xét lịch sử loài người, giai đoạn nào cũng được -- 60-100.000 năm tuổi, tầm tầm đó -- gần như mọi thứ ta trân trọng khi xét về mặt phát minh, công nghệ, những thứ ta đã xây dựng, đã được phát minh suốt 150 năm qua. Nếu tính cả sách vở và bánh xe, lại còn trước đó thêm ít nữa. Hay cả cái rìu. Ngoại trừ điện thoại, giày thể thao, những chiếc ghế này, sản xuất hiện đại, penicilin -- những thứ ta trân trọng. Với tôi, thế có nghĩa là trong 150 năm tới, chúng ta sẽ tìm ra nhiều thứ khác. Sự thật là, tôi nghĩ tốc độ phát minh đã tăng lên chứ không hề giảm đi. Tôi tin rằng mới chỉ có một phần trăm những thứ thú vị được phát minh. Nhỉ? Chúng ta vẫn chưa chữa được ung thư. Chúng ta vẫn chưa có xe bay. Mong là tôi sẽ thay đổi được điều này. Mọi người từng cười lớn khi tôi lấy ví dụ đó. (Cười lớn) Buồn cười nhỉ? Tôi nghiên cứu bí mật về xe bay. Tuổi thọ của ta chưa tăng gấp đôi. Phải không? Chúng ta vẫn chưa có cấy ghép ma thuật trong não bộ để đưa những thông tin ta muốn. Các bạn có thể thấy ghê, nhưng tôi hứa là khi dùng, các bạn sẽ yêu nó. Tôi mong là như vậy. Tôi biết là nghe hơi đáng sợ. Nhiều thứ chưa được phát minh, tôi nghĩ rồi sẽ có.
There are so many things we haven't invented yet that I think we'll invent. We have no gravity shields. We can't beam ourselves from one location to another. That sounds ridiculous, but about 200 years ago, experts were of the opinion that flight wouldn't exist, even 120 years ago, and if you moved faster than you could run, you would instantly die. So who says we are correct today that you can't beam a person from here to Mars?
Chưa có lá chắn lực hấp dẫn. Ta chưa thể phát bản thân giữa hai điểm. Nghe thật ngớ ngẩn, nhưng khoảng 200 năm trước, các chuyên gia đã nghĩ ta không thể bay được, thậm chí 120 năm trước, và rằng nếu ta di chuyển nhanh hơn tốc độ chạy, ta sẽ chết ngay. Vậy ai dám quả quyết mình không thể phát một người từ đây đến sao Hoả?
CA: Sebastian, thank you so much for your incredibly inspiring vision and your brilliance. Thank you, Sebastian Thrun. That was fantastic. (Applause)
CA: Sebastian, cảm ơn nhiều về tầm nhìn đầy cảm hứng và óc sáng suốt của anh. Cảm ơn anh về bài phỏng vấn tuyệt vời. (Tiếng vỗ tay)