Greg Gage: Mind-reading. You've seen this in sci-fi movies: machines that can read our thoughts. However, there are devices today that can read the electrical activity from our brains. We call this the EEG. Is there information contained in these brainwaves? And if so, could we train a computer to read our thoughts?
그렉 게이지: 마음 읽기. 공상과학 영화에 등장하는 생각을 읽을 수 있는 기계를 본적이 있을 겁니다. 하지만 오늘날 우리에게는 뇌파 활동을 읽을 수 있는 기계들이 있는데, 그건 바로 EEG입니다. 이 뇌파에는 정보가 포함되어 있을까요? 그러면 컴퓨터를 훈련시켜 생각을 읽게 할 수 있을까요?
My buddy Nathan has been working to hack the EEG to build a mind-reading machine.
제 친구 네이던은 EEG를 분석하는 일을 하고 있어요. 마음을 읽는 기계를 만들기 위해서죠.
[DIY Neuroscience]
[DIY 신경과학]
So this is how the EEG works. Inside your head is a brain, and that brain is made out of billions of neurons. Each of those neurons sends an electrical message to each other. These small messages can combine to make an electrical wave that we can detect on a monitor. Now traditionally, the EEG can tell us large-scale things, for example if you're asleep or if you're alert. But can it tell us anything else? Can it actually read our thoughts? We're going to test this, and we're not going to start with some complex thoughts. We're going to do something very simple. Can we interpret what someone is seeing using only their brainwaves?
EEG는 이렇게 작동합니다. 여러분 머리에는 뇌가 있고, 그 뇌는 몇 십억 개의 신경으로 이루어져 있습니다. 각각의 이 신경들은 서로에게 전기적 메세지를 전달합니다. 이런 작은 메세지들이 합쳐져 전파를 만들고 우리는 그것을 모니터로 확인할 수 있습니다. 전통적으로 EEG는 광범위한 정보를 제공합니다. 예를 들어 수면 중 혹은 깨어있는 경우입니다. 하지만 다른 정보도 제공할까요? 실제로 우리 생각을 읽을 수 있을까요? 저희는 이걸 실험하는데 복잡한 생각으로 시작하지는 않을 것 입니다. 매우 단순한 걸 시도해보죠. 뇌파만 가지고 보고 있는 대상이 무엇인지 해석할 수 있을까요?
Nathan's going to begin by placing electrodes on Christy's head.
네이던은 크리스티의 머리에 전극을 부착합니다.
Nathan: My life is tangled.
네이던: 내 인생이 꼬였어.
(Laughter)
(웃음)
GG: And then he's going to show her a bunch of pictures from four different categories.
GG: 그는 그녀에게 네 가지 다른 범주의 사진들을 보여줍니다.
Nathan: Face, house, scenery and weird pictures.
네이던: 얼굴, 집, 풍경, 그리고 이상한 사진들이에요.
GG: As we show Christy hundreds of these images, we are also capturing the electrical waves onto Nathan's computer. We want to see if we can detect any visual information about the photos contained in the brainwaves, so when we're done, we're going to see if the EEG can tell us what kind of picture Christy is looking at, and if it does, each category should trigger a different brain signal.
GG: 크리스티에게 몇백 개의 이미지를 보여주면서 우리는 또한 전파를 캡처하여 네이던의 컴퓨터에 저장합니다. 우리는 뇌파에 포함된 사진에 대한 모든 시각정보를 감지할 수 있는지 알아보려고 하는 겁니다. 작업이 끝나면, 크리스티가 보고 있는 사진의 종류를 EGG가 맞출 수 있는지를 알아볼 겁니다. 성공한다면 각 카테고리는 다른 뇌 신호를 촉발시킬 것 입니다.
OK, so we collected all the raw EEG data, and this is what we got. It all looks pretty messy, so let's arrange them by picture. Now, still a bit too noisy to see any differences, but if we average the EEG across all image types by aligning them to when the image first appeared, we can remove this noise, and pretty soon, we can see some dominant patterns emerge for each category.
저희가 수집한 EEG 미가공 데이터는 바로 이런 데이터예요. 너무 지저분해 보이니까, 사진별로 정리를 해봅시다. 여전히 너무 어지러워서 차이점을 파악할 수 없네요. 하지만 이미지가 처음 나타난 시점에 따라 정리함으로써 모든 이미지 종류에 걸쳐 EEG의 평균을 낸다면 이러한 잡음을 없앨 수 있고, 그리고 곧 우리는 각 종류별로 지배적인 패턴이 나타나는 것을 볼 수 있습니다.
Now the signals all still look pretty similar. Let's take a closer look. About a hundred milliseconds after the image comes on, we see a positive bump in all four cases, and we call this the P100, and what we think that is is what happens in your brain when you recognize an object. But damn, look at that signal for the face. It looks different than the others. There's a negative dip about 170 milliseconds after the image comes on.
이제 신호들이 모두 꽤 비슷해보이죠. 좀 더 자세히 봅시다. 이미지 출현 후 백 밀리초 정도에 네 가지 경우 모두에서 긍정적인 상승이 보입니다. 그것은 P100이라고 불립니다. 그게 바로 우리가 대상을 인식할 때 뇌에서 일어나는 일이라 볼 수 있죠. 근데 이런, 얼굴을 볼 때 신호를 보세요. 다른 것들과는 다르게 보입니다. 이미지가 나타난 뒤 170밀리초 쯤 아래로 하강하는 부분이 있습니다.
What could be going on here? Research shows that our brain has a lot of neurons that are dedicated to recognizing human faces, so this N170 spike could be all those neurons firing at once in the same location, and we can detect that in the EEG.
여기서 무슨 일이 일어나는 걸까요? 연구에 따르면 우리 뇌는 인간의 얼굴을 인식하는데 필요한 많은 뉴런을 가지고 있죠. 이 N170 스파이크는 모든 뉴런들이 같은 장소에서 동시에 발사되는 것일 수 있습니다. 우리는 그걸 EEG에서 감지할 수 있죠.
So there are two takeaways here. One, our eyes can't really detect the differences in patterns without averaging out the noise, and two, even after removing the noise, our eyes can only pick up the signals associated with faces.
여기 두 가지 시사점이 있습니다. 하나는 우리의 눈이 잡음의 평균을 내지 않고는 패턴에서 차이점을 감지하기 정말 어렵다는 것이고 두 번째로는, 잡음을 제거한 후에도 우리 눈은 얼굴과 관련된 신호만을 추출할 수 있다는 겁니다.
So this is where we turn to machine learning. Now, our eyes are not very good at picking up patterns in noisy data, but machine learning algorithms are designed to do just that, so could we take a lot of pictures and a lot of data and feed it in and train a computer to be able to interpret what Christy is looking at in real time?
이것이 우리가 기계학습에 관심을 갖는 이유죠. 우리의 눈은 잡음이 섞인 데이터에서 패턴을 뽑아내지 못합니다. 하지만 기계학습 알고리즘은 그것이 가능하도록 설계되어 있고 따라서 우리가 많은 이미지와 데이터를 기계에 입력하여 컴퓨터를 훈련시켜서 크리스티가 지금 무엇을 보고 있는지 해석할 수 있게 하는게 가능하겠죠?
We're trying to code the information that's coming out of her EEG in real time and predict what it is that her eyes are looking at. And if it works, what we should see is every time that she gets a picture of scenery, it should say scenery, scenery, scenery, scenery. A face -- face, face, face, face, but it's not quite working that way, is what we're discovering.
우리는 그녀의 EEG에서 나오는 정보를 동시에 코드화하고 그녀의 눈이 보고 있는 게 무엇인지 예측하려 합니다. 성공한다면, 우리가 봐야 하는 것은 그녀가 풍경 이미지를 볼 때마다 풍경, 풍경, 풍경이라고 말해야 하는 것이죠. 얼굴이면-- 얼굴, 얼굴, 얼굴, 얼굴 하지만 그렇게 되지 않는다는 것이 밝혀졌네요.
(Laughter)
(웃음)
OK.
좋아요.
Director: So what's going on here? GG: We need a new career, I think.
감독: 무슨 일이죠? GG: 직업을 바꿔야할 것 같아요.
(Laughter)
(웃음)
OK, so that was a massive failure. But we're still curious: How far could we push this technology? And we looked back at what we did. We noticed that the data was coming into our computer very quickly, without any timing of when the images came on, and that's the equivalent of reading a very long sentence without spaces between the words. It would be hard to read, but once we add the spaces, individual words appear and it becomes a lot more understandable.
그건 완전한 실패였지만 저희는 여전히 궁금합니다. 이 기술을 얼마나 밀고 나갈 수 있을까요? 저희는 결과물을 다시 보았습니다. 데이터가 굉장히 빨리 컴퓨터에 들어오고 있다는 것을 알아냈죠. 이미지가 언제 입력되었는지 모를 정도로요. 그것은 매우 긴 문장을 단어 사이에 공백 없이 읽는 것과 같습니다. 읽기 어렵겠죠. 하지만 공백을 넣으면, 각 단어들이 보이고 훨씬 더 이해하기 편해집니다.
But what if we cheat a little bit? By using a sensor, we can tell the computer when the image first appears. That way, the brainwave stops being a continuous stream of information, and instead becomes individual packets of meaning. Also, we're going to cheat a little bit more, by limiting the categories to two. Let's see if we can do some real-time mind-reading.
하지만 약간 속임수를 쓰면 어떨까요? 센서를 이용해 이미지가 처음 나타나는 지점을 컴퓨터에게 알려줄 수 있습니다. 그렇게 뇌파는 지속적으로 나열된 정보가 아니라 개별 의미 단위가 되는 것이죠. 또한 속임수를 약간만 더 써볼 수 있습니다. 카테고리를 두개로 제한하는 것이죠. 실시간으로 생각을 읽어낼 수 있는지 봅시다.
In this new experiment, we're going to constrict it a little bit more so that we know the onset of the image and we're going to limit the categories to "face" or "scenery."
이 새로운 실험에서 환경을 조금만 제한하면, 이미지의 시작을 파악할 수 있습니다. 저희는 카테고리를 "얼굴"이나 "풍경"으로 제한할 것 입니다.
Nathan: Face. Correct. Scenery. Correct.
네이던: 얼굴. 정답입니다. 풍경. 정답입니다.
GG: So right now, every time the image comes on, we're taking a picture of the onset of the image and decoding the EEG. It's getting correct.
GG: 이제, 이미지가 나타날 때마다 이미지의 시작점을 찍고 EEG를 해독하겠습니다. 정답을 맞추고 있어요.
Nathan: Yes. Face. Correct.
네이던: 네. 얼굴. 정답입니다.
GG: So there is information in the EEG signal, which is cool. We just had to align it to the onset of the image.
GG: EEG 신호에 정보가 있어요. 멋지네요. 우리는 그것을 이미지의 시작점에 배열해야 했습니다.
Nathan: Scenery. Correct. Face. Yeah.
네이던: 풍경. 정답입니다. 얼굴. 정답이죠.
GG: This means there is some information there, so if we know at what time the picture came on, we can tell what type of picture it was, possibly, at least on average, by looking at these evoked potentials.
GG: 이것은 약간의 정보가 있어서 이미지가 시작된 지점을 알면 그것이 어떤 종류의 이미지인지 구별할 수 있다는 것을 의미합니다. 이러한 유발전위를 봄으로써 적어도 평균적으로는 가능하다는 것이죠.
Nathan: Exactly.
네이던: 정확합니다.
GG: If you had told me at the beginning of this project this was possible, I would have said no way. I literally did not think we could do this.
GG: 만약 프로젝트 초반에 이게 가능다고 말했다면 저는 절대 불가능이라 했을거예요. 이게 가능하다는건 생각도 못했어요.
Did our mind-reading experiment really work? Yes, but we had to do a lot of cheating. It turns out you can find some interesting things in the EEG, for example if you're looking at someone's face, but it does have a lot of limitations. Perhaps advances in machine learning will make huge strides, and one day we will be able to decode what's going on in our thoughts. But for now, the next time a company says that they can harness your brainwaves to be able to control devices, it is your right, it is your duty to be skeptical.
과연 우리의 마음을 읽는 실험이 실제로 효과가 있었을까요? 네, 하지만 많은 속임수 덕분이죠. EEG에서 몇 가지 흥미로운 사실을 찾을 수 있어요. 예를 들어 만약 우리가 한 사람의 얼굴을 본다면 거기엔 너무 많은 한계점이 있습니다. 아마 기계 학습에 큰 발전이 있어야 언젠가 우리의 생각을 해석할 수 있을 것 입니다. 하지만 현재로써는, 어떤 회사가 여러분의 뇌파를 활용해서 장치들을 통제할 수도 있다고 하면, 회의적인 태도는 갖는 건 여러분의 권리이자 의무입니다.