Greg Gage: Mind-reading. You've seen this in sci-fi movies: machines that can read our thoughts. However, there are devices today that can read the electrical activity from our brains. We call this the EEG. Is there information contained in these brainwaves? And if so, could we train a computer to read our thoughts?
Грег Гейдж: Вы видели, как машины читают мысли в научно-фантастических фильмах. Однако уже сейчас есть устройства, позволяющие считывать электрическую активность мозга. Они называются ЭЭГ. Содержится ли в мозговых волнах какая-нибудь информация? И если да, возможно ли научить компьютер читать мысли?
My buddy Nathan has been working to hack the EEG to build a mind-reading machine.
Мой приятель Натан работает над расшифровкой ЭЭГ, чтобы создать машину для чтения мыслей.
[DIY Neuroscience]
[Нейронаука на дому]
So this is how the EEG works. Inside your head is a brain, and that brain is made out of billions of neurons. Each of those neurons sends an electrical message to each other. These small messages can combine to make an electrical wave that we can detect on a monitor. Now traditionally, the EEG can tell us large-scale things, for example if you're asleep or if you're alert. But can it tell us anything else? Can it actually read our thoughts? We're going to test this, and we're not going to start with some complex thoughts. We're going to do something very simple. Can we interpret what someone is seeing using only their brainwaves?
Вот как работает ЭЭГ. Ваш головной мозг состоит из миллиардов нейронов. Все эти нейроны обмениваются электрическими сообщениями. Объединяясь, маленькие сообщения создают электрическую волну, регистрируемую монитором. Обычно ЭЭГ используется для крупномасштабных явлений, вроде определения спит человек или нет. Но можно ли узнать что-либо ещё? Может ли ЭЭГ читать мысли? Сейчас мы это проверим и начнём с простых мыслей. Пойдём простым путём. Возможно ли понять, что видит человек только по его мозговым волнам?
Nathan's going to begin by placing electrodes on Christy's head.
Натан начнёт с подсоединения электродов к голове Кристи.
Nathan: My life is tangled.
Натан: Не жизнь, а путаница.
(Laughter)
(Смех)
GG: And then he's going to show her a bunch of pictures from four different categories.
ГГ: А потом он покажет ей кучу фотографий из четырёх различных категорий.
Nathan: Face, house, scenery and weird pictures.
Натан: Лицо, дом, пейзаж и странные картинки.
GG: As we show Christy hundreds of these images, we are also capturing the electrical waves onto Nathan's computer. We want to see if we can detect any visual information about the photos contained in the brainwaves, so when we're done, we're going to see if the EEG can tell us what kind of picture Christy is looking at, and if it does, each category should trigger a different brain signal.
ГГ: Показывая Кристи сотни фотографий, мы будем фиксировать электрические волны на компьютере Натана. Мы хотим выяснить, можно ли по мозговым волнам получить визуальную информацию о снимках, и по окончании эксперимента узнаем, можно ли по ЭЭГ понять, на какую категорию фотографий смотрит Кристи, и если можно, то каждая категория должна порождать разные сигналы мозга.
OK, so we collected all the raw EEG data, and this is what we got. It all looks pretty messy, so let's arrange them by picture. Now, still a bit too noisy to see any differences, but if we average the EEG across all image types by aligning them to when the image first appeared, we can remove this noise, and pretty soon, we can see some dominant patterns emerge for each category.
Итак, мы собрали все необработанные данные ЭЭГ, и вот что получилось. Пока ещё слишком запутанно, поэтому отсортируем графики по снимкам. Всё ещё слишком много шума, чтобы увидеть какие-либо различия, но если усреднить ЭЭГ по всем категориям фотографий, выровняв их по моменту первого появления снимка, то шум можно убрать, и вскоре в каждой категории станут заметны преобладающие шаблоны.
Now the signals all still look pretty similar. Let's take a closer look. About a hundred milliseconds after the image comes on, we see a positive bump in all four cases, and we call this the P100, and what we think that is is what happens in your brain when you recognize an object. But damn, look at that signal for the face. It looks different than the others. There's a negative dip about 170 milliseconds after the image comes on.
Сигналы всё-таки ещё выглядят очень схожими. Давайте присмотримся. Примерно через 100 мс после появления изображения во всех четырёх случаях заметен положительный подъём. Назовём его P100, и, видимо, это то, что происходит в мозге при узнавании предмета. Но, чёрт возьми, взгляните на сигнал для лиц. Он выглядит иначе, чем остальные. Примерно через 170 мс после появления изображения виден отрицательный спад.
What could be going on here? Research shows that our brain has a lot of neurons that are dedicated to recognizing human faces, so this N170 spike could be all those neurons firing at once in the same location, and we can detect that in the EEG.
Что здесь может происходить? Исследования показали, что наш мозг содержит большое количество нейронов для узнавания лица человека, так что, возможно, скачок N170 показывает одновременную активацию всех тех нейронов в одном и том же месте, что и отражает ЭЭГ.
So there are two takeaways here. One, our eyes can't really detect the differences in patterns without averaging out the noise, and two, even after removing the noise, our eyes can only pick up the signals associated with faces.
Отсюда можно сделать два вывода. Во-первых, человеческий глаз не может обнаружить различия в шаблонах без усреднения шума, и во-вторых, даже устранив шум, наши глаза могут выделить лишь сигналы, связанные с лицами.
So this is where we turn to machine learning. Now, our eyes are not very good at picking up patterns in noisy data, but machine learning algorithms are designed to do just that, so could we take a lot of pictures and a lot of data and feed it in and train a computer to be able to interpret what Christy is looking at in real time?
Настало время обратиться к машинному обучению. Наши глаза плохо приспособлены к узнаванию шаблонов в зашумлённых данных, но алгоритмы машинного обучения предназначены именно для этого, так что возможно ли на множестве данных в виде фотографий обучить компьютер способности понимать в реальном времени, что именно видит Кристи?
We're trying to code the information that's coming out of her EEG in real time and predict what it is that her eyes are looking at. And if it works, what we should see is every time that she gets a picture of scenery, it should say scenery, scenery, scenery, scenery. A face -- face, face, face, face, but it's not quite working that way, is what we're discovering.
Мы попытаемся закодировать информацию, получаемую от ЭЭГ в реальном времени, и предсказать, на что смотрит Кристи. Если это сработает, мы должны увидеть, что каждый раз, когда она видит пейзаж, компьютер должен неизменно определять пейзаж. А при виде лица — лицо, но мы увидим, что не всё так просто.
(Laughter)
(Смех)
OK.
ОК.
Director: So what's going on here? GG: We need a new career, I think.
Режиссёр: Так что здесь происходит? ГГ: Думаю, мне пора менять профессию.
(Laughter)
(Смех)
OK, so that was a massive failure. But we're still curious: How far could we push this technology? And we looked back at what we did. We noticed that the data was coming into our computer very quickly, without any timing of when the images came on, and that's the equivalent of reading a very long sentence without spaces between the words. It would be hard to read, but once we add the spaces, individual words appear and it becomes a lot more understandable.
ОК, это был грандиозный провал. Но всё-таки любопытно, что можно выжать из этой технологии? Мы пересмотрели проделанную работу и заметили, что данные поступали на наш компьютер очень быстро, без какого-либо уведомления о появлении изображения. Это как читать очень длинное предложение без пробелов между словами. Так читать трудно, но с добавлением пробелов появляются отдельные слова, и всё становится намного более понятным.
But what if we cheat a little bit? By using a sensor, we can tell the computer when the image first appears. That way, the brainwave stops being a continuous stream of information, and instead becomes individual packets of meaning. Also, we're going to cheat a little bit more, by limiting the categories to two. Let's see if we can do some real-time mind-reading.
Так что, если немного сжульничать? Датчик может сообщить компьютеру, когда изображение появится впервые. Так мозговая волна перестанет быть непрерывным потоком информации и вместо этого станет набором осмысленных кусочков. Помимо этого, мы ещё больше сжульничаем, ограничившись двумя категориями. Посмотрим, можно ли читать мысли в реальном времени.
In this new experiment, we're going to constrict it a little bit more so that we know the onset of the image and we're going to limit the categories to "face" or "scenery."
В новом эксперименте мы введём дополнительное ограничение — знание времени появления изображения — и ограничимся категориями «лицо» и «пейзаж».
Nathan: Face. Correct. Scenery. Correct.
Натан: Лицо. Правильно. Пейзаж. Правильно.
GG: So right now, every time the image comes on, we're taking a picture of the onset of the image and decoding the EEG. It's getting correct.
ГГ: Сейчас, каждый раз при появлении изображения, мы фиксируем момент его появления и расшифровываем ЭЭГ. И получаем правильный ответ.
Nathan: Yes. Face. Correct.
Натан: Да. Лицо. Правильно.
GG: So there is information in the EEG signal, which is cool. We just had to align it to the onset of the image.
ГГ: Значит, в сигнале ЭЭГ есть информация, и это круто. Просто нужно было выровнять его по началу изображения.
Nathan: Scenery. Correct. Face. Yeah.
Натан: Пейзаж. Правильно. Лицо. Да.
GG: This means there is some information there, so if we know at what time the picture came on, we can tell what type of picture it was, possibly, at least on average, by looking at these evoked potentials.
ГГ: Это значит, что волны мозга несут информацию, и, если известно время появления изображения, можно по этим, пусть и усреднённым, электрическим сигналам определить категорию фотографии.
Nathan: Exactly.
Натан: Верно.
GG: If you had told me at the beginning of this project this was possible, I would have said no way. I literally did not think we could do this.
ГГ: Если бы мне сказали в начале этого проекта, что такое возможно, я бы ни за что не поверил. Я был убеждён, что нам такое не под силу.
Did our mind-reading experiment really work? Yes, but we had to do a lot of cheating. It turns out you can find some interesting things in the EEG, for example if you're looking at someone's face, but it does have a lot of limitations. Perhaps advances in machine learning will make huge strides, and one day we will be able to decode what's going on in our thoughts. But for now, the next time a company says that they can harness your brainwaves to be able to control devices, it is your right, it is your duty to be skeptical.
Значит, эксперимент по чтению мыслей удался? Да, но нам пришлось много жульничать. Оказалось, в ЭЭГ можно найти нечто интересное, например, смотрите ли вы на чьё-то лицо или нет, но есть ещё много ограничений. Возможно, машинное обучение будет развиваться семимильными шагами, и когда-нибудь удастся расшифровать, что происходит в наших мыслях. Но пока что, услышав утверждение, что ваши мозговые волны способны управлять какими-то устройствами, вы вправе, и даже обязаны, отнесись к этому скептически.