People are funny. We're constantly trying to understand and interpret the world around us. I live in a house with two black cats, and let me tell you, every time I see a black, bunched up sweater out of the corner of my eye, I think it's a cat.
Les gens sont drôles. Nous cherchons constamment à comprendre et interpréter le monde qui nous entoure. Je vis dans une maison avec deux chats noirs, et j’avoue que chaque fois que j’aperçois un pull noir enroulé quelque part, je pense que c'est un chat.
It's not just the things we see. Sometimes we attribute more intelligence than might actually be there. Maybe you've seen the dogs on TikTok. They have these little buttons that say things like "walk" or "treat." They can push them to communicate some things with their owners, and their owners think they use them to communicate some pretty impressive things. But do the dogs know what they're saying?
Les apparences sont trompeuses. Parfois, nous attribuons plus d’intelligence qu’il n’y en a réellement. Les chiens sur TikTok, par exemple. On a inscrit sur des petits boutons : « marche » ou « friandise ». Les chiens les poussent pour communiquer avec leur maître. Ceux-ci pensent que leur chien les utilise pour communiquer des choses impressionnantes. Mais les chiens savent-ils ce qu’ils disent ?
Or perhaps you've heard the story of Clever Hans the horse, and he could do math. And not just like, simple math problems, really complicated ones, like, if the eighth day of the month falls on a Tuesday, what's the date of the following Friday? It's like, pretty impressive for a horse. Unfortunately, Hans wasn't doing math, but what he was doing was equally impressive. Hans had learned to watch the people in the room to tell when he should tap his hoof. So he communicated his answers by tapping his hoof. It turns out that if you know the answer to "if the eighth day of the month falls on a Tuesday, what's the date of the following Friday," you will subconsciously change your posture once the horse has given the correct 18 taps. So Hans couldn't do math, but he had learned to watch the people in the room who could do math, which, I mean, still pretty impressive for a horse. But this is an old picture, and we would not fall for Clever Hans today. Or would we?
Ou peut-être connaissez-vous l’histoire de Clever Hans, le cheval, qui savait calculer. Pas seulement des problèmes simples, mais aussi des choses compliquées, par exemple, si le huitième jour du mois tombe un mardi, quelle est la date du vendredi suivant ? C’est impressionnant pour un cheval. Hélas, Hans ne faisait pas des mathématiques, mais ce qu'il faisait était tout aussi impressionnant. Hans avait appris à observer les personnes présentes pour savoir quand il devait taper avec son sabot. Il communiquait ses réponses en tapant sur son sabot. En fait, si vous connaissiez la réponse à : « si le huitième jour du mois tombe un mardi, quelle est la date du vendredi suivant ? », vous changerez inconsciemment de posture une fois que le cheval avait tapé 18 fois. Hans ne savait donc pas faire des calculs, mais il avait appris à observer les personnes qui savaient calculer. Et ça, c’est quand-même impressionnant pour un cheval. C’est une vieille photo, et nous ne nous laisserions plus avoir par Clever Hans de nos jours. Quoi que...
Well, I work in AI, and let me tell you, things are wild. There have been multiple examples of people being completely convinced that AI understands them. In 2022, a Google engineer thought that Google’s AI was sentient. And you may have had a really human-like conversation with something like ChatGPT. But models we're training today are so much better than the models we had even five years ago. It really is remarkable.
Je travaille dans le domaine de l’IA, et sincèrement, c’est hallucinant. Il existe de nombreux exemples où les personnes sont totalement convaincues que l'IA les comprend. En 2022, un ingénieur de Google pensait que l’IA de Google ressentait les émotions. Vous avez peut-être eu une conversation vraiment humaine avec ChatGPT ou une IA similaire. Mais les systèmes d’aujourd’hui sont bien meilleurs que ceux que nous avions il y a cinq ans. C'est vraiment remarquable.
So at this super crazy moment in time, let’s ask the super crazy question: Does AI understand us, or are we having our own Clever Hans moment?
Alors, à cette époque absolument hallucinante, posons-nous la question la plus folle : L’IA nous comprend-elle, ou sommes-nous en train de revisiter Clever Hans ?
Some philosophers think that computers will never understand language. To illustrate this, they developed something they call the Chinese room argument. In the Chinese room, there is a person, hypothetical person, who does not understand Chinese, but he has along with him a set of instructions that tell him how to respond in Chinese to any Chinese sentence. Here's how the Chinese room works. A piece of paper comes in through a slot in the door, has something written in Chinese on it. The person uses their instructions to figure out how to respond. They write the response down on a piece of paper and then send it back out through the door. To somebody who speaks Chinese, standing outside this room, it might seem like the person inside the room speaks Chinese. But we know they do not, because no knowledge of Chinese is required to follow the instructions. Performance on this task does not show that you know Chinese.
Selon certains philosophes, les ordinateurs ne comprendront jamais le langage. Pour illustrer ça, ils ont développé ce qu’ils ont appelé : « la chambre chinoise. » Dans la chambre chinoise, il y une personne hypothétique, qui ne comprend pas le chinois, mais qui dispose d’un ensemble d’instructions qui lui indiquent comment répondre en chinois à n’importe quelle phrase en chinois. Voici comment ça fonctionne. On insère une feuille de papier par une fente, et il y a quelque chose d’écrit dessus, en chinois. La personne utilise ses instructions pour produire sa réponse. Il écrit la réponse sur une feuille et il rend sa réponse de l’autre côté de la porte. Pour un sinophone à l’extérieur de cette chambre, il semble que la personne à l’intérieur de la pièce parle chinois. Or nous savons que ce n’est pas le cas, car aucune connaissance du chinois n’est requise pour suivre les règles. Les résultats ne sont pas significatifs de notre connaissance du chinois.
So what does that tell us about AI? Well, when you and I stand outside of the room, when we speak to one of these AIs like ChatGPT, we are the person standing outside the room. We're feeding in English sentences, we're getting English sentences back. It really looks like the models understand us. It really looks like they know English. But under the hood, these models are just following a set of instructions, albeit complex. How do we know if AI understands us?
Qu’est-ce que cela nous dit sur l’IA ? Eh bien, lorsque vous et moi sommes à l’extérieur de la chambre, lorsque nous parlons à l’une de ces IA comme ChatGPT, nous sommes la personne à l’extérieur. Nous alimentons en phrases en anglais, nous recevons des phrases en anglais. On dirait vraiment que les systèmes nous comprennent/ On dirait vraiment qu’ils connaissent l’anglais. Mais sous le capot, ces modèles ne suivent finalement qu’un ensemble de règles, quoique complexes. Comment savoir si l'IA nous comprend ?
To answer that question, let's go back to the Chinese room again. Let's say we have two Chinese rooms. In one Chinese room is somebody who actually speaks Chinese, and in the other room is our impostor. When the person who actually speaks Chinese gets a piece of paper that says something in Chinese in it, they can read it, no problem. But when our imposter gets it again, he has to use his set of instructions to figure out how to respond. From the outside, it might be impossible to distinguish these two rooms, but we know inside something really different is happening. To illustrate that, let's say inside the minds of our two people, inside of our two rooms, is a little scratch pad. And everything they have to remember in order to do this task has to be written on that little scratch pad. If we could see what was written on that scratch pad, we would be able to tell how different their approach to the task is. So though the input and the output of these two rooms might be exactly the same, the process of getting from input to output -- completely different.
Pour répondre à cette question, revenons à la chambre chinoise. Imaginons avoir deux chambres chinoises. Dans une pièce chinoise se trouve quelqu'un qui parle réellement chinois, et dans l’autre pièce, se trouve notre imposteur. Lorsque la personne sinophone reçoit une feuille sur laquelle est écrit quelque chose en chinois, elle peut le lire, on est cool. Mais quand c’est notre imposteur il doit utiliser ses instructions pour produire sa réponse. De l’extérieur, il est certes impossible de distinguer ces deux chambres, mais nous savons qu’il s’y passe quelque chose de totalement différent. Pour illustrer cela, imaginons que dans l’esprit de nos deux personnes, à l’intérieur de nos deux chambres, se trouve un bloc-notes sur lequel se trouve tout ce dont ils ont besoin pour accomplir cette tâche. Si nous pouvions voir ce qui était écrit sur ce bloc-notes, nous pourrions constater à quel point leur approche est différente. Même si les entrants et les sortants es deux chambres sont identiques, le processus pour passer de l'entrée à la sortie est complètement différent.
So again, what does that tell us about AI? Again, if AI, even if it generates completely plausible dialogue, answers questions just like we would expect, it may still be an imposter of sorts. If we want to know if AI understands language like we do, we need to know what it's doing. We need to get inside to see what it's doing. Is it an imposter or not? We need to see its scratch pad, and we need to be able to compare it to the scratch pad of somebody who actually understands language. But like scratch pads in brains, that's not something we can actually see, right?
À nouveau, qu’est-ce que ça nous dit sur l’IA ? Encore une fois, si l’IA, même en générant un dialogue tout à fait plausible, en répondant aux questions selon nos attentes, elle peut tout de même être un imposteur. Si nous voulons savoir si l'IA comprend le langage comme nous, nous devons savoir ce qu'elle fait. Nous devons entrer dans la chambre. Est-ce un imposteur, ou pas ? Nous avons besoin de voir son bloc-notes et de le comparer au bloc-notes de celui qui comprend réellement la langue. Mais comme des blocs-notes dans le cerveau, on n’y a pas accès.
Well, it turns out that we can kind of see scratch pads in brains. Using something like fMRI or EEG, we can take what are like little snapshots of the brain while it’s reading. So have people read words or stories and then take pictures of their brain. And those brain images are like fuzzy, out-of-focus pictures of the scratch pad of the brain. They tell us a little bit about how the brain is processing and representing information while you read.
Eh bien, il s’avère que nous pouvons accéder aux blocs-notes du cerveau. Avec des équipements comme l’IRMf ou l’EEG, nous pouvons prendre une sorte de photos du cerveau pendant qu’il lit. On demande à des gens de lire des mots ou des histoires et on prend des photos de leur cerveau. Et ces images cérébrales sont comme des images floues du bloc-notes de notre cerveau. Elles nous en disent un peu plus sur la façon dont le cerveau traite et représente l’information pendant qu’on la lit.
So here are three brain images taken while a person read the word "apartment," "house" and "celery." You can see just with your naked eye that the brain image for "apartment" and "house" are more similar to each other than they are to the brain image for "celery." And you know, of course that apartments and houses are more similar than they are to celery, just the words. So said another way, the brain uses its scratchpad when reading the words "apartment" and "house" in a way that's more similar than when you read the word "celery." The scratch pad tells us a little bit about how the brain represents the language. It's not a perfect picture of what the brain's doing, but it's good enough.
Voici trois images cérébrales prises pendant la lecture des mots : « appartement », « maison » et « céleri ». On peut observer à l’œil nu que les images pour « appartement » et « maison » se ressemblent davantage qu’elles ne sont similaires à « céleri ». Nous savons tous qu’un appartement et une maison sont plus proches qu’ils ne le sont du céleri. Autrement dit, le cerveau utilise son propre bloc-notes pour lire les mots « appartement » et « maison » d’une manière plus similaire que dans la lecture de « céleri ». Le bloc-notes nous en dit un peu plus sur notre représentation mentale de la langue. Ce n’est pas une image parfaite de ce que fait le cerveau, mais c’est suffisant. Nous avons donc des blocs-notes pour le cerveau.
OK, so we have scratch pads for the brain. Now we need a scratch pad for AI. So inside a lot of AIs is a neural network. And inside of a neural network is a bunch of these little neurons. So here the neurons are like these little gray circles. And we would like to know what is the scratch pad of a neural network? Well, when we feed in a word into a neural network, each of the little neurons computes a number. Those little numbers I'm representing here with colors. So every neuron computes this little number, and those numbers tell us something about how the neural network is processing language. Taken together, all of those little circles paint us a picture of how the neural network is representing language, and they give us the scratch pad of the neural network.
Nous avons maintenant besoin d’un bloc-notes pour l’IA. On trouve un réseau neuronal dans de nombreuses IA. Et à l’intérieur de ce réseau neuronal, on a un tas de petits neurones. Ici, les neurones sont représentés par les cercles gris. Et nous souhaitons savoir quel est le bloc-notes du réseau neuronal. Eh bien, lorsque nous encodons un mot dans un réseau neuronal, chacun des petits neurones calcule un nombre. Ce sont les petits chiffres représentés avec des couleurs. Chaque neurone calcule donc ce petit nombre, et ces nombres nous renseignent sur la façon dont le réseau neuronal traite le langage. Pris ensemble, tous ces petits cercles nous brossent un tableau comment le réseau neuronal représente le langage et nous donnent le bloc-notes du réseau neuronal.
OK, great. Now we have two scratch pads, one from the brain and one from AI. And we want to know: Is AI doing something like what the brain is doing? How can we test that?
OK, super. Nous avons deux blocs-notes, celui du cerveau et celui de l’IA. Et nous voulons savoir si l’IA fait quelque chose d’identique au cerveau. Comment tester cela ?
Here's what researchers have come up with. We're going to train a new model. That new model is going to look at neural network scratch pad for a particular word and try to predict the brain scratch pad for the same word. We can do it, by the way, around two. So let's train a new model. It’s going to look at the neural network scratch pad for a particular word and try to predict the brain scratchpad. If the brain and AI are doing nothing alike, have nothing in common, we won't be able to do this prediction task. It won't be possible to predict one from the other.
Voici le protocole des chercheurs : Nous allons entraîner un nouveau modèle, qui va ensuite examiner le bloc-notes du réseau neuronal pour un mot en particulier, et essayer de prédire le bloc-notes du cerveau pour le même mot. On peut le faire, d’ailleurs, autour de deux. Donc, on entraîne notre nouveau modèle. Il va observer le bloc-notes du réseau neuronal pour un mot précis et tenter de prédire celui du cerveau. Si le cerveau et l’IA n’ont rien en commun, cette prédiction ne sera pas possible. Il ne sera pas possible de prédire l’un au départ de l’autre.
So we've reached a fork in the road and you can probably tell I'm about to tell you one of two things. I’m going to tell you AI is amazing, or I'm going to tell you AI is an imposter. Researchers like me love to remind you that AI is nothing like the brain. And that is true. But could it also be the AI and the brain share something in common?
Nous sommes donc à un carrefour. Vous devinez sans doute que je vais vous dire l’une des deux choses suivantes. Soit, je vous dis que l’IA est incroyable, soit je vous dis que l’IA est un imposteur. Les chercheurs comme moi adorent rappeler que l'IA n'a rien à voir avec le cerveau. Et c'est vrai. Mais se pourrait-il que l’IA et le cerveau aient néanmoins quelque chose en commun ?
So we’ve done this scratch pad prediction task, and it turns out, 75 percent of the time the predicted neural network scratchpad for a particular word is more similar to the true neural network scratchpad for that word than it is to the neural network scratch pad for some other randomly chosen word -- 75 percent is much better than chance. What about for more complicated things, not just words, but sentences, even stories? Again, this scratch pad prediction task works. We’re able to predict the neural network scratch pad from the brain and vice versa. Amazing. So does that mean that neural networks and AI understand language just like we do? Well, truthfully, no. Though these scratch pad prediction tasks show above-chance accuracy, the underlying correlations are still pretty weak. And though neural networks are inspired by the brain, they don't have the same kind of structure and complexity that we see in the brain. Neural networks also don't exist in the world. A neural network has never opened a door or seen a sunset, heard a baby cry. Can a neural network that doesn't actually exist in the world, hasn't really experienced the world, really understand language about the world?
On a fait tourner notre test de prédiction et il s'avère que 75 % du temps, le bloc-notes du réseau neuronal prédit pour un mot précis ressemble davantage au bloc-notes du [cerveau] pour ce mot qu’au bloc-notes du réseau de neuronal pour un autre mot choisi au hasard. 75 %, c'est bien mieux que le hasard. Qu’en est-il des choses plus compliquées que des mots : des phrases ou des histoires ? Encore une fois, notre test de prédiction fonctionne. Nous pouvons prédire le bloc-notes du réseau neuronal à partir du cerveau, et vice versa. C’est incroyable. Cela signifie-t-il que les réseaux de neuronaux et l’IA comprennent le langage comme nous ? Eh bien, à vrai dire, non. Bien que ces prédictions soient d’une précision supérieure au hasard, les corrélations sous-jacentes restent assez faibles. Certes, les réseaux neuronaux sont inspirés par le cerveau, mais ils n’ont pas la même structure et complexité que le cerveau. Les réseaux neuronaux n’existent pas non plus dans le monde. Un réseau neuronal n’a jamais ouvert de porte, admiré un coucher de soleil, entendu un bébé pleurer. Un réseau de neurones qui n’a pas de vie dans le monde, n’en a pas fait son expérience. peut-il vraiment comprendre le langage du monde ?
Still, these scratch pad prediction experiments have held up -- multiple brain imaging experiments, multiple neural networks. We've also found that as the neural networks get more accurate, they also start to use their scratch pad in a way that becomes more brain-like. And it's not just language. We've seen similar results in navigation and vision.
Pourtant, ces expériences de prédiction ont résisté à de multiples expériences d’imagerie cérébrale, de multiples réseaux neuronaux. De plus, à mesure que les réseaux neuronaux deviennent plus précis, ils utilisent leur bloc-notes d’une manière qui se rapproche de celle du cerveau. Il n’y pas que le langage. Nous constatons des résultats similaires en termes de navigation et de vision.
So AI is not doing exactly what the brain is doing, but it's not completely random either. So from where I sit, if we want to know if AI really understands language like we do, we need to get inside of the Chinese room. We need to know what the AI is doing, and we need to be able to compare that to what people are doing when they understand language.
L'IA ne fait donc pas exactement ce que fait le cerveau, mais ce n’est pas non plus complètement aléatoire. Donc, de mon point de vue, si nous voulons savoir si l’IA comprend vraiment le langage comme nous, nous devons entrer dans la salle chinoise. Nous devons savoir ce que fait l'IA, et nous devons être en mesure de comparer cela à ce que font les gens lorsqu’ils comprennent une langue.
AI is moving so fast. Today, I'm asking you, does AI understand language that might seem like a silly question in ten years. Or ten months.
L'IA évolue si vite. Aujourd’hui, la question de savoir si l’IA comprend un langage pourra sembler stupide dans dix ans. Ou dix mois.
(Laughter)
(Rires)
But one thing will remain true. We are meaning-making humans, and we are going to continue to look for meaning and interpret the world around us. And we will need to remember that if we only look at the input and output of AI, it's very easy to be fooled. We need to get inside of the metaphorical room of AI in order to see what's happening. It's what's inside the counts.
Mais une chose restera vraie. Les humains sont des créatures de sens, et nous continuerons à chercher un sens et à interpréter notre monde. Nous devons nous rappeler que sur base des seuls entrants et sortants de l’IA, il est très facile de se laisser berner. Nous devons entrer dans la salle métaphorique de l’IA pour voir ce qu’il s’y passe. C’est l’intérieur qui compte.
Thank you.
Merci.
(Applause)
(Applaudissements)