I work with children with autism. Specifically, I make technologies to help them communicate.
Trabajo con niños con autismo. Concretamente, desarrollo tecnologías para ayudarles a comunicarse.
Now, many of the problems that children with autism face, they have a common source, and that source is that they find it difficult to understand abstraction, symbolism. And because of this, they have a lot of difficulty with language.
Muchos de los problemas que padecen los niños autistas tienen un mismo origen, que consiste en que tienen dificultades para entender la abstracción, el simbolismo. Por esta razón, tienen muchos problemas con el lenguaje.
Let me tell you a little bit about why this is. You see that this is a picture of a bowl of soup. All of us can see it. All of us understand this. These are two other pictures of soup, but you can see that these are more abstract These are not quite as concrete. And when you get to language, you see that it becomes a word whose look, the way it looks and the way it sounds, has absolutely nothing to do with what it started with, or what it represents, which is the bowl of soup. So it's essentially a completely abstract, a completely arbitrary representation of something which is in the real world, and this is something that children with autism have an incredible amount of difficulty with. Now that's why most of the people that work with children with autism -- speech therapists, educators -- what they do is, they try to help children with autism communicate not with words, but with pictures. So if a child with autism wanted to say, "I want soup," that child would pick three different pictures, "I," "want," and "soup," and they would put these together, and then the therapist or the parent would understand that this is what the kid wants to say. And this has been incredibly effective; for the last 30, 40 years people have been doing this. In fact, a few years back, I developed an app for the iPad which does exactly this. It's called Avaz, and the way it works is that kids select different pictures. These pictures are sequenced together to form sentences, and these sentences are spoken out. So Avaz is essentially converting pictures, it's a translator, it converts pictures into speech.
Les hablaré un poco sobre esto. Pueden ver que esto es una imagen de un plato de sopa. Todos lo vemos. Todos lo entendemos. Estas son otras dos imágenes de sopa, pero estas son más abstractas, no tan concretas. Y cuando se llega al lenguaje, pueden ver que se convierte en una palabra cuyo aspecto y sonido no tienen nada que ver con el origen o con lo que representa, es decir, un plato de sopa. Así que, básicamente, es totalmente abstracto, una representación totalmente arbitraria de algo que existe en el mundo real. Y los niños con autismo tienen tremendas dificultades con esto. Por eso, muchas personas que trabajan con niños autistas, terapeutas del lenguaje, educadores, intentar ayudarlos a comunicarse no con palabras, sino con imágenes. Así que, si un niño con autismo quisiera decir "quiero sopa", seleccionaría tres imágenes distintas: "yo", "querer" y "sopa", las juntaría, y el terapeuta o padre, entendería qué quiere decir el niño. Esto ha sido increíblemente eficaz durante los últimos 30, 40 años en que se ha puesto en práctica. De hecho, hace unos años, desarrollé una aplicación para iPad que hace exactamente esto, llamada Avaz. Los niños seleccionan diferentes imágenes, se genera una secuencia de imágenes para crear oraciones con ellas, y estas oraciones pueden escucharse. Avaz, básicamente, convierte imágenes, es un traductor, convierte las imágenes en oraciones.
Now, this was very effective. There are thousands of children using this, you know, all over the world, and I started thinking about what it does and what it doesn't do. And I realized something interesting: Avaz helps children with autism learn words. What it doesn't help them do is to learn word patterns. Let me explain this in a little more detail. Take this sentence: "I want soup tonight." Now it's not just the words here that convey the meaning. It's also the way in which these words are arranged, the way these words are modified and arranged. And that's why a sentence like "I want soup tonight" is different from a sentence like "Soup want I tonight," which is completely meaningless. So there is another hidden abstraction here which children with autism find a lot of difficulty coping with, and that's the fact that you can modify words and you can arrange them to have different meanings, to convey different ideas. Now, this is what we call grammar. And grammar is incredibly powerful, because grammar is this one component of language which takes this finite vocabulary that all of us have and allows us to convey an infinite amount of information, an infinite amount of ideas. It's the way in which you can put things together in order to convey anything you want to.
Avaz fue muy efectivo. Hay miles de niños usándolo en todo el mundo y empecé a pensar sobre qué hace y qué no, y me di cuenta de algo interesante: Avaz ayuda a los niños con autismo a aprender palabras, pero no les ayuda a aprender patrones de palabras. Se los explicaré en más detalle. Tomemos esta oración: "Quiero sopa esta noche". No solo las palabras aportan significado, sino también el modo en que se organizan, cómo se modifican y ordenan. Por eso la frase "quiero sopa esta noche" es diferente a otra como, por ejemplo, "sopa esta quiero noche", que no tiene ningún sentido. Así que aquí hay una abstracción oculta, con la que los niños autistas tienen muchísimas dificultades, y es el hecho de que podemos modificar las palabras y ordenarlas para que tengan diferentes significados y expresen diferentes ideas. Eso es la gramática. Y la gramática tiene un gran poder, porque es el componente del lenguaje que toma el vocabulario finito que todos tenemos y nos permite transmitir una cantidad infinita de información, una cantidad infinita de ideas. Es el modo en que podemos unir cosas para decir lo que queramos.
And so after I developed Avaz, I worried for a very long time about how I could give grammar to children with autism. The solution came to me from a very interesting perspective. I happened to chance upon a child with autism conversing with her mom, and this is what happened. Completely out of the blue, very spontaneously, the child got up and said, "Eat." Now what was interesting was the way in which the mom was trying to tease out the meaning of what the child wanted to say by talking to her in questions. So she asked, "Eat what? Do you want to eat ice cream? You want to eat? Somebody else wants to eat? You want to eat cream now? You want to eat ice cream in the evening?" And then it struck me that what the mother had done was something incredible. She had been able to get that child to communicate an idea to her without grammar. And it struck me that maybe this is what I was looking for. Instead of arranging words in an order, in sequence, as a sentence, you arrange them in this map, where they're all linked together not by placing them one after the other but in questions, in question-answer pairs. And so if you do this, then what you're conveying is not a sentence in English, but what you're conveying is really a meaning, the meaning of a sentence in English. Now, meaning is really the underbelly, in some sense, of language. It's what comes after thought but before language. And the idea was that this particular representation might convey meaning in its raw form.
Así que, después de desarrollar Avaz, mi preocupación durante mucho tiempo fue cómo poder darle la gramática a los niños con autismo. La solución me llegó desde una perspectiva muy interesante. Ocurrió a partir de una conversación de una niña autista con su madre, y esto es lo que ocurrió. De forma totalmente inesperada, la niña se levantó y dijo: "comer". Lo interesante fue el modo en que la madre intentó averiguar lo que la niña quería decir, haciéndole preguntas. Así que le preguntó: "¿comer qué? ¿Quieres comer helado? ¿Tú quieres comer? ¿Alguien quiere comer? ¿Quieres comer helado ahora? ¿Quieres comer helado por la noche? Y de repente me di cuenta de que la madre había hecho algo increíble. Había conseguido que su hija comunicara una idea sin gramática. Y me di cuenta de que quizás era esto lo que yo estaba buscando. En lugar de ordenar las palabras en secuencia, como una oración, las ordenas en este mapa donde se relacionan todas, no poniéndolas una tras otra, sino en pares en forma de pregunta-respuesta. Si haces esto, lo que transmites no es una oración en inglés, sino que transmite el significado de una oración en inglés. En cierto sentido, el significado es el punto débil del lenguaje. Es lo que ocurre tras el pensamiento pero antes del lenguaje. Y la idea es que esta forma de representación puede transmitir el significado en bruto.
So I was very excited by this, you know, hopping around all over the place, trying to figure out if I can convert all possible sentences that I hear into this. And I found that this is not enough. Why is this not enough? This is not enough because if you wanted to convey something like negation, you want to say, "I don't want soup," then you can't do that by asking a question. You do that by changing the word "want." Again, if you wanted to say, "I wanted soup yesterday," you do that by converting the word "want" into "wanted." It's a past tense. So this is a flourish which I added to make the system complete. This is a map of words joined together as questions and answers, and with these filters applied on top of them in order to modify them to represent certain nuances. Let me show you this with a different example.
Así que estaba muy emocionado, dando saltos por todas partes, intentando averiguar si podría convertir todas las oraciones que escucho en esto. Y me di cuenta de que no es suficiente. ¿Por qué no? No es suficiente porque si quisiera transmitir una negación, si quisiera decir "no quiero sopa" no podría hacerlo mediante preguntas. Hay que hacerlo cambiando la palabra "querer". Y si quisiera decir: "ayer quería sopa", lo haría transformando la palabra "querer" en "quería". Es un tiempo en pasado. Así que esto es algo extra que añadí para tener un sistema completo. Este es un mapa de palabras relacionadas como preguntas y respuestas, y con estos filtros aplicados sobre ellas se pueden modificar para representar ciertos matices. Lo explicaré con otro ejemplo.
Let's take this sentence: "I told the carpenter I could not pay him." It's a fairly complicated sentence. The way that this particular system works, you can start with any part of this sentence. I'm going to start with the word "tell." So this is the word "tell." Now this happened in the past, so I'm going to make that "told." Now, what I'm going to do is, I'm going to ask questions. So, who told? I told. I told whom? I told the carpenter. Now we start with a different part of the sentence. We start with the word "pay," and we add the ability filter to it to make it "can pay." Then we make it "can't pay," and we can make it "couldn't pay" by making it the past tense. So who couldn't pay? I couldn't pay. Couldn't pay whom? I couldn't pay the carpenter. And then you join these two together by asking this question: What did I tell the carpenter? I told the carpenter I could not pay him.
Tomemos esta oración: "Le dije al carpintero que no podía pagarle". Es una oración bastante complicada. Debido al funcionamiento de este sistema, se puede empezar con cualquier parte de la oración. Empezaré con la palabra "decir". Esta es la palabra "decir". Pero ocurrió en el pasado, así que voy a ponerla en pasado. Haré preguntas como: "¿Quién dijo?", dije. "¿Le dije a quién? Le dije al carpintero". Ahora vamos a otra parte de la oración. Empezamos con la palabra "pagar", y añadimos el filtro de habilidad para que diga "poder pagar". Luego la convertimos en "no poder pagar", y después en "no podía pagar", poniéndola en pasado. "¿Quién no podía pagar? Yo no podía pagar". "¿A quién no podía pagar? No podía pagar al carpintero". Y entonces unimos ambas partes preguntando lo siguiente: "¿Qué le dije al carpintero? Le dije al carpintero que no podía pagarle".
Now think about this. This is —(Applause)— this is a representation of this sentence without language. And there are two or three interesting things about this. First of all, I could have started anywhere. I didn't have to start with the word "tell." I could have started anywhere in the sentence, and I could have made this entire thing. The second thing is, if I wasn't an English speaker, if I was speaking in some other language, this map would actually hold true in any language. So long as the questions are standardized, the map is actually independent of language. So I call this FreeSpeech, and I was playing with this for many, many months. I was trying out so many different combinations of this.
Ahora piensen, (Aplausos) se trata de la representación de esta oración, sin usar el lenguaje. Y tiene un par de cosas interesantes. Primero, que pude haber empezado por cualquier palabra. No necesariamente por la palabra "decir". Y el resultado habría sido el mismo. Lo segundo es que, si yo no hablase inglés, si hablase cualquier otro idioma, el mapa seguiría funcionando en cualquier otro idioma, siempre que las preguntas estén estandarizadas, el mapa es independiente del idioma. Así que lo llamé FreeSpeech [LibreExpresión], y estuve jugando con él muchos meses, probé muchas combinaciones.
And then I noticed something very interesting about FreeSpeech. I was trying to convert language, convert sentences in English into sentences in FreeSpeech, and vice versa, and back and forth. And I realized that this particular configuration, this particular way of representing language, it allowed me to actually create very concise rules that go between FreeSpeech on one side and English on the other. So I could actually write this set of rules that translates from this particular representation into English. And so I developed this thing. I developed this thing called the FreeSpeech Engine which takes any FreeSpeech sentence as the input and gives out perfectly grammatical English text. And by putting these two pieces together, the representation and the engine, I was able to create an app, a technology for children with autism, that not only gives them words but also gives them grammar.
Y me di cuenta de algo muy interesante sobre FreeSpeech. Estaba intentando convertir el lenguaje, las oraciones en inglés en oraciones en FreeSpeech, y viceversa, una y otra vez. Y me di cuenta de que esta configuración, esta manera de representar el lenguaje, me permitió crear reglas muy concisas entre FreeSpeech, por una parte, e inglés, por otra. Así que, podría escribir este conjunto de reglas que traducen desde este método de representación al inglés. Y desarrollé esto, el motor de FreeSpeech, que toma cualquier oración en FreeSpeech y la traduce en un texto en inglés gramaticalmente perfecto. Y al juntar estas dos partes, la representación y la herramienta, pude crear una aplicación, una tecnología para los niños con autismo que no solo les da palabras, sino también gramática.
So I tried this out with kids with autism, and I found that there was an incredible amount of identification. They were able to create sentences in FreeSpeech which were much more complicated but much more effective than equivalent sentences in English, and I started thinking about why that might be the case. And I had an idea, and I want to talk to you about this idea next. In about 1997, about 15 years back, there were a group of scientists that were trying to understand how the brain processes language, and they found something very interesting. They found that when you learn a language as a child, as a two-year-old, you learn it with a certain part of your brain, and when you learn a language as an adult -- for example, if I wanted to learn Japanese right now — a completely different part of my brain is used. Now I don't know why that's the case, but my guess is that that's because when you learn a language as an adult, you almost invariably learn it through your native language, or through your first language. So what's interesting about FreeSpeech is that when you create a sentence or when you create language, a child with autism creates language with FreeSpeech, they're not using this support language, they're not using this bridge language. They're directly constructing the sentence.
Así que lo probé con niños con autismo, y descubrí que se identificaban muchísimo con ella. Podían crear oraciones en FreeSpeech mucho más complicadas pero mucho más eficaces que sus oraciones equivalentes en inglés, así que empecé a pensar por qué ocurría eso. Y tuve una idea, y de eso quiero hablarles a continuación. En 1997, hace unos 15 años, un grupo de científicos estaban intentando entender cómo el cerebro procesa el lenguaje, y descubrieron algo muy interesante. Descubrieron que, cuando de niño, con 2 años, aprendes un idioma, lo aprendes con una parte de tu cerebro, y cuando lo aprendes de adulto, si, por ejemplo, yo quisiera aprender japonés ahora, el cerebro usa una parte completamente distinta. No sé la causa de esto, pero mi suposición es que cuando aprendes un idioma de adulto, casi siempre lo aprendes a través de tu idioma materno o tu primer idioma. Así que lo interesante de FreeSpeech es que cuando creas una oración, o cuando creas lenguaje, cuando un niño con autismo crea lenguaje con FreeSpeech, no usa ese idioma de apoyo, no usa un idioma como puente. Ellos construyen la oración directamente.
And so this gave me this idea. Is it possible to use FreeSpeech not for children with autism but to teach language to people without disabilities? And so I tried a number of experiments. The first thing I did was I built a jigsaw puzzle in which these questions and answers are coded in the form of shapes, in the form of colors, and you have people putting these together and trying to understand how this works. And I built an app out of it, a game out of it, in which children can play with words and with a reinforcement, a sound reinforcement of visual structures, they're able to learn language. And this, this has a lot of potential, a lot of promise, and the government of India recently licensed this technology from us, and they're going to try it out with millions of different children trying to teach them English. And the dream, the hope, the vision, really, is that when they learn English this way, they learn it with the same proficiency as their mother tongue.
Y esto me dio una idea. ¿Es posible usar FreeSpeech no para niños con autismo, sino para enseñar idiomas a personas sin discapacidad? Así que llevé a cabo una serie de experimentos. Lo primero que hice fue diseñar un rompecabezas en el que las preguntas y respuestas se codifican en formas, en colores, y la gente intenta unirlas y aprender cómo se relacionan. A partir de esto, creé una aplicación, un juego, con el que los niños pueden jugar con palabras, y con un refuerzo, un refuerzo sonoro de las estructuras visuales, con el que pueden aprender un idioma. Es un proyecto con mucho potencial, muy prometedor. El gobierno indio nos compró la licencia hace poco y van a usarlo con millones de niños para enseñarles inglés. Y el sueño, la esperanza, la visión, en realidad, es que cuando aprendan inglés de este modo, lo aprenderán con la misma competencia que su lengua materna.
All right, let's talk about something else. Let's talk about speech. This is speech. So speech is the primary mode of communication delivered between all of us. Now what's interesting about speech is that speech is one-dimensional. Why is it one-dimensional? It's one-dimensional because it's sound. It's also one-dimensional because our mouths are built that way. Our mouths are built to create one-dimensional sound. But if you think about the brain, the thoughts that we have in our heads are not one-dimensional. I mean, we have these rich, complicated, multi-dimensional ideas. Now, it seems to me that language is really the brain's invention to convert this rich, multi-dimensional thought on one hand into speech on the other hand. Now what's interesting is that we do a lot of work in information nowadays, and almost all of that is done in the language domain. Take Google, for example. Google trawls all these countless billions of websites, all of which are in English, and when you want to use Google, you go into Google search, and you type in English, and it matches the English with the English. What if we could do this in FreeSpeech instead? I have a suspicion that if we did this, we'd find that algorithms like searching, like retrieval, all of these things, are much simpler and also more effective, because they don't process the data structure of speech. Instead they're processing the data structure of thought. The data structure of thought. That's a provocative idea.
Bueno, hablemos de otra cosa. Hablemos de la expresión oral. Esto es expresión oral. La expresión oral es nuestro modo de comunicación primario. Lo interesante de esto es que la expresión oral es unidimensional. ¿Por qué es unidimensional? Porque es sonido. Y también porque nuestras bocas están diseñadas así. Están diseñadas para crear sonido unidimensional. Pero si piensan en el cerebro, nuestros pensamientos no son unidimensionales. Quiero decir, tenemos ideas sofisticadas, complejas, multidimensionales. Yo creo que el lenguaje es en realidad el invento del cerebro para convertir pensamientos complejos, multidimensionales, en expresión oral. Lo interesante es que, hoy en día, trabajamos mucho con la información, y casi todo ocurre en el campo del lenguaje. Piensen en Google, por ejemplo. Google rastrea miles de millones de webs, todas en inglés, y cuando queremos usar Google, vamos a Google y escribimos en inglés, y asocia el inglés con el inglés. ¿Y si pudiéramos hacerlo en FreeSpeech? Tengo la sospecha de que, si lo hiciéramos, descubriríamos que los algoritmos de búsqueda, recuperación de datos, todo eso, son mucho más simples y eficaces, porque no procesan la estructura de la expresión, sino la estructura del pensamiento. La estructura del pensamiento. Es una idea estimulante.
But let's look at this in a little more detail. So this is the FreeSpeech ecosystem. We have the Free Speech representation on one side, and we have the FreeSpeech Engine, which generates English. Now if you think about it, FreeSpeech, I told you, is completely language-independent. It doesn't have any specific information in it which is about English. So everything that this system knows about English is actually encoded into the engine. That's a pretty interesting concept in itself. You've encoded an entire human language into a software program. But if you look at what's inside the engine, it's actually not very complicated. It's not very complicated code. And what's more interesting is the fact that the vast majority of the code in that engine is not really English-specific. And that gives this interesting idea. It might be very easy for us to actually create these engines in many, many different languages, in Hindi, in French, in German, in Swahili. And that gives another interesting idea. For example, supposing I was a writer, say, for a newspaper or for a magazine. I could create content in one language, FreeSpeech, and the person who's consuming that content, the person who's reading that particular information could choose any engine, and they could read it in their own mother tongue, in their native language. I mean, this is an incredibly attractive idea, especially for India. We have so many different languages. There's a song about India, and there's a description of the country as, it says, (in Sanskrit). That means "ever-smiling speaker of beautiful languages."
Pero veamos con más detalle. Este es el ecosistema de FreeSpeech. A un lado, tenemos la representación de FreeSpeech, y tenemos el motor de FreeSpeech, que genera inglés. Ahora, si lo piensan, como dije, FreeSpeech es independiente del idioma, no tiene ninguna información específica relacionada con el inglés. Todo lo que sabe el sistema sobre el inglés se encuentra codificado en la herramienta. Es un concepto muy interesante por sí mismo. Hemos codificado todo un idioma en un programa de software. Pero si miran dentro del programa, verán que no es muy complicado. No es un código muy complicado. Y lo más interesante es que la mayor parte del código de la herramienta no es específico del inglés. Esto supone una idea interesante. Podría ser sencillo para nosotros crear estas herramientas en muchos otros idiomas. En hindi, francés, alemán, swahili. Y eso supone otra idea interesante. Por ejemplo, suponiendo que yo fuese escritor, pongamos, para un periódico o revista. Podría crear contenido en un idioma, FreeSpeech, y la persona que consume el contenido, la persona que lee esa información, podría elegir cualquier herramienta y podría leerlo en su propia lengua materna. Quiero decir, es una idea increíblemente atractiva, especialmente para India. Tenemos muchos idiomas distintos. Hay una canción sobre India, y tiene una descripción del país que dice: (en sánscrito). Significa: "hablante siempre sonriente de hermosos idiomas".
Language is beautiful. I think it's the most beautiful of human creations. I think it's the loveliest thing that our brains have invented. It entertains, it educates, it enlightens, but what I like the most about language is that it empowers.
Los idiomas son hermosos. Creo que es el invento más hermoso del ser humano. Creo que es la cosa más bonita que nuestros cerebros han inventado. Entretienen, enseñan, iluminan, pero lo que más me gusta es que otorgan poder.
I want to leave you with this. This is a photograph of my collaborators, my earliest collaborators when I started working on language and autism and various other things. The girl's name is Pavna, and that's her mother, Kalpana. And Pavna's an entrepreneur, but her story is much more remarkable than mine, because Pavna is about 23. She has quadriplegic cerebral palsy, so ever since she was born, she could neither move nor talk. And everything that she's accomplished so far, finishing school, going to college, starting a company, collaborating with me to develop Avaz, all of these things she's done with nothing more than moving her eyes.
Quiero dejarles con esto. Es una fotografía de mis colaboradores, mis primeros colaboradores, de cuando empecé a trabajar con el lenguaje, el autismo y otras cosas. El nombre de esta niña es Pavna, y esa es su madre, Kalpana. Pavna es empresaria, pero su historia es mucho más notable que la mía, porque Pavna tiene 23 años, y tiene parálisis cerebral cuadripléjica, así que desde que nació, no puede moverse ni hablar, y todo lo que ha conseguido hasta ahora, terminar la escuela, ir a la universidad, fundar una empresa, colaborar conmigo para desarrollar Avaz, todo esto que ha conseguido, lo hizo solo moviendo los ojos.
Daniel Webster said this: He said, "If all of my possessions were taken from me with one exception, I would choose to keep the power of communication, for with it, I would regain all the rest." And that's why, of all of these incredible applications of FreeSpeech, the one that's closest to my heart still remains the ability for this to empower children with disabilities to be able to communicate, the power of communication, to get back all the rest.
Daniel Webster dijo: "Si me quitaran todas mis posesiones excepto una, elegiría el poder de comunicarme; con él recuperaría todo lo demás". Y por eso, de todos los usos increíbles de FreeSpeech, al que más cariño le tengo, sigue siendo la posibilidad de ofrecer a los niños con discapacidad la posibilidad de comunicarse. El poder de comunicarse, para recuperar todo lo demás.
Thank you. (Applause) Thank you. (Applause) Thank you. Thank you. Thank you. (Applause) Thank you. Thank you. Thank you. (Applause)
Gracias. (Aplausos) Gracias. (Aplausos)