I work with children with autism. Specifically, I make technologies to help them communicate.
Eu trabalho com crianças com autismo. Especificamente, eu crio tecnologias para ajudá-las a se comunicar.
Now, many of the problems that children with autism face, they have a common source, and that source is that they find it difficult to understand abstraction, symbolism. And because of this, they have a lot of difficulty with language.
Muitos dos problemas das crianças autistas têm uma origem em comum e essa origem é a dificuldade de entender a abstração, o simbolismo. E, por causa disso, elas têm muita dificuldade com linguagem.
Let me tell you a little bit about why this is. You see that this is a picture of a bowl of soup. All of us can see it. All of us understand this. These are two other pictures of soup, but you can see that these are more abstract These are not quite as concrete. And when you get to language, you see that it becomes a word whose look, the way it looks and the way it sounds, has absolutely nothing to do with what it started with, or what it represents, which is the bowl of soup. So it's essentially a completely abstract, a completely arbitrary representation of something which is in the real world, and this is something that children with autism have an incredible amount of difficulty with. Now that's why most of the people that work with children with autism -- speech therapists, educators -- what they do is, they try to help children with autism communicate not with words, but with pictures. So if a child with autism wanted to say, "I want soup," that child would pick three different pictures, "I," "want," and "soup," and they would put these together, and then the therapist or the parent would understand that this is what the kid wants to say. And this has been incredibly effective; for the last 30, 40 years people have been doing this. In fact, a few years back, I developed an app for the iPad which does exactly this. It's called Avaz, and the way it works is that kids select different pictures. These pictures are sequenced together to form sentences, and these sentences are spoken out. So Avaz is essentially converting pictures, it's a translator, it converts pictures into speech.
Vou falar um pouco sobre o porquê disso. Vocês veem que isso é uma foto de uma tigela de sopa. Todos conseguimos vê-la. Todos nós entendemos isto. Aqui temos dois outros desenhos de sopa, mas vejam que estes são mais abstratos, não são tão concretos. E, no que diz respeito à lingua, isto se transforma numa palavra cuja aparência e sonoridade não têm nada a ver com de onde vem, ou o que representa, que é uma tigela de sopa. Então é essencialmente uma abstração completa, uma representação completamente arbitrária de uma coisa que está no mundo real, e isso é algo com que as crianças autistas têm uma dificuldade incrível. É por isso que a maioria da pessoas que lidam com crianças autistas -- fonoaudiólogos e educadores -- elas tentam ajudar as crianças autistas a se comunicar não com palavras, mas com imagens. Se uma criança autista quisesse dizer: "Eu quero sopa", ela pegaria três imagens diferentes, "eu", "quero", "sopa", e as colocaria juntas e o fonoaudiólogo ou os pais entenderiam o que a criança quer dizer. Isso tem sido muito eficiente. Nos últimos 30, 40 anos as pessoas têm feito isso. Aliás, há alguns anos, eu desenvolvi um aplicativo para iPad que faz exatamente isto. Se chama Avaz, e funciona assim: a criança seleciona imagens diferentes, formando uma sequência e criando frases e essas frases são pronunciadas. Essencialmente, Avaz converte imagens, é um tradutor, converte figuras em fala.
Now, this was very effective. There are thousands of children using this, you know, all over the world, and I started thinking about what it does and what it doesn't do. And I realized something interesting: Avaz helps children with autism learn words. What it doesn't help them do is to learn word patterns. Let me explain this in a little more detail. Take this sentence: "I want soup tonight." Now it's not just the words here that convey the meaning. It's also the way in which these words are arranged, the way these words are modified and arranged. And that's why a sentence like "I want soup tonight" is different from a sentence like "Soup want I tonight," which is completely meaningless. So there is another hidden abstraction here which children with autism find a lot of difficulty coping with, and that's the fact that you can modify words and you can arrange them to have different meanings, to convey different ideas. Now, this is what we call grammar. And grammar is incredibly powerful, because grammar is this one component of language which takes this finite vocabulary that all of us have and allows us to convey an infinite amount of information, an infinite amount of ideas. It's the way in which you can put things together in order to convey anything you want to.
Isso é muito eficaz. Existem milhares de crianças usando isto pelo mundo, e comecei a pensar no que ele faz e no que não faz. E percebi algo interessante. Avaz ajuda crianças com autismo a aprender palavras. Mas o que não ajuda é a aprender padrões de palavras. Vou explicar melhor. Por exemplo, a frase: "Eu quero sopa hoje à noite". Não são apenas as palavras que transmitem o significado. Mas também a forma como estas palavras estão ordenadas. Como estas palavras são modificadas e ordenadas. E isso é por isso que uma frase como essa é diferente de uma frase como: "Sopa quero eu hoje à noite", que não tem sentido algum. Mas existe uma outra abstração escondida aqui, com que crianças autistas têm muita dificuldade de lidar, que é a possibilidade de modificar palavras e de organizá-las para obter significados diferentes, e ideias diferentes. Isso é o que chamamos de gramática. E a gramática é incrivelmente poderosa, porque a gramática é um componente da linguagem que nos permite tornar o vocabulário finito que temos em uma quantidade infinita de informações, uma quantidade infinita de ideias. É a forma como juntamos as coisas para comunicar tudo que queremos.
And so after I developed Avaz, I worried for a very long time about how I could give grammar to children with autism. The solution came to me from a very interesting perspective. I happened to chance upon a child with autism conversing with her mom, and this is what happened. Completely out of the blue, very spontaneously, the child got up and said, "Eat." Now what was interesting was the way in which the mom was trying to tease out the meaning of what the child wanted to say by talking to her in questions. So she asked, "Eat what? Do you want to eat ice cream? You want to eat? Somebody else wants to eat? You want to eat cream now? You want to eat ice cream in the evening?" And then it struck me that what the mother had done was something incredible. She had been able to get that child to communicate an idea to her without grammar. And it struck me that maybe this is what I was looking for. Instead of arranging words in an order, in sequence, as a sentence, you arrange them in this map, where they're all linked together not by placing them one after the other but in questions, in question-answer pairs. And so if you do this, then what you're conveying is not a sentence in English, but what you're conveying is really a meaning, the meaning of a sentence in English. Now, meaning is really the underbelly, in some sense, of language. It's what comes after thought but before language. And the idea was that this particular representation might convey meaning in its raw form.
Então, depois que desenvolvi o Avaz, preocupei-me por muito tempo com como eu poderia ensinar gramática para as crianças com autismo. A solução veio de uma perspectiva interessante. Por acaso, deparei-me com uma criança autista conversando com sua mãe, e aconteceu o seguinte: do nada, de forma totalmente espontânea, a criança levantou e disse: "Comer". Mas o interessante foi a forma com que a mãe tentava entender o significado do que a criança queria dizer, fazendo perguntas. Então, ela perguntava: "Comer o quê? Você quer sorvete? O que quer comer? Outra pessoa quer comer? Você quer sorvete agora? Ou de noite?" E então percebi que o que a mãe tinha feito era algo incrível. Ela tinha sido capaz de fazer com que aquela criança comunicasse uma ideia sem usar a gramática. E percebi que talvez fosse isso que eu estava procurando. Ao invés de organizar as palavras numa ordem, numa sequência, em forma de frase, nós as organizamos neste mapa, onde elas estão todas ligadas, colocadas não uma atrás da outra, mas em perguntas, em pares de perguntas e respostas. E, se você fizer isto, o que você estará passando não é uma frase em inglês, mas sim um significado real, o significado de uma frase em inglês. O significado é o que vem por trás da linguagem. É o que vem depois do pensamento, mas antes da linguagem. E a ideia era que essa representação em particular pudesse transmitir significado na sua forma crua.
So I was very excited by this, you know, hopping around all over the place, trying to figure out if I can convert all possible sentences that I hear into this. And I found that this is not enough. Why is this not enough? This is not enough because if you wanted to convey something like negation, you want to say, "I don't want soup," then you can't do that by asking a question. You do that by changing the word "want." Again, if you wanted to say, "I wanted soup yesterday," you do that by converting the word "want" into "wanted." It's a past tense. So this is a flourish which I added to make the system complete. This is a map of words joined together as questions and answers, and with these filters applied on top of them in order to modify them to represent certain nuances. Let me show you this with a different example.
Eu fiquei muito animado com isso, esperançoso, tentando descobrir como eu poderia converter todas as sentenças possíveis que já ouvi. E descobri que isto não é suficiente. E por quê? Porque se eu quiser transmitir algo como uma negação, se quiser dizer: "Não quero sopa", não dá para fazer isso com uma pergunta, mas mudando a palavra "quero". De novo, se quiséssemos dizer: "Eu queria sopa ontem", fazemos isso trocando a palavra "quero" por "queria". É o passado. Isto é um aperfeiçoamento que adicionei para deixar o sistema completo. Este é um mapa de palavras juntadas na forma de perguntas e respostas, com estes filtros adicionais para modificá-las, para representar certas variações. Vejam com um exemplo diferente.
Let's take this sentence: "I told the carpenter I could not pay him." It's a fairly complicated sentence. The way that this particular system works, you can start with any part of this sentence. I'm going to start with the word "tell." So this is the word "tell." Now this happened in the past, so I'm going to make that "told." Now, what I'm going to do is, I'm going to ask questions. So, who told? I told. I told whom? I told the carpenter. Now we start with a different part of the sentence. We start with the word "pay," and we add the ability filter to it to make it "can pay." Then we make it "can't pay," and we can make it "couldn't pay" by making it the past tense. So who couldn't pay? I couldn't pay. Couldn't pay whom? I couldn't pay the carpenter. And then you join these two together by asking this question: What did I tell the carpenter? I told the carpenter I could not pay him.
Por exemplo, esta frase: "Eu falei ao carpinteiro que eu não poderia lhe pagar." É uma frase bem complicada. A forma como este sistema funciona é que podemos começar com qualquer parte da frase. Vou começar com a palavra "falar". Esta é a palavra "falar". Isso aconteceu no passado, então vou mudar para "falei". O que farei agora é fazer perguntas. Então, quem falou? Eu falei. Eu falei para quem? Eu falei ao carpinteiro. Agora vamos para outra parte da frase. Começamos com a palavra "pagar". e adicionamos o filtro de habilidade para mudar para "pode pagar". Então fazemos "não pode pagar". e podemos fazer "não poderia pagar", transformando num tempo passado. Então, quem não poderia pagar? Eu não poderia pagar. Não poderia pagar a quem? Não poderia pagar ao carpinteiro. E então juntamos os dois, fazendo esta pergunta: O que eu falei ao carpinteiro? Eu falei ao carpinteiro que eu não poderia lhe pagar.
Now think about this. This is —(Applause)— this is a representation of this sentence without language. And there are two or three interesting things about this. First of all, I could have started anywhere. I didn't have to start with the word "tell." I could have started anywhere in the sentence, and I could have made this entire thing. The second thing is, if I wasn't an English speaker, if I was speaking in some other language, this map would actually hold true in any language. So long as the questions are standardized, the map is actually independent of language. So I call this FreeSpeech, and I was playing with this for many, many months. I was trying out so many different combinations of this.
Agora pensem nisso. Isso é... (Aplausos) Essa é a representação dessa frase, sem linguagem. E há duas ou três coisas interessantes aqui. Primeiro, eu poderia ter começado em qualquer lugar. Não tinha que começar com a palavra "falar". Poderia começar em qualquer lugar, e poderia ter feito tudo isso. Segundo, se eu não falasse inglês, se eu falasse outra língua, este mapa funcionaria em qualquer língua. Contanto que as perguntas sejam padronizadas, este mapa se torna independente de línguas. Então eu o chamo de FreeSpeech, e eu trabalhei nele por muitos meses. Eu experimentei muitas combinações.
And then I noticed something very interesting about FreeSpeech. I was trying to convert language, convert sentences in English into sentences in FreeSpeech, and vice versa, and back and forth. And I realized that this particular configuration, this particular way of representing language, it allowed me to actually create very concise rules that go between FreeSpeech on one side and English on the other. So I could actually write this set of rules that translates from this particular representation into English. And so I developed this thing. I developed this thing called the FreeSpeech Engine which takes any FreeSpeech sentence as the input and gives out perfectly grammatical English text. And by putting these two pieces together, the representation and the engine, I was able to create an app, a technology for children with autism, that not only gives them words but also gives them grammar.
Então, percebi algo interessante no FreeSpeech. Eu estava tentando converter linguagem, converter frases em inglês em frases em FreeSpeech, e vice-versa, para trás e para frente, e percebi que esta configuração em particular, esta forma particular de representar linguagem, permitia que eu criasse muitas regras concisas que vão do FreeSpeech, de um lado, ao inglês, do outro. E eu pude escrever um conjunto de regras que traduz desta forma de representação para o inglês. Então eu desenvolvi isso. Desenvolvi o que chamo de FreeSpeech Engine, que pega qualquer frase do FreeSpeech e transforma num texto gramaticalmente correto em inglês. E juntando essas duas partes, a representação e o sistema, pude criar um aplicativo, uma tecnologia para crianças autistas, não só com palavras, mas também com gramática.
So I tried this out with kids with autism, and I found that there was an incredible amount of identification. They were able to create sentences in FreeSpeech which were much more complicated but much more effective than equivalent sentences in English, and I started thinking about why that might be the case. And I had an idea, and I want to talk to you about this idea next. In about 1997, about 15 years back, there were a group of scientists that were trying to understand how the brain processes language, and they found something very interesting. They found that when you learn a language as a child, as a two-year-old, you learn it with a certain part of your brain, and when you learn a language as an adult -- for example, if I wanted to learn Japanese right now — a completely different part of my brain is used. Now I don't know why that's the case, but my guess is that that's because when you learn a language as an adult, you almost invariably learn it through your native language, or through your first language. So what's interesting about FreeSpeech is that when you create a sentence or when you create language, a child with autism creates language with FreeSpeech, they're not using this support language, they're not using this bridge language. They're directly constructing the sentence.
Experimentei então com crianças com autismo, e descobri que havia uma grande identificação. Elas foram capazes de criar frases no FreeSpeech que eram muito mais complicadas, mas muito mais eficientes do que as frases equivalentes em inglês, e comecei a me perguntar por que aquilo acontecia. E tive uma ideia que gostaria de contar a vocês. Em 1997, quinze anos atrás, havia um grupo de cientistas tentando entender como o cérebro processa a linguagem, e descobriram algo muito interessante. Descobriram que quando aprendemos uma língua quando criança, com dois anos, aprendemos com uma certa parte do cérebro, e quando aprendemos uma língua já adultos, por exemplo, se eu quisesse aprender japonês agora, uma parte completamente diferente do cérebro seria usada. Eu não sei bem por quê, mas acredito que seja porque, quando aprendemos uma língua quando adulto, provavelmente a aprendemos através de nossa língua nativa, ou primeira língua. O que é interessante no FreeSpeech é que, quando criamos uma frase ou quando criamos linguagem, uma criança com autismo cria linguagem com FreeSpeech, ela não usa sua língua original, não usa essa ponte linguística. Ela está construindo as frases diretamente.
And so this gave me this idea. Is it possible to use FreeSpeech not for children with autism but to teach language to people without disabilities? And so I tried a number of experiments. The first thing I did was I built a jigsaw puzzle in which these questions and answers are coded in the form of shapes, in the form of colors, and you have people putting these together and trying to understand how this works. And I built an app out of it, a game out of it, in which children can play with words and with a reinforcement, a sound reinforcement of visual structures, they're able to learn language. And this, this has a lot of potential, a lot of promise, and the government of India recently licensed this technology from us, and they're going to try it out with millions of different children trying to teach them English. And the dream, the hope, the vision, really, is that when they learn English this way, they learn it with the same proficiency as their mother tongue.
Então isso me deu uma ideia. Será que conseguimos usar o FreeSpeech não para crianças com autismo, mas para ensinar uma língua para pessoas sem deficiências? Tentei vários experimentos. A primeira coisa que fiz foi construir um quebra-cabeça, no qual perguntas e respostas são codificadas em formatos, em cores, e as pessoas as juntam e tentam entender como funciona. E criei um aplicativo a partir disso, um jogo no qual crianças podem brincar com palavras, e com a ajuda de sons de estruturas visuais, elas são capazes de aprender uma língua. Isto tem um grande potencial, uma grande promessa, e o governo da Índia recentemente obteve uma licença de uso desta tecnologia, e vai experimentá-la com milhões de crianças, tentando ensinar inglês para elas. E o sonho, a esperança, a visão realmente é de que, ao aprenderem inglês assim, elas aprendam com a mesma proficiência da língua nativa.
All right, let's talk about something else. Let's talk about speech. This is speech. So speech is the primary mode of communication delivered between all of us. Now what's interesting about speech is that speech is one-dimensional. Why is it one-dimensional? It's one-dimensional because it's sound. It's also one-dimensional because our mouths are built that way. Our mouths are built to create one-dimensional sound. But if you think about the brain, the thoughts that we have in our heads are not one-dimensional. I mean, we have these rich, complicated, multi-dimensional ideas. Now, it seems to me that language is really the brain's invention to convert this rich, multi-dimensional thought on one hand into speech on the other hand. Now what's interesting is that we do a lot of work in information nowadays, and almost all of that is done in the language domain. Take Google, for example. Google trawls all these countless billions of websites, all of which are in English, and when you want to use Google, you go into Google search, and you type in English, and it matches the English with the English. What if we could do this in FreeSpeech instead? I have a suspicion that if we did this, we'd find that algorithms like searching, like retrieval, all of these things, are much simpler and also more effective, because they don't process the data structure of speech. Instead they're processing the data structure of thought. The data structure of thought. That's a provocative idea.
Certo. Vamos conversar sobre outra coisa. Vamos conversar sobre fala. Isto é fala. A fala é o modo principal de comunicação proferido entre nós. O interessante na fala é que ela é unidimensional. Por que unidimensional? É unidimensional porque é sonora. Também porque nossas bocas são assim, são concebidas para criar um som unidimensional. Mas se você pensar sobre o cérebro, os pensamentos que temos na cabeça não são unidimensionais. Ou seja, temos ideias ricas, complicadas e multidimensionais. Aparentemente, a linguagem é de fato uma invenção do cérebro para converter este pensamento rico e multidimensional, de um lado, em fala, do outro lado. O que é interessante é que trabalhamos muito com informação hoje em dia, e quase tudo que é feito é em algum domínio de linguagem. Vejam o Google por exemplo. O Google pesquisa em bilhões de sites, todos são em inglês, e quando queremos usar o Google, vamos no Google, e escrevemos em inglês, e combinamos inglês com inglês. E se pudéssemos fazer isto em FreeSpeech? Eu suspeito que se fizéssemos isso, veríamos que algoritmos de pesquisa, obtenção de dados, todas essas coisas são muito mais simples e eficientes, porque não processam a estrutura de informação da fala. Em vez disso, eles processam a estrutura da informação dos pensamentos. A estrutura da informação dos pensamentos. É uma ideia provocadora.
But let's look at this in a little more detail. So this is the FreeSpeech ecosystem. We have the Free Speech representation on one side, and we have the FreeSpeech Engine, which generates English. Now if you think about it, FreeSpeech, I told you, is completely language-independent. It doesn't have any specific information in it which is about English. So everything that this system knows about English is actually encoded into the engine. That's a pretty interesting concept in itself. You've encoded an entire human language into a software program. But if you look at what's inside the engine, it's actually not very complicated. It's not very complicated code. And what's more interesting is the fact that the vast majority of the code in that engine is not really English-specific. And that gives this interesting idea. It might be very easy for us to actually create these engines in many, many different languages, in Hindi, in French, in German, in Swahili. And that gives another interesting idea. For example, supposing I was a writer, say, for a newspaper or for a magazine. I could create content in one language, FreeSpeech, and the person who's consuming that content, the person who's reading that particular information could choose any engine, and they could read it in their own mother tongue, in their native language. I mean, this is an incredibly attractive idea, especially for India. We have so many different languages. There's a song about India, and there's a description of the country as, it says, (in Sanskrit). That means "ever-smiling speaker of beautiful languages."
Mas vamos observar com mais detalhes. Esse é o ecossistema do FreeSpeech. Temos a representação do FreeSpeech de um lado, e temos o FreeSpeech Engine que gera inglês. Se pensarmos bem, o FreeSpeech é totalmente independente de língua. Não tem nenhuma informação específica que seja sobre inglês. Tudo que o sistema sabe sobre inglês é codificado no Engine. Esse é um conceito muito interessante. Codificamos toda uma língua humana em um software. Mas se olharmos o que tem dentro do sistema, na verdade, não é muito complicado. Não é um código muito complicado. E o que é mais interessante é o fato de que a maior parte do código nesse sistema não é específica para inglês. E isso nos dá uma ideia interessante. Poderia ser muito fácil para nós criar sistemas assim em muitas línguas diferentes, em hindi, em francês, em alemão, em suaíle. E isso nos dá uma outra ideia interessante. Por exemplo, se eu fosse um escritor, digamos, de um jornal ou revista, eu poderia criar um artigo em uma língua, FreeSpeech, e a pessoa que está lendo aquele artigo, a pessoa que está lendo aquela informação poderia escolher qualquer sistema, e ela poderia ler em sua própria língua, em sua língua nativa. Isso é uma ideia incrivelmente atraente, especialmente para a Índia. Nós temos muitas línguas diferentes. Existe uma música sobre a Índia, e há uma descrição do país, que diz: (em Sânscrito), que significa "orador sempre sorrindo de belas línguas".
Language is beautiful. I think it's the most beautiful of human creations. I think it's the loveliest thing that our brains have invented. It entertains, it educates, it enlightens, but what I like the most about language is that it empowers.
A linguagem é linda. Acho que é a mais bela das criações humanas. Acho que é a mais bela invenção de nossos cérebros. Ela diverte, educa, ilumina, mas o que gosto mais da linguagem é que ela nos dá poder.
I want to leave you with this. This is a photograph of my collaborators, my earliest collaborators when I started working on language and autism and various other things. The girl's name is Pavna, and that's her mother, Kalpana. And Pavna's an entrepreneur, but her story is much more remarkable than mine, because Pavna is about 23. She has quadriplegic cerebral palsy, so ever since she was born, she could neither move nor talk. And everything that she's accomplished so far, finishing school, going to college, starting a company, collaborating with me to develop Avaz, all of these things she's done with nothing more than moving her eyes.
Eu quero deixá-los com isto. Esta é uma foto dos meus colaboradores, meus colaboradores mais antigos, quando comecei com linguagem e autismo e várias outras coisas. O nome da garota é Bhavana, e esta é sua mãe, Kalpana. E Bhavana é uma empreendedora, mas sua história é muito mais extraordinária que a minha, porque Bhavana tem 23 anos. Ela tem paralisia cerebral quadriplégica. Desde que ela nasceu, não podia se mexer ou falar. E tudo que ela conquistou até agora, terminar colegial, ir para a faculdade, abrir uma empresa, cooperar comigo para o desenvolvimento do Avaz, ela fez todas essas coisas apenas mexendo seus olhos.
Daniel Webster said this: He said, "If all of my possessions were taken from me with one exception, I would choose to keep the power of communication, for with it, I would regain all the rest." And that's why, of all of these incredible applications of FreeSpeech, the one that's closest to my heart still remains the ability for this to empower children with disabilities to be able to communicate, the power of communication, to get back all the rest.
Daniel Webster disse: "Se perdesse todas as minhas posses com uma exceção, eu escolheria ficar com o poder de comunicação, pois, com ele, reconquistaria todo o resto". E é por isso que, de todas as aplicações do FreeSpeech, a que mais toca meu coração ainda é a habilidade de capacitar crianças com deficiência, para serem capazes de se comunicar, o poder da comunicação, para reconquistar todo o resto.
Thank you. (Applause) Thank you. (Applause) Thank you. Thank you. Thank you. (Applause) Thank you. Thank you. Thank you. (Applause)
Obrigado! (Aplausos) Obrigado. (Aplausos) Obrigado. Obrigado. Obrigado. (Aplausos) Obrigado. Obrigado. Obrigado. (Aplausos)