I work with children with autism. Specifically, I make technologies to help them communicate.
Lucrez cu copii cu autism. Mai exact, creez tehnologii care să îi ajute să comunice.
Now, many of the problems that children with autism face, they have a common source, and that source is that they find it difficult to understand abstraction, symbolism. And because of this, they have a lot of difficulty with language.
Multe din problemele pe care le întâmpină copiii cu autism, au un punct comun: le este dificil să înțeleagă ideea de abstract, de simbolism. Din această cauză, au mari probleme de vorbire.
Let me tell you a little bit about why this is. You see that this is a picture of a bowl of soup. All of us can see it. All of us understand this. These are two other pictures of soup, but you can see that these are more abstract These are not quite as concrete. And when you get to language, you see that it becomes a word whose look, the way it looks and the way it sounds, has absolutely nothing to do with what it started with, or what it represents, which is the bowl of soup. So it's essentially a completely abstract, a completely arbitrary representation of something which is in the real world, and this is something that children with autism have an incredible amount of difficulty with. Now that's why most of the people that work with children with autism -- speech therapists, educators -- what they do is, they try to help children with autism communicate not with words, but with pictures. So if a child with autism wanted to say, "I want soup," that child would pick three different pictures, "I," "want," and "soup," and they would put these together, and then the therapist or the parent would understand that this is what the kid wants to say. And this has been incredibly effective; for the last 30, 40 years people have been doing this. In fact, a few years back, I developed an app for the iPad which does exactly this. It's called Avaz, and the way it works is that kids select different pictures. These pictures are sequenced together to form sentences, and these sentences are spoken out. So Avaz is essentially converting pictures, it's a translator, it converts pictures into speech.
Să vă spun câteva lucruri despre asta. Asta e fotografia unui bol cu supă. Toți vedem și înțelegem ce este. Astea sunt alte 2 poze cu supă, dar vedeți că sunt mai abstracte. Nu sunt la fel de evidente. Când ajungi la limbaj, devine un cuvânt, care nu arată și nu sună deloc cu ceea ce a început, cu ce reprezintă, adică un bol cu supă. E o reprezentare cu totul abstractă, complet arbitrară a ceva ce există în lumea reală, ceva ce copiii cu autism înțeleg foarte greu. De aceea, majoritatea celor care lucrează cu copii cu autism -- terapeuți, educatori -- încearcă să ajute copiii cu autism să comunice prin poze, nu prin cuvinte. Dacă un copil cu autism ar vrea să spună, „Eu vreau supă", copilul ar alege 3 poze diferite, "Eu", "vreau" și "supă". Le-ar pune împreună și terapeutul sau părintele ar înțelege că asta vrea copilul să spună. A fost extrem de eficient, în ultimii 30, 40 de ani s-a aplicat metoda asta. De fapt, cu câțiva ani în urmă, am conceput o aplicație pentru iPad care face exact asta, se numește Avaz. Permite copiilor să selecteze diverse poze. Pozele sunt înșirate pentru a forma propoziții, iar propozițiile sunt spuse cu voce tare. Practic, Avaz convertește pozele, ca un translator, în vorbire.
Now, this was very effective. There are thousands of children using this, you know, all over the world, and I started thinking about what it does and what it doesn't do. And I realized something interesting: Avaz helps children with autism learn words. What it doesn't help them do is to learn word patterns. Let me explain this in a little more detail. Take this sentence: "I want soup tonight." Now it's not just the words here that convey the meaning. It's also the way in which these words are arranged, the way these words are modified and arranged. And that's why a sentence like "I want soup tonight" is different from a sentence like "Soup want I tonight," which is completely meaningless. So there is another hidden abstraction here which children with autism find a lot of difficulty coping with, and that's the fact that you can modify words and you can arrange them to have different meanings, to convey different ideas. Now, this is what we call grammar. And grammar is incredibly powerful, because grammar is this one component of language which takes this finite vocabulary that all of us have and allows us to convey an infinite amount of information, an infinite amount of ideas. It's the way in which you can put things together in order to convey anything you want to.
Asta a fost foarte eficient. Mii de copii folosesc aplicația în întreaga lume, așa că am început să mă gândesc la ce anume face și ce nu face aplicația respectivă. Am realizat ceva foarte interesant: Avaz ajută copiii cu autism să învețe cuvinte. Ce nu îi învață să facă, este să învețe modele de cuvinte. Să vă explic mai detaliat. În propoziția: „Eu vreau supă diseară." nu doar cuvintele transmit mesajul. E importantă și ordinea cuvintelor, cum sunt modificate și aranjate. Din cauza asta, o propoziție de genul „Eu vreau supă diseară" e diferită de propoziția „Supă vreau eu diseară", care-i total lipsită de sens. Mai există o abstracție ascunsă aici căreia copiilor cu autism le e greu să-i facă față. Poți reordona cuvintele, le poți aranja altfel pentru înțelesuri diferite, pentru idei diferite. Asta numim noi gramatică. Gramatica este foarte importantă, este componenta limbii care ia vocabularul finit pe care-l știm cu toții și ne lasă să transmitem informații infinite, un număr infinit de idei. E modul în care poți aranja lucrurile ca să transmiți orice vrei tu.
And so after I developed Avaz, I worried for a very long time about how I could give grammar to children with autism. The solution came to me from a very interesting perspective. I happened to chance upon a child with autism conversing with her mom, and this is what happened. Completely out of the blue, very spontaneously, the child got up and said, "Eat." Now what was interesting was the way in which the mom was trying to tease out the meaning of what the child wanted to say by talking to her in questions. So she asked, "Eat what? Do you want to eat ice cream? You want to eat? Somebody else wants to eat? You want to eat cream now? You want to eat ice cream in the evening?" And then it struck me that what the mother had done was something incredible. She had been able to get that child to communicate an idea to her without grammar. And it struck me that maybe this is what I was looking for. Instead of arranging words in an order, in sequence, as a sentence, you arrange them in this map, where they're all linked together not by placing them one after the other but in questions, in question-answer pairs. And so if you do this, then what you're conveying is not a sentence in English, but what you're conveying is really a meaning, the meaning of a sentence in English. Now, meaning is really the underbelly, in some sense, of language. It's what comes after thought but before language. And the idea was that this particular representation might convey meaning in its raw form.
Așadar, după ce am dezvoltat Avaz, m-am tot gândit cum puteam sugera gramatica copiilor cu autism. Soluția mi-a venit dintr-o perspectivă neașteptată. Am auzit întâmplător conversația unui copil autist cu mama lui. A fost ceva de genul acesta. Din senin, foarte spontan, copilul s-a ridicat și a spus "Mănânc". Interesant a fost felul în care mama încerca să dea mai mult sens la ceea ce vroia să spună fetița, punându-i acesteia câteva întrebări. A întrebat-o: „Ce mănânci? Vrei să mănânci înghețată? Tu vrei să mănânci? Altcineva vrea să mănânce? Vrei să mănânci înghețată acum? Vrei să mănânci înghețată diseară?" Mi-a picat fisa că ce făcuse mama era incredibil. Reușise s-o facă pe fetiță să-i comunice o idee fără să folosească gramatica. Așa am realizat că poate de asta aveam eu nevoie. În loc să înșiri cuvintele în linie dreaptă, ca o propoziție, le aranjezi într-un fel de hartă, unde toate sunt legate, nu aliniate unele după altele, ci prin întrebări, aranjate în perechi întrebare-răspuns. Dacă faci asta, nu vei transmite o propoziție în limba engleză, ci vei transmite sensul unei propoziții din limba engleză. Sensul, oarecum, e punctul slab al unei limbi. Vine după gând, dar înaintea limbii. Ideea era că acest mod de reprezentare putea transmite înțelesul, într-o formă brută.
So I was very excited by this, you know, hopping around all over the place, trying to figure out if I can convert all possible sentences that I hear into this. And I found that this is not enough. Why is this not enough? This is not enough because if you wanted to convey something like negation, you want to say, "I don't want soup," then you can't do that by asking a question. You do that by changing the word "want." Again, if you wanted to say, "I wanted soup yesterday," you do that by converting the word "want" into "wanted." It's a past tense. So this is a flourish which I added to make the system complete. This is a map of words joined together as questions and answers, and with these filters applied on top of them in order to modify them to represent certain nuances. Let me show you this with a different example.
Eram foarte încântat, țopăiam peste tot, încercând să îmi dau seama dacă pot converti toate propozițiile posibile pe care le auzeam, în acest mod. Dar am aflat că nu e suficient. De ce? Nu-i suficient deoarece dacă încercam să transmit o negație, dacă vrei să spui "Nu vreau supă", nu poți face asta punând întrebări. Faci asta schimbând cuvântul "vreau". La fel, daca vroiai să spui, "Am vrut supă ieri", faci asta schimbând verbul "vreau" cu "am vrut". Este la timpul trecut. Așa că am adăugat o înfloritură pentru ca sistemul să fie complet. Iată harta unor cuvinte aranjate ca întrebări și răspunsuri, cărora li s-au aplicat niște filtre pentru a fi modificate să reprezinte anumite nuanțe. Să vă demonstrez folosind un alt exemplu.
Let's take this sentence: "I told the carpenter I could not pay him." It's a fairly complicated sentence. The way that this particular system works, you can start with any part of this sentence. I'm going to start with the word "tell." So this is the word "tell." Now this happened in the past, so I'm going to make that "told." Now, what I'm going to do is, I'm going to ask questions. So, who told? I told. I told whom? I told the carpenter. Now we start with a different part of the sentence. We start with the word "pay," and we add the ability filter to it to make it "can pay." Then we make it "can't pay," and we can make it "couldn't pay" by making it the past tense. So who couldn't pay? I couldn't pay. Couldn't pay whom? I couldn't pay the carpenter. And then you join these two together by asking this question: What did I tell the carpenter? I told the carpenter I could not pay him.
Să luam propoziția următoare: "I-am spus tâmplarului că nu îl pot plăti." E o propoziție destul de complicată. În acest sistem poți începe cu orice parte a propoziției. Voi începe folosind cuvântul "spune." Avem cuvântul "spune." Întâmplarea a avut loc în trecut, așa că o să modific cuvăntul în "spus." Acum, o să pun câteva întrebări. Cine a spus? Eu am spus. Cui am spus? I-am spus tâmplarului. Continuăm cu o altă parte a propoziției. Adăugăm cuvântul "plăti" și îi adăugăm un filtru de abilitate pentru a-l transforma în "pot plăti". După care îl transformăm în "nu pot plăti" folosind timpul trecut. Deci, cine nu a putut plăti? Eu nu am putut plăti. Pe cine nu ai putut plăti? Nu am putut plăti tâmplarul. Acum putem alătura cele două bucăți punând aceste întrebări: Ce am spus tâmplarului? I-am spus tâmplarului că nu-l pot plăti.
Now think about this. This is —(Applause)— this is a representation of this sentence without language. And there are two or three interesting things about this. First of all, I could have started anywhere. I didn't have to start with the word "tell." I could have started anywhere in the sentence, and I could have made this entire thing. The second thing is, if I wasn't an English speaker, if I was speaking in some other language, this map would actually hold true in any language. So long as the questions are standardized, the map is actually independent of language. So I call this FreeSpeech, and I was playing with this for many, many months. I was trying out so many different combinations of this.
Gândiți-vă puțin. (Aplauze) Asta este o reprezentare a propoziției fără limbă. Sunt câteva lucruri interesante în legătură cu asta. În primul rând, puteam începe oriunde în propoziție. Nu trebuia să încep folosind cuvântul "spune". Puteam începe cu orice cuvânt din propoziție, și tot reușeam să fac această reprezentare. Al doilea lucru este că, dacă nu vorbeam limba engleză, dacă vorbeam în orice altă limbă, această hartă tot putea fi folosită. Atâta timp cât întrebările sunt standardizate, harta e de fapt independentă de limbă. Eu numesc asta FreeSpeech, (ExprimareFărăCuvinte) și mă joc cu ea de multe luni. Am încercat multe combinații pentru asta.
And then I noticed something very interesting about FreeSpeech. I was trying to convert language, convert sentences in English into sentences in FreeSpeech, and vice versa, and back and forth. And I realized that this particular configuration, this particular way of representing language, it allowed me to actually create very concise rules that go between FreeSpeech on one side and English on the other. So I could actually write this set of rules that translates from this particular representation into English. And so I developed this thing. I developed this thing called the FreeSpeech Engine which takes any FreeSpeech sentence as the input and gives out perfectly grammatical English text. And by putting these two pieces together, the representation and the engine, I was able to create an app, a technology for children with autism, that not only gives them words but also gives them grammar.
După care am realizat ceva interesant. Încercam să înlocuiesc limbajul, propozițiile din engleză cu propozițiile din FreeSpeech și vice-versa. Mi-am dat seama că această configurație în particular, acest mod de a reprezenta limba, mi-a permis să creez reguli foarte concise între FreeSpeech și limba engleză. Puteam scrie un set de reguli care să traducă din această reprezentare, în limba engleză. Astfel am dezvoltat acest lucru, această aplicație numită Motorul FreeSpeech care ia orice propoziție din FreeSpeech ca input și alcătuiește un text corect gramatical, în limba engleză. Asociind aceste două lucruri, reprezentarea și motorul, am creat o aplicație, o tehnologie pentru copiii cu autism, care nu le oferă doar cuvinte, ci le oferă și gramatică.
So I tried this out with kids with autism, and I found that there was an incredible amount of identification. They were able to create sentences in FreeSpeech which were much more complicated but much more effective than equivalent sentences in English, and I started thinking about why that might be the case. And I had an idea, and I want to talk to you about this idea next. In about 1997, about 15 years back, there were a group of scientists that were trying to understand how the brain processes language, and they found something very interesting. They found that when you learn a language as a child, as a two-year-old, you learn it with a certain part of your brain, and when you learn a language as an adult -- for example, if I wanted to learn Japanese right now — a completely different part of my brain is used. Now I don't know why that's the case, but my guess is that that's because when you learn a language as an adult, you almost invariably learn it through your native language, or through your first language. So what's interesting about FreeSpeech is that when you create a sentence or when you create language, a child with autism creates language with FreeSpeech, they're not using this support language, they're not using this bridge language. They're directly constructing the sentence.
Am încercat asta cu copii cu autism, și am descoperit o valoare mare de identificare. Puteau crea propoziții în FreeSpeech mai complicate dar mai eficiente decât echivalentul propozițiilor din limba engleză, așa că am început să mă gândesc de ce se întampla asta. Mi-a venit o idee, despre care vreau să vorbesc în continuare. Prin 1997, acum vreo 15 ani, un grup de oameni de știință încerca să înțeleagă cum e limba procesată de creier și au descoperit ceva interesant. Au aflat că atunci când înveți o limbă străină copil fiind, la o vârstă de 2 ani, o înveți folosind o anumită parte a creierului, iar atunci când înveți o limbă străină ca adult -- de exemplu, dacă aș vrea să învăț japoneza acum -- o parte complet diferită a creierului meu e folosită. Nu știu de ce se întâmplă asta, dar presupun că este din cauză că atunci când înveți o limbă străină adult fiind, aproape inevitabil o înveți prin limba ta nativă, prin prima limbă vorbită de tine. Ce este interesant la FreeSpeech este că atunci când creezi o propoziție sau când creezi o limbă, un copil cu autism creează o limbă cu FreeSpeech, fără să folosească o limbă suport pentru asta, fără să folosească limba ca un pod de trecere. Ei construiesc direct propoziția.
And so this gave me this idea. Is it possible to use FreeSpeech not for children with autism but to teach language to people without disabilities? And so I tried a number of experiments. The first thing I did was I built a jigsaw puzzle in which these questions and answers are coded in the form of shapes, in the form of colors, and you have people putting these together and trying to understand how this works. And I built an app out of it, a game out of it, in which children can play with words and with a reinforcement, a sound reinforcement of visual structures, they're able to learn language. And this, this has a lot of potential, a lot of promise, and the government of India recently licensed this technology from us, and they're going to try it out with millions of different children trying to teach them English. And the dream, the hope, the vision, really, is that when they learn English this way, they learn it with the same proficiency as their mother tongue.
Așa că mi-am pus întrebarea următoare. Este posibil să folosești FreeSpeech nu pentru copiii cu autism ci pentru ca persoanele fără dizabilități să învețe limbi străine? Am încercat o serie de experimente. Primul lucru pe care l-am făcut a fost să creez un puzzle în care întrebările și răspunsurile să fie construite ca forme și culori, pentru ca oamenii să le poată pune împreună și să încerce să înțeleagă cum funcționează. Am construit pe baza asta o aplicație, un joc, în care copiii se pot juca folosind cuvinte și cu puțin ajutor, cu ajutorul unor structuri vizuale, pot învăța o limbă străină. Această aplicație avea mult potențial, promitea multe, iar recent, guvernul din India a autorizat această tehnologie și o vor testa cu milioane de copii, încercând să îi învețe limba engleză. Visul, speranța, chiar viziunea, este ca atunci când vor învăța limba engleză în felul acesta, o vor învăța la fel de bine ca limba nativă.
All right, let's talk about something else. Let's talk about speech. This is speech. So speech is the primary mode of communication delivered between all of us. Now what's interesting about speech is that speech is one-dimensional. Why is it one-dimensional? It's one-dimensional because it's sound. It's also one-dimensional because our mouths are built that way. Our mouths are built to create one-dimensional sound. But if you think about the brain, the thoughts that we have in our heads are not one-dimensional. I mean, we have these rich, complicated, multi-dimensional ideas. Now, it seems to me that language is really the brain's invention to convert this rich, multi-dimensional thought on one hand into speech on the other hand. Now what's interesting is that we do a lot of work in information nowadays, and almost all of that is done in the language domain. Take Google, for example. Google trawls all these countless billions of websites, all of which are in English, and when you want to use Google, you go into Google search, and you type in English, and it matches the English with the English. What if we could do this in FreeSpeech instead? I have a suspicion that if we did this, we'd find that algorithms like searching, like retrieval, all of these things, are much simpler and also more effective, because they don't process the data structure of speech. Instead they're processing the data structure of thought. The data structure of thought. That's a provocative idea.
Ok, să discutăm despre altceva. Să discutăm despre vorbire. Aceasta este vorbirea. Așadar, vorbirea e primul mod de comunicare între noi. Ce este interesant legat de vorbire, e faptul că aceasta este uni-dimensională. De ce este uni-dimensională? Pentru că este un sunet. De asemenea, este uni-dimensională deoarece așa sunt construite gurile noastre. Gurile noastre sunt construite să creeze sunete uni-dimensionale. Dar dacă te gândești la creier, gândurile pe care le avem în mințile noastre nu sunt uni-dimensionale. Avem niște idei bogate, complicate, multi-dimensionale. Mi se pare că limba este invenția creierului pentru a transforma aceste gânduri bogate, multi-dimensionale pe de o parte în vorbire, pe de altă parte. Interesant că în zilele noastre se lucrează foarte mult cu informatica și aproape toate sunt făcute în domeniul limbajului. Google, de exemplu. Google "pescuiește" nenumărate website-uri, toate în limba engleză. Atunci când vrei să folosești Google, mergi în motorul de căutare Google, tastezi în limba engleză, iar el potrivește engleza cu engleza. Dacă am putea face asta în FreeSpeech? Cred că dacă am face asta, am afla că algoritmii de căutare, de restabilire, toți termenii aceștia, sunt mult mai simpli și mai eficienți, deoarece nu procesează structura de date a vorbirii. În schimb, procesează structura de date a gândului. Structura de date a gândului. O idee provocativă.
But let's look at this in a little more detail. So this is the FreeSpeech ecosystem. We have the Free Speech representation on one side, and we have the FreeSpeech Engine, which generates English. Now if you think about it, FreeSpeech, I told you, is completely language-independent. It doesn't have any specific information in it which is about English. So everything that this system knows about English is actually encoded into the engine. That's a pretty interesting concept in itself. You've encoded an entire human language into a software program. But if you look at what's inside the engine, it's actually not very complicated. It's not very complicated code. And what's more interesting is the fact that the vast majority of the code in that engine is not really English-specific. And that gives this interesting idea. It might be very easy for us to actually create these engines in many, many different languages, in Hindi, in French, in German, in Swahili. And that gives another interesting idea. For example, supposing I was a writer, say, for a newspaper or for a magazine. I could create content in one language, FreeSpeech, and the person who's consuming that content, the person who's reading that particular information could choose any engine, and they could read it in their own mother tongue, in their native language. I mean, this is an incredibly attractive idea, especially for India. We have so many different languages. There's a song about India, and there's a description of the country as, it says, (in Sanskrit). That means "ever-smiling speaker of beautiful languages."
Dar să privim totul mai în detaliu. Avem ecosistemul FreeSpeech. Avem reprezentarea FreeSeech pe de o parte și pe de altă parte avem motorul FreeSpeech care generează limba engleză. Dacă stăm să ne gândim, după cum v-am spus, FreeSpeech e total independent de limbă. Nu are nicio informație specifică, care să aibă legătură cu engleza. Tot ce știe acest sistem despre engleză, este de fapt codat în motor. E un concept interesant, în sine. O întregă limbă umană codată într-un program software. Dar dacă privești ce este înăuntrul motorului, nu este atât de complicat. Nu-i un cod foarte complicat. Și mai interesant e faptul că majoritatea codului din motorul respectiv nu e chiar specific englezei. Ceea ce duce la această idee interesantă. Ne-ar fi foarte usor să creăm aceste motoare în multe alte limbi, în hindi, în franceză, în germană, în swahili. Iar asta duce la o altă idee interesantă. Să presupunem că eu aș fi scriitor, pentru un ziar sau pentru o revistă. Aș putea crea conținutul într-o anumită limbă, FreeSpeech, iar persoana care citește conținutul, persoana care citește acea informație în mod particular ar putea alege orice motor, și ar putea citi articolul în limba lor maternă, în limba nativă. Este o idee extrem de atractivă, mai ales pentru India. Avem atât de multe limbi diferite. Există un cântec despre India și o descriere a țării, care spune, (in Sanskrit). Asta înseamnă "vorbitor al limbilor frumoase, mereu zâmbăreț".
Language is beautiful. I think it's the most beautiful of human creations. I think it's the loveliest thing that our brains have invented. It entertains, it educates, it enlightens, but what I like the most about language is that it empowers.
Limba este frumoasă. Cred că e cea mai frumoasă creație a omului. Cred că e cel mai frumos lucru pe care l-a înventat creierul nostru. Distrează, educă, explică, dar cel mai mult, conferă putere.
I want to leave you with this. This is a photograph of my collaborators, my earliest collaborators when I started working on language and autism and various other things. The girl's name is Pavna, and that's her mother, Kalpana. And Pavna's an entrepreneur, but her story is much more remarkable than mine, because Pavna is about 23. She has quadriplegic cerebral palsy, so ever since she was born, she could neither move nor talk. And everything that she's accomplished so far, finishing school, going to college, starting a company, collaborating with me to develop Avaz, all of these things she's done with nothing more than moving her eyes.
Vreau să închei cu o fotografie a colaboratorilor mei, colaboratori de când am început să lucrez cu limba, cu autismul și cu multe alte lucruri. Numele fetei este Pavna iar acesta este mama ei, Kalpana. Pavna este antreprenor, dar povestea ei este mult mai remarcabilă decât a mea, deoarece Pavna are 23 ani. Are paralizie cerebrală tetraplegică. De când s-a născut, nu s-a putut mișca și nu a putut vorbi. Tot ce a realizat până acum, absolvirea școlii, înscrierea la colegiu, înființarea unei companii, colaborarea cu mine pentru a dezvolta Avaz, toate aceste lucruri le-a făcut doar prin mișcări ale ochilor. Nimic altceva.
Daniel Webster said this: He said, "If all of my possessions were taken from me with one exception, I would choose to keep the power of communication, for with it, I would regain all the rest." And that's why, of all of these incredible applications of FreeSpeech, the one that's closest to my heart still remains the ability for this to empower children with disabilities to be able to communicate, the power of communication, to get back all the rest.
Daniel Webster a spus: "Dacă tot ce dețin mi-ar fi luat cu o singură excepție, aș alege să rămân cu puterea comunicării, deoarece cu ea, pot recâștiga totul." De aceea, dintre toate aceste aplicații incredibile ale FreeSpeech, cea mai aproape de inima mea rămâne abilitatea care permite copiilor cu dizabilități să poată comunica, puterea comunicației, pentru a putea recâștiga restul.
Thank you. (Applause) Thank you. (Applause) Thank you. Thank you. Thank you. (Applause) Thank you. Thank you. Thank you. (Applause)
Vă mulțumesc. (Aplauze) Mulțumesc. (Aplauze) Mulțumesc. (Aplauze)