Many believe driving is an activity solely reserved for those who can see. A blind person driving a vehicle safely and independently was thought to be an impossible task, until now. Hello, my name is Dennis Hong, and we're bringing freedom and independence to the blind by building a vehicle for the visually impaired.
Mulți cred că şofatul este o activitate rezervată exclusiv celor care văd. Un nevăzător conducȃnd o maşină ȋn siguranță şi singur era considerat un lucru imposibil, pȃnă acum. Bună ziua, mă numesc Dennis Hong, şi aducem libertate şi independență nevăzătorilor prin construirea unui vehicul pentru cei cu deficiențe de vedere.
So before I talk about this car for the blind, let me briefly tell you about another project that I worked on called the DARPA Urban Challenge. Now this was about building a robotic car that can drive itself. You press start, nobody touches anything, and it can reach its destination fully autonomously. So in 2007, our team won half a million dollars by placing third place in this competition. So about that time, the National Federation of the Blind, or NFB, challenged the research committee about who can develop a car that lets a blind person drive safely and independently. We decided to give it a try, because we thought, "Hey, how hard could it be?" We have already an autonomous vehicle. We just put a blind person in it and we're done, right? (Laughter) We couldn't have been more wrong. What NFB wanted was not a vehicle that can drive a blind person around, but a vehicle where a blind person can make active decisions and drive. So we had to throw everything out the window and start from scratch.
Dar, ȋnainte să vorbesc despre această maşină pentru nevăzători, permiteți-mi să vă vorbesc pe scurt de un alt proiect la care am lucrat, numit Provocarea Urbană DARPA. Acesta a presupus construirea unei maşini robotizate care să se conducă singură. Apăsaţi start, nimeni nu atinge nimic şi poate ajunge la destinație fără niciun ajutor. Astfel, ȋn 2007, echipa noastră a cȃştigat o jumătate de milion de dolari plasȃndu-se pe locul trei ȋn această competiție. Cam pe atunci, Federația Națională a Nevăzătorilor sau FNN, a provocat comitetul de cercetare ca cineva să construiască o maşină care să permită unui nevăzător să conducă ȋn siguranță şi singur. Am decis să ȋncercăm, pentru că ne-am gȃndit, hei, cȃt de greu poate fi. Avem deja un vehicul autonom. Punem un nevăzător ȋnăuntru şi am terminat, nu-i aşa? (Rȃsete) Nu puteam să ne ȋnşelăm mai mult. Ceea ce FNO dorise nu era un vehicul care să deplaseze nevăzătorii, ci un vehicul cu care un nevăzător să poată lua decizii active şi pe care să-l conducă. Deci a trebuit să aruncăm totul pe geam şi să pornim de la zero.
So to test this crazy idea, we developed a small dune buggy prototype vehicle to test the feasibility. And in the summer of 2009, we invited dozens of blind youth from all over the country and gave them a chance to take it for a spin. It was an absolutely amazing experience. But the problem with this car was it was designed to only be driven in a very controlled environment, in a flat, closed-off parking lot -- even the lanes defined by red traffic cones.
Pentru a testa aceasta idee nebună, am realizat un prototip al unui vehicul de nisip pentru a-i testa fezabilitatea. Şi, în vara anului 2009, am invitat zeci de tineri nevăzători din întreaga ţară şi le-am oferit ocazia de a-l încerca. A fost o experienţă extraordinară. Dar problema acestei maşini era că fusese proiectată doar pentru a fi condusă într-un mediu foarte controlat, într-o parcare plană, închisă - chiar şi benzile au fost definite de conurile roşii ale semaforului.
So with this success, we decided to take the next big step, to develop a real car that can be driven on real roads. So how does it work? Well, it's a rather complex system, but let me try to explain it, maybe simplify it. So we have three steps. We have perception, computation and non-visual interfaces. Now obviously the driver cannot see, so the system needs to perceive the environment and gather information for the driver. For that, we use an initial measurement unit. So it measures acceleration, angular acceleration -- like a human ear, inner ear. We fuse that information with a GPS unit to get an estimate of the location of the car. We also use two cameras to detect the lanes of the road. And we also use three laser range finders. The lasers scan the environment to detect obstacles -- a car approaching from the front, the back and also any obstacles that run into the roads, any obstacles around the vehicle.
Deci, cu această realizare, am decis să facem următorul mare pas, pentru a realiza o maşină care poate fi condusă pe drumuri reale. Dar cum funcţionează? Ei bine, e un sistem destul de complex, dar lăsaţi-mă să vi-l explic, poate să-l simplific. Avem trei paşi. Avem percepţia, calculul şi interfeţele non-vizuale. Şoferul, desigur, nu poate vedea, aşa că sistemul trebuie să perceapă mediul înconjurător şi să adune informaţii pentru şofer. Pentru asta folosim o primă unitate de măsură. Aceasta măsoară acceleraţia, acceleraţia unghiulară - ca o ureche umană, urechea internă. Asigurăm informaţia cu o unitate GPS pentru a estima locaţia maşinii. Folosim de asemenea două camere pentru a detecta benzile drumului. Folosim şi trei telemetri laser. Laserii scanează mediul înconjurător pentru a detecta obstacolele - o maşină care se apropie din faţă, din spate şi de asemenea orice obstacol care apare pe drum, orice obstacol din jurul vehiculului.
So all this vast amount of information is then fed into the computer, and the computer can do two things. One is, first of all, process this information to have an understanding of the environment -- these are the lanes of the road, there's the obstacles -- and convey this information to the driver. The system is also smart enough to figure out the safest way to operate the car. So we can also generate instructions on how to operate the controls of the vehicle. But the problem is this: How do we convey this information and instructions to a person who cannot see fast enough and accurate enough so he can drive? So for this, we developed many different types of non-visual user interface technology. So starting from a three-dimensional ping sound system, a vibrating vest, a click wheel with voice commands, a leg strip, even a shoe that applies pressure to the foot. But today we're going to talk about three of these non-visual user interfaces.
Toată această mare cantitate de informaţie este introdusă în computer şi computerul poate face două lucruri. Unul este, să proceseze în primul rând informaţia pentru a cunoaşte mediul înconjurător - acestea sunt benzile drumului, acolo sunt obstacolele - şi să transmită informaţia şoferului. Sistemul este de asemenea destul de inteligent pentru a găsi cel mai sigur mod de a conduce maşina. Deci putem şi să generăm instrucţiuni cu privire la modul de funcţionare a comenzilor vehiculului. Dar problema este următoarea: Cum transmitem această informaţie şi instrucţiunile unei persoane care nu poate vedea destul de rapid şi destul de clar încât să poată conduce? De aceea, am dezvoltat mai multe tipuri diferite de tehnologii pentru interfeţele non-vizuale ale utilizatorului. Astfel, pornim de la un sistem de sunet tridimensional ping, o vestă cu vibraţii, o roată clic cu comenzi vocale, o bandă de picior, chiar şi un pantof care pune presiune pe picior. Dar astăzi vom vorbi despre trei dintre interfeţele non-vizuale ale utilizatorului.
Now the first interface is called a DriveGrip. So these are a pair of gloves, and it has vibrating elements on the knuckle part so you can convey instructions about how to steer -- the direction and the intensity. Another device is called SpeedStrip. So this is a chair -- as a matter of fact, it's actually a massage chair. We gut it out, and we rearrange the vibrating elements in different patterns, and we actuate them to convey information about the speed, and also instructions how to use the gas and the brake pedal. So over here, you can see how the computer understands the environment, and because you cannot see the vibration, we actually put red LED's on the driver so that you can see what's happening. This is the sensory data, and that data is transferred to the devices through the computer.
Prima interfaţă se numeşte DriveGrip. Aceasta este o pereche de mănuşi, care are în zona încheieturii elemente ce vibrează, astfel încât puteţi transmite instrucţiuni de manevrare - a direcţiei şi a intensităţii. Un alt dispozitiv se numeşte SpeedStrip. Acesta este un scaun - de fapt, este un scaun de masaj. L-am scos afară şi am rearanjat elementele vibratoare ȋn tipare diferite. Și le-am programat să transmită informaţia despre viteză, şi instrucţiuni cu privire la folosirea benzinei şi a frânei. Aici puteţi vedea cum ȋnţelege computerul mediul ȋnconjurător. Și pentru că nu puteţi vedea vibraţia, noi chiar punem LED-uri roşii pe şofer, pentru ca el să vadă ȋntr-adevăr ce se ȋntâmplă. Acestea sunt datele senzoriale, care sunt transferate dispozitivului prin computer.
So these two devices, DriveGrip and SpeedStrip, are very effective. But the problem is these are instructional cue devices. So this is not really freedom, right? The computer tells you how to drive -- turn left, turn right, speed up, stop. We call this the "backseat-driver problem." So we're moving away from the instructional cue devices, and we're now focusing more on the informational devices. A good example for this informational non-visual user interface is called AirPix. So think of it as a monitor for the blind. So it's a small tablet, has many holes in it, and compressed air comes out, so it can actually draw images. So even though you are blind, you can put your hand over it, you can see the lanes of the road and obstacles. Actually, you can also change the frequency of the air coming out and possibly the temperature. So it's actually a multi-dimensional user interface. So here you can see the left camera, the right camera from the vehicle and how the computer interprets that and sends that information to the AirPix. For this, we're showing a simulator, a blind person driving using the AirPix. This simulator was also very useful for training the blind drivers and also quickly testing different types of ideas for different types of non-visual user interfaces. So basically that's how it works.
Deci aceste două dispozitive, DriveGrip şi SpeedStrip, sunt foarte eficiente. Dar problema este că acestea sunt dispozitive de comandă automată. Aceasta nu este cu adevărat libertate, nu-i aşa? Computer-ul vă spune cum să conduceţi - viraţi la stânga, la dreapta, acceleraţi, opriţi. Numim aceasta problema şoferului de pe bancheta din spate. Deci ne îndepărtăm de dispozitivele de comandă automată, şi ne concentrăm mai mult pe dispozitivele informaţionale. Un bun exemplu pentru această interfaţă informaţională a utilizatorului non-vizual se numeşte AirPix. Imaginaţi-o ca pe un monitor pentru nevăzători. E o tablă mică, cu multe găuri, din care iese aer comprimat, astfel încât poate desena imagini. Deci, chiar dacă sunteţi nevăzători, puteţi pune mâna pe ea, puteţi percepe benzile drumului şi obstacolele. Puteţi să schimbaţi şi frecvenţa de eliberare a aerului şi posibil, temperatura. Este, de fapt o interfaţă a utilizatorului multidimensional. Aici puteţi vedea camera stângă, camera dreaptă din vehicul şi modul în care computerul interpretează şi trimite informaţiile către AirPix. Pentru aceasta vă arătăm un simulator, un nevăzător care conduce folosind AirPix. Simulatorul a fost foarte folositor pentru antrenarea nevăzătorilor şi pentru testarea rapidă a diferitelor tipuri de idei pentru diverse tipuri de interfeţe ale utilizatorilor non-vizuali. Deci, în principiu, așa funcţionează.
So just a month ago, on January 29th, we unveiled this vehicle for the very first time to the public at the world-famous Daytona International Speedway during the Rolex 24 racing event. We also had some surprises. Let's take a look.
Acum o lună la 29 ianuarie, am prezentat acest vehicul pentru prima dată publicului la faimosul Dayota International Speedway în timpul competiţiei Rolex 24. Am avut şi surprize. Să le vedem.
(Music)
(Muzică)
(Video) Announcer: This is an historic day in January. He's coming up to the grandstand, fellow Federationists.
(Video) Crainic: Aceasta este o zi istorică [neclar]. Vine până la tribună, colegul Federistas.
(Cheering)
(Aclamaţii)
(Honking)
(Claxonări)
There's the grandstand now. And he's [unclear] following that van that's out in front of him. Well there comes the first box. Now let's see if Mark avoids it. He does. He passes it on the right. Third box is out. The fourth box is out. And he's perfectly making his way between the two. He's closing in on the van to make the moving pass. Well this is what it's all about, this kind of dynamic display of audacity and ingenuity. He's approaching the end of the run, makes his way between the barrels that are set up there.
Aici este tribuna. Si el [neclar] urmăreşte camionul din faţa lui. Ei, iată prima cutie. Haideţi să vedem dacă Mark o evită. Da. O depăşeşte virând la dreapta. A treia cutie e eliminată. A patra de asemenea. Şi îşi face excelent loc printre celelalte două. Se apropie de camion pentru a face manevra de trecere. Despre asta e vorba, despre un astfel de exemplu dinamic de curaj şi ingeniozitate. Se apropie de finalul cursei, îşi face loc printre butoaiele care sunt puse acolo.
(Honking)
(Claxonează)
(Applause)
(Aplauze)
Dennis Hong: I'm so happy for you. Mark's going to give me a ride back to the hotel.
Dennis Hong: Mă bucur atât de mult pentru voi. Mark mă va duce înapoi la hotel.
Mark Riccobono: Yes.
Mark Riccobono: Da.
(Applause)
(Aplauze)
DH: So since we started this project, we've been getting hundreds of letters, emails, phone calls from people from all around the world. Letters thanking us, but sometimes you also get funny letters like this one: "Now I understand why there is Braille on a drive-up ATM machine." (Laughter) But sometimes -- (Laughter) But sometimes I also do get -- I wouldn't call it hate mail -- but letters of really strong concern: "Dr. Hong, are you insane, trying to put blind people on the road? You must be out of your mind." But this vehicle is a prototype vehicle, and it's not going to be on the road until it's proven as safe as, or safer than, today's vehicle. And I truly believe that this can happen.
DH: De când am început acest proiect, primim sute de scrisori, email-uri, telefoane de la oameni din întreaga lume. Scrisori de mulţumire, dar uneori şi scrisori amuzante ca aceasta: "Acum înţeleg de ce bancomatul are scriere Braille" (Râsete) Dar uneori - (Râsete) Dar, uneori, chiar primesc - nu le-aş spune scrisori de ameninţare - dar scrisori foarte îngrijorătoare: "Dr. Hong sunteţi nebun, încercaţi să-i puneţi pe nevăzători pe şosele? Cred că aţi luat-o razna" Dar acest vehicul este un prototip şi nu va circula până nu se va dovedi sigur, sau mai sigur decât actualul vehicul. Iar eu chiar cred că se va dovedi.
But still, will the society, would they accept such a radical idea? How are we going to handle insurance? How are we going to issue driver's licenses? There's many of these different kinds of hurdles besides technology challenges that we need to address before this becomes a reality. Of course, the main goal of this project is to develop a car for the blind. But potentially more important than this is the tremendous value of the spin-off technology that can come from this project. The sensors that are used can see through the dark, the fog and rain. And together with this new type of interfaces, we can use these technologies and apply them to safer cars for sighted people. Or for the blind, everyday home appliances -- in the educational setting, in the office setting. Just imagine, in a classroom a teacher writes on the blackboard and a blind student can see what's written and read using these non-visual interfaces. This is priceless. So today, the things I've showed you today, is just the beginning.
Şi totuşi, societatea, va accepta ea o idee atât de radicală? Cum ne vom descurca cu asigurarea? Cum vom elibera permisul de conducere? Sunt multe astfel de obstacole, excluzând provocările tehnologiei pe care trebuie să le înfruntăm înainte ca aceasta să devină realitate. Desigur, scopul principal al acestui proiect este acela de a construi o maşină pentru nevăzători. Dar posibil mai important decât asta este enorma valoare a tehnologiei emergente care poate rezulta din acest proiect. Sensorii folosiţi pot vedea în întuneric, ceaţă sau ploaie. Şi, împreună cu acest nou tip de interfeţe, putem folosi aceste tehnologii aplicându-le maşinilor mai sigure pentru oamenii care văd. Cât pentru nevăzători, aparatele zilnice de acasă - în domeniul educaţional, la birou. Imaginaţi-vă, în clasă o profesoară scrie la tablă iar un elev orb poate să vadă ceea ce este scris şi să citească folosind aceste interfeţe non-vizuale. Acest lucru este de nepreţuit. Deci, lucrurile pe care vi le-am arătat azi reprezintă doar începutul.
Thank you very much.
Vă mulţumesc foarte mult.
(Applause)
(Aplauze)