Many believe driving is an activity solely reserved for those who can see. A blind person driving a vehicle safely and independently was thought to be an impossible task, until now. Hello, my name is Dennis Hong, and we're bringing freedom and independence to the blind by building a vehicle for the visually impaired.
Sokan hiszik azt, hogy az autóvezetés olyan tevékenység, ami csak azok számára van fenntartva, akik látnak. Az, hogy egy vak ember biztonságosan és önállóan vezessen egy járművet, lehetetlen feladatnak tűnt, egészen mostanáig. Helló, a nevem Dennis Hong, szabadságot és a függetlenséget hozunk a vakok számára, azáltal, hogy járművet építünk a látássérülteknek.
So before I talk about this car for the blind, let me briefly tell you about another project that I worked on called the DARPA Urban Challenge. Now this was about building a robotic car that can drive itself. You press start, nobody touches anything, and it can reach its destination fully autonomously. So in 2007, our team won half a million dollars by placing third place in this competition. So about that time, the National Federation of the Blind, or NFB, challenged the research committee about who can develop a car that lets a blind person drive safely and independently. We decided to give it a try, because we thought, "Hey, how hard could it be?" We have already an autonomous vehicle. We just put a blind person in it and we're done, right? (Laughter) We couldn't have been more wrong. What NFB wanted was not a vehicle that can drive a blind person around, but a vehicle where a blind person can make active decisions and drive. So we had to throw everything out the window and start from scratch.
Mielőtt beszélnék erről a vakoknak készült autóról, hadd meséljek röviden egy másik projektről, amin dolgoztam, az úgynevezett DARPA Városi Kihívásról. Nos, ez egy robotautó megépítéséről szólt, ami képes saját magát vezetni. Megnyomjuk a start gombot, senki nem ér semmihez, és teljesen önállóan megérkezik a rendeltetési helyére. Így 2007-ben, a csapatunk nyert félmillió dollárt azáltal, hogy harmadik helyen végzett a versenyben. Nagyjából abban az időben a "National Federation of the Blind" avagy az "NFB" [a "Vakok Nemzeti Szövetsége"], kihívta a kutatók közösségét, arra, hogy ki tud olyan autót fejleszteni, amely lehetővé teszi, hogy egy vak biztonságosan és önállóan vezetni tudjon. Úgy döntöttünk, teszünk egy próbát, mert azt gondoltuk, hej, ez nem is lehet olyan nehéz! Hiszen már van egy önállóan közlekedő járművünk! Csak beleteszünk egy vak embert és kész is vagyunk, ugye? (Nevetés) Nem is tévedhettünk volna nagyobbat! Amit az NFB akart, az nem egy jármű, ami körbevisz egy vak embert, hanem olyan autó, amiben egy vak aktív döntéseket hozhat, és vezethet. Így hát dobhattunk ki mindent az ablakon, és kezdhettük megint elölről.
So to test this crazy idea, we developed a small dune buggy prototype vehicle to test the feasibility. And in the summer of 2009, we invited dozens of blind youth from all over the country and gave them a chance to take it for a spin. It was an absolutely amazing experience. But the problem with this car was it was designed to only be driven in a very controlled environment, in a flat, closed-off parking lot -- even the lanes defined by red traffic cones.
Hogy kipróbáljuk ezt az őrült ötletet, megépítettünk egy kis homokfutó prototípust, hogy a megvalósíthatóságot tesztelhessük. És 2009 nyarán, meghívtunk tucatnyi vak fiatalt az egész országból, akik elvihették egy körre. Egészen elképesztő élmény volt. De a probléma ezzel az autóval az volt, hogy egy nagyon kontrollált környezetre terveztük, egy sík, zárt parkolóba -- még a sávokat is piros bóják jelölték.
So with this success, we decided to take the next big step, to develop a real car that can be driven on real roads. So how does it work? Well, it's a rather complex system, but let me try to explain it, maybe simplify it. So we have three steps. We have perception, computation and non-visual interfaces. Now obviously the driver cannot see, so the system needs to perceive the environment and gather information for the driver. For that, we use an initial measurement unit. So it measures acceleration, angular acceleration -- like a human ear, inner ear. We fuse that information with a GPS unit to get an estimate of the location of the car. We also use two cameras to detect the lanes of the road. And we also use three laser range finders. The lasers scan the environment to detect obstacles -- a car approaching from the front, the back and also any obstacles that run into the roads, any obstacles around the vehicle.
Eme siker után, elhatároztuk, a következő nagy lépés az lesz, hogy kifejlesztünk egy igazi autót, amit valódi utakon lehet vezetni. Szóval, hogy is működik? Nos, ez egy elég bonyolult rendszer, de hadd próbáljam elmagyarázni, talán leegyszerűsítve. Három lépésből áll. Érzékelés, számítás és nem-vizuális felületek. Nos, nyilván a vezető nem lát, így a rendszernek kell érzékelnie a környezetet, és információkat kell gyűjtenie a vezetőnek. Ehhez egy alap mérőegységet használunk. Ez méri a gyorsulást, szöggyorsulást -- mint az emberi fül, a belső fül. Ezt az információt összevetjük egy GPS-készülékkel, hogy meg tudjuk becsülni az autó helyét. Használunk még két kamerát, amik érzékelik a sávokat az úton, valamint három lézeres távmérőt. A lézerek letapogatják a környezetet, és észlelik az akadályokat -- egy közeledő autót szemből vagy hátulról, és minden olyan akadályt, ami befut az útra, minden akadályt a jármű körül.
So all this vast amount of information is then fed into the computer, and the computer can do two things. One is, first of all, process this information to have an understanding of the environment -- these are the lanes of the road, there's the obstacles -- and convey this information to the driver. The system is also smart enough to figure out the safest way to operate the car. So we can also generate instructions on how to operate the controls of the vehicle. But the problem is this: How do we convey this information and instructions to a person who cannot see fast enough and accurate enough so he can drive? So for this, we developed many different types of non-visual user interface technology. So starting from a three-dimensional ping sound system, a vibrating vest, a click wheel with voice commands, a leg strip, even a shoe that applies pressure to the foot. But today we're going to talk about three of these non-visual user interfaces.
Szóval ezt a hatalmas mennyiségű információt, továbbítjuk a számítógépnek, és a számítógép két dolgot tesz. Az egyik, mindenek előtt, hogy feldolgozza ezt az információhalmazt, hogy tisztában legyen a környezettel -- ezek a sávok az úton, itt vannak az akadályok --, és eljuttassa ezeket az információkat a vezetőnek. A rendszer elég okos ahhoz is, hogy kitalálja, mi a legbiztonságosabb módja az autó működtetésének. Így utasításokat is elő tudunk állítani, arról, hogy hogyan kell vezetni az autót. De a probléma a következő: Hogyan közöljük ezt az információt és az utasításokat egy olyan személlyel, aki nem lát elég gyorsan és pontosan ahhoz, hogy vezetni tudjon? Ehhez, kifejlesztettünk több különböző módot, melyek nem-vizuálisan érik el a felhasználót. Többek között egy háromdimenziós pittyegő hangrendszert, egy rezgő mellényt, egy hang-vezérelhető kattintókereket, egy lábpántot, de még egy cipőt is, ami nyomást gyakorol a lábra. De ma, három ilyen nem-vizuális felhasználói felületről fogunk beszélni.
Now the first interface is called a DriveGrip. So these are a pair of gloves, and it has vibrating elements on the knuckle part so you can convey instructions about how to steer -- the direction and the intensity. Another device is called SpeedStrip. So this is a chair -- as a matter of fact, it's actually a massage chair. We gut it out, and we rearrange the vibrating elements in different patterns, and we actuate them to convey information about the speed, and also instructions how to use the gas and the brake pedal. So over here, you can see how the computer understands the environment, and because you cannot see the vibration, we actually put red LED's on the driver so that you can see what's happening. This is the sensory data, and that data is transferred to the devices through the computer.
Nos, az első eszköz neve DriveGrip. Ez egy pár kesztyű, és rezgő részei vannak az ujjperceken, így utasításokat közvetíthetünk arról, hogyan kell kormányozni -- azt irányt és az intenzitást. Egy másik eszköz az úgynevezett SpeedStrip. Ez egy szék -- ami azt illeti, valójában egy masszázsszék. Kibeleztük, és átrendeztük a rezgő elemeket egy másik alakba. És úgy működtetjük azokat, hogy információt közvetítsenek a sebességről, és utasításokat arról, hogyan kell használni a gáz- és fékpedált. Szóval itt látható, hogyan értelmezi a számítógép a környezetet. És mivel a rezgés nem látható, piros LED-eket tettünk a vezetőre, hogy láthassuk, mi is történik valójában. Ezek az érzékszervi adatok, és ezek az adatok a számítógépen át jutnak el az eszközökbe.
So these two devices, DriveGrip and SpeedStrip, are very effective. But the problem is these are instructional cue devices. So this is not really freedom, right? The computer tells you how to drive -- turn left, turn right, speed up, stop. We call this the "backseat-driver problem." So we're moving away from the instructional cue devices, and we're now focusing more on the informational devices. A good example for this informational non-visual user interface is called AirPix. So think of it as a monitor for the blind. So it's a small tablet, has many holes in it, and compressed air comes out, so it can actually draw images. So even though you are blind, you can put your hand over it, you can see the lanes of the road and obstacles. Actually, you can also change the frequency of the air coming out and possibly the temperature. So it's actually a multi-dimensional user interface. So here you can see the left camera, the right camera from the vehicle and how the computer interprets that and sends that information to the AirPix. For this, we're showing a simulator, a blind person driving using the AirPix. This simulator was also very useful for training the blind drivers and also quickly testing different types of ideas for different types of non-visual user interfaces. So basically that's how it works.
Tehát ez a két eszköz, a DriveGrip és a SpeedStrip, nagyon hatékony. De a gond az, hogy ezek utasításközlő eszközök. Ez azért nem az igazi szabadság, ugye? A számítógép megmondja, hogyan kell vezetni -- fordulj balra, jobbra, gyorsíts, állj meg! Ezt hívjuk az okoskodó utas problémájának. Szóval már távolodunk az utasításközlő eszközöktől, és most már egyre inkább a tájékoztató eszközökre fókuszálunk. Jó példa egy tájékoztató, nem-vizuális, felhasználói felületre az úgynevezett AirPix. Próbálják úgy elképzelni, mint egy képernyőt a vakok számára. Szóval ez egy kis tábla, amin sok lyuk van, és sűrített levegő jön ki belőle, így aztán képes képeket rajzolni. Így, még ha valaki vak is, ráteheti a kezét, és láthatja a sávokat az úton és az akadályokat. Tulajdonképpen, a kiáramló levegő frekvenciáját is változtathatjuk, és esetleg a hőmérsékletét is. Tehát ez valójában egy többdimenziós felhasználói felület. Itt látható a bal oldali kamera, a jobb oldali kamera a járműből, és hogy a számítógép hogyan értelmezi, és küldi az információkat az AirPixnek. Ehhez, mutatunk egy szimulátort, egy vak vezetővel, aki használja az AirPixet. Ez a szimulátor a vak sofőrök képzésére is nagyon hasznos volt, és hogy gyorsan teszteljük a különböző ötleteket a különféle, nem-vizuális, felhasználói felületekhez. Tehát alapvetően így működik.
So just a month ago, on January 29th, we unveiled this vehicle for the very first time to the public at the world-famous Daytona International Speedway during the Rolex 24 racing event. We also had some surprises. Let's take a look.
Mindössze egy hónapja, január 29-én, legelső alkalommal mutattuk be ezt a járművet közönség előtt a világhírű Daytona International Speedway versenypályán, a Rolex 24 órás verseny alatt. Volt néhány meglepetésünk is. Nézzük meg!
(Music)
(Zene)
(Video) Announcer: This is an historic day in January. He's coming up to the grandstand, fellow Federationists.
(Videó) Bemondó: Ez egy történelmi nap! Közeledik a nagy tribünhöz, tagtársaim!
(Cheering)
(Éljenzés)
(Honking)
(Dudálás)
There's the grandstand now. And he's [unclear] following that van that's out in front of him. Well there comes the first box. Now let's see if Mark avoids it. He does. He passes it on the right. Third box is out. The fourth box is out. And he's perfectly making his way between the two. He's closing in on the van to make the moving pass. Well this is what it's all about, this kind of dynamic display of audacity and ingenuity. He's approaching the end of the run, makes his way between the barrels that are set up there.
Ez már a nagy tribün. És most követi azt a kisteherautót, ami előtte halad. És már jön is az első doboz. Most lássuk, hogy Mark elkerüli-e? És igen! Jobbról kikerüli. A harmadik doboz is kint van. A negyedik doboz is. És tökéletesen áthajt a kettő között. Közeledik a kisteherautóhoz, hogy megelőzhesse. Hiszen erről szól ez, erről a fajta dinamizmusról, vakmerőségről és találékonyságról. Most közeledik a kör vége felé, áthajt a hordók között, amelyeket odakészítettek.
(Honking)
(Dudálás)
(Applause)
(Taps)
Dennis Hong: I'm so happy for you. Mark's going to give me a ride back to the hotel.
Dennis Hong: Annyira örülök neked! Majd Mark visszavisz a szállodába, kocsival.
Mark Riccobono: Yes.
Mark Riccobono: Igen!
(Applause)
(Taps)
DH: So since we started this project, we've been getting hundreds of letters, emails, phone calls from people from all around the world. Letters thanking us, but sometimes you also get funny letters like this one: "Now I understand why there is Braille on a drive-up ATM machine." (Laughter) But sometimes -- (Laughter) But sometimes I also do get -- I wouldn't call it hate mail -- but letters of really strong concern: "Dr. Hong, are you insane, trying to put blind people on the road? You must be out of your mind." But this vehicle is a prototype vehicle, and it's not going to be on the road until it's proven as safe as, or safer than, today's vehicle. And I truly believe that this can happen.
DH: Szóval, mióta elkezdtük ezt a projektet, több száz levelet, e-mailt, telefonhívást kaptunk emberektől a világ minden tájáról. Köszönő leveleket, de néha kapunk vicces leveleket is, mint ez itt: "Most már értem, miért van Braille írás a csak autóval megközelíthető bankautomatán." (Nevetés) De néha... (Nevetés) De néha olyat is kapok -- nem nevezném gyűlölködő levélnek --, melyek erősen kételkedő levelek: "Dr. Hong, maga megőrült, hogy vakokat enged ki az útra? Minden bizonnyal elment az esze!" De ez a jármű, egy prototípus jármű, és nem lesz az utakon, amíg be nem bizonyosodik, hogy legalább annyira biztonságos, mint a mai járművek. És én igazán hiszem, hogy ez megtörténhet.
But still, will the society, would they accept such a radical idea? How are we going to handle insurance? How are we going to issue driver's licenses? There's many of these different kinds of hurdles besides technology challenges that we need to address before this becomes a reality. Of course, the main goal of this project is to develop a car for the blind. But potentially more important than this is the tremendous value of the spin-off technology that can come from this project. The sensors that are used can see through the dark, the fog and rain. And together with this new type of interfaces, we can use these technologies and apply them to safer cars for sighted people. Or for the blind, everyday home appliances -- in the educational setting, in the office setting. Just imagine, in a classroom a teacher writes on the blackboard and a blind student can see what's written and read using these non-visual interfaces. This is priceless. So today, the things I've showed you today, is just the beginning.
De mégis, a társadalom elfogadna-e egy ilyen radikális ötletet? Hogyan fogjuk kezelni a biztosításokat? Hogyan fogjuk kiadni a jogosítványokat? Sok ilyen jellegű akadály van még a technológiai kihívások mellett, amelyeket kezelnünk kell, mielőtt ez valósággá válik. Természetesen a fő célja ennek a projektnek az, hogy kifejlesszünk egy autót a vakok számára. De potenciálisan ennél is sokkal fontosabb, azoknak a technológiáknak az óriási értéke, amelyek ebben a projektben kifejlődnek. Az érzékelők, amiket használtunk, látnak a sötétben, ködben és esőben. És az új típusú felhasználói felületekkel együtt, felhasználhatjuk ezeket a technológiákat, hogy biztonságosabb autókat készítsünk a látó emberek számára. Vagy a vakok számára, mindennapi, háztartási gépeket -- vagy az oktatási vagy az irodai környezetben. Képzeljük csak el, egy osztályteremben a tanár ír a táblára, és a vak diák láthatja, mit írt fel, és olvashatja egy ilyen nem-vizuális eszközzel. Ez megfizethetetlen. Tehát ma, amit ma megmutattam, az még csak a kezdet.
Thank you very much.
Köszönöm szépen.
(Applause)
(Taps)