Many believe driving is an activity solely reserved for those who can see. A blind person driving a vehicle safely and independently was thought to be an impossible task, until now. Hello, my name is Dennis Hong, and we're bringing freedom and independence to the blind by building a vehicle for the visually impaired.
Velen geloven dat rijden een activiteit is die gereserveerd is voor degenen die kunnen zien. Een blinde die een voertuig veilig en zelfstandig bestuurt, werd als onmogelijk beschouwd, tot nu toe. Hallo, mijn naam is Dennis Hong, en we brengen vrijheid en onafhankelijkheid voor de blinden door een voertuig te bouwen voor visueel gehandicapten.
So before I talk about this car for the blind, let me briefly tell you about another project that I worked on called the DARPA Urban Challenge. Now this was about building a robotic car that can drive itself. You press start, nobody touches anything, and it can reach its destination fully autonomously. So in 2007, our team won half a million dollars by placing third place in this competition. So about that time, the National Federation of the Blind, or NFB, challenged the research committee about who can develop a car that lets a blind person drive safely and independently. We decided to give it a try, because we thought, "Hey, how hard could it be?" We have already an autonomous vehicle. We just put a blind person in it and we're done, right? (Laughter) We couldn't have been more wrong. What NFB wanted was not a vehicle that can drive a blind person around, but a vehicle where a blind person can make active decisions and drive. So we had to throw everything out the window and start from scratch.
Voordat ik praat over deze auto voor de blinden, wil ik kort iets vertellen over een ander project waaraan ik heb gewerkt: de DARPA Urban Challenge. Dit ging over de bouw van een robot-auto die zelf kan rijden. Je drukt op start, niemand raakt iets aan. Hij kan zijn bestemming volledig autonoom bereiken. In 2007 won ons team een half miljoen dollar met een derde plaats in deze wedstrijd. Rond die tijd daagde de Nationale Federatie van de Blinden, of NFB, de onderzoekscommissie uit een auto te ontwikkelen waarmee een blinde persoon veilig en zelfstandig kan rijden. We besloten het eens uit te proberen, omdat we dachten dat het niet moeilijk zou zijn. We hadden al een autonoom voertuig. We zetten er een blinde persoon in en we zijn klaar. (Gelach) We konden niet meer verkeerd geweest zijn. Wat het NFB wilde, was niet een voertuig dat een blinde persoon kan rondrijden, maar een voertuig waarin een blinde persoon actief beslissingen kan maken en rijden. We moesten alles overboord gooien en vanaf nul beginnen.
So to test this crazy idea, we developed a small dune buggy prototype vehicle to test the feasibility. And in the summer of 2009, we invited dozens of blind youth from all over the country and gave them a chance to take it for a spin. It was an absolutely amazing experience. But the problem with this car was it was designed to only be driven in a very controlled environment, in a flat, closed-off parking lot -- even the lanes defined by red traffic cones.
Dus om dit gekke idee te testen, ontwikkelden we een prototype, een kleine duinbuggy, om de haalbaarheid te testen. In de zomer van 2009 nodigden we tientallen blinde jongeren uit, uit alle hoeken van het land, en gaven hen een kans een ritje te maken. Het was absoluut een ongelooflijke ervaring. Maar het probleem met deze auto was dat hij ontworpen werd om alleen gebruikt te worden in een zeer gecontroleerde omgeving, op een vlakke afgesloten parkeerplaats - met rijstroken afgezet met rode kegels.
So with this success, we decided to take the next big step, to develop a real car that can be driven on real roads. So how does it work? Well, it's a rather complex system, but let me try to explain it, maybe simplify it. So we have three steps. We have perception, computation and non-visual interfaces. Now obviously the driver cannot see, so the system needs to perceive the environment and gather information for the driver. For that, we use an initial measurement unit. So it measures acceleration, angular acceleration -- like a human ear, inner ear. We fuse that information with a GPS unit to get an estimate of the location of the car. We also use two cameras to detect the lanes of the road. And we also use three laser range finders. The lasers scan the environment to detect obstacles -- a car approaching from the front, the back and also any obstacles that run into the roads, any obstacles around the vehicle.
Door dit succes besloten we om een volgende grote stap te zetten, om een echte auto te ontwikkelen die op echte wegen kan rijden. Hoe werkt het? Het is een vrij complex systeem. Ik zal proberen het eenvoudig uit te leggen. Er zijn drie stappen. We hebben perceptie, berekening en niet-visuele interfaces. De chauffeur kan uiteraard niet zien, het systeem moet de omgeving waarnemen en informatie verzamelen voor de chauffeur. Daarvoor gebruiken we een eerste meeteenheid. Die meet versnelling, hoekversnelling - zoals een menselijk oor, binnenoor. We voegen die informatie samen met een gps om een schatting van de locatie van de auto te krijgen. We gebruiken twee camera’s om de rijstroken van de weg te detecteren. We gebruiken drie laser afstandsmeters. De lasers scannen de omgeving om obstakels te detecteren - een naderende auto aan de voorkant, de achterkant en ook eventuele obstakels op de wegen, of rondom het voertuig.
So all this vast amount of information is then fed into the computer, and the computer can do two things. One is, first of all, process this information to have an understanding of the environment -- these are the lanes of the road, there's the obstacles -- and convey this information to the driver. The system is also smart enough to figure out the safest way to operate the car. So we can also generate instructions on how to operate the controls of the vehicle. But the problem is this: How do we convey this information and instructions to a person who cannot see fast enough and accurate enough so he can drive? So for this, we developed many different types of non-visual user interface technology. So starting from a three-dimensional ping sound system, a vibrating vest, a click wheel with voice commands, a leg strip, even a shoe that applies pressure to the foot. But today we're going to talk about three of these non-visual user interfaces.
Deze enorme hoeveelheid informatie wordt vervolgens in de computer ingevoerd. De computer kan twee dingen doen. Eén daarvan is, om te beginnen, deze informatie verwerken om de omgeving te begrijpen - Dit zijn de rijstroken, daar zijn de obstakels - en deze informatie overbrengen aan de chauffeur. Het systeem is ook slim genoeg om de veiligste manier te vinden om de auto te bedienen. We kunnen ook instructies genereren over hoe de instrumenten van het voertuig te gebruiken. Maar het probleem is: hoe kunnen we deze informatie en instructies overbrengen aan een persoon die niet kan zien, snel en accuraat genoeg, zodat hij kan rijden? Daarvoor ontwikkelden we veel verschillende soorten van niet-visuele gebruikersinterfacetechnologie. Een driedimensionaal ping-geluidssysteem, een trillende vest, een klikwiel met gesproken commando's, een beenstrip, zelfs een schoen die druk uitoefent op de voet. Vandaag wil ik het hebben over drie van deze niet-visuele gebruikersinterfaces.
Now the first interface is called a DriveGrip. So these are a pair of gloves, and it has vibrating elements on the knuckle part so you can convey instructions about how to steer -- the direction and the intensity. Another device is called SpeedStrip. So this is a chair -- as a matter of fact, it's actually a massage chair. We gut it out, and we rearrange the vibrating elements in different patterns, and we actuate them to convey information about the speed, and also instructions how to use the gas and the brake pedal. So over here, you can see how the computer understands the environment, and because you cannot see the vibration, we actually put red LED's on the driver so that you can see what's happening. This is the sensory data, and that data is transferred to the devices through the computer.
De eerste interface heet een DriveGrip. Dit zijn een paar handschoenen. Ze hebben vibrerende elementen op het knokkeldeel, zo kan je instructies overbrengen over hoe te sturen - de richting en de intensiteit. Een ander apparaat heet SpeedStrip. Dit is een stoel - het is eigenlijk een massagestoel. We verbouwden hem en herschikten de vibrerende elementen in verschillende patronen, zodat ze informatie over de snelheid overbrengen, en ook instructies over hoe de gas- en het rempedaal te gebruiken. Hier kun je zien hoe de computer de omgeving begrijpt. Omdat je de vibratie niet kunt zien, hebben we rode LED's op de chauffeur gezet, zodat hij daadwerkelijk kan zien wat er gebeurt. Dit zijn de zintuiglijke gegevens. Die gegevens worden overgedragen aan de apparaten via de computer.
So these two devices, DriveGrip and SpeedStrip, are very effective. But the problem is these are instructional cue devices. So this is not really freedom, right? The computer tells you how to drive -- turn left, turn right, speed up, stop. We call this the "backseat-driver problem." So we're moving away from the instructional cue devices, and we're now focusing more on the informational devices. A good example for this informational non-visual user interface is called AirPix. So think of it as a monitor for the blind. So it's a small tablet, has many holes in it, and compressed air comes out, so it can actually draw images. So even though you are blind, you can put your hand over it, you can see the lanes of the road and obstacles. Actually, you can also change the frequency of the air coming out and possibly the temperature. So it's actually a multi-dimensional user interface. So here you can see the left camera, the right camera from the vehicle and how the computer interprets that and sends that information to the AirPix. For this, we're showing a simulator, a blind person driving using the AirPix. This simulator was also very useful for training the blind drivers and also quickly testing different types of ideas for different types of non-visual user interfaces. So basically that's how it works.
Deze twee apparaten, DriveGrip en SpeedStrip, zijn zeer effectief. Het probleem is: dit zijn apparaten die instructies geven. Geen echte vrijheid, nietwaar? De computer vertelt je hoe je moet rijden - linksaf, rechtsaf, versnellen, stoppen. We noemen dit het achterbank-chauffeur-probleem. We zijn afgestapt van de apparaten die instructies geven, en we zijn nu meer gericht op de informatieve apparaten. Een goed voorbeeld voor deze informatieve, niet-visuele gebruikersinterface, is de AirPix. Beschouw het als een monitor voor blinden. Het is een klein tablet met veel gaten in, en perslucht die naar buiten komt. Het kan beelden tekenen. Hoewel je blind bent, kun je je hand er overheen leggen, en de rijstroken en obstakels van de weg zien. Je kunt ook de frequentie van de uitgaande lucht regelen en eventueel de temperatuur. Het is een multidimensionale interface. Hier zie je de linkercamera, de rechtercamera van het voertuig en hoe de computer dat interpreteert en die informatie doorstuurt aan de AirPix. We laten een simulator zien, een blinde persoon die rijdt met behulp van de AirPix. Deze simulator is zeer nuttig voor de opleiding van de blinde chauffeurs en ook voor het snel testen van verschillende soorten ideeën voor verschillende soorten van niet-visuele gebruikersinterfaces. Dat is in principe hoe het werkt.
So just a month ago, on January 29th, we unveiled this vehicle for the very first time to the public at the world-famous Daytona International Speedway during the Rolex 24 racing event. We also had some surprises. Let's take a look.
Een maand geleden, op 29 januari, onthulden we dit voertuig voor de allereerste keer aan het publiek op de wereldberoemde Daytona International Speedway tijdens het Rolex 24 race-evenement. We hadden ook enkele verrassingen. Laten we een kijkje nemen.
(Music)
(Muziek)
(Video) Announcer: This is an historic day in January. He's coming up to the grandstand, fellow Federationists.
(Video) Omroeper: Dit is een historische dag [onduidelijk]. Hij rijdt tot aan de tribune, collega-Federistas.
(Cheering)
(Gejuich)
(Honking)
(Toeteren)
There's the grandstand now. And he's [unclear] following that van that's out in front of him. Well there comes the first box. Now let's see if Mark avoids it. He does. He passes it on the right. Third box is out. The fourth box is out. And he's perfectly making his way between the two. He's closing in on the van to make the moving pass. Well this is what it's all about, this kind of dynamic display of audacity and ingenuity. He's approaching the end of the run, makes his way between the barrels that are set up there.
Hier is de tribune. En hij [onduidelijk] volgt de wagen voor hem. Daar komt de eerste doos. Kan Mark ze vermijden? Inderdaad. Hij rijdt voorbij aan de rechterkant. Derde doos komt eraan. En ook de vierde doos. Hij vindt perfect zijn weg tussen de twee. Hij komt dichter bij het busje om het voorbij te steken. Hier draait het allemaal om, dit dynamische vertoon van durf en vindingrijkheid. Hij nadert het einde van de rit, maakt zijn weg tussen de vaten die daar zijn opgesteld.
(Honking)
(Toeteren)
(Applause)
(Applaus)
Dennis Hong: I'm so happy for you. Mark's going to give me a ride back to the hotel.
Dennis Hong: Ik ben zo blij voor je. Mark gaat mij een lift terug naar het hotel geven.
Mark Riccobono: Yes.
Mark Riccobono: Ja.
(Applause)
(Applaus)
DH: So since we started this project, we've been getting hundreds of letters, emails, phone calls from people from all around the world. Letters thanking us, but sometimes you also get funny letters like this one: "Now I understand why there is Braille on a drive-up ATM machine." (Laughter) But sometimes -- (Laughter) But sometimes I also do get -- I wouldn't call it hate mail -- but letters of really strong concern: "Dr. Hong, are you insane, trying to put blind people on the road? You must be out of your mind." But this vehicle is a prototype vehicle, and it's not going to be on the road until it's proven as safe as, or safer than, today's vehicle. And I truly believe that this can happen.
DH: Sinds we dit project gestart zijn, ontvingen we honderden brieven, e-mails, telefoontjes van mensen uit de hele wereld. Brieven om ons te bedanken, maar soms kregen we grappige brieven zoals deze: "Nu begrijp ik waarom er braille staat op een drive-in-geldautomaat." (Gelach) Maar soms - (Gelach) Soms kreeg ik ook - ik zou het geen haat-mail noemen - maar brieven met grote bezorgdheid: "Dr Hong, ben je gek, proberen om blinden op de weg te krijgen? Je hebt ze niet alle vijf op een rij. " Dit voertuig is een prototype van het voertuig, en het gaat de weg niet op totdat het zo veilig is, of veiliger dan het voertuig van vandaag. Ik geloof echt dat dit kan gebeuren.
But still, will the society, would they accept such a radical idea? How are we going to handle insurance? How are we going to issue driver's licenses? There's many of these different kinds of hurdles besides technology challenges that we need to address before this becomes a reality. Of course, the main goal of this project is to develop a car for the blind. But potentially more important than this is the tremendous value of the spin-off technology that can come from this project. The sensors that are used can see through the dark, the fog and rain. And together with this new type of interfaces, we can use these technologies and apply them to safer cars for sighted people. Or for the blind, everyday home appliances -- in the educational setting, in the office setting. Just imagine, in a classroom a teacher writes on the blackboard and a blind student can see what's written and read using these non-visual interfaces. This is priceless. So today, the things I've showed you today, is just the beginning.
Zal de maatschappij zo'n ingrijpend idee aanvaarden? Wat met de verzekering? Hoe gaan we rijbewijzen uitgeven? Er zijn heel veel verschillende soorten hindernissen, naast de technologische uitdagingen, die we moeten aanpakken voordat dit werkelijkheid wordt. Natuurlijk, het belangrijkste doel van dit project is om een auto te ontwikkelen voor blinden. Maar potentieel veel belangrijker dan dit is de enorme waarde van de spin-off-technologie die uit dit project kan komen. De sensoren die worden gebruikt, kunnen zien in het donker, in mist en regen. Samen met dit nieuwe type van interfaces, kunnen we gebruik maken van deze technologieën en ze toepassen om veiliger auto's voor zienden te maken. Of alledaagse huishoudelijke apparaten voor de blinden, - in de scholen, in de kantooromgeving. Stel je voor, in een klaslokaal schrijft een leraar op het bord en een blinde student kan zien wat er geschreven staat en het lezen door gebruik te maken van deze niet-visuele interfaces. Dit is onbetaalbaar. De dingen die ik vandaag heb laten zien, zijn nog maar het begin.
Thank you very much.
Hartelijk dank.
(Applause)
(Applaus)