Many believe driving is an activity solely reserved for those who can see. A blind person driving a vehicle safely and independently was thought to be an impossible task, until now. Hello, my name is Dennis Hong, and we're bringing freedom and independence to the blind by building a vehicle for the visually impaired.
Beaucoup pensent que conduire est une activité exclusivement réservée à ceux qui peuvent voir. Une personne aveugle conduisant en sécurité et indépendamment était considérée comme une tâche impossible, jusqu'à maintenant. Bonjour, mon nom est Dennis Hong, et nous apportons la liberté et l'indépendance aux aveugles en construisant un véhicule pour les malvoyants.
So before I talk about this car for the blind, let me briefly tell you about another project that I worked on called the DARPA Urban Challenge. Now this was about building a robotic car that can drive itself. You press start, nobody touches anything, and it can reach its destination fully autonomously. So in 2007, our team won half a million dollars by placing third place in this competition. So about that time, the National Federation of the Blind, or NFB, challenged the research committee about who can develop a car that lets a blind person drive safely and independently. We decided to give it a try, because we thought, "Hey, how hard could it be?" We have already an autonomous vehicle. We just put a blind person in it and we're done, right? (Laughter) We couldn't have been more wrong. What NFB wanted was not a vehicle that can drive a blind person around, but a vehicle where a blind person can make active decisions and drive. So we had to throw everything out the window and start from scratch.
Donc avant de vous parler de cette voiture pour aveugles, laissez-moi vous présenter rapidement un autre projet sur lequel j'ai travaillé, qui s'appelle le Défi Urbain DARPA. Il s'agissait de construire une voiture robotique qui peut se conduire elle-même. Vous pressez le bouton de démarrage, personne ne touche quoi que ce soit, et elle peut atteindre sa destination de façon complètement autonome. Donc en 2007, notre équipe a gagné un demi-million de Dollars en finissant troisième de cette compétition. Alors à cette époque, la Fédération Nationale des Aveugles, la NFB, a mis au défi le comité de recherche à propos de qui pourrait développer une voiture permettant à une personne aveugle de conduire en sécurité et indépendamment. On a décidé d'essayer. parce qu'on pensait "Hé, ça doit pas être bien difficile". On avait déjà un véhicule autonome. On avait juste à mettre une personne aveugle dedans et ce serait fait, n'est-ce pas ? (Rires) On n'aurait pas pu se méprendre plus. Ce que la NFB voulait n'était pas un véhicule qui peut transporter une personne aveugle, mais un véhicule dans laquelle une personne aveugle peut prendre des décisions actives et conduire. Donc nous avons dû tout jeter par la fenêtre et recommencer à zéro.
So to test this crazy idea, we developed a small dune buggy prototype vehicle to test the feasibility. And in the summer of 2009, we invited dozens of blind youth from all over the country and gave them a chance to take it for a spin. It was an absolutely amazing experience. But the problem with this car was it was designed to only be driven in a very controlled environment, in a flat, closed-off parking lot -- even the lanes defined by red traffic cones.
Alors pour tester cette idée insensée, nous avons développé un petit prototype de buggy pour dunes, pour tester sa faisabilité. Et durant l'été 2009, nous avons invité des douzaines de jeunes aveugles à travers le pays et leur avons donné l'opportunité de l'emprunter pour un tour. Ça a été une expérience absolument extraordinaire. Mais le problème avec cette voiture était qu'elle était conçue seulement pour être conduite dans un environnement très contrôlé, dans un parking plat et fermé -- même les voies étaient définies par des cônes de signalisation rouges.
So with this success, we decided to take the next big step, to develop a real car that can be driven on real roads. So how does it work? Well, it's a rather complex system, but let me try to explain it, maybe simplify it. So we have three steps. We have perception, computation and non-visual interfaces. Now obviously the driver cannot see, so the system needs to perceive the environment and gather information for the driver. For that, we use an initial measurement unit. So it measures acceleration, angular acceleration -- like a human ear, inner ear. We fuse that information with a GPS unit to get an estimate of the location of the car. We also use two cameras to detect the lanes of the road. And we also use three laser range finders. The lasers scan the environment to detect obstacles -- a car approaching from the front, the back and also any obstacles that run into the roads, any obstacles around the vehicle.
Donc fort de ce succès, nous avons décidé de sauter le grand pas suivant, pour développer une vraie voiture pouvant être conduite sur de vraies routes. Alors comment cela marche-t-il? Eh bien, c'est un système plutôt complexe, mais laissez-moi essayer de l'expliquer, peut-être de le simplifier. Donc il y a trois étapes. Il y a la perception, le calcul et les interfaces non-visuelles. Évidemment, le conducteur ne peut pas voir, donc le système doit percevoir l'environnement et rassembler les informations pour le conducteur. Pour ça, nous utilisons une unité de mesure initiale. Donc cela mesure l'accélération, l'accélération angulaire -- comme une oreille humaine, une oreille interne. Nous fusionnons cette information avec une unité GPS pour avoir une estimation de la position de la voiture. Nous utilisons également deux caméras pour détecter les voies de la route. Et nous utilisons aussi trois télémètres lasers. Les lasers balayent l'environnement pour détecter les obstacles -- une voiture s'approchant en face, derrière et aussi n'importe quels obstacles entrant sur la route, n'importe quels obstacles autour du véhicule.
So all this vast amount of information is then fed into the computer, and the computer can do two things. One is, first of all, process this information to have an understanding of the environment -- these are the lanes of the road, there's the obstacles -- and convey this information to the driver. The system is also smart enough to figure out the safest way to operate the car. So we can also generate instructions on how to operate the controls of the vehicle. But the problem is this: How do we convey this information and instructions to a person who cannot see fast enough and accurate enough so he can drive? So for this, we developed many different types of non-visual user interface technology. So starting from a three-dimensional ping sound system, a vibrating vest, a click wheel with voice commands, a leg strip, even a shoe that applies pressure to the foot. But today we're going to talk about three of these non-visual user interfaces.
Donc toute cette vaste quantité d'information est alors entrée dans l'ordinateur, et l'ordinateur peut faire deux choses. L'une est, tout d'abord, de traiter cette information pour avoir une appréhension de l'environnement -- ça, ce sont les voies de la route, voici les obstacles -- et transmettre cette information au conducteur. Le système est également suffisamment intelligent pour comprendre la façon la plus sûre de faire fonctionner la voiture. Donc on peut aussi générer des instructions sur comment utiliser les contrôles du véhicule. Mais le problème est le suivant : comment transmet-on cette information et ces instructions à quelqu'un qui ne peut pas voir assez rapidement et précisément pour qu'il puisse conduire ? Alors pour cela, nous avons développé beaucoup de différentes sortes de technologie d'interface-utilisateur non-visuelle. Donc en commençant par un système de tintement en trois dimensions, une veste vibrante, un volant à déclic avec commande vocale, une bande sur la jambe, et même une chaussure qui fait pression sur le pied. Mais aujourd'hui nous allons parler de trois de ces interfaces-utilisateur non-visuelles.
Now the first interface is called a DriveGrip. So these are a pair of gloves, and it has vibrating elements on the knuckle part so you can convey instructions about how to steer -- the direction and the intensity. Another device is called SpeedStrip. So this is a chair -- as a matter of fact, it's actually a massage chair. We gut it out, and we rearrange the vibrating elements in different patterns, and we actuate them to convey information about the speed, and also instructions how to use the gas and the brake pedal. So over here, you can see how the computer understands the environment, and because you cannot see the vibration, we actually put red LED's on the driver so that you can see what's happening. This is the sensory data, and that data is transferred to the devices through the computer.
Maintenant la première interface s'appelle un "DriveGrip". Alors c'est une paire de gants, et elle a un élément vibrant sur les phalanges, pour pouvoir transmettre des instructions sur comment se diriger -- à propos de la direction et de l'intensité. Un autre dispositif s'appelle le "SpeedStrip". Donc c'est une chaise -- en fait, c'est en réalité une chaise de massage. Nous l'avons vidée, et nous avons réarrangé les éléments vibrants selon des schémas différents. Et on les déclenche pour transmettre des informations concernant la vitesse, ainsi que des instructions sur comment utiliser l'accélérateur et la pédale de frein. Donc par ici, vous pouvez voir comment l'ordinateur comprend l'environnement. Et parce que vous ne pouvez pas voir les vibrations, nous avons en fait mis des LED rouges sur le conducteur, pour que l'on puisse vraiment voir ce qui ce passe. Ce sont les données sensorielles, et ces données sont transmises aux dispositifs via l'ordinateur.
So these two devices, DriveGrip and SpeedStrip, are very effective. But the problem is these are instructional cue devices. So this is not really freedom, right? The computer tells you how to drive -- turn left, turn right, speed up, stop. We call this the "backseat-driver problem." So we're moving away from the instructional cue devices, and we're now focusing more on the informational devices. A good example for this informational non-visual user interface is called AirPix. So think of it as a monitor for the blind. So it's a small tablet, has many holes in it, and compressed air comes out, so it can actually draw images. So even though you are blind, you can put your hand over it, you can see the lanes of the road and obstacles. Actually, you can also change the frequency of the air coming out and possibly the temperature. So it's actually a multi-dimensional user interface. So here you can see the left camera, the right camera from the vehicle and how the computer interprets that and sends that information to the AirPix. For this, we're showing a simulator, a blind person driving using the AirPix. This simulator was also very useful for training the blind drivers and also quickly testing different types of ideas for different types of non-visual user interfaces. So basically that's how it works.
Donc ces deux dispositifs, "DriveGrip" et "SpeedStrip", sont très efficaces. Mais le problème est que ce sont des dispositifs signalant des instructions. Donc ce n'est pas vraiment la liberté, n'est-ce-pas ? L'ordinateur vous dit comment conduire -- de tourner à gauche, de tourner à droite, d'accélérer, d'arrêter. On appelle cela le problème du conducteur du siège arrière. Donc nous nous éloignons des dispositifs qui donnent des instructions, et désormais nous nous concentrons plus sur les dispositifs informationnels. Un bon exemple d'interface-utilisateur non-visuel et informationnel s'appelle "AirPix". Alors, pensez à cela comme à un écran pour les aveugles. Donc c'est une petite tablette, qui a plein de trous, et de l'air comprimé en sort, de sorte que ça peut réellement dessiner des images. Donc même si vous êtes aveugle, vous pouvez mettre votre main au-dessus, et vous pouvez voir les voies de la route et les obstacles. En fait, vous pouvez aussi changer la fréquence de l'air qui sort et éventuellement la température. Donc c'est en réalité une interface-utilisateur multidimensionnelle. Alors ici vous pouvez voir la caméra de gauche, la caméra de droite depuis le véhicule et comment l'ordinateur interprète cela et envoie les informations à l'"AirPix". Pour cela, nous montrons un simulateur, une personne aveugle qui conduit en utilisant l'"AirPix". Ce simulateur était aussi très utile pour former les conducteurs aveugles et aussi tester rapidement différents types d'idées pour différents types d'interfaces-utilisateur non-visuelles. Donc en gros, c'est comme cela que ça fonctionne.
So just a month ago, on January 29th, we unveiled this vehicle for the very first time to the public at the world-famous Daytona International Speedway during the Rolex 24 racing event. We also had some surprises. Let's take a look.
Alors il y a juste un mois, le 29 janvier [2011], nous avons dévoilé ce véhicule au public pour la première fois, au circuit international de Daytona, internationalement renommé, lors des 24 heures de Daytona. Nous avons également eu des surprises. Jetons un œil.
(Music)
(Musique)
(Video) Announcer: This is an historic day in January. He's coming up to the grandstand, fellow Federationists.
(Vidéo) Présentateur : C'est un jour historique. Il va vers la tribune, amis de la fédération [la FNB],
(Cheering)
(Acclamations)
(Honking)
(Klaxon)
There's the grandstand now. And he's [unclear] following that van that's out in front of him. Well there comes the first box. Now let's see if Mark avoids it. He does. He passes it on the right. Third box is out. The fourth box is out. And he's perfectly making his way between the two. He's closing in on the van to make the moving pass. Well this is what it's all about, this kind of dynamic display of audacity and ingenuity. He's approaching the end of the run, makes his way between the barrels that are set up there.
C'est la tribune maintenant. Et il suit cette camionette qui est devant lui. Eh bien, voici la première boîte. Maintenant voyons si Mark l'évite. Il le fait. Il la contourne par la droite. La troisième boîte est sortie. La quatrième boîte est sortie. Et il trace parfaitement son chemin entre les deux. Il se rapproche de la camionette pour la doubler. Eh bien, c'est tout ce dont il est question, cette sorte de démonstration dynamique d'audace et d'ingéniosité. Il s'approche de la fin de la piste, se fait un chemin entre les tonneaux installés là.
(Honking)
(Klaxon)
(Applause)
(Applaudissements)
Dennis Hong: I'm so happy for you. Mark's going to give me a ride back to the hotel.
Dennis Hong: Je suis tellement content pour toi. Mark va me ramener à l'hôtel.
Mark Riccobono: Yes.
Mark Riccobono : Oui.
(Applause)
(Applaudissements)
DH: So since we started this project, we've been getting hundreds of letters, emails, phone calls from people from all around the world. Letters thanking us, but sometimes you also get funny letters like this one: "Now I understand why there is Braille on a drive-up ATM machine." (Laughter) But sometimes -- (Laughter) But sometimes I also do get -- I wouldn't call it hate mail -- but letters of really strong concern: "Dr. Hong, are you insane, trying to put blind people on the road? You must be out of your mind." But this vehicle is a prototype vehicle, and it's not going to be on the road until it's proven as safe as, or safer than, today's vehicle. And I truly believe that this can happen.
DH : Donc depuis que nous avons commencé ce projet, nous avons reçu des centaines de lettres, de courriers électroniques, de coups de téléphone de gens de partout dans le monde. Des lettres pour nous remercier, mais parfois on reçoit aussi des lettres drôles comme celle-ci : "Maintenant je comprends pourquoi il y a du braille sur un distributeur de billets pour conducteurs." (Rires) Mais parfois -- (Rires) Mais parfois je reçois aussi -- je n'appellerais pas ça des lettres d'insultes -- mais des lettres exprimant une inquiétude très sérieuse: "Dr. Hong, êtes-vous fou, pour essayer de mettre les aveugles sur la route ? Vous devez avoir perdu la raison." Mais ce véhicule est un véhicule prototype, et il ne va pas être sur la route avant d'être démontré aussi sûr que, ou plus sûr, qu'un véhicule d'aujourd'hui. Et je crois vraiment que cela peut arriver.
But still, will the society, would they accept such a radical idea? How are we going to handle insurance? How are we going to issue driver's licenses? There's many of these different kinds of hurdles besides technology challenges that we need to address before this becomes a reality. Of course, the main goal of this project is to develop a car for the blind. But potentially more important than this is the tremendous value of the spin-off technology that can come from this project. The sensors that are used can see through the dark, the fog and rain. And together with this new type of interfaces, we can use these technologies and apply them to safer cars for sighted people. Or for the blind, everyday home appliances -- in the educational setting, in the office setting. Just imagine, in a classroom a teacher writes on the blackboard and a blind student can see what's written and read using these non-visual interfaces. This is priceless. So today, the things I've showed you today, is just the beginning.
Mais même, la société acceptera-t-elle, les gens accepteraient-ils une idée aussi radicale ? Comment allons-nous gérer l'assurance ? Comment allons-nous délivrer les permis de conduire ? Il y a plein d'obstacles divers au-delà des défis technologiques que nous devons adresser avant que cela ne devienne une réalité. Bien sûr, le principal but de ce projet est de développer une voiture pour les aveugles. Mais potentiellement plus important que cela est la formidable valeur de la technologie dérivée qui peut émerger de ce projet. Les senseurs utilisés voient à travers l'obscurité, le brouillard et la pluie. Et ensemble avec ce nouveau type d'interfaces, nous pouvons utiliser ces technologies et les appliquer pour rendre les voitures pour voyants plus sûres. Ou pour les aveugles, les appareils électriques du quotidien -- dans le contexte éducatif, au bureau. Imaginez seulement, dans une salle de classe un professeur écrit au tableau et un étudiant aveugle peut voir ce qui est écrit et lire en utilisant l'une de ces interfaces non-visuelles. Cela n'a pas de prix. Donc aujourd'hui, les choses que je vous ai montrées, ce n'est que le début.
Thank you very much.
Merci beaucoup.
(Applause)
(Applaudissements)