Many believe driving is an activity solely reserved for those who can see. A blind person driving a vehicle safely and independently was thought to be an impossible task, until now. Hello, my name is Dennis Hong, and we're bringing freedom and independence to the blind by building a vehicle for the visually impaired.
Moita xente pensa que a condución é unha actividade unicamente reservada para os que poden ver. Que unha persoa cega conducise de forma segura e independente era unha tarefa considerada imposíbel ate agora. Ola, o meu nome é Dennis Hong, e mediante a construción dun vehículo para invidentes estámoslles a dar máis liberdade e independencia.
So before I talk about this car for the blind, let me briefly tell you about another project that I worked on called the DARPA Urban Challenge. Now this was about building a robotic car that can drive itself. You press start, nobody touches anything, and it can reach its destination fully autonomously. So in 2007, our team won half a million dollars by placing third place in this competition. So about that time, the National Federation of the Blind, or NFB, challenged the research committee about who can develop a car that lets a blind person drive safely and independently. We decided to give it a try, because we thought, "Hey, how hard could it be?" We have already an autonomous vehicle. We just put a blind person in it and we're done, right? (Laughter) We couldn't have been more wrong. What NFB wanted was not a vehicle that can drive a blind person around, but a vehicle where a blind person can make active decisions and drive. So we had to throw everything out the window and start from scratch.
Pero antes de falar deste coche para invidentes, permítanme referirme a outro proxecto no que traballei chamado DARPA Desafío Urbano. A idea era construír un coche robótico que se conducise el so. Púlsase o botón de inicio, e sen tocar nada, pódese chegar ao destino de forma completamente autónoma. En 2007, o noso equipo gañou medio millón de dólares gracias a conseguir o terceiro premio nesta competición. Nese momento a Federación Nacional de Cegos, ou en inglés NFB, propuxo ao comité de investigación o reto de desenvolver un coche que permitise a unha persoa cega conducir de forma segura e independente. Decidimos intentalo, porque pensamos: eh, no pode ser tan complicado! Xa temos un vehículo autónomo. Poñemos un persoa cega dentro e xa está, non? (Risos) Non podíamos estar máis equivocados o que a NFB quería non era un vehículo que transportase a unha persoa cega. senón un vehículo no que un persoa cega puidese tomar decisións e conducir. Así que tivemos que tirar todo pola borda e comezar de cero.
So to test this crazy idea, we developed a small dune buggy prototype vehicle to test the feasibility. And in the summer of 2009, we invited dozens of blind youth from all over the country and gave them a chance to take it for a spin. It was an absolutely amazing experience. But the problem with this car was it was designed to only be driven in a very controlled environment, in a flat, closed-off parking lot -- even the lanes defined by red traffic cones.
Para ensaiar esta disparatada idea, desenvolvemos un prototipo dun pequeno coche areiro para comprobar a viabilidade. No verán de 2009, invitamos a ducias de mozos e mozas invidentes de todo o país e démoslles a oportunidade de dar unha volta no prototipo. Foi unha experiencia absolutamente incríbel. Pero o problema do coche era que estaba estaba deseñado só para ser conducido nun ambiente controlado: nun aparcadoiro plano e pechado no que incluso os carrís estaban marcados con conos de tráfico.
So with this success, we decided to take the next big step, to develop a real car that can be driven on real roads. So how does it work? Well, it's a rather complex system, but let me try to explain it, maybe simplify it. So we have three steps. We have perception, computation and non-visual interfaces. Now obviously the driver cannot see, so the system needs to perceive the environment and gather information for the driver. For that, we use an initial measurement unit. So it measures acceleration, angular acceleration -- like a human ear, inner ear. We fuse that information with a GPS unit to get an estimate of the location of the car. We also use two cameras to detect the lanes of the road. And we also use three laser range finders. The lasers scan the environment to detect obstacles -- a car approaching from the front, the back and also any obstacles that run into the roads, any obstacles around the vehicle.
Con este logro, decidimos dar o seguinte gran paso e desenvolver un coche que puidese ser conducido en carreteiras de verdade. E, como funciona? Ben, é un sistema bastante complexo pero permítanme intentar explicarllo, e quizais simplificalo. Temos tres partes: Percepción, cálculo e interfaces non visuais. Obviamente o condutor non pode ver, así que o sistema necesita percibir o entorno e reunir a información para o condutor. Para elo, usamos un módulo de medición inicial que calcula a aceleración, a aceleración angular como se fora un oído humano, o oído interno. Esa información combínase coa do GPS para conseguir unha estimación da localización do coche. Tamén se usan dúas cámaras para detectar o movemento das liñas dos carrís. E tamén tres lasers telemétricos que examinan o entorno para detectar obstáculos: un coche acercándose por diante ou por detrás e calquera obstáculo que pode aparecer na carreteira, calquera obstáculo arredor do vehículo.
So all this vast amount of information is then fed into the computer, and the computer can do two things. One is, first of all, process this information to have an understanding of the environment -- these are the lanes of the road, there's the obstacles -- and convey this information to the driver. The system is also smart enough to figure out the safest way to operate the car. So we can also generate instructions on how to operate the controls of the vehicle. But the problem is this: How do we convey this information and instructions to a person who cannot see fast enough and accurate enough so he can drive? So for this, we developed many different types of non-visual user interface technology. So starting from a three-dimensional ping sound system, a vibrating vest, a click wheel with voice commands, a leg strip, even a shoe that applies pressure to the foot. But today we're going to talk about three of these non-visual user interfaces.
Así que toda esta información é enviada ao ordenador, e o ordenador fai dúas cousas: Unha, e primeiro de todo, procesa a información para comprender o entorno: estas son as liñas dos carrís, estes son os obstáculos; e despois comunícalle esta información ao condutor. O sistema é suficientemente intelixente para definir a forma máis segura de conducir o coche, polo que pode xerar as instrucións sobre como conducir o vehículo. Pero o problema é: Como comunicar esta información e instrucións a unha persoa que non pode ver e facelo coa suficiente rapidez e precisión para que poida conducir? Para isto deseñamos varios tipos de interfaces de usuario baseadas en tecnoloxías non visuais. Comezando por un sistema tridimensional de avisos sonoros, una chaleco vibrador, un volante con ordes por voz, unha cinta para as pernas, e incluso un zapato que aplica presión no pé. Pero hoxe imos falar sobre tres destas interfaces non visuais.
Now the first interface is called a DriveGrip. So these are a pair of gloves, and it has vibrating elements on the knuckle part so you can convey instructions about how to steer -- the direction and the intensity. Another device is called SpeedStrip. So this is a chair -- as a matter of fact, it's actually a massage chair. We gut it out, and we rearrange the vibrating elements in different patterns, and we actuate them to convey information about the speed, and also instructions how to use the gas and the brake pedal. So over here, you can see how the computer understands the environment, and because you cannot see the vibration, we actually put red LED's on the driver so that you can see what's happening. This is the sensory data, and that data is transferred to the devices through the computer.
A primeira interface chámase DriveGrip ("Control de condución"). Está composto dun par de guantes con elementos vibratorios nos cotelos para transmitir a información sobre o control da dirección e da súa intensidade Outro dispositivo é o chamado SpeedStrip ("cinta de velocidade"). Está composta dunha cadeira, de feito é unha cadeira de masaxes. Abrímola e reorganizamos os elementos vibratorios seguindo distintos esquemas e conseguimos que transmitan a información sobre a velocidade así como instrucións sobre como usar o acelerador e o freo. Aquí poden ver como o ordenador interpreta o entorno. E como a vibración non pode ser vista puxemos un díodos LED vermellos no condutor para observar que está a pasar. Esta é a información sensorial, e esta é a información transferida aos dispositivos a través do ordenador.
So these two devices, DriveGrip and SpeedStrip, are very effective. But the problem is these are instructional cue devices. So this is not really freedom, right? The computer tells you how to drive -- turn left, turn right, speed up, stop. We call this the "backseat-driver problem." So we're moving away from the instructional cue devices, and we're now focusing more on the informational devices. A good example for this informational non-visual user interface is called AirPix. So think of it as a monitor for the blind. So it's a small tablet, has many holes in it, and compressed air comes out, so it can actually draw images. So even though you are blind, you can put your hand over it, you can see the lanes of the road and obstacles. Actually, you can also change the frequency of the air coming out and possibly the temperature. So it's actually a multi-dimensional user interface. So here you can see the left camera, the right camera from the vehicle and how the computer interprets that and sends that information to the AirPix. For this, we're showing a simulator, a blind person driving using the AirPix. This simulator was also very useful for training the blind drivers and also quickly testing different types of ideas for different types of non-visual user interfaces. So basically that's how it works.
Estes dous dispositivos, DriveGrip e SpeedStrip, son moi efectivos. Pero o problema é que son dispositivos que proporcionan ordes. Así isto non é unha liberdade real, non si? O ordenador indica como conducir: xire á esquerda, á dereita, acelere, pare. Chamamos a isto o problema do condutor no asento de atrás. Así que nos alonxamos destes dispositivos que proporcionan ordes e estámonos a centrar en dispositivos máis ben informativos. Un bo exemplo deste tipo de interfaces de usuario non-visuais é a chamada AirPix. Pensade nela como nun monitor para invidentes. É unha pequena táboa con moitos orificios dos que sae aire comprimido e dese forma pode debuxar imaxes. Así aínda que sexas cego, podes colocar a túa man enriba del e imaxinar como son os carrís da carreteira e os obstáculos. De feito, podes cambiar a frecuencia coa que sae o ar así como a temperatura. Así que en realidade é unha interface de usuario multidimensional. Aquí poden ver a cámara esquerda e dereita do vehículo e como ordenador interpreta e transmite a información a AirPix. Usamos un simulador para que a persoa cega poida conducir usando AirPix. O simulador resultou tamén moi útil para adestrar condutores cegos e probar de forma rápida distintos tipos de ideas para distintos tipos de interfaces non visuais. Así que, en esencia, é así como funciona.
So just a month ago, on January 29th, we unveiled this vehicle for the very first time to the public at the world-famous Daytona International Speedway during the Rolex 24 racing event. We also had some surprises. Let's take a look.
Hai tan só un mes, o 29 de xaneiro, exhibimos o vehículo por primeira vez ao público no famoso circuíto internacional de Daytona, coincidindo coa carreira Rolex 24. Tamén nos levamos algunhas sorpresas. Botemos unha ollada.
(Music)
(Música)
(Video) Announcer: This is an historic day in January. He's coming up to the grandstand, fellow Federationists.
(Vídeo) Locutor: Este é un día histórico [inintelixíbel] Estase a aproximar á tribuna, queridos espectadores.
(Cheering)
(Aclamacións)
(Honking)
(Bucinazos)
There's the grandstand now. And he's [unclear] following that van that's out in front of him. Well there comes the first box. Now let's see if Mark avoids it. He does. He passes it on the right. Third box is out. The fourth box is out. And he's perfectly making his way between the two. He's closing in on the van to make the moving pass. Well this is what it's all about, this kind of dynamic display of audacity and ingenuity. He's approaching the end of the run, makes his way between the barrels that are set up there.
Agora está ao lado da tribuna. Está a seguir [inintelixíbel] a furgoneta que vai diante. Aquí chega a primeira caixa. Veremos se Mark a evita. Faino. Evítaa pola dereita. A terceira caixa está fora, e a cuarta. E consegue pasar sen problemas entre as dúas. Está acercándose á furgoneta para adiantala. Ben, isto foi o máis importante desta exhibición de audacia e enxeño. Acércase o final do percorrido, pasa entre os barrís colocados nel.
(Honking)
(Bucinazos)
(Applause)
(Aplausos)
Dennis Hong: I'm so happy for you. Mark's going to give me a ride back to the hotel.
Dennis Hong: Estou tan contento por vós. Mark vaime levar en coche de volta ao hotel.
Mark Riccobono: Yes.
Mark Riccobono: Si.
(Applause)
(Aplausos)
DH: So since we started this project, we've been getting hundreds of letters, emails, phone calls from people from all around the world. Letters thanking us, but sometimes you also get funny letters like this one: "Now I understand why there is Braille on a drive-up ATM machine." (Laughter) But sometimes -- (Laughter) But sometimes I also do get -- I wouldn't call it hate mail -- but letters of really strong concern: "Dr. Hong, are you insane, trying to put blind people on the road? You must be out of your mind." But this vehicle is a prototype vehicle, and it's not going to be on the road until it's proven as safe as, or safer than, today's vehicle. And I truly believe that this can happen.
DH: Dende que comenzamos este proxecto, temos recibido centos de cartas, correos electrónicos, chamadas de xente de todo o mundo. Cartas de agradecemento, pero ás veces tamén algunhas simpáticas como esta: "Agora entendo por que hai indicacións en Braille nos caixeiros para condutores." (Risos) Pero ás veces (Risos) Pero ás veces tamén recibimos, non as chamaría cartas de odio, pero son realmente preocupantes. "Dr. Hong, está mal da cabeza?, quere poñer cegos ao volante? Tes que ser tolo." Pero este vehículo é un prototipo, e non estará nas carreteiras ate que se comprobe que é igual ou máis seguro que calquera vehículo actual. E creo sinceramente que isto pasará.
But still, will the society, would they accept such a radical idea? How are we going to handle insurance? How are we going to issue driver's licenses? There's many of these different kinds of hurdles besides technology challenges that we need to address before this becomes a reality. Of course, the main goal of this project is to develop a car for the blind. But potentially more important than this is the tremendous value of the spin-off technology that can come from this project. The sensors that are used can see through the dark, the fog and rain. And together with this new type of interfaces, we can use these technologies and apply them to safer cars for sighted people. Or for the blind, everyday home appliances -- in the educational setting, in the office setting. Just imagine, in a classroom a teacher writes on the blackboard and a blind student can see what's written and read using these non-visual interfaces. This is priceless. So today, the things I've showed you today, is just the beginning.
Aínda así, o pensa a sociedade? Está preparada para aceptar unha idea tan radical? Como o tratarán as aseguradoras? Que pasarán cos carnés de conducir? Existen numerosos obstáculos similares, alén dos problemas técnicos, que aínda están por afrontar antes de que isto se converta en realidade. Por suposto, a principal meta do proxecto é desenvolver un coche para os cegos. Pero quizais máis importe que iso é o inmenso valor dos subprodutos tecnolóxicos que poder xurdir de este proxecto. Os sensores que usamos poden ser utilizados para ver na escuridade, na néboa e baixo a chuvia. E xunto con este novo tipo de interfaces, podemos utilizar estas tecnoloxías e aplicalas para construír coches para videntes máis seguros. Ou tamén electrodomésticos para invidentes no entorno educativo e nas oficinas. Tan son imaxinen, unha clase na que o profesor escrebe no encerado e un estudante cego pode ver o está escrito e lelo usando estas interfaces non visuais. Isto non ten prezo. Por agora, o que lles mostrei hoxe, é só o comezo.
Thank you very much.
Moitas gracias.
(Applause)
(Aplausos)