Many believe driving is an activity solely reserved for those who can see. A blind person driving a vehicle safely and independently was thought to be an impossible task, until now. Hello, my name is Dennis Hong, and we're bringing freedom and independence to the blind by building a vehicle for the visually impaired.
Muitos acreditam que conduzir é uma actividade reservada apenas para aqueles que conseguem ver. Um cego a conduzir um veículo de forma segura e independente era suposta ser uma tarefa impossível, até agora. Olá, eu chamo-me Dennis Hong, e estamos a trazer liberdade e independência aos cegos construindo um veículo para os deficientes visuais.
So before I talk about this car for the blind, let me briefly tell you about another project that I worked on called the DARPA Urban Challenge. Now this was about building a robotic car that can drive itself. You press start, nobody touches anything, and it can reach its destination fully autonomously. So in 2007, our team won half a million dollars by placing third place in this competition. So about that time, the National Federation of the Blind, or NFB, challenged the research committee about who can develop a car that lets a blind person drive safely and independently. We decided to give it a try, because we thought, "Hey, how hard could it be?" We have already an autonomous vehicle. We just put a blind person in it and we're done, right? (Laughter) We couldn't have been more wrong. What NFB wanted was not a vehicle that can drive a blind person around, but a vehicle where a blind person can make active decisions and drive. So we had to throw everything out the window and start from scratch.
Portanto antes de eu falar sobre este carro para os cegos, deixem-me falar-vos de outro projecto em que trabalhei chamado DARPA Urban Challenge. Este era sobre construir um carro robótico que se conduzisse a si mesmo. Carregam em começar, ninguém toca em nada, e ele chega ao destino de forma completamente autónoma. Portanto em 2007, a nossa equipa ganhou meio milhão de dólares por ficar no terceiro lugar desta competição. Por essa altura, a National Federation of the Blind, ou NFB, desafiou o comité de pesquisa para descobrir quem conseguiria desenvolver um carro que deixasse um cego conduzir de forma segura e independente. Decidimos experimentar, porque pensámos, ei, não pode ser muito difícil. Já temos um veículo autónomo. É só pôr alguém cego lá dentro e está feito, certo? (Risos) Não podíamos estar mais errados. O que a NFB queria não era um veículo que conduzisse um cego, mas um veículo onde uma pessoa cega pudesse fazer decisões activas e guiar. Portanto, tivemos de atirar tudo pela janela e começar do nada.
So to test this crazy idea, we developed a small dune buggy prototype vehicle to test the feasibility. And in the summer of 2009, we invited dozens of blind youth from all over the country and gave them a chance to take it for a spin. It was an absolutely amazing experience. But the problem with this car was it was designed to only be driven in a very controlled environment, in a flat, closed-off parking lot -- even the lanes defined by red traffic cones.
Então, para testar esta ideia louca, desenvolvemos um pequeno veículo protótipo, um buggy, para testar a viabilidade. E, no Verão de 2009, convidámos dúzias de jovens cegos de todo o país e demos-lhes a oportunidade de o conduzir. Foi uma experiência absolutamente espetacular. Mas o problema com este carro era que estava feito apenas para ser conduzido num ambiente muito controlado, num parque de estacionamento plano e fechado -- até as faixas estavam definidas por cones de trânsito vermelhos.
So with this success, we decided to take the next big step, to develop a real car that can be driven on real roads. So how does it work? Well, it's a rather complex system, but let me try to explain it, maybe simplify it. So we have three steps. We have perception, computation and non-visual interfaces. Now obviously the driver cannot see, so the system needs to perceive the environment and gather information for the driver. For that, we use an initial measurement unit. So it measures acceleration, angular acceleration -- like a human ear, inner ear. We fuse that information with a GPS unit to get an estimate of the location of the car. We also use two cameras to detect the lanes of the road. And we also use three laser range finders. The lasers scan the environment to detect obstacles -- a car approaching from the front, the back and also any obstacles that run into the roads, any obstacles around the vehicle.
Portanto, com este sucesso, decidimos dar o próximo grande passo, desenvolver um carro verdadeiro que pudesse ser conduzido em estradas verdadeiras. Então como funciona? Bem, é um sistema bastante complexo, mas vou tentar explicá-lo, talvez simplificá-lo. Temos três passos. Temos percepção, computação e interfaces não-visuais. Obviamente o condutor não consegue ver, portanto o sistema tem de perceber o ambiente circundante e armazenar informação para o condutor. Para isso, utilizamos uma unidade de medida inercial. Portanto ela mede aceleração, aceleração angular -- tal como um ouvido humano, o ouvido interno. Fundimos essa informação com uma unidade de GPS para obter uma estimativa da localização do carro. Também usamos duas câmaras para detectar as faixas da estrada. E usamos três telémetros laser. Os lasers varrem o ambiente para detectar obstáculos -- um carro a aproximar-se pela frente, por trás, e também quaisquer obstáculos que entrem nas estradas, quaisquer obstáculos à volta do veículo.
So all this vast amount of information is then fed into the computer, and the computer can do two things. One is, first of all, process this information to have an understanding of the environment -- these are the lanes of the road, there's the obstacles -- and convey this information to the driver. The system is also smart enough to figure out the safest way to operate the car. So we can also generate instructions on how to operate the controls of the vehicle. But the problem is this: How do we convey this information and instructions to a person who cannot see fast enough and accurate enough so he can drive? So for this, we developed many different types of non-visual user interface technology. So starting from a three-dimensional ping sound system, a vibrating vest, a click wheel with voice commands, a leg strip, even a shoe that applies pressure to the foot. But today we're going to talk about three of these non-visual user interfaces.
E esta vasta quantidade de informação é então inserida no computador, e o computador pode fazer duas coisas. Uma é, antes de mais, processar esta informação para obter uma compreensão do ambiente -- estas são as faixas da estrada, estão ali os obstáculos -- e transmitir esta informação ao condutor. O sistema também é inteligente o suficiente para descobrir a maneira mais segura de conduzir o carro. Portanto também podemos gerar instruções sobre como operar os controlos do veículo. Mas o problema é este: Como transmitimos esta informação e instruções a alguém que não consegue ver de forma rápida e precisa o suficiente para que ele consiga conduzir? Então, para isto, desenvolvemos vários tipos diferentes de tecnologia de interface não-visual para utilizadores. Portanto, começámos por um sistema tridimensional de som, um colete de vibração, um volante com comandos de voz, uma tira para a perna, até um sapato que aplica pressão no pé. Mas hoje vamos falar sobre três destas interfaces não-visuais.
Now the first interface is called a DriveGrip. So these are a pair of gloves, and it has vibrating elements on the knuckle part so you can convey instructions about how to steer -- the direction and the intensity. Another device is called SpeedStrip. So this is a chair -- as a matter of fact, it's actually a massage chair. We gut it out, and we rearrange the vibrating elements in different patterns, and we actuate them to convey information about the speed, and also instructions how to use the gas and the brake pedal. So over here, you can see how the computer understands the environment, and because you cannot see the vibration, we actually put red LED's on the driver so that you can see what's happening. This is the sensory data, and that data is transferred to the devices through the computer.
A primeira interface chama-se DriveGrip. Estas são um par de luvas, e têm elementos vibratórios na parte dos nós dos dedos, para que seja possível transmitir instruções sobre como virar -- a direcção e intensidade. Outro dispositivo é a SpeedStrip. Esta é uma cadeira -- na verdade, é uma cadeira de massagens. Nós abrimo-la, e rearranjamos os elementos vibratórios em diferentes padrões. E fazemos com que estes transmitam informação sobre a velocidade, e também instruções em como usar os pedais de aceleração e travagem. Portanto aqui, podem ver como o computador se apercebe do ambiente. E, como não podem ver a vibração, pusemos LEDs vermelhos no condutor, para que possamos ver o que está a acontecer. Estes são os dados sensoriais, e esses dados são transmitidos para os dispositivos pelo computador.
So these two devices, DriveGrip and SpeedStrip, are very effective. But the problem is these are instructional cue devices. So this is not really freedom, right? The computer tells you how to drive -- turn left, turn right, speed up, stop. We call this the "backseat-driver problem." So we're moving away from the instructional cue devices, and we're now focusing more on the informational devices. A good example for this informational non-visual user interface is called AirPix. So think of it as a monitor for the blind. So it's a small tablet, has many holes in it, and compressed air comes out, so it can actually draw images. So even though you are blind, you can put your hand over it, you can see the lanes of the road and obstacles. Actually, you can also change the frequency of the air coming out and possibly the temperature. So it's actually a multi-dimensional user interface. So here you can see the left camera, the right camera from the vehicle and how the computer interprets that and sends that information to the AirPix. For this, we're showing a simulator, a blind person driving using the AirPix. This simulator was also very useful for training the blind drivers and also quickly testing different types of ideas for different types of non-visual user interfaces. So basically that's how it works.
Estes dois dispositivos, DriveGrip e SpeedStrip, são bastante efectivos. Mas o problema é que estes são dispositivos de instrução. Logo, isto não é liberdade, certo? O computador indica como conduzir -- virar à esquerda, virar à direita, acelerar, parar. Chamamos a isto o problema do pendura. Portanto estamos a afastar-nos deste tipo de dispositivos, e agora estamos a focar-nos mais em dispositivos informacionais. Um bom exemplo para interfaces de informação não-visual chama-se AirPix. Pensem nele como um monitor para cegos. É uma pequena tábua, tem muitos buracos, e sai ar comprimido desses buracos, portanto consegue mesmo desenhar imagens. E mesmo que sejam cegos, podem pôr a mão sobre ela, e ver as faixas da estrada e obstáculos. Na verdade, também é possível mudar a frequência do ar a sair e possivelmente a temperatura. Portanto, é na verdade uma interface multi-dimensional. Aqui vê-se a câmara esquerda e direita do veículo e como o computador as interpreta e envia a informação para o AirPix. Para isto, estamos a mostrar um simulador, uma pessoa cega a conduzir usando o AirPix. Este simulador também foi muito útil para treinar os condutores cegos e testar rapidamente tipos diferentes de ideias para tipos diferentes de interfaces não-visuais. Portanto basicamente é assim que funciona.
So just a month ago, on January 29th, we unveiled this vehicle for the very first time to the public at the world-famous Daytona International Speedway during the Rolex 24 racing event. We also had some surprises. Let's take a look.
E apenas há um mês, a 29 de Janeiro, demonstrámos este veículo pela primeira vez em público na mundialmente famosa Daytona International Speedway durante o evento de corridas Rolex 24. Também tivemos algumas surpresas. Vamos dar uma olhadela.
(Music)
(Música)
(Video) Announcer: This is an historic day in January. He's coming up to the grandstand, fellow Federationists.
(Vídeo) Narrador: Este é um dia histórico [não está claro]. Ele está a chegar à bancada, caros Federistas.
(Cheering)
(Aplausos)
(Honking)
(Buzinas)
There's the grandstand now. And he's [unclear] following that van that's out in front of him. Well there comes the first box. Now let's see if Mark avoids it. He does. He passes it on the right. Third box is out. The fourth box is out. And he's perfectly making his way between the two. He's closing in on the van to make the moving pass. Well this is what it's all about, this kind of dynamic display of audacity and ingenuity. He's approaching the end of the run, makes his way between the barrels that are set up there.
Lá está a bancada. E ele está a seguir a carrinha que está em frente dele. Bem, lá vem a primeira caixa. Vamos ver agora se o Mark a evita. E evitou. Ele passa-a pela direita. A terceira já foi. A quarta já foi. E ele está a passar perfeitamente entre as duas. Ele está a aproximar-se da carrinha para fazer a ultrapassagem. Bem é isto que se quer, este tipo de demonstração dinâmica de audácia e engenhosa. Ele está a chegar ao fim da linha, passa entre os barris preparados.
(Honking)
(Buzinas)
(Applause)
(Aplausos)
Dennis Hong: I'm so happy for you. Mark's going to give me a ride back to the hotel.
Dennis Hong: Estou muito feliz por si. O Mark vai-me dar uma boleia de volta ao hotel.
Mark Riccobono: Yes.
Mark Riccobono: Sim.
(Applause)
(Aplausos)
DH: So since we started this project, we've been getting hundreds of letters, emails, phone calls from people from all around the world. Letters thanking us, but sometimes you also get funny letters like this one: "Now I understand why there is Braille on a drive-up ATM machine." (Laughter) But sometimes -- (Laughter) But sometimes I also do get -- I wouldn't call it hate mail -- but letters of really strong concern: "Dr. Hong, are you insane, trying to put blind people on the road? You must be out of your mind." But this vehicle is a prototype vehicle, and it's not going to be on the road until it's proven as safe as, or safer than, today's vehicle. And I truly believe that this can happen.
DH: Desde que começámos este projecto, recebemos centenas de cartas, e-mails, chamadas telefónicas de pessoas de todo o mundo. Cartas a agradecerem-nos, mas por vezes também recebemos cartas engraçadas como esta: "Agora já percebi porque é que há Braille num ATM de drive-up." (Risos) Mas por vezes -- (Risos) Mas por vezes também recebo -- não lhe chamaria cartas de ódio -- mas cartas de preocupação bastante forte: "Dr. Hong, é louco, a tentar meter cegos na estrada? Não deve bater bem." "Mas este veículo é um protótipo, e não vai estar na estrada até que se prove que é tão, ou mais seguro que os veículos de hoje. E acredito verdadeiramente que isto pode acontecer.
But still, will the society, would they accept such a radical idea? How are we going to handle insurance? How are we going to issue driver's licenses? There's many of these different kinds of hurdles besides technology challenges that we need to address before this becomes a reality. Of course, the main goal of this project is to develop a car for the blind. But potentially more important than this is the tremendous value of the spin-off technology that can come from this project. The sensors that are used can see through the dark, the fog and rain. And together with this new type of interfaces, we can use these technologies and apply them to safer cars for sighted people. Or for the blind, everyday home appliances -- in the educational setting, in the office setting. Just imagine, in a classroom a teacher writes on the blackboard and a blind student can see what's written and read using these non-visual interfaces. This is priceless. So today, the things I've showed you today, is just the beginning.
Mas ainda assim, será que a sociedade iria aceitar uma ideia tão radical? Como vamos tratar dos seguros? Como vamos atribuir licenças de condução? Há muitos destes obstáculos para além de desafios tecnológicos que precisamos de resolver antes de tornar isto uma realidade. É claro, o objectivo principal deste projecto é desenvolver um carro para os cegos. Mas potencialmente mais importante que isto é o valor tremendo da tecnologia derivada que pode surgir deste projecto. Os sensores usados conseguem ver pelo escuro, nevoeiro e chuva. E juntamente com este novo tipo de interfaces, podemos usar essas tecnologias e aplicá-las para obter carros mais seguros para pessoas com visão. Ou para os cegos, utensílios caseiros -- na educação, nos escritórios. Imaginem, numa aula um professor escreve no quadro e um estudante cego pode ver o que está escrito e ler usando estas interfaces não-visuais. Isto não tem preço. Portanto hoje, as coisas que eu vos mostrei hoje, são apenas o começo.
Thank you very much.
Muito obrigado.
(Applause)
(Aplausos)