Many believe driving is an activity solely reserved for those who can see. A blind person driving a vehicle safely and independently was thought to be an impossible task, until now. Hello, my name is Dennis Hong, and we're bringing freedom and independence to the blind by building a vehicle for the visually impaired.
Molti credono che guidare sia un'attività esclusivamente riservata a chi può vedere. Pensare a un cieco che guida un'auto in modo sicuro e indipendente sembrava impossibile, fino ad ora. Salve, mi chiamo Dennis Hong, e stiamo portando libertà e indipendenza ai ciechi costruendo automobili per non vedenti.
So before I talk about this car for the blind, let me briefly tell you about another project that I worked on called the DARPA Urban Challenge. Now this was about building a robotic car that can drive itself. You press start, nobody touches anything, and it can reach its destination fully autonomously. So in 2007, our team won half a million dollars by placing third place in this competition. So about that time, the National Federation of the Blind, or NFB, challenged the research committee about who can develop a car that lets a blind person drive safely and independently. We decided to give it a try, because we thought, "Hey, how hard could it be?" We have already an autonomous vehicle. We just put a blind person in it and we're done, right? (Laughter) We couldn't have been more wrong. What NFB wanted was not a vehicle that can drive a blind person around, but a vehicle where a blind person can make active decisions and drive. So we had to throw everything out the window and start from scratch.
Ma prima di parlare su questo progetto, vorrei brevemente raccontarvi di un altro progetto su cui abbiamo lavorato, il DARPA Urban Challenge. Si trattava di costruire un'auto robot che potesse guidarsi da sola. Si preme il tasto di avvio, e senza altri interventi umani l'auto arriva a destinazione in modo totalmente autonomo. Così, nel 2007, il nostro team ha vinto mezzo milione di dollari ottenendo il terzo posto in questa competizione. Dunque, in quel periodo la "Federazione Nazionale dei non vedenti" (NFB) chiese alla commissione per la ricerca di sviluppare il progetto di un'auto che permettesse ad un non vedente di guidare in modo sicuro e indipendente. Noi abbiamo deciso di provarci perché abbiamo pensato: beh, quanto può essere difficile! Già disponiamo di un veicolo autonomo. Basta aggiungerci un non vedente ed è fatta, no? (Risate) Non potevamo sbagliarci di più. Quello che la NFB voleva non era un veicolo che potesse semplicemente trasportare un non vedente, ma che consentisse a un non vedente di guidare e prendere le proprie decisioni. Quindi abbiamo dovuto ricominciare da capo.
So to test this crazy idea, we developed a small dune buggy prototype vehicle to test the feasibility. And in the summer of 2009, we invited dozens of blind youth from all over the country and gave them a chance to take it for a spin. It was an absolutely amazing experience. But the problem with this car was it was designed to only be driven in a very controlled environment, in a flat, closed-off parking lot -- even the lanes defined by red traffic cones.
Dunque, per mettere alla prova questa folle idea, abbiamo sviluppato un prototipo usando una piccola dune buggy per sperimentarne la fattibilità. E nell'estate del 2009 abbiamo invitato decine di giovani non vedenti provenienti da tutto il paese e abbiamo dato loro la possibilità di andarci a fare un giretto. E' stata un'esperienza assolutamente fantastica. Ma il problema di questa vettura era che era stata progettata per essere guidata solo in un ambiente molto controllato, in un parcheggio in piano e recintato -- persino le corsie erano delimitate da appositi coni.
So with this success, we decided to take the next big step, to develop a real car that can be driven on real roads. So how does it work? Well, it's a rather complex system, but let me try to explain it, maybe simplify it. So we have three steps. We have perception, computation and non-visual interfaces. Now obviously the driver cannot see, so the system needs to perceive the environment and gather information for the driver. For that, we use an initial measurement unit. So it measures acceleration, angular acceleration -- like a human ear, inner ear. We fuse that information with a GPS unit to get an estimate of the location of the car. We also use two cameras to detect the lanes of the road. And we also use three laser range finders. The lasers scan the environment to detect obstacles -- a car approaching from the front, the back and also any obstacles that run into the roads, any obstacles around the vehicle.
Ma considerato il successo ottenuto abbiamo deciso di avventurarci nello sviluppo di una vera automobile che potesse essere guidata sulle strade comuni. Ma da dove si parte? Beh, è un sistema piuttosto complesso, ve lo spiegherò cercando di semplificare. Ci sono tre fasi: percezione, calcolo e interfacce non visive. Ovviamente, dato che il conducente non può vedere, è il sistema a dover percepire l'ambiente e raccogliere le informazioni per il guidatore. Per poter far questo usiamo un'unità di misura particolare che misura l'accelerazione angolare - come l'orecchio umano interno. Combiniamo questa informazione con un'unità GPS per calcolare la posizione della vettura. Usiamo anche due telecamere per rilevare le corsie della strada e tre telemetri laser. I laser scansionano l'ambiente alla ricerca di ostacoli - una macchina che si avvicina da davanti o da dietro e anche gli eventuali ostacoli sulla strada, qualsiasi ostacolo presente intorno al veicolo.
So all this vast amount of information is then fed into the computer, and the computer can do two things. One is, first of all, process this information to have an understanding of the environment -- these are the lanes of the road, there's the obstacles -- and convey this information to the driver. The system is also smart enough to figure out the safest way to operate the car. So we can also generate instructions on how to operate the controls of the vehicle. But the problem is this: How do we convey this information and instructions to a person who cannot see fast enough and accurate enough so he can drive? So for this, we developed many different types of non-visual user interface technology. So starting from a three-dimensional ping sound system, a vibrating vest, a click wheel with voice commands, a leg strip, even a shoe that applies pressure to the foot. But today we're going to talk about three of these non-visual user interfaces.
Tutta questa valanga di informazioni viene poi inserita nel computer che può fare due cose. La prima è principalmente elaborare le informazioni per ricavare un'idea dell'ambiente - dove si trovino le corsie, dove gli ostacoli - e trasmettere queste informazioni al conducente. Il sistema è anche abbastanza intelligente da capire quale sia il modo più sicuro per manovrare. E possiamo anche formulare istruzioni su come attivare i comandi del veicolo. Ma il problema è: Come comunicare informazioni e istruzioni ad una persona che non può vedere in maniera sufficientemente veloce e precisa da consentire la guida? E così abbiamo sviluppato diverse tecnologie di interfacce non visive. A partire da un sistema audio tridimensionale di impulsi sonori, un giubbotto che vibra, una volante con tasti a comando vocale, una fascia per la gamba, persino una scarpa che modula la pressione sul piede. Ma oggi parleremo di tre di queste interfacce non visive.
Now the first interface is called a DriveGrip. So these are a pair of gloves, and it has vibrating elements on the knuckle part so you can convey instructions about how to steer -- the direction and the intensity. Another device is called SpeedStrip. So this is a chair -- as a matter of fact, it's actually a massage chair. We gut it out, and we rearrange the vibrating elements in different patterns, and we actuate them to convey information about the speed, and also instructions how to use the gas and the brake pedal. So over here, you can see how the computer understands the environment, and because you cannot see the vibration, we actually put red LED's on the driver so that you can see what's happening. This is the sensory data, and that data is transferred to the devices through the computer.
La prima si chiama DriveGrip. Si tratta di un paio di guanti con elementi vibratori posti sulle nocche, che trasmettono istruzioni su come sterzare - direzione e quantità di sterzata. Un altro dispositivo è lo SpeedStrip. E' una sedia, una semplice sedia da massaggio. La smontiamo e riposizioniamo gli elementi vibratori secondo schemi diversi. Abbiamo fatto sì che trasmettano informazioni sulla velocità e istruzioni su come usare l'acceleratore e il pedale del freno. Qui si può vedere come il computer riesca a decifrare l'ambiente circostante. E dato che la vibrazione non si può vedere, abbiamo applicato dei LED rossi sul conducente in modo da poter vedere cosa sta succedendo. Questi sono i dati sensoriali che vengono trasferiti ai dispositivi tramite il computer.
So these two devices, DriveGrip and SpeedStrip, are very effective. But the problem is these are instructional cue devices. So this is not really freedom, right? The computer tells you how to drive -- turn left, turn right, speed up, stop. We call this the "backseat-driver problem." So we're moving away from the instructional cue devices, and we're now focusing more on the informational devices. A good example for this informational non-visual user interface is called AirPix. So think of it as a monitor for the blind. So it's a small tablet, has many holes in it, and compressed air comes out, so it can actually draw images. So even though you are blind, you can put your hand over it, you can see the lanes of the road and obstacles. Actually, you can also change the frequency of the air coming out and possibly the temperature. So it's actually a multi-dimensional user interface. So here you can see the left camera, the right camera from the vehicle and how the computer interprets that and sends that information to the AirPix. For this, we're showing a simulator, a blind person driving using the AirPix. This simulator was also very useful for training the blind drivers and also quickly testing different types of ideas for different types of non-visual user interfaces. So basically that's how it works.
Questi dispositivi, DriveGrip e SpeedStrip, sono molto efficaci. Il problema è che questi dispositivi danno solo delle indicazioni. Ma questo non consente una totale libertà, giusto? Il computer ti dice come guidare - gira a sinistra, a destra, accelera, frena. Noi lo chiamiamo il problema del conducente del sedile posteriore. Perciò stiamo abbandonando questi dispositivi e ci stiamo concentrando maggiormente sui dispositivi informativi. Un buon esempio di interfaccia non visiva d'informazione è l'AirPix. Immaginatela come uno schermo per i non vedenti. E' una tavoletta con tanti forellini da cui fuoriesce aria compressa in grado di "disegnare" immagini. Così anche se sei cieco, puoi appoggiarci la mano e "vedere" le corsie della strada e gli ostacoli. In realtà, è anche possibile modificare la frequenza dell'aria in uscita e magari anche la temperatura. Perciò di fatto è un'interfaccia multidimensionale. Qui potete vedere la telecamera a sinistra e a destra del veicolo e come il computer elabora le informazioni e le invia all'AirPix. Ora stiamo vedendo un simulatore, un non vedente alla guida mentre usa l'AirPix. Questo simulatore è stato molto utile per l'addestramento dei non vedenti e anche per verificare diverse idee per alcuni tipi di interfacce non visive. Fondamentalmente funziona così.
So just a month ago, on January 29th, we unveiled this vehicle for the very first time to the public at the world-famous Daytona International Speedway during the Rolex 24 racing event. We also had some surprises. Let's take a look.
Solo un mese fa, il 29 gennaio, abbiamo presentato questo veicolo per la prima volta al pubblico alla famosa Daytona International Speedway durante la gara dell' evento Rolex 24. Abbiamo avuto anche alcune sorprese. Diamo un'occhiata:
(Music)
(Musica)
(Video) Announcer: This is an historic day in January. He's coming up to the grandstand, fellow Federationists.
(Video) Annunciatore: Questo è un giorno storico. Si sta avvicinando alla tribuna, amici spettatori.
(Cheering)
(Acclamazione)
(Honking)
(Suoni di clacson)
There's the grandstand now. And he's [unclear] following that van that's out in front of him. Well there comes the first box. Now let's see if Mark avoids it. He does. He passes it on the right. Third box is out. The fourth box is out. And he's perfectly making his way between the two. He's closing in on the van to make the moving pass. Well this is what it's all about, this kind of dynamic display of audacity and ingenuity. He's approaching the end of the run, makes his way between the barrels that are set up there.
Ecco la tribuna. Il guidatore sta seguendo il furgone che è davanti a lui. Ecco che arriva il primo scatolone. Ora vediamo se Mark la evita. Ci riesce. Lo supera sulla destra. Fuori il terzo scatolone. Fuori il quarto. E riesce perfettamente a farsi strada tra le due. Si avvicina al furgone per superarlo. Beh, questo è tutto, questa dinamica dimostrazione di coraggio e intraprendenza. Si avvicina alla fine della corsa, passa attraverso l'ultima barriera costituita da barili.
(Honking)
(Suoni di clacson)
(Applause)
(Applausi)
Dennis Hong: I'm so happy for you. Mark's going to give me a ride back to the hotel.
Dennis Hong: Sono molto contento per te. Mark mi darà un passaggio per riportarmi in albergo.
Mark Riccobono: Yes.
Mark Riccobono: Sì.
(Applause)
(Applausi)
DH: So since we started this project, we've been getting hundreds of letters, emails, phone calls from people from all around the world. Letters thanking us, but sometimes you also get funny letters like this one: "Now I understand why there is Braille on a drive-up ATM machine." (Laughter) But sometimes -- (Laughter) But sometimes I also do get -- I wouldn't call it hate mail -- but letters of really strong concern: "Dr. Hong, are you insane, trying to put blind people on the road? You must be out of your mind." But this vehicle is a prototype vehicle, and it's not going to be on the road until it's proven as safe as, or safer than, today's vehicle. And I truly believe that this can happen.
DH: Dall'inizio del progetto abbiamo ricevuto centinaia di lettere, email, telefonate di persone da tutto il mondo. Lettere di ringraziamento, ma a volte anche divertenti come questa: "Ora capisco perché gli sportelli bancomat riportano istruzioni in Braille". (Risate) Ma a volte - (Risate) Ma a volte mi arrivano anche messaggi - non direi di odio - ma che manifestano una forte preoccupazione: "Dr. Hong, ma è matto a far guidare dei ciechi? Deve essere fuori di testa". Ma questo veicolo è un prototipo e non andrà sulla strada finché non sarà sicuro come e più di qualsiasi altro veicolo oggi in circolazione. E credo davvero che questo possa accadere.
But still, will the society, would they accept such a radical idea? How are we going to handle insurance? How are we going to issue driver's licenses? There's many of these different kinds of hurdles besides technology challenges that we need to address before this becomes a reality. Of course, the main goal of this project is to develop a car for the blind. But potentially more important than this is the tremendous value of the spin-off technology that can come from this project. The sensors that are used can see through the dark, the fog and rain. And together with this new type of interfaces, we can use these technologies and apply them to safer cars for sighted people. Or for the blind, everyday home appliances -- in the educational setting, in the office setting. Just imagine, in a classroom a teacher writes on the blackboard and a blind student can see what's written and read using these non-visual interfaces. This is priceless. So today, the things I've showed you today, is just the beginning.
Tuttavia, potrà mai la società accettare un'idea del genere? Come reagiranno le compagnie di assicurazione? Con quali modalità si potranno rilasciare le patenti di guida? Ci sono molti ostacoli come questi oltre alle sfide tecnologiche che dobbiamo affrontare prima di realizzare tutto questo. Naturalmente, l'obiettivo principale di questo progetto è sviluppare una vettura per i non vedenti. Ma il valore potenziale ancora maggiore è tutta l'incredibile tecnologia derivata che potrebbe scaturire da questo progetto. I sensori usati possono vedere attraverso il buio, la nebbia e la pioggia. Ed insieme a questo nuovo tipo di interfacce possiamo utilizzare queste tecnologie per rendere ancora più sicure le automobili di serie. Oppure, per i non vedenti, inserirle negli elettrodomestici di uso comune - nella scuola, in ufficio. Immaginate in una classe un insegnante che scrive sulla lavagna e uno studente non vedente che riesce a leggere ciò che è scritto usando queste interfacce non visive. Questo non ha prezzo. E quello che vi ho mostrato oggi non è che l'inizio.
Thank you very much.
Grazie mille.
(Applause)
(Applausi)