Many believe driving is an activity solely reserved for those who can see. A blind person driving a vehicle safely and independently was thought to be an impossible task, until now. Hello, my name is Dennis Hong, and we're bringing freedom and independence to the blind by building a vehicle for the visually impaired.
Считается, что за рулем автомобиля могут быть только зрячие люди. Еще недавно полагали, что для слепого безопасное и самостоятельное вождение - невыполнимая задача. Здравствуйте, я Дэнис Хонг, и мы даем слепым свободу и независимость, разрабатывая авто для инвалидов по зрению.
So before I talk about this car for the blind, let me briefly tell you about another project that I worked on called the DARPA Urban Challenge. Now this was about building a robotic car that can drive itself. You press start, nobody touches anything, and it can reach its destination fully autonomously. So in 2007, our team won half a million dollars by placing third place in this competition. So about that time, the National Federation of the Blind, or NFB, challenged the research committee about who can develop a car that lets a blind person drive safely and independently. We decided to give it a try, because we thought, "Hey, how hard could it be?" We have already an autonomous vehicle. We just put a blind person in it and we're done, right? (Laughter) We couldn't have been more wrong. What NFB wanted was not a vehicle that can drive a blind person around, but a vehicle where a blind person can make active decisions and drive. So we had to throw everything out the window and start from scratch.
Прежде чем говорить об этом автомобиле для слепых, я вкратце расскажу о другом проекте, над которым я работал, под названием DARPA Urban Challenge. Проект заключался в создании самоуправляемого автомобиля-робота. Водитель нажимает "старт", и без его участия автомобиль достигает пункта назначения. В 2007 году наша команда выиграла полмиллиона долларов, заняв третье место в этом конкурсе. Примерно в то же время Национальная федерация слепых, или НФС, поставила перед исследовательским комитетом задачу разработать автомобиль, которым может независимо и безопасно управлять слепой. Мы решили попробовать свои силы, потому что подумали: «Эй, а что тут сложного-то? У нас уже есть автономное авто. Посадим в него слепого человека - и делу конец, правда?» (Смех) Но мы глубоко заблуждались. НФС хотела получить не просто автомобиль, который бы перевозил слепых, а машину, которой незрячий мог бы самостоятельно управлять. Поэтому нам пришлось все забраковать и начать с нуля.
So to test this crazy idea, we developed a small dune buggy prototype vehicle to test the feasibility. And in the summer of 2009, we invited dozens of blind youth from all over the country and gave them a chance to take it for a spin. It was an absolutely amazing experience. But the problem with this car was it was designed to only be driven in a very controlled environment, in a flat, closed-off parking lot -- even the lanes defined by red traffic cones.
Итак, чтобы испытать эту сумасшедшую идею, мы разработали небольшой прототип багги автомобиля для проверки осуществимости проекта. А летом 2009 года мы пригласили незрячую молодежь со всех уголков страны и предоставили им возможность испытать этот автомобиль. Это был удивительный опыт. Но загвоздка в том, что этот автомобиль был разработан для управления в строго контролируемой среде, а именно на ровной закрытой автостоянке, где даже полосы движения ограничены красными сигнальными конусами.
So with this success, we decided to take the next big step, to develop a real car that can be driven on real roads. So how does it work? Well, it's a rather complex system, but let me try to explain it, maybe simplify it. So we have three steps. We have perception, computation and non-visual interfaces. Now obviously the driver cannot see, so the system needs to perceive the environment and gather information for the driver. For that, we use an initial measurement unit. So it measures acceleration, angular acceleration -- like a human ear, inner ear. We fuse that information with a GPS unit to get an estimate of the location of the car. We also use two cameras to detect the lanes of the road. And we also use three laser range finders. The lasers scan the environment to detect obstacles -- a car approaching from the front, the back and also any obstacles that run into the roads, any obstacles around the vehicle.
В связи с таким успехом, мы решили сделать следующий большой шаг и разработать реальный автомобиль, которым можно было бы управлять на реальных дорогах. Так как же это работает? Ну, это довольно сложная система, но позвольте мне разъяснить, возможно, даже упростить ее. Итак, она включает три составляющих. Это тактильное восприятие, вычисление и невизуальные интерфейсы. Так как водитель ничего не видит, система должна воспринимать окружающую среду и собирать информацию для водителя. Для этого используется первоначальный измеритель параметров. Он измеряет ускорение, угловое ускорение, подобно внутреннему уху человека. Затем эта информация передается в GPS-устройство для оценки местоположения автомобиля. Для обнаружения полосы движения на дороге используются две камеры и три лазерных дальномера. Лазеры сканируют пространство вокруг автомобиля для обнаружения различных объектов: приближающегося встречного или обгоняющего автомобиля, любых препятствий, встречающихся на дороге или вокруг автомобиля.
So all this vast amount of information is then fed into the computer, and the computer can do two things. One is, first of all, process this information to have an understanding of the environment -- these are the lanes of the road, there's the obstacles -- and convey this information to the driver. The system is also smart enough to figure out the safest way to operate the car. So we can also generate instructions on how to operate the controls of the vehicle. But the problem is this: How do we convey this information and instructions to a person who cannot see fast enough and accurate enough so he can drive? So for this, we developed many different types of non-visual user interface technology. So starting from a three-dimensional ping sound system, a vibrating vest, a click wheel with voice commands, a leg strip, even a shoe that applies pressure to the foot. But today we're going to talk about three of these non-visual user interfaces.
Затем все это огромное количество информации подается в компьютер, а компьютер выполняет два этапа. Прежде всего, это обработка этой информации для получения представления о пространстве: определение полос движения на дороге, выявление препятствий, а затем доведение этой информации до водителя. Система также достаточно умна, чтобы вычислять самый безопасный способ управления автомобилем. Так, мы также можем давать рекомендации о том, как управлять машиной. Но проблема в том, как донести эту информацию и инструкции до незрячего человека, не обладающего быстрой и точной реакцией, необходимой для вождения? Для этой цели мы разработали целый ряд технологий интерфейса для незрячих: Трехмерная звуковая система пинг, вибрирующий жилет, руль со звуковыми сигналами, специальная нога-протез, и даже обувь, оказывающая давление на ногу. Но сегодня мы поговорим лишь о трех видах этих специальных интерфейсов.
Now the first interface is called a DriveGrip. So these are a pair of gloves, and it has vibrating elements on the knuckle part so you can convey instructions about how to steer -- the direction and the intensity. Another device is called SpeedStrip. So this is a chair -- as a matter of fact, it's actually a massage chair. We gut it out, and we rearrange the vibrating elements in different patterns, and we actuate them to convey information about the speed, and also instructions how to use the gas and the brake pedal. So over here, you can see how the computer understands the environment, and because you cannot see the vibration, we actually put red LED's on the driver so that you can see what's happening. This is the sensory data, and that data is transferred to the devices through the computer.
Первый интерфейс называется DriveGrip. Это пара перчаток с моторчиками на суставах пальцев, инструктирующие водителя, как рулить: направление и угол поворота. Другое устройство - SpeedStrip. Изначально это массажное кресло. Его разобрали и переставили в нем вибрирующие элементы. Вибрация используется для передачи водителю информации о скорости, а также для руководства по использованию педалей газа и тормоза. Так, здесь можно увидеть, как компьютер воспринимает пространство вокруг автомобиля. И т.к. вибрацию нельзя увидеть, на водителя установлены красные светодиоды для демонстрации процесса. Это сенсорные данные, они передаются на устройства посредством компьютера.
So these two devices, DriveGrip and SpeedStrip, are very effective. But the problem is these are instructional cue devices. So this is not really freedom, right? The computer tells you how to drive -- turn left, turn right, speed up, stop. We call this the "backseat-driver problem." So we're moving away from the instructional cue devices, and we're now focusing more on the informational devices. A good example for this informational non-visual user interface is called AirPix. So think of it as a monitor for the blind. So it's a small tablet, has many holes in it, and compressed air comes out, so it can actually draw images. So even though you are blind, you can put your hand over it, you can see the lanes of the road and obstacles. Actually, you can also change the frequency of the air coming out and possibly the temperature. So it's actually a multi-dimensional user interface. So here you can see the left camera, the right camera from the vehicle and how the computer interprets that and sends that information to the AirPix. For this, we're showing a simulator, a blind person driving using the AirPix. This simulator was also very useful for training the blind drivers and also quickly testing different types of ideas for different types of non-visual user interfaces. So basically that's how it works.
Устройства DriveGrip и SpeedStrip очень эффективны. Но проблема в том, что это учебные подсказывающие устройства. Они фактически не дают свободы управления, не так ли? Бортовой компьютер отдает водителю команды: «налево», «направо», «прибавить скорость», «стоп». Мы называем его "назойливый пассажир с заднего сиденья". Поэтому мы отходим от учебных подсказывающих устройств и концентрируем свое внимание на информирующих устройствах. Отличным примером такого интерфейса является AirPix. Это своеобразный монитор для слепых. Небольшая панель со множеством отверстий, через которые выходит сжатый воздух, тем самым создавая изображения. Незрячий человек может поднести ладонь к этой панели и «увидеть» полосы движения на проезжей части и препятствия. Также водитель может изменить частоту, с которой выходит воздух и, возможно, температуру воздуха. Т.е. это интерфейс для отображения многомерных данных. Итак, здесь вы видите левую и правую камеру автомобиля, и как компьютер обрабатывает и отправляет эту информацию на панель AirPix. Здесь мы демонстрируем тренажер, слепой человек управляет автомобилем с помощью AirPix. Этот тренажер оказался очень полезным для обучения слепых водителей, а также для быстрой проверки идей по использованию разных видов специальных интерфейсов. Вот так вкратце работает эта система.
So just a month ago, on January 29th, we unveiled this vehicle for the very first time to the public at the world-famous Daytona International Speedway during the Rolex 24 racing event. We also had some surprises. Let's take a look.
Итак, всего месяц назад 29-го января мы впервые представили этот автомобиль публике на всемирно известном Daytona International Speedway во время гонки Rolex 24. Нас ожидало несколько сюрпризов. Давайте посмотрим.
(Music)
(Музыка)
(Video) Announcer: This is an historic day in January. He's coming up to the grandstand, fellow Federationists.
(Видео) Ведущий: "Сегодня исторический день[нечетко]. Он приближается к трибуне, наш приятель Федеристас."
(Cheering)
(Аплодисменты с трибун)
(Honking)
(Звуки автомобильного гудка)
There's the grandstand now. And he's [unclear] following that van that's out in front of him. Well there comes the first box. Now let's see if Mark avoids it. He does. He passes it on the right. Third box is out. The fourth box is out. And he's perfectly making his way between the two. He's closing in on the van to make the moving pass. Well this is what it's all about, this kind of dynamic display of audacity and ingenuity. He's approaching the end of the run, makes his way between the barrels that are set up there.
Сейчас он проезжает трибуны. И он [нечетко] следует за фургоном, который выехал перед ним. Итак, перед водителем препятствие — первая коробка. Давайте посмотрим, сможет ли Марк ее объехать. Он справляется. Объезжает ее справа. Третья коробка на пути. И за ней — четвертая. И он блестяще справляется, проезжая между ними. Он нагоняет фургон и проезжает его. Вот это да! Отличная демонстрация смелости и изобретательности в динамике. Он приближается к финишу, проезжая через установленные на пути переносные цилиндры.
(Honking)
(Звуки автомобильного гудка)
(Applause)
(Аплодисменты)
Dennis Hong: I'm so happy for you. Mark's going to give me a ride back to the hotel.
Дэнис Хонг: «Я так рад за тебя. Марк подвезет меня в мой отель».
Mark Riccobono: Yes.
Марк Риккобоно: «Да.»
(Applause)
(Аплодисменты)
DH: So since we started this project, we've been getting hundreds of letters, emails, phone calls from people from all around the world. Letters thanking us, but sometimes you also get funny letters like this one: "Now I understand why there is Braille on a drive-up ATM machine." (Laughter) But sometimes -- (Laughter) But sometimes I also do get -- I wouldn't call it hate mail -- but letters of really strong concern: "Dr. Hong, are you insane, trying to put blind people on the road? You must be out of your mind." But this vehicle is a prototype vehicle, and it's not going to be on the road until it's proven as safe as, or safer than, today's vehicle. And I truly believe that this can happen.
С тех пор, как наш проект был запущен, мы получаем сотни писем, электронных писем, телефонных звонков от людей со всего мира. Это письма благодарности, но иногда попадаются очень забавные, как это: "Ах, вот зачем азбука Брайля на банкоматах, расположенных вдоль дороги" (Смех) А иногда... (Смех) А иногда я также получаю, я бы не назвал их письмами от противников скорее письма, выражающие серьезную озабоченность: «Доктор Хонг, да вы с своем уме? Пытаетесь усадить слепых за руль? Вы, очевидно, не в себе.» Ведь это прототип автомобиля для незрячих. И его не выпустят на проезжую часть, пока не убедятся в его абсолютной безопасности. И я искренне верю, что это вполне вероятно.
But still, will the society, would they accept such a radical idea? How are we going to handle insurance? How are we going to issue driver's licenses? There's many of these different kinds of hurdles besides technology challenges that we need to address before this becomes a reality. Of course, the main goal of this project is to develop a car for the blind. But potentially more important than this is the tremendous value of the spin-off technology that can come from this project. The sensors that are used can see through the dark, the fog and rain. And together with this new type of interfaces, we can use these technologies and apply them to safer cars for sighted people. Or for the blind, everyday home appliances -- in the educational setting, in the office setting. Just imagine, in a classroom a teacher writes on the blackboard and a blind student can see what's written and read using these non-visual interfaces. This is priceless. So today, the things I've showed you today, is just the beginning.
А все-таки, примет ли общество такую радикальную идею? Насколько изменятся правила автострахования? На каких условиях будут выдаваться водительские права? Помимо технологических задач, существует столько подводных камней, которые необходимо преодолеть, прежде чем это станет реальностью. Конечно, главная цель этого проекта заключается в разработке автомобиля для слепых. Однако возможно, что побочные технологии, разработанные в ходе этого проекта, окажутся неоценимом вкладом в нашу жизнь. Наши датчики работают независимо от времени суток, тумана и дождя. Мы можем использовать эти технологии вместе с новыми специальными интерфейсами для усовершенствования безопасности автомобилей для зрячих. Или для незрячих. Найти им применение в повседневной бытовой технике, в учебных заведениях, в офисах. Только представьте себе: учитель в классе пишет на доске, и слепой студент может увидеть и прочитать, что написано с помощью этих специальных интерфейсов. Это бесценно. Поэтому то, что я показал вам сегодня - это только начало.
Thank you very much.
Большое спасибо.
(Applause)
(Аплодисменты)