Many believe driving is an activity solely reserved for those who can see. A blind person driving a vehicle safely and independently was thought to be an impossible task, until now. Hello, my name is Dennis Hong, and we're bringing freedom and independence to the blind by building a vehicle for the visually impaired.
רבים חושבים שנהיגה היא פעילות השמורה בבלעדיות לאנשים רואים. נהיגה ברכב על ידי אדם עיוור בבטיחות ובאופן עצמאי נתפסה כמשימה בלתי אפשרית, עד עתה. שלום, שמי דניס הונג, ואנחנו מביאים חופש ועצמאות לעיוורים על ידי בניית מכונית ללקויי ראיה.
So before I talk about this car for the blind, let me briefly tell you about another project that I worked on called the DARPA Urban Challenge. Now this was about building a robotic car that can drive itself. You press start, nobody touches anything, and it can reach its destination fully autonomously. So in 2007, our team won half a million dollars by placing third place in this competition. So about that time, the National Federation of the Blind, or NFB, challenged the research committee about who can develop a car that lets a blind person drive safely and independently. We decided to give it a try, because we thought, "Hey, how hard could it be?" We have already an autonomous vehicle. We just put a blind person in it and we're done, right? (Laughter) We couldn't have been more wrong. What NFB wanted was not a vehicle that can drive a blind person around, but a vehicle where a blind person can make active decisions and drive. So we had to throw everything out the window and start from scratch.
לפני שאדבר אודות המכונית הזו לעיוורים, תנו לי לספר לכם בקצרה אודות מיזם אחר בו עבדתי אשר נקרא DARPA האתגר העירוני. אתגר זה נגע בבניית מכונית רובוטית שיכולה לנהוג את עצמה. אתה לוחץ התחל, אף אחד לא נוגע בדבר, והיא מסוגלת להגיע ליעד שלה בצורה אוטונומית לחלוטין. אם כך ב2007, הקבוצה שלנו זכתה בחצי מיליון דולר לאחר שהגיעה שלישית בתחרות זו. בערך באותו זמן, הפדרציה הלאומית לעיוורים, או הNFB, אתגרה את ועדת המחקר בנוגע למי שיוכל לפתח מכונית אשר מאפשרת לאדם עיוור לנהוג בה באופן בטוח ועצמאי. החלטנו לנסות, כיוון שחשבנו, היי, כמה קשה זה יכול להיות. כבר יש לנו רכב אוטונומי. פשוט נשים אדם עיוור בתוכו וזהו, נכון? (צחוק) זו הייתה שגיאה גדולה. מה שה NFB רצו לא היה רכב שיוכל להסיע אדם עיוור, אלא רכב שבו אדם עיוור יכול לבצע החלטות פעילות ולנהוג. כך שהיינו צריכים להשליך הכל מהחלון ולהתחיל מהתחלה.
So to test this crazy idea, we developed a small dune buggy prototype vehicle to test the feasibility. And in the summer of 2009, we invited dozens of blind youth from all over the country and gave them a chance to take it for a spin. It was an absolutely amazing experience. But the problem with this car was it was designed to only be driven in a very controlled environment, in a flat, closed-off parking lot -- even the lanes defined by red traffic cones.
על מנת לבחון את הרעיון המשוגע הזה, פיתחנו רכב אבטיפוס, באגי חולות קטן לבחינת ההתכנות. בקיץ 2009, הזמנו עשרות צעירים עיוורים מכל הארץ ונתנו להם הזדמנות לקחת אותו לסיבוב. זו הייתה חוויה מדהימה לגמרי. אולם הבעיה עם המכונית הזו היתה שהיא תוכננה שינהגו בה רק בסביבה מאוד נשלטת, במגרש חניה שטוח ומתוחם -- כשאפילו הנתיבים מוגדרים על ידי קונוסים.
So with this success, we decided to take the next big step, to develop a real car that can be driven on real roads. So how does it work? Well, it's a rather complex system, but let me try to explain it, maybe simplify it. So we have three steps. We have perception, computation and non-visual interfaces. Now obviously the driver cannot see, so the system needs to perceive the environment and gather information for the driver. For that, we use an initial measurement unit. So it measures acceleration, angular acceleration -- like a human ear, inner ear. We fuse that information with a GPS unit to get an estimate of the location of the car. We also use two cameras to detect the lanes of the road. And we also use three laser range finders. The lasers scan the environment to detect obstacles -- a car approaching from the front, the back and also any obstacles that run into the roads, any obstacles around the vehicle.
לאחר ההצלחה הזו, החלטנו לקחת את הצעד הגדול הבא, לפתח מכונית אמיתית שניתן לנהוג בה בכבישים אמיתיים. אז כיצד זה פועל? ובכן, זו מערכת מסובכת למדי, אך תנו לי להסביר אותה, אולי לפשט אותה. יש לנו שלושה שלבים. יש לנו תפיסה, חישוב וממשקים לא ויזואליים. כעת ברור שהנהג אינו יכול לראות, כך שהמערכת צריכה לתפוס את הסביבה ולאסוף מידע עבור הנהג. לשם כך, אנו משתמשים ביחידת מידה התחלתית. כך שהיא מודדת תאוצה, תאוצה זוויתית -- כמו האוזן האנושית, האוזן הפנימית. אנו מצמידים מידע זה ליחידת GPS כדי לקבל הערכה של מיקום המכונית. בנוסף אנחנו משתמשים בשתי מצלמות כדי להבחין בנתיבים בכביש. ואנו משתמשים גם בשלושה מדי טווח לייזר. הלייזרים סורקים את הסביבה על מנת לגלות מכשולים -- מכונית מתקרבת מלפנים, מאחור וגם כל מכשול שפורץ לתוך הכביש, כל מכשול בסביבת הרכב.
So all this vast amount of information is then fed into the computer, and the computer can do two things. One is, first of all, process this information to have an understanding of the environment -- these are the lanes of the road, there's the obstacles -- and convey this information to the driver. The system is also smart enough to figure out the safest way to operate the car. So we can also generate instructions on how to operate the controls of the vehicle. But the problem is this: How do we convey this information and instructions to a person who cannot see fast enough and accurate enough so he can drive? So for this, we developed many different types of non-visual user interface technology. So starting from a three-dimensional ping sound system, a vibrating vest, a click wheel with voice commands, a leg strip, even a shoe that applies pressure to the foot. But today we're going to talk about three of these non-visual user interfaces.
כך שכל הכמות העצומה של מידע זה יוזן אז לתוך המחשב, והמחשב יכול לבצע שני דברים. האחד, קודם כל, לעבד מידע זה כדי להבין את הסביבה -- אלו הנתיבים, אלו המכשולים -- ולהעביר מידע זה לנהג. המערכת היא גם חכמה מספיק להבין את הדרך הבטיחותית ביותר לתפעל את המכונית. כך שאנחנו יכולים לייצר הוראות כיצד לתפעל את לוח הבקרה של הרכב. אולם הבעיה היא: כיצד אנחנו מעבירים מידע והוראות אילו לאדם שאינו יכול לראות במהירות מספקת ודיוק מספק כך שהוא יוכל לנהוג? לשם כך, פיתחנו סוגים שונים של טכנולוגיות ממשקי משתמש לא ויזואליים. אז החל ממערכת צליל פינג בתלת מימד, חליפת רטט, הגה הנותן פקודות קוליות, רצועת רגל, ואפילו נעל שמפעילה לחץ לכף הרגל. אבל היום אנחנו נדבר אודות שלושה מממשקי המשוב הלא ויזואליים האלו.
Now the first interface is called a DriveGrip. So these are a pair of gloves, and it has vibrating elements on the knuckle part so you can convey instructions about how to steer -- the direction and the intensity. Another device is called SpeedStrip. So this is a chair -- as a matter of fact, it's actually a massage chair. We gut it out, and we rearrange the vibrating elements in different patterns, and we actuate them to convey information about the speed, and also instructions how to use the gas and the brake pedal. So over here, you can see how the computer understands the environment, and because you cannot see the vibration, we actually put red LED's on the driver so that you can see what's happening. This is the sensory data, and that data is transferred to the devices through the computer.
כעת הממשק הראשון נקרא "דרייב גריפ". (אחיזת נהיגה) אלו הם זוג כפפות, ויש בהם רכיבים רוטטים באזור פרקי האצבעות, כך שאתה יכול להעביר הוראות כיצד לסובב את ההגה -- הכיוון והעוצמה. מכשיר אחר נקרא "ספיד סטריפ" (רצועת מהירות). זהו כיסא -- למעשה זהו כיסא עיסויים. פרקנו אותו, וסידרנו מחדש את הרכיבים הרוטטים בתבניות שונות. והפעלנו אותם כך שיעבירו מידע אודות המהירות, וכמו כן הוראות כיצד להשתמש בדוושת הדלק ודוושת הבלם. ובכן כאן, אתם יכולים לראות כיצד המחשב מבין את הסביבה. ומכיון שאינכם יכולים לראות את הרטט, שמנו נורות לד אדומות על הנהג, כך שתוכל לראות מה קורה. זהו המידע החושי, ומידע זה מועבר למכשירים דרך המחשב.
So these two devices, DriveGrip and SpeedStrip, are very effective. But the problem is these are instructional cue devices. So this is not really freedom, right? The computer tells you how to drive -- turn left, turn right, speed up, stop. We call this the "backseat-driver problem." So we're moving away from the instructional cue devices, and we're now focusing more on the informational devices. A good example for this informational non-visual user interface is called AirPix. So think of it as a monitor for the blind. So it's a small tablet, has many holes in it, and compressed air comes out, so it can actually draw images. So even though you are blind, you can put your hand over it, you can see the lanes of the road and obstacles. Actually, you can also change the frequency of the air coming out and possibly the temperature. So it's actually a multi-dimensional user interface. So here you can see the left camera, the right camera from the vehicle and how the computer interprets that and sends that information to the AirPix. For this, we're showing a simulator, a blind person driving using the AirPix. This simulator was also very useful for training the blind drivers and also quickly testing different types of ideas for different types of non-visual user interfaces. So basically that's how it works.
כך ששני מכשירים אלו, "דרייבגריפ" ו"ספידסטריפ", יעילים מאוד. אולם הבעיה היא שאלו מכשירים שנותנים סימנים להוראות. כך שזה אינו חופש אמיתי, נכון? המחשב אומר לך כיצד לנהוג -- פנה שמאלה, פנה ימינה, האץ, עצור. אנו קוראים לכך בעיית ה"נהג" במושב האחורי. כך שאנו מתרחקים מהמכשירים המסמנים הוראות, ואנו מתמקדים יותר על מכשירי מידע. דוגמא טובה לממשק מידע לא ויזואלי למשתמש נקרא "אייר פיקס" (פיקסל אויר) חישבו עליו כצג לעיוורים. זהו משטח קטן , יש בו חורים קטנים רבים, ואויר דחוס יוצא ממנו, כך שהוא יכול למעשה לצייר תמונות. כך שגם אם אתה עיוור, אתה יכול להניח את ידך מעליו, ולראות את נתיבי הכביש ואת המכשולים. למעשה, אתה יכול לשנות את תדירות האוויר היוצא ואולי אף את הטמפרטורה. כך שזהו למעשה ממשק משתמש רב-מימדי. כאן אתם יכולים לראות את המצלמה השמאלית, המצלמה הימנית מתוך הרכב וכיצד המחשב מפרש זאת ושולח את המידע ל"איירפיקס" לשם כך, אנו מראים סימולטור, אדם עיוור נוהג בעזרת "איירפיקס". הסימולטור הזה היה גם מועיל מאוד באימון הנהגים העיוורים וגם כדי לנסות במהירות סוגי רעיונות שונים עבור סוגים שונים של ממשקים לא ויזואליים. אז באופן בסיסי כך זה עובד.
So just a month ago, on January 29th, we unveiled this vehicle for the very first time to the public at the world-famous Daytona International Speedway during the Rolex 24 racing event. We also had some surprises. Let's take a look.
לפני חודש ב29 לינואר, הסרנו את הלוט מרכב זה בפעם הראשונה בפני קהל במסלול המרוצים הבינלאומי המפורסם בדייטונה במהלך אירוע מירוץ מכוניות רולקס 24. היו לנו מספר הפתעות. בואו נצפה.
(Music)
(מוזיקה)
(Video) Announcer: This is an historic day in January. He's coming up to the grandstand, fellow Federationists.
(וידאו) כרוז: זהו יום היסטורי (לא ברור). הוא מתקרב ליציע הצופים, חברים.
(Cheering)
(קריאות עידוד)
(Honking)
(צופר)
There's the grandstand now. And he's [unclear] following that van that's out in front of him. Well there comes the first box. Now let's see if Mark avoids it. He does. He passes it on the right. Third box is out. The fourth box is out. And he's perfectly making his way between the two. He's closing in on the van to make the moving pass. Well this is what it's all about, this kind of dynamic display of audacity and ingenuity. He's approaching the end of the run, makes his way between the barrels that are set up there.
הנה היציע כעת. והוא (לא ברור) עוקב אחר הרכב המסחרי שנמצא לפניו. ובכן הנה מגיע הארגז הראשון. בואו נראה האם מארק עוקף אותו. הוא הצליח. הוא עובר אותו מימין. הארגז השלישי בחוץ. הארגז הרביעי בחוץ. והוא מתקדם באופן מושלם ביניהם. הוא מתקרב למסחרית כדי לבצע עקיפה. ובכן מדובר בדיוק בזה, סוג זה של הפגנת אומץ וגאונות דינמית. הוא מתקרב לסוף המסלול, עושה את דרכו בין חביות שהוצבו שם.
(Honking)
(צופר)
(Applause)
(מחיאות כפיים)
Dennis Hong: I'm so happy for you. Mark's going to give me a ride back to the hotel.
דניס הונג: אני כה שמח עבורך. מארק יסיע אותי חזרה לבית המלון.
Mark Riccobono: Yes.
מארק ריקובונו: כן.
(Applause)
(מחיאות כפיים)
DH: So since we started this project, we've been getting hundreds of letters, emails, phone calls from people from all around the world. Letters thanking us, but sometimes you also get funny letters like this one: "Now I understand why there is Braille on a drive-up ATM machine." (Laughter) But sometimes -- (Laughter) But sometimes I also do get -- I wouldn't call it hate mail -- but letters of really strong concern: "Dr. Hong, are you insane, trying to put blind people on the road? You must be out of your mind." But this vehicle is a prototype vehicle, and it's not going to be on the road until it's proven as safe as, or safer than, today's vehicle. And I truly believe that this can happen.
ד"ה: מאז שהתחלנו את המיזם הזה, קיבלנו מאות מכתבים, דוא"ל, טלפונים מאנשים מכל רחבי העולם. מכתבים המודים לנו, אבל לפעמים מקבלים גם מכתבים מצחיקים כמו זה: "עכשיו אני מבין מדוע יש בראייל בכספומט בדרייב-אין" (צחוק) אבל לפעמים -- (צחוק) אבל לפעמים אני מקבל גם -- לא הייתי קורא לזה דואר שטנה -- אבל מכתבים המביעים דאגה חזקה: "ד"ר הונג, אינך שפוי, לנסות ולהעלות אנשים עיוורים על הכביש? כנראה שיצאת מדעתך." אבל רכב זה הוא רכב אבטיפוס, והוא אינו עומד לעלות על הכביש עד שיוכח שהוא בטוח כמו או בטוח יותר מהרכבים של היום. ואני באמת מאמין שזה עשוי לקרות.
But still, will the society, would they accept such a radical idea? How are we going to handle insurance? How are we going to issue driver's licenses? There's many of these different kinds of hurdles besides technology challenges that we need to address before this becomes a reality. Of course, the main goal of this project is to develop a car for the blind. But potentially more important than this is the tremendous value of the spin-off technology that can come from this project. The sensors that are used can see through the dark, the fog and rain. And together with this new type of interfaces, we can use these technologies and apply them to safer cars for sighted people. Or for the blind, everyday home appliances -- in the educational setting, in the office setting. Just imagine, in a classroom a teacher writes on the blackboard and a blind student can see what's written and read using these non-visual interfaces. This is priceless. So today, the things I've showed you today, is just the beginning.
אולם עדיין, האם החברה, האם הם יקבלו רעיון כה רדיקלי? כיצד נטפל בביטוח? כיצד ננפיק רישיון נהיגה? יש סוגים שונים של משוכות מלבד אתגרים טכנולוגיים אתם אנו חייבים להתמודד לפני שזה יהפוך למציאות. כמובן, המטרה העיקרית של מיזם זה היא לפתח מכונית לעיוורים. אבל חשוב מכך באופן פוטנציאלי הוא הערך הרב של טכנולוגיה נגזרת שעשויה לצאת מהמיזם הזה. בחיישנים שמשמשים לראות מבעד לחושך, לערפל ולגשם. ויחד עם הזן החדש הזה של ממשקים, אנו יכולים להשתמש בטכנולוגיות האלו וליישם אותם כיד להפוך מכוניות לבטוחות יותר לאנשים רואים. או עבור העיוורים, כלי בית יומיומיים -- במסגרת חינוכית או במסגרת של משרד. רק דמיינו, בכיתה המורה כותבת על הלוח והתלמיד העיוור יכול לראות מה נכתב ולקרוא בסיוע ממשקים לא ויזואליים אלו. זה לא יסולא בפז. אז היום, הדברים שהצגתי בפניכם, הם רק ההתחלה.
Thank you very much.
תודה רבה לכם.
(Applause)
(מחיאות כפיים)