Our emotions influence every aspect of our lives, from our health and how we learn, to how we do business and make decisions, big ones and small. Our emotions also influence how we connect with one another. We've evolved to live in a world like this, but instead, we're living more and more of our lives like this -- this is the text message from my daughter last night -- in a world that's devoid of emotion. So I'm on a mission to change that. I want to bring emotions back into our digital experiences.
הרגשות שלנו משפיעים על כל היבט של חיינו, מהבריאות שלנו, ואיך אנו לומדים, עושים עסקים ומקבלים החלטות, גדולות וקטנות. הרגשות שלנו משפיעים גם על הדרך בה אנו מתחברים זה לזה. התפתחנו לחיות בעולם כמו זה, אך במקום זאת, אנו חיים את חיינו יותר ויותר כך - זוהי הודעת הטקסט מהבת שלי אתמול בלילה -- בעולם נטול רגש. אז אני במשימה לשנות זאת. אני רוצה להחזיר את הרגשות לחוויות הדיגיטליות שלנו.
I started on this path 15 years ago. I was a computer scientist in Egypt, and I had just gotten accepted to a Ph.D. program at Cambridge University. So I did something quite unusual for a young newlywed Muslim Egyptian wife: With the support of my husband, who had to stay in Egypt, I packed my bags and I moved to England. At Cambridge, thousands of miles away from home, I realized I was spending more hours with my laptop than I did with any other human. Yet despite this intimacy, my laptop had absolutely no idea how I was feeling. It had no idea if I was happy, having a bad day, or stressed, confused, and so that got frustrating. Even worse, as I communicated online with my family back home, I felt that all my emotions disappeared in cyberspace. I was homesick, I was lonely, and on some days I was actually crying, but all I had to communicate these emotions was this. (Laughter) Today's technology has lots of I.Q., but no E.Q.; lots of cognitive intelligence, but no emotional intelligence. So that got me thinking, what if our technology could sense our emotions? What if our devices could sense how we felt and reacted accordingly, just the way an emotionally intelligent friend would? Those questions led me and my team to create technologies that can read and respond to our emotions, and our starting point was the human face.
התחלתי בדרך זו לפני 15 שנים הייתי מדעית מחשב במצרים, ובדיוק התקבלתי לתכנית דוקטורט באוניברסיטת קיימברידג'. אז עשיתי משהו יוצא דופן לאישה מוסלמית צעירה ונשואה טרייה: עם תמיכה של בעלי שנאלץ להישאר במצרים, ארזתי את חפציי ועברתי לאנגליה. בקיימברידג', אלפי קילומטרים הרחק מהבית, נוכחתי שאני מבזבזת יותר שעות עם המחשב הנישא שלי מאשר עם כל בן אדם אחר. ועל אף האינטימיות, למחשב לא היה כל מושג איך אני מרגישה לא היה לו מושג אם הייתי מאושרת היה לי יום גרוע, או לחוץ, מבולבל, וכך זה נעשה מתסכל. אפילו גרוע יותר, כשהתקשרתי עם משפחתי באינטרנט הרגשתי שכל הרגשות שלי נעלמו במרחב הקיברנטי. התגעגעתי הביתה, הייתי בודדה, ולמשך כמה ימים ממש בכיתי, אבל כל מה שהיה לי כדי להעביר את הרגשות האלו היה זה. (צחוק) לטכנולוגיה של היום יש הרבה I.Q., אבל לא E.Q .; המון אינטליגנציה קוגניטיבית, אבל אין אינטליגנציה רגשית. כך שזה גרם לי לחשוב, מה אם הטכנולוגיה שלנו יכלה לחוש את הרגשות שלנו? מה אם המכשירים שלנו יכלו לחוש איך הרגשנו והיו מגיבים בהתאם, כמו באופן בו חבר אינטליגנטי רגשית היה מרגיש? שאלות אלו הנחו אותי ואת הצוות שלי ליצור טכנולוגיות שיכולות לקרוא את הרגשות שלנו, ולהגיב להם. ונקודת המוצא שלנו הייתה הפנים האנושיות.
So our human face happens to be one of the most powerful channels that we all use to communicate social and emotional states, everything from enjoyment, surprise, empathy and curiosity. In emotion science, we call each facial muscle movement an action unit. So for example, action unit 12, it's not a Hollywood blockbuster, it is actually a lip corner pull, which is the main component of a smile. Try it everybody. Let's get some smiles going on. Another example is action unit 4. It's the brow furrow. It's when you draw your eyebrows together and you create all these textures and wrinkles. We don't like them, but it's a strong indicator of a negative emotion. So we have about 45 of these action units, and they combine to express hundreds of emotions.
אז הפנים האנושיות שלנו הן אחד מהערוצים החזקים ביותר שכולנו משתמשים בהן כדי לתקשר מצבים חברתיים ורגשיים, הכל מהנאה, הפתעה אמפתיה וסקרנות. במדע הרגשות, אנחנו קוראים לכל תנועת שרירי פנים יחידת פעולה. כך למשל, יחידת פעולה 12, זה לא שובר קופות הוליוודי, זו למעשה משיכה של פינת שפה, שמהווה את המרכיב העיקרי של חיוך. נסו את זה לכולם. בואו ונעלה כמה חיוכים. דוגמה נוספת היא יחידת פעולה 4. היא כיווץ המצח. זה כאשר אתם מושכים את הגבות שלכם יחד ואתם יוצרים את כל המרקמים והקמטים האלה. אנחנו לא אוהבים אותם, אבל זו אינדיקציה חזקה של רגש שלילי. אז יש לנו כ -45 יחידות פעולה כאלו, והן משתלבות להביע מאות רגשות.
Teaching a computer to read these facial emotions is hard, because these action units, they can be fast, they're subtle, and they combine in many different ways. So take, for example, the smile and the smirk. They look somewhat similar, but they mean very different things. (Laughter) So the smile is positive, a smirk is often negative. Sometimes a smirk can make you become famous. But seriously, it's important for a computer to be able to tell the difference between the two expressions.
קשה ללמד מחשב לקרוא את הבעות הפנים האלו, כי יחידות פעולה אלה, הן יכולות להיות מהירות, הן עדינות, והן משתלבות בהרבה אופנים. אז קחו לדוגמה, חיוך רגיל וגיחוך. הם נראים זהים, אבל משמעותם שונה לחלוטין. (צחוק) אז החיוך הוא חיובי, הגיחוך הוא לעתים קרובות שלילי. לפעמים גיחוך יכול לגרום לכם להיות מפורסמים אבל ברצינות, זה חשוב שמחשב יהיה מסוגל להצביע על ההבדל בין שתי ההבעות.
So how do we do that? We give our algorithms tens of thousands of examples of people we know to be smiling, from different ethnicities, ages, genders, and we do the same for smirks. And then, using deep learning, the algorithm looks for all these textures and wrinkles and shape changes on our face, and basically learns that all smiles have common characteristics, all smirks have subtly different characteristics. And the next time it sees a new face, it essentially learns that this face has the same characteristics of a smile, and it says, "Aha, I recognize this. This is a smile expression."
אז איך אנחנו עושים את זה? אנחנו נותנים לאלגוריתמים שלנו עשרות אלפי דוגמאות של אנשים שאנחנו מכירים כמחייכים, ממוצאים אתניים, גילים, ומגדרים שונים, ואנחנו עושים את אותו הדבר עבור גיחוכים. ולאחר מכן, באמצעות למידה עמוקה האלגוריתם מחפש את כל המרקמים והקמטים האלו וצורות שינוי על פנינו, ובעצם לומד שלכל החיוכים יש מאפיינים משותפים, לכל הגיחוכים יש מאפיינים מעודנים שונים. ובפעם הבאה שהוא רואה פנים חדשות, הוא בעצם לומד שלפנים אלו יש אותם מאפיינים של חיוך, והוא אומר, "אהה, אני מכיר את זה. זו הבעת חיוך. "
So the best way to demonstrate how this technology works is to try a live demo, so I need a volunteer, preferably somebody with a face. (Laughter) Cloe's going to be our volunteer today.
לכן הדרך הטובה ביותר להדגים איך הטכנולוגיה הזו עובדת היא לנסות תוכנית הדגמה חיה, אז אני צריכה מתנדב, רצוי מישהו עם פנים. (צחוק) קלואי הולכת להיות המתנדבת שלנו היום
So over the past five years, we've moved from being a research project at MIT to a company, where my team has worked really hard to make this technology work, as we like to say, in the wild. And we've also shrunk it so that the core emotion engine works on any mobile device with a camera, like this iPad. So let's give this a try.
אז בחמש השנים האחרונות, עברנו מלהיות פרויקט מחקר ב- MIT לחברה, שבה הקבוצה שלי עבדה ממש קשה כדי לגרום לטכנולוגיה הזו לעבוד, כמו שאנחנו אוהבים לומר, בטבע. וגם כיווצנו זאת כדי שליבת מנוע הרגש עובדת על כל מכשיר נייד עם מצלמה, כמו האייפד הזה. אז בואו וננסה את זה.
As you can see, the algorithm has essentially found Cloe's face, so it's this white bounding box, and it's tracking the main feature points on her face, so her eyebrows, her eyes, her mouth and her nose. The question is, can it recognize her expression? So we're going to test the machine. So first of all, give me your poker face. Yep, awesome. (Laughter) And then as she smiles, this is a genuine smile, it's great. So you can see the green bar go up as she smiles. Now that was a big smile. Can you try a subtle smile to see if the computer can recognize? It does recognize subtle smiles as well. We've worked really hard to make that happen. And then eyebrow raised, indicator of surprise. Brow furrow, which is an indicator of confusion. Frown. Yes, perfect. So these are all the different action units. There's many more of them. This is just a slimmed-down demo. But we call each reading an emotion data point, and then they can fire together to portray different emotions. So on the right side of the demo -- look like you're happy. So that's joy. Joy fires up. And then give me a disgust face. Try to remember what it was like when Zayn left One Direction. (Laughter) Yeah, wrinkle your nose. Awesome. And the valence is actually quite negative, so you must have been a big fan. So valence is how positive or negative an experience is, and engagement is how expressive she is as well. So imagine if Cloe had access to this real-time emotion stream, and she could share it with anybody she wanted to. Thank you. (Applause)
כפי שתוכלו לראות, האלגוריתם בעצם מצא את פניה של קלואי, אז זוהי התיבה התוחמת הלבנה הזה, והיא עוקבת אחר נקודות האפיון המרכזיים של פניה, אז גבותיה, עיניה, פיה ואפה. השאלה היא, האם זה יכול לזהות את הבעתה? אז אנחנו הולכים לבחון את המכונה אז קודם כל, תני לי את פני הפוקר שלך. כן, מדהים. (צחוק) ואז כשהיא מחייכת, זה חיוך אמיתי, זה נהדר. אז אתם יכולים לראות את הפס הירוק עולה כשהיא מחייכת. עכשיו זה היה חיוך גדול. את יכולה לנסות לחייך חיוך עדין כדי לראות אם המחשב יכול לזהות? הוא מזהה גם חיוכים עדינים. עבדנו ממש קשים כדי שזה יקרה. ולאחר מכן גבה מורמת, שמצביעה של הפתעה. כיווץ מצח שמצביע על מבוכה. זעף. כן, מושלם. אז אלה הם כל יחידות הפעולה השונות. יש עוד מהן. זו תכנית הדגמה מצומקת. אבל אנחנו קוראים לכל קריאה נקודת נתוני רגש, ואז הן יכולות "לירות" יחד כדי לתאר רגשות שונים. אז בצד ימין של ההדגמה - נראה כאילו שאתם שמחים אז זו שמחה. השמחה "יורה." ואז תני לי הבעת גועל נסי להיזכר איך זה היה כשזאיין עזב בכיוון אחד. (צחוק) כן, קמטי את האף שלך. מדהים. והערכיות היא למעשה שלילית למדי, אז כנראה שאת מעריצה גדולה. אז ערכיות היא המידה עד כמה החוויה היא חיובית או שלילית, וההתחייבות היא עד כמה היא בעלת הבעה גם כן. אז דמיינו אם לקלואי הייתה גישה לזרם רגש כזה בזמן אמת, והיא הייתה יכולה לחלוק את זה עם כל מי שהיא רצתה. תודה. (מחיאות כפיים)
So, so far, we have amassed 12 billion of these emotion data points. It's the largest emotion database in the world. We've collected it from 2.9 million face videos, people who have agreed to share their emotions with us, and from 75 countries around the world. It's growing every day. It blows my mind away that we can now quantify something as personal as our emotions, and we can do it at this scale.
אז עד כה, צברנו 12 מיליארד נקודות נתוני רגש אלה. זה מסד נתוני הרגש הגדול ביותר בעולם. אספנו אותם מ-2.9 מיליון קטעי וידאו של פנים. אנשים שהסכימו לחלוק את רגשותיהם איתנו, ומ- 75 מדינות ברחבי העולם. זה הולך וגדל מיום ליום. זה מטריף אותי שעכשיו אנחנו יכולים לכמת משהו כה אישי כמו הרגשות שלנו, ואנחנו יכולים לעשות את זה בקנה המידה הזה
So what have we learned to date? Gender. Our data confirms something that you might suspect. Women are more expressive than men. Not only do they smile more, their smiles last longer, and we can now really quantify what it is that men and women respond to differently. Let's do culture: So in the United States, women are 40 percent more expressive than men, but curiously, we don't see any difference in the U.K. between men and women. (Laughter) Age: People who are 50 years and older are 25 percent more emotive than younger people. Women in their 20s smile a lot more than men the same age, perhaps a necessity for dating. But perhaps what surprised us the most about this data is that we happen to be expressive all the time, even when we are sitting in front of our devices alone, and it's not just when we're watching cat videos on Facebook. We are expressive when we're emailing, texting, shopping online, or even doing our taxes.
אז מה למדנו עד כה? מגדר. הנתונים שלנו מאשרים משהו שאולי אתם מנחשים. נשים הן יותר בעלות הבעה מגברים. לא רק שהן מחייכות יותר, החיוכים שלהם נמשכים יותר זמן, ואנחנו יכולים עכשיו באמת לכמת מהו הדבר שגברים ונשים מגיבים לו באופן שונה. בואו נפנה לתרבות: אז בארצות הברית, נשים הן ב-40 אחוזים יותר בעלות הבעה מגברים, אך למרבה הפלא, איננו רואים כל הבדל בבריטניה בין גברים לנשים. (צחוק) גיל: אנשים שהם בני 50 ומעלה הם ב-25% יותר אמוטיבים מאנשים צעירים. נשים בשנות ה -20 שלהן מחייכות הרבה יותר מגברים באותו גיל, אולי זה הכרחי להיכרויות. אבל אולי מה שהכי הפתיע אותנו בנתונים אלה זה שאנחנו הבעתיים כל הזמן אפילו כאשר אנו יושבים לבד מול המכשירים שלנו, וזה לא רק כאשר אנחנו צופים בקטעי וידאו על חתולים בפייסבוק. אנחנו הבעתיים כאשר אנחנו שולחים דואר אלקטרוני, הודעות SMS, וקניות באינטרנט, או אפילו משלמים את המסים שלנו.
Where is this data used today? In understanding how we engage with media, so understanding virality and voting behavior; and also empowering or emotion-enabling technology, and I want to share some examples that are especially close to my heart. Emotion-enabled wearable glasses can help individuals who are visually impaired read the faces of others, and it can help individuals on the autism spectrum interpret emotion, something that they really struggle with. In education, imagine if your learning apps sense that you're confused and slow down, or that you're bored, so it's sped up, just like a great teacher would in a classroom. What if your wristwatch tracked your mood, or your car sensed that you're tired, or perhaps your fridge knows that you're stressed, so it auto-locks to prevent you from binge eating. (Laughter) I would like that, yeah. What if, when I was in Cambridge, I had access to my real-time emotion stream, and I could share that with my family back home in a very natural way, just like I would've if we were all in the same room together?
איפה משתמשים בנתונים אלה היום? בהבנת האופן בו אנו עוסקים בתקשורת אז הבנת הוויראליות והרגלי הצבעה; וגם העצמה או טכנולוגיה שמאפשרת רגש, ואני רוצה לשתף כמה דוגמאות שקרובות ללבי במיוחד. חבישת משקפיים מאפשרי-רגש יכולים לעזור לאנשים לקויי ראייה לקרוא את פניהם של אחרים וזה יכול לעזור לאנשים על הספקטרום האוטיסטי לפרש רגש, משהו שהם ממש נאבקים איתו. בחינוך, דמיינו אם יישומי הלמידה שלכם חשים שאתם מבולבלים ואז מאיטים, או שאתם משועממים, אז הם מאיצים, כפי שמורה גדול היה נוהג בכיתה. מה אם שעון היד שלכם היה עוקב אחר מצב הרוח שלכם, או שמכוניתכם הרגישה שאתם עייפים, או אולי המקרר שלכם יודע שאתם לחוצים, אז הוא ננעל אוטומטית כדי למנוע מכם בולמוס אכילה. (צחוק) הייתי אוהבת את זה, כן. מה אם, כשהייתי בקיימברידג ', הייתה לי גישה לזרם הרגש שלי בזמן אמת, ויכולתי לחלוק את זה עם משפחתי בבית באופן מאוד טבעי, בדיוק כפי שהייתי עושה לו היינו כולנו יחד באותו חדר?
I think five years down the line, all our devices are going to have an emotion chip, and we won't remember what it was like when we couldn't just frown at our device and our device would say, "Hmm, you didn't like that, did you?" Our biggest challenge is that there are so many applications of this technology, my team and I realize that we can't build them all ourselves, so we've made this technology available so that other developers can get building and get creative. We recognize that there are potential risks and potential for abuse, but personally, having spent many years doing this, I believe that the benefits to humanity from having emotionally intelligent technology far outweigh the potential for misuse. And I invite you all to be part of the conversation. The more people who know about this technology, the more we can all have a voice in how it's being used. So as more and more of our lives become digital, we are fighting a losing battle trying to curb our usage of devices in order to reclaim our emotions. So what I'm trying to do instead is to bring emotions into our technology and make our technologies more responsive. So I want those devices that have separated us to bring us back together. And by humanizing technology, we have this golden opportunity to reimagine how we connect with machines, and therefore, how we, as human beings, connect with one another.
אני חושבת, שחמש שנים מהיום, לכל המכשירים שלנו הולך להיות שבב רגש, ולא נזכור איך זה היה כשלא יכולנו פשוט לזעוף על המכשיר שלנו והמכשיר היה אומר, "הממ, לא אהבת את זה , נכון?" האתגר הגדול ביותר שלנו הוא שיש כל כך הרבה יישומים של טכנולוגיה זו, הצוות שלי ואני מבינים שאיננו יכולים לבנות את כולם בעצמנו, אז עשינו טכנולוגיה זו זמינה כך שמפתחים אחרים יוכלו לבנות ולהיות יצירתיים. אנו מודעים לכך שיש סיכונים פוטנציאליים ופוטנציאל לשימוש לרעה, אבל באופן אישי, לאחר שביליתי שנים רבות בעשייה של זה, אני מאמינה שהיתרונות לאנושות, מהשגת טכנולוגיה אינטליגנטית רגשית עולה בהרבה על הפוטנציאל לשימוש לרעה. ואני מזמינה את כולכם להיות חלק מהשיחה. ככל שיותר אנשים ידעו על טכנולוגיה זו, יוכל להיות לכולנו קול שיאמר מה יהיה אופן השימוש. כך כשיותר ויותר חלקים מחיינו נעשים דיגיטליים, אנו לוחמים מלחמה אבודה בניסיון לרסן את השימוש במכשירים שלנו כדי להשיב לעצמנו את הרגשות שלנו. אז מה שאני מנסה לעשות במקום זה הוא להביא רגשות לטכנולוגיה שלנו ולהפוך את הטכנולוגיה שלנו ליותר מגיבה. אז אני רוצה שהמכשירים האלה שהפרידו בינינו ישיבו לנו את הביחד. ועל ידי האנשת טכנולוגיה, יש לנו הזדמנות פז לשוב ולדמיין כיצד אנו יוצרים קשר עם מכונות ולכן, כיצד אנו, כבני אדם, מתחברים אחד עם השני.
Thank you.
תודה.
(Applause)
(מחיאות כפיים)