Our emotions influence every aspect of our lives, from our health and how we learn, to how we do business and make decisions, big ones and small. Our emotions also influence how we connect with one another. We've evolved to live in a world like this, but instead, we're living more and more of our lives like this -- this is the text message from my daughter last night -- in a world that's devoid of emotion. So I'm on a mission to change that. I want to bring emotions back into our digital experiences.
Az érzelmeink életünk minden aspektusát befolyásolják, az egészségtől kezdve a tanulásig, az üzleteléstől a döntéshozatalig, nagyokat és kicsiket egyaránt. Az érzelmeink befolyásolják azt is, hogyan kötődünk másokhoz. Ilyen világra lettünk teremtve, de ehelyett egyre inkább egy másmilyen, -- ezt az üzenetet a lányomtól kaptam múlt éjszaka - érzelemmentes világban kezdünk élni. Az a küldetésem, hogy ezen változtassak. Vissza akarom hozni az érzelmeket digitális élményeinkbe.
I started on this path 15 years ago. I was a computer scientist in Egypt, and I had just gotten accepted to a Ph.D. program at Cambridge University. So I did something quite unusual for a young newlywed Muslim Egyptian wife: With the support of my husband, who had to stay in Egypt, I packed my bags and I moved to England. At Cambridge, thousands of miles away from home, I realized I was spending more hours with my laptop than I did with any other human. Yet despite this intimacy, my laptop had absolutely no idea how I was feeling. It had no idea if I was happy, having a bad day, or stressed, confused, and so that got frustrating. Even worse, as I communicated online with my family back home, I felt that all my emotions disappeared in cyberspace. I was homesick, I was lonely, and on some days I was actually crying, but all I had to communicate these emotions was this. (Laughter) Today's technology has lots of I.Q., but no E.Q.; lots of cognitive intelligence, but no emotional intelligence. So that got me thinking, what if our technology could sense our emotions? What if our devices could sense how we felt and reacted accordingly, just the way an emotionally intelligent friend would? Those questions led me and my team to create technologies that can read and respond to our emotions, and our starting point was the human face.
Tizenöt éve indultam el ezen az úton. Számítógép-szakértő voltam Egyiptomban, és épp akkor vettek fel a Cambridge Egyetem doktori programjára. Tehát valami egészen szokatlant csináltam fiatal, frissen házasodott muszlim egyiptomi feleségként: Férjem támogatásával, akinek Egyiptomban kellett maradnia, összecsomagoltam és Angliába költöztem. Cambridge-ben, több ezer mérföldre az otthonomtól, rájöttem, hogy több órát töltök a laptopommal, mint bármelyik embertársammal. De az intimitás ellenére a laptopomnak fogalma sem volt az érzéseimről. Nem tudta, ha vidám voltam, ha rossz napom volt, ha stresszes vagy zavart voltam, és ez frusztrált. Még rosszabb: ahogyan online beszélgettem az otthon maradt családommal, úgy éreztem, hogy minden érzelmem elvész a kibertérben. Honvágyam volt, magányos voltam, és néhanapján igazából is sírtam, de ennyi volt mindaz, amivel kifejezhettem ezeket az érzéseket. (Nevetés) A mai technológiának magas az IQ-ja, viszont az EQ-ja nem; rengeteg kognitív intelligencia, de semmi érzelmi intelligencia. Ez elgondolkodtatott: mi lenne, ha a technológia érzékelné érzelmeinket? Mi lenne, ha eszközeink érzékelnék, mit érzünk, és annak megfelelően reagálnának, ahogyan azt egy érzelmileg intelligens barátunk tenné? Ezek a kérdések vezettek engem és a csapatomat olyan technológiák megalkotására, amelyek olvassák az érzéseinket, és válaszolnak. Kiindulópontunk az emberi arc volt.
So our human face happens to be one of the most powerful channels that we all use to communicate social and emotional states, everything from enjoyment, surprise, empathy and curiosity. In emotion science, we call each facial muscle movement an action unit. So for example, action unit 12, it's not a Hollywood blockbuster, it is actually a lip corner pull, which is the main component of a smile. Try it everybody. Let's get some smiles going on. Another example is action unit 4. It's the brow furrow. It's when you draw your eyebrows together and you create all these textures and wrinkles. We don't like them, but it's a strong indicator of a negative emotion. So we have about 45 of these action units, and they combine to express hundreds of emotions.
Emberi arcunk történetesen az egyik legerősebb csatorna, amelynek révén közösségi és érzelmi állapotainkat közöljük, mindent, beleértve az élvezetet, meglepetést, empátiát és kíváncsiságot is. Az érzelmek tudományában minden arcizom-mozgást egy egységnek nevezünk. A 12-es mozgásegység például nem egy hollywoodi kasszasiker, ez valójában a száj sarkának felhúzása, ami egy mosoly fő alkotóeleme. Mindenki kipróbálhatja. Lássunk néhány mosolyt. Egy másik példa a 4-es egység. Ez a szemöldök ráncolása. Ilyenkor összevonjuk a szemöldökünket, és létrehozzuk ezeket a formákat meg ráncokat. Nem szeretjük, de erős negatív érzést jelez. Van kb. 45 ilyen mozgásegységünk, ezek kombinálva több száz érzelmet fejeznek ki.
Teaching a computer to read these facial emotions is hard, because these action units, they can be fast, they're subtle, and they combine in many different ways. So take, for example, the smile and the smirk. They look somewhat similar, but they mean very different things. (Laughter) So the smile is positive, a smirk is often negative. Sometimes a smirk can make you become famous. But seriously, it's important for a computer to be able to tell the difference between the two expressions.
Nehéz megtanítani egy számítógépnek, hogy ezeket az érzelmeket olvassa, mert lehetnek ezek gyorsak, rejtettek, és különböző módon keverednek. Vegyük például a mosolyt és a grimaszt. Valamennyire hasonlónak tűnnek, ám nagyon különbözik a jelentésük. (Nevetés) A mosoly pozitív, a grimasz gyakran negatív. Néha egy grimasz híressé tehet. De komolyan, fontos, hogy egy számítógép képes legyen megkülönböztetni egymástól a két érzelmet.
So how do we do that? We give our algorithms tens of thousands of examples of people we know to be smiling, from different ethnicities, ages, genders, and we do the same for smirks. And then, using deep learning, the algorithm looks for all these textures and wrinkles and shape changes on our face, and basically learns that all smiles have common characteristics, all smirks have subtly different characteristics. And the next time it sees a new face, it essentially learns that this face has the same characteristics of a smile, and it says, "Aha, I recognize this. This is a smile expression."
Mindezt hogyan csináljuk? Adunk az algortimusainknak több tízezer példát emberekről, akikről tudjuk, hogy mosolyognak, ezek különböző etnikumúak, korúak, neműek, és ugyanígy teszünk a grimasszal is. Aztán deep learninget használva az algoritmus megkeresi ezeket a a struktúrákat és ráncokat, az arcunk változásait, lényegében megtanulja, hogy minden mosolynak van közös jellemzője, és minden grimasznak élesen különböző jellemzői vannak. A következő alkalommal, mikor meglát egy új arcot, lényegében rájön, hogy ennek az arcnak ugyanolyan jellemzői vannak, mint a mosolynak, és azt mondja: "Jé, felismerem ezt. Ez egy mosoly kifejezése."
So the best way to demonstrate how this technology works is to try a live demo, so I need a volunteer, preferably somebody with a face. (Laughter) Cloe's going to be our volunteer today.
A technológia működésének bizonyítására a legjobb mód egy élő demo kipróbálása, tehát szükségem van egy önkéntesre, lehetőleg valakire, akinek van arca. (Nevetés) Cloe lesz a mai önkéntesünk,
So over the past five years, we've moved from being a research project at MIT to a company, where my team has worked really hard to make this technology work, as we like to say, in the wild. And we've also shrunk it so that the core emotion engine works on any mobile device with a camera, like this iPad. So let's give this a try.
Az elmúlt öt év során egy MIT-s kutatási projektből vállalattá nőttük ki magunkat, és a csapatom igen sokat dolgozott azon, hogy ez a technológia működjön, ahogy mondani szokás, a vadonban is. Úgy összezsugorítottuk, hogy a fő érzelem-motor bármelyik kamerás mobil eszközön működik, mint ezen az iPad-en is. Tehát próbáljuk ki!
As you can see, the algorithm has essentially found Cloe's face, so it's this white bounding box, and it's tracking the main feature points on her face, so her eyebrows, her eyes, her mouth and her nose. The question is, can it recognize her expression? So we're going to test the machine. So first of all, give me your poker face. Yep, awesome. (Laughter) And then as she smiles, this is a genuine smile, it's great. So you can see the green bar go up as she smiles. Now that was a big smile. Can you try a subtle smile to see if the computer can recognize? It does recognize subtle smiles as well. We've worked really hard to make that happen. And then eyebrow raised, indicator of surprise. Brow furrow, which is an indicator of confusion. Frown. Yes, perfect. So these are all the different action units. There's many more of them. This is just a slimmed-down demo. But we call each reading an emotion data point, and then they can fire together to portray different emotions. So on the right side of the demo -- look like you're happy. So that's joy. Joy fires up. And then give me a disgust face. Try to remember what it was like when Zayn left One Direction. (Laughter) Yeah, wrinkle your nose. Awesome. And the valence is actually quite negative, so you must have been a big fan. So valence is how positive or negative an experience is, and engagement is how expressive she is as well. So imagine if Cloe had access to this real-time emotion stream, and she could share it with anybody she wanted to. Thank you. (Applause)
Ahogy láthatják, az algoritmus megtalálta Cloe arcát, ez az a fehér határolókeret, és követi a fő jellemző pontokat az arcán, vagyis a szemöldökét, a szemét, a száját és az orrát. Az a kérdés, hogy fel tudja-e ismerni, mit fejez ki? Most leteszteljük a gépet. Legelőször mutasd a pókerarcod. Igen, nagyszerű. (Nevetés) Aztán ahogy mosolyog, ez egy valódi mosoly, nagyszerű. A zöld sáv láthatóan növekszik, mikor mosolyog. Ez egy nagy mosoly volt. Megpróbálsz egy enyhébb mosolyt, hogy lássuk, felismeri-e a gép? Felismeri az enyhébb mosolyt is. Nagyon sokat dolgoztunk, hogy ez sikerüljön. Aztán felemelt szemöldök, a meglepetés jelzője. Szemöldökráncolás, a zavartság jelzője. Homlokráncolás. Tökéletes. Ezek mind különböző mozgásegységek. Sokkal több van belőlük. Ez csak egy karcsúsított demo. Minden leolvasást érzelmi adatpontnak nevezünk, majd ezek ötvözése ábrázolja a különböző érzelmeket. A demo jobb oldalán -- tégy úgy, mintha boldog lennél. Ez az öröm. Kigyúl az öröm. Most vágj utálkozó arcot. Gondolj arra, milyen volt, amikor Zayn kilépett a One Direction-ből. (Nevetés) Úgy, ráncold az orrod. Klassz. A kötődés eléggé negatív, biztos nagy rajongója voltál. A kötődés a tapasztalat pozitív vagy negatív jellege, az elkötelezettség pedig azt jelzi, mennyire kifejező. Képzeljék el, ha Cloe hozzáférne egy valós idejű érzelem-csatornához, és megoszthatná azt mindenkivel, akivel csak akarná. Köszönöm. (Taps)
So, so far, we have amassed 12 billion of these emotion data points. It's the largest emotion database in the world. We've collected it from 2.9 million face videos, people who have agreed to share their emotions with us, and from 75 countries around the world. It's growing every day. It blows my mind away that we can now quantify something as personal as our emotions, and we can do it at this scale.
Az eddigiekben 12 milliárd ilyen érzelmi adatpontot gyűjtöttünk. Ez a legnagyobb érzelem-adatbázis a világon. 2,9 millió arcot ábrázoló videóról gyűjtöttük ezeket, olyanoktól, akik beleegyeztek érzelmeik megosztásába, világszerte, 75 országban. Naponta növekszik. Lélegzetelállító, hogy tudunk számszerűsíteni egy ennyire személyes dolgot, mint az érzelmeink, és ilyen nagyságrendben tudjuk.
So what have we learned to date? Gender. Our data confirms something that you might suspect. Women are more expressive than men. Not only do they smile more, their smiles last longer, and we can now really quantify what it is that men and women respond to differently. Let's do culture: So in the United States, women are 40 percent more expressive than men, but curiously, we don't see any difference in the U.K. between men and women. (Laughter) Age: People who are 50 years and older are 25 percent more emotive than younger people. Women in their 20s smile a lot more than men the same age, perhaps a necessity for dating. But perhaps what surprised us the most about this data is that we happen to be expressive all the time, even when we are sitting in front of our devices alone, and it's not just when we're watching cat videos on Facebook. We are expressive when we're emailing, texting, shopping online, or even doing our taxes.
Mit tanultunk tehát eddig? A nemek. Adataink igazolják, amit valószínűleg sejtenek. A nők kifejezőbbek, mint a férfiak. Nemcsak többet mosolyognak, de a mosolyuk tovább tart, és most tényleg számszerűsíteni tudjuk, mi az, amire a nők és a férfiak eltérően válaszolnak. Nézzük a kultúrát: az Egyesült Államokban a nők 40%-kal kifejezőbbek, mint a férfiak, de érdekes módon az Egyesült Királyságban nem látunk közöttük különbséget. (Nevetés) Életkor: az 50 év felettiek 25%-kal érzelmesebbek a fiataloknál. A huszonéves nők sokkal többet mosolyognak, mint az azonos korú férfiak, lehet, hogy ez szükséges a randizáshoz. De az adatokban talán az lepett meg a legjobban, hogy úgy tűnik, mindig kifejezőek vagyunk, még akkor is, amikor egyedül ülünk a készülékeink előtt, és nemcsak amikor cicás videókat nézünk a Facebookon. Kifejezőek vagyunk e-mail és SMS írásakor, online vásárláskor, még az adóbevallás kitöltésekor is.
Where is this data used today? In understanding how we engage with media, so understanding virality and voting behavior; and also empowering or emotion-enabling technology, and I want to share some examples that are especially close to my heart. Emotion-enabled wearable glasses can help individuals who are visually impaired read the faces of others, and it can help individuals on the autism spectrum interpret emotion, something that they really struggle with. In education, imagine if your learning apps sense that you're confused and slow down, or that you're bored, so it's sped up, just like a great teacher would in a classroom. What if your wristwatch tracked your mood, or your car sensed that you're tired, or perhaps your fridge knows that you're stressed, so it auto-locks to prevent you from binge eating. (Laughter) I would like that, yeah. What if, when I was in Cambridge, I had access to my real-time emotion stream, and I could share that with my family back home in a very natural way, just like I would've if we were all in the same room together?
Hol használják ma ezeket az adatokat? Annak megértésére, mennyire köt le a média, hogy mi és miért terjed a neten, hogy hogyan választunk, és arra, hogyan építsük be a gesztus értelmezését a technológiába. Bemutatok néhány, a szívemhez különösen közel álló példát. A gesztus-értelmező szemüvegek segítenek a gyengénlátó embereknek leolvasni mások arcát, és segítenek az autista embereknek az érzelmek értelmezésében, ők ezzel nagyon küszködnek. Oktatás: képzeljék el, hogy az online tanulásban az app érzékeli, ha összezavarodtunk, és lelassít; ha unatkozunk, akkor felgyorsít, ahogyan egy jó tanár tenné az osztályteremben. Mi lenne, ha a karóránk figyelné kedélyünket, az autónk észlelné, ha fáradtak vagyunk, vagy akár: a hűtőnk tudná, hogy feszültek vagyunk, és lezárná magát, hogy megakadályozza, hogy túlzabáljuk magunkat. (Nevetés) Igen, ezt szeretném. Mi lett volna, ha a cambridge-i időkben hozzáfértem volna az érzelem-csatornámhoz, és természetes módon meg tudtam volna azt osztani otthonmaradt családommal, mintha mindannyian együtt lennénk, ugyanabban a szobában?
I think five years down the line, all our devices are going to have an emotion chip, and we won't remember what it was like when we couldn't just frown at our device and our device would say, "Hmm, you didn't like that, did you?" Our biggest challenge is that there are so many applications of this technology, my team and I realize that we can't build them all ourselves, so we've made this technology available so that other developers can get building and get creative. We recognize that there are potential risks and potential for abuse, but personally, having spent many years doing this, I believe that the benefits to humanity from having emotionally intelligent technology far outweigh the potential for misuse. And I invite you all to be part of the conversation. The more people who know about this technology, the more we can all have a voice in how it's being used. So as more and more of our lives become digital, we are fighting a losing battle trying to curb our usage of devices in order to reclaim our emotions. So what I'm trying to do instead is to bring emotions into our technology and make our technologies more responsive. So I want those devices that have separated us to bring us back together. And by humanizing technology, we have this golden opportunity to reimagine how we connect with machines, and therefore, how we, as human beings, connect with one another.
Azt gondolom, öt év múlva minden eszközünkben lesz érzelem-csip, és már nem fogunk emlékezni arra, amikor hiába néztünk homlokráncolva, készülékünk nem mondta: "Ez ugye nem tetszett?" A nagy kihívás az, hogy a technológiának olyan sok alkalmazási területe van, hogy a csapatommal rájöttünk: nem tudjuk mindet mi megépíteni, ezért közzétettük a technológiát, hogy más fejlesztők is tudjanak építeni rá és alkotni. Elismerjük, hogy vannak potenciális kockázatok, és vissza lehet élni ezzel, de személy szerint, miután oly sok éve dolgozom rajta, hiszem, hogy az érzelmileg intelligens technológia léte olyan nagy haszon az emberiségnek, hogy az jócskán ellensúlyozza a visszaélés lehetőségét. Meghívom Önöket is, vegyenek részt a beszélgetésben. Minél többen tudnak a technológiáról, annál többen mondhatnak véleményt használatáról. Ahogy tehát egyre inkább digitálissá válik életünk, vesztésre állunk a csatában, amelyben korlátozni próbáljuk eszközeink használatát, hogy visszakérjük érzelmeinket. Ehelyett próbálok érzelmeket vinni technológiánkba, és fogékonyabbá tenni azt. Azt akarom, hogy az eszközök, amelyek elválasztottak, újra összekössenek minket. A technológia emberiessé tételével kitűnő lehetőségünk nyílik arra, hogy újragondoljuk, hogyan viszonyulunk a gépekhez, és ennek folytán mi, emberi lények, hogyan viszonyulunk egymáshoz.
Thank you.
Köszönöm.
(Applause)
(Taps)