Our emotions influence every aspect of our lives, from our health and how we learn, to how we do business and make decisions, big ones and small. Our emotions also influence how we connect with one another. We've evolved to live in a world like this, but instead, we're living more and more of our lives like this -- this is the text message from my daughter last night -- in a world that's devoid of emotion. So I'm on a mission to change that. I want to bring emotions back into our digital experiences.
Våra känslor påverkar varje del av våra liv från vår hälsa och hur vi lär oss, till hur vi gör affärer och fattar beslut, stora som små. Våra känslor påverkar också hur vi knyter an till varandra. Vi har utvecklats för att leva i en sån här värld, men nu lever vi istället mer och mer såna här liv - det här är ett sms som jag fick från min dotter igår kväll - i en värld som är tömd på känslor. Jag ser som mitt uppdrag att förändra det. Jag vill föra tillbaka känslorna i våra digitala upplevelser.
I started on this path 15 years ago. I was a computer scientist in Egypt, and I had just gotten accepted to a Ph.D. program at Cambridge University. So I did something quite unusual for a young newlywed Muslim Egyptian wife: With the support of my husband, who had to stay in Egypt, I packed my bags and I moved to England. At Cambridge, thousands of miles away from home, I realized I was spending more hours with my laptop than I did with any other human. Yet despite this intimacy, my laptop had absolutely no idea how I was feeling. It had no idea if I was happy, having a bad day, or stressed, confused, and so that got frustrating. Even worse, as I communicated online with my family back home, I felt that all my emotions disappeared in cyberspace. I was homesick, I was lonely, and on some days I was actually crying, but all I had to communicate these emotions was this. (Laughter) Today's technology has lots of I.Q., but no E.Q.; lots of cognitive intelligence, but no emotional intelligence. So that got me thinking, what if our technology could sense our emotions? What if our devices could sense how we felt and reacted accordingly, just the way an emotionally intelligent friend would? Those questions led me and my team to create technologies that can read and respond to our emotions, and our starting point was the human face.
Jag började med det för 15 år sen. Jag var dataingenjör i Egypten och hade just blivit antagen till en forskarutbildning vid Cambridge University. Jag gjorde något ganska ovanligt för att vara en ung nygift muslimsk egyptisk fru: Med stöd från min man som blev tvungen att stanna i Egypten packade jag mina väskor och flyttade till England. I Cambridge, tusentals kilometer hemifrån, insåg jag att jag tillbringade fler timmar med min laptop än jag gjorde med någon människa. Trots detta nära band visste inte datorn något om hur jag kände mig. Den visste inte om jag var glad, om jag hade en dålig dag, eller var stressad, förvirrad, och det blev frustrerande. Ännu värre var det när jag kommunicerade med min familj därhemma, och kände att mina känslor försvann i cyberrymden. Jag längtade hem, jag kände mig ensam, och vissa dagar grät jag, men allt jag kunde använda för att kommunicera känslorna var den här. (Skratt) Dagens teknik har mycket IQ, men ingen EQ; hög kognitiv intelligens men ingen emotionell intelligens. Det fick mig att börja fundera på hur det skulle bli om vår teknik skulle kunna känna av våra känslor? Om våra maskiner kunde känna av vårt humör och bete sig i enlighet med det, som en emotionellt intelligent vän? De här frågorna gjorde att jag och mitt team började skapa teknik som kan läsa av och reagera på våra känslor, och vi började med det mänskliga ansiktet.
So our human face happens to be one of the most powerful channels that we all use to communicate social and emotional states, everything from enjoyment, surprise, empathy and curiosity. In emotion science, we call each facial muscle movement an action unit. So for example, action unit 12, it's not a Hollywood blockbuster, it is actually a lip corner pull, which is the main component of a smile. Try it everybody. Let's get some smiles going on. Another example is action unit 4. It's the brow furrow. It's when you draw your eyebrows together and you create all these textures and wrinkles. We don't like them, but it's a strong indicator of a negative emotion. So we have about 45 of these action units, and they combine to express hundreds of emotions.
Det mänskliga ansiktet råkar vara en av de bästa kanaler som vi använder för att kommunicera sociala och känslomässiga tillstånd, allt från njutning, överraskning, empati och nyfikenhet. Inom känslovetenskap kallas en rörelse hos en ansiktsmuskel för "aktiv enhet". Den tolfte aktiva enheten är inte en toppfilm från Hollywood utan en uppdragen mungipa, vilket är huvudkomponenten i ett leende. Prova det allihop. Nu ler vi lite. Ett annat exempel är fjärde aktiva enheten. Det är när man drar ihop ögonbrynen och får den här ytan och rynkorna. Vi tycker inte om dem, men det är en stark indikator på en negativ känsla. Vi har ungefär 45 aktiva enheter, och de kan kombineras för att uttrycka hundratals känslor.
Teaching a computer to read these facial emotions is hard, because these action units, they can be fast, they're subtle, and they combine in many different ways. So take, for example, the smile and the smirk. They look somewhat similar, but they mean very different things. (Laughter) So the smile is positive, a smirk is often negative. Sometimes a smirk can make you become famous. But seriously, it's important for a computer to be able to tell the difference between the two expressions.
Att lära en dator att läsa av känslouttryck i ansiktet är svårt, för de aktiva enheterna kan vara snabba och subtila och de går att kombinera på många olika sätt. Ta till exempel leendet och hånflinet. De ser ganska lika ut, men de betyder helt olika saker. (Skratt) Ett leende är positivt, ett flin är ofta negativt. Ibland kan ett flin göra en känd. Men trots allt är det viktigt för en dator att kunna se skillnad mellan de här två uttrycken.
So how do we do that? We give our algorithms tens of thousands of examples of people we know to be smiling, from different ethnicities, ages, genders, and we do the same for smirks. And then, using deep learning, the algorithm looks for all these textures and wrinkles and shape changes on our face, and basically learns that all smiles have common characteristics, all smirks have subtly different characteristics. And the next time it sees a new face, it essentially learns that this face has the same characteristics of a smile, and it says, "Aha, I recognize this. This is a smile expression."
Hur gör vi det? Vi ger våra algoritmer tiotusentals exempel av människor som vi vet ler, med olika etnisk bakgrund, ålder, kön, och vi gör samma sak för flin. Och genom maskininlärning letar algoritmen efter såna här ytor och rynkor och formändringar i vårt ansikte och lär sig helt enkelt att alla leenden har egenskaper gemensamt, medan alla flin har något annorlunda egenskaper. Och nästa gång den ser ett nytt ansikte märker den att det här ansiktet har samma egenskaper som ett leende ansikte och den säger: "Aha, jag känner igen det här. Det är ett leende uttryck."
So the best way to demonstrate how this technology works is to try a live demo, so I need a volunteer, preferably somebody with a face. (Laughter) Cloe's going to be our volunteer today.
Det bästa sättet att visa hur tekniken fungerar är genom en livedemo, så jag behöver en frivillig, helst någon med ett ansikte. (Skratt) Cloe blir vår frivilliga idag.
So over the past five years, we've moved from being a research project at MIT to a company, where my team has worked really hard to make this technology work, as we like to say, in the wild. And we've also shrunk it so that the core emotion engine works on any mobile device with a camera, like this iPad. So let's give this a try.
De senaste fem åren har vi utvecklats från att vara ett projekt på MIT till att bli ett företag, där mitt team har jobbat mycket hårt för att få tekniken att fungera, som vi säger, i naturen. Vi har också krympt den så att känslomotorn fungerar i alla mobila enheter med kamera, som den här iPaden. Vi testar.
As you can see, the algorithm has essentially found Cloe's face, so it's this white bounding box, and it's tracking the main feature points on her face, so her eyebrows, her eyes, her mouth and her nose. The question is, can it recognize her expression? So we're going to test the machine. So first of all, give me your poker face. Yep, awesome. (Laughter) And then as she smiles, this is a genuine smile, it's great. So you can see the green bar go up as she smiles. Now that was a big smile. Can you try a subtle smile to see if the computer can recognize? It does recognize subtle smiles as well. We've worked really hard to make that happen. And then eyebrow raised, indicator of surprise. Brow furrow, which is an indicator of confusion. Frown. Yes, perfect. So these are all the different action units. There's many more of them. This is just a slimmed-down demo. But we call each reading an emotion data point, and then they can fire together to portray different emotions. So on the right side of the demo -- look like you're happy. So that's joy. Joy fires up. And then give me a disgust face. Try to remember what it was like when Zayn left One Direction. (Laughter) Yeah, wrinkle your nose. Awesome. And the valence is actually quite negative, so you must have been a big fan. So valence is how positive or negative an experience is, and engagement is how expressive she is as well. So imagine if Cloe had access to this real-time emotion stream, and she could share it with anybody she wanted to. Thank you. (Applause)
Som ni kan se har algoritmen hittat Cloes ansikte, det är den här vita inramande rutan, och den spårar huvudpunkterna i hennes ansikte, hennes ögonbryn, ögon, mun och näsa. Frågan är, kan den läsa av hennes uttryck? Vi ska testa maskinen. Först av allt, ge mig ett pokerfejs. Ja, jättebra. (Skratt) Och när hon sen ler är det ett riktigt leende, det är fint. Ni kan se att den gröna stapeln går upp när hon ler. Det var ett stort leende. Kan du prova ett litet leende och se om datorn kan känna igen det? Den känner igen småleenden också. Vi har jobbat hårt för att det ska fungera. Och sen höjda ögonbryn, ett tecken på förvåning. Rynkade ögonbryn, vilket är ett tecken på förvirring. Rynka pannan. Ja, perfekt. Det är de olika aktiva enheterna. Det finns många fler. Det här är bara en förenklad demo. Vi kallar varje avläsning för en emotionell datapunkt, och de kan aktiveras tillsammans för att visa olika känslor. Så på högra sidan - se glad ut. Det är lycka. Lycka lyser upp. Ge mig sen en min av avsmak. Försök minnas hur det var när Zayn lämnade One Direction. (Skratt) Ja, rynka näsan. Perfekt. Och uttrycket är starkt negativt, så du måste ha varit ett stort fan. Värde är hur positiv eller negativ en upplevelse är, och engagemang är hur uttrycksfull hon är. Tänk er att Cloe hade tillgång till den här känsloströmmen i realtid, och kunde dela den med vem hon ville. Tack. (Applåder)
So, so far, we have amassed 12 billion of these emotion data points. It's the largest emotion database in the world. We've collected it from 2.9 million face videos, people who have agreed to share their emotions with us, and from 75 countries around the world. It's growing every day. It blows my mind away that we can now quantify something as personal as our emotions, and we can do it at this scale.
Så här långt har vi samlat in 12 miljarder såna här datapunkter. Det är den största databasen för känslor i världen. Vi har samlat in den från 2,9 miljoner filmer på ansikten, människor som har gått med på att dela sina känslor med oss, från 75 länder i världen. Det blir fler och fler varje dag. Det känns fantastiskt att vi nu kan kvantifiera något så personligt som våra känslor, och vi kan göra det i den här skalan.
So what have we learned to date? Gender. Our data confirms something that you might suspect. Women are more expressive than men. Not only do they smile more, their smiles last longer, and we can now really quantify what it is that men and women respond to differently. Let's do culture: So in the United States, women are 40 percent more expressive than men, but curiously, we don't see any difference in the U.K. between men and women. (Laughter) Age: People who are 50 years and older are 25 percent more emotive than younger people. Women in their 20s smile a lot more than men the same age, perhaps a necessity for dating. But perhaps what surprised us the most about this data is that we happen to be expressive all the time, even when we are sitting in front of our devices alone, and it's not just when we're watching cat videos on Facebook. We are expressive when we're emailing, texting, shopping online, or even doing our taxes.
Vad har vi då lärt oss så här långt? Kön. Vår data bekräftar något som du kanske misstänker. Kvinnor är mer uttrycksfulla än män. De inte bara ler mer, deras leenden pågår längre, och vi kan nu verkligen mäta vad det är som män och kvinnor reagerar olika på. Om vi tittar på kultur: I USA är kvinnor 40 procent mer uttrycksfulla än män, men lustigt nog ser vi ingen skillnad mellan män och kvinnor i Storbritannien. (Skratt) Ålder: Människor som är 50 år och äldre är 25 procent mer emotionella än unga människor. Kvinnor i 20-årsåldern ler mycket mer än män i samma ålder, kanske är det nödvändigt vid dejter. Men det som förvånade oss mest är att vi uttrycker oss hela tiden, även när vi sitter ensamma framför våra skärmar, och det är inte bara när vi tittar på kattvideos på Facebook. Vi är uttycksfulla när vi skickar e-post, textmeddelanden, handlar online, till och med när vi deklarerar.
Where is this data used today? In understanding how we engage with media, so understanding virality and voting behavior; and also empowering or emotion-enabling technology, and I want to share some examples that are especially close to my heart. Emotion-enabled wearable glasses can help individuals who are visually impaired read the faces of others, and it can help individuals on the autism spectrum interpret emotion, something that they really struggle with. In education, imagine if your learning apps sense that you're confused and slow down, or that you're bored, so it's sped up, just like a great teacher would in a classroom. What if your wristwatch tracked your mood, or your car sensed that you're tired, or perhaps your fridge knows that you're stressed, so it auto-locks to prevent you from binge eating. (Laughter) I would like that, yeah. What if, when I was in Cambridge, I had access to my real-time emotion stream, and I could share that with my family back home in a very natural way, just like I would've if we were all in the same room together?
Var används den här informationen idag? Genom att förstå hur vi interagerar med medier kan vi förstå viral budskapsspridning och röstbeteenden och även föra in möjligheten till känslouttryck i tekniken, och jag vill dela med mig av några exempel som ligger mig speciellt varmt om hjärtat. Känslostyrda glasögon kan hjälpa människor med synnedsättning att läsa av andras ansikten, och det kan hjälpa individer med autism att tolka känslor, något som de verkligen kämpar med. Inom utbildning, tänk dig att dina läroappar känner av att du är förvirrad och saktar ner, eller om du är uttråkad kan de öka tempot, precis som en riktigt bra lärare skulle göra i klassrummet. Tänk om din armbandsklocka kunde mäta hur du mår, eller om din bil kunde veta att du var trött, eller kanske din kyl vet om att du är stressad, så att den låser sig automatiskt för att undvika att du proppar i dig. Det skulle jag vilja ha. (Skratt) Tänk om jag hade hade haft tillgång till mina känslor i realtid i Cambridge, och jag hade kunnat dela den med min familj på ett naturligt sätt, på samma sätt som om vi hade varit i samma rum tillsammans?
I think five years down the line, all our devices are going to have an emotion chip, and we won't remember what it was like when we couldn't just frown at our device and our device would say, "Hmm, you didn't like that, did you?" Our biggest challenge is that there are so many applications of this technology, my team and I realize that we can't build them all ourselves, so we've made this technology available so that other developers can get building and get creative. We recognize that there are potential risks and potential for abuse, but personally, having spent many years doing this, I believe that the benefits to humanity from having emotionally intelligent technology far outweigh the potential for misuse. And I invite you all to be part of the conversation. The more people who know about this technology, the more we can all have a voice in how it's being used. So as more and more of our lives become digital, we are fighting a losing battle trying to curb our usage of devices in order to reclaim our emotions. So what I'm trying to do instead is to bring emotions into our technology and make our technologies more responsive. So I want those devices that have separated us to bring us back together. And by humanizing technology, we have this golden opportunity to reimagine how we connect with machines, and therefore, how we, as human beings, connect with one another.
Jag tror att om fem år kommer våra enheter att ha ett känslochip och vi kommer inte att minnas hur det var när vi inte kunde rynka pannan åt maskinen och den sa "Hmm, det där gillade du inte va?" Vår största utmaning är att det finns så många tillämpningar för tekniken, så jag och mitt team inser att vi inte kan bygga alla själva, så vi har gjort tekniken tillgänglig så att andra utvecklare kan börja skapa på ett kreativt sätt. Vi inser att det finns potientiella risker och möjligheter till missbruk, men jag tror, efter att ha använt detta i många år, att fördelarna för mänskligheten av att ha emotionellt intelligent teknik mer än väl uppväger konsekvenserna av felaktig användning. Och jag bjuder in er alla att ta del i diskussionen. Ju fler människor som känner till den här tekniken, desto mer kan vi uttrycka åsikter om hur den ska användas. Så när allt fler delar av våra liv blir digitala utkämpar vi en ojämn kamp för att begränsa användningen av digitala enheter och kunna återta våra känslor. Vad jag istället försöker göra är att föra in känslorna i tekniken och göra vår teknik mer lyhörd. Jag vill att maskinerna som har separerat oss ska föra oss samman igen. Och genom att göra tekniken mer human har vi ett gyllene tillfälle att tänka om hur vi umgås med maskiner, och därmed hur vi som människor umgås med varandra.
Thank you.
Tack.
(Applause)
(Applåder)