Our emotions influence every aspect of our lives, from our health and how we learn, to how we do business and make decisions, big ones and small. Our emotions also influence how we connect with one another. We've evolved to live in a world like this, but instead, we're living more and more of our lives like this -- this is the text message from my daughter last night -- in a world that's devoid of emotion. So I'm on a mission to change that. I want to bring emotions back into our digital experiences.
Le emozioni influenzano ogni aspetto delle nostre vite, dalla salute, da come impariamo, al fare affari e a prendere decisioni, grandi e piccole. Le nostre emozioni influenzano anche il modo di relazionarci l'un l'altro. Ci siamo evoluti per vivere in un mondo così. Ma invece viviamo sempre più le nostre vite così, - questo è il messaggio di mia figlia la notte scorsa (risate) - in un mondo privo di emozioni. Perciò la mia missione è cambiare le cose. Voglio riportare le emozioni nelle nostre esperienze digitali.
I started on this path 15 years ago. I was a computer scientist in Egypt, and I had just gotten accepted to a Ph.D. program at Cambridge University. So I did something quite unusual for a young newlywed Muslim Egyptian wife: With the support of my husband, who had to stay in Egypt, I packed my bags and I moved to England. At Cambridge, thousands of miles away from home, I realized I was spending more hours with my laptop than I did with any other human. Yet despite this intimacy, my laptop had absolutely no idea how I was feeling. It had no idea if I was happy, having a bad day, or stressed, confused, and so that got frustrating. Even worse, as I communicated online with my family back home, I felt that all my emotions disappeared in cyberspace. I was homesick, I was lonely, and on some days I was actually crying, but all I had to communicate these emotions was this. (Laughter) Today's technology has lots of I.Q., but no E.Q.; lots of cognitive intelligence, but no emotional intelligence. So that got me thinking, what if our technology could sense our emotions? What if our devices could sense how we felt and reacted accordingly, just the way an emotionally intelligent friend would? Those questions led me and my team to create technologies that can read and respond to our emotions, and our starting point was the human face.
Ho intrapreso questo percorso 15 anni fa. Ero un'esperta di informatica in Egitto, da poco ammessa a un Dottorato di Ricerca alla Cambridge University. Avevo fatto qualcosa di alquanto inusuale per una giovane moglie Musulmana Egiziana appena sposata. (Risate) Con il sostegno di mio marito, che dovette restare in Egitto, feci i bagagli e mi trasferii in Inghilterra. A Cambridge, lontana migliaia di chilometri da casa, capii che trascorrevo molte più ore col mio computer che con altri esseri umani. Eppure, nonostante l'intimità, il mio computer non aveva assolutamente idea di come mi sentissi. Non sapeva se ero felice, se passavo una brutta giornata, o ero stressata, confusa, e questo era frustrante. Ancora peggio, dato che comunicavo online con la mia famiglia a casa, sentivo le mie emozioni scomparire nello cyberspazio. Mi mancava casa, ero sola, e alcuni giorni piangevo proprio, Ma tutto ciò che avevo per comunicare queste emozioni era questo. (Risate) La tecnologia oggigiorno ha tanto QI ma non IE. Tanta intelligenza cognitiva, ma nessuna Intelligenza Emotiva. E questo mi ha fatto pensare: e se la tecnologia potesse sentire le nostre emozioni? Se i dispositivi sapessero cosa proviamo e come reagiamo di conseguenza, come solo un amico emotivamente intelligente farebbe? Queste domande hanno portato me e il mio team a creare tecnologie che possono leggere e reagire alle nostre emozioni. E il nostro punto di partenza è stato il volto umano.
So our human face happens to be one of the most powerful channels that we all use to communicate social and emotional states, everything from enjoyment, surprise, empathy and curiosity. In emotion science, we call each facial muscle movement an action unit. So for example, action unit 12, it's not a Hollywood blockbuster, it is actually a lip corner pull, which is the main component of a smile. Try it everybody. Let's get some smiles going on. Another example is action unit 4. It's the brow furrow. It's when you draw your eyebrows together and you create all these textures and wrinkles. We don't like them, but it's a strong indicator of a negative emotion. So we have about 45 of these action units, and they combine to express hundreds of emotions.
Il nostro volto pare sia uno dei più potenti canali che usiamo per comunicare stati sociali ed emotivi. Qualsiasi cosa, dal piacere alla sorpresa, dall'empatia alla curiosità. In scienza delle emozioni ogni movimento muscolare è detto "unità d'azione". Per esempio, l'unità d'azione 12, non è un film di successo di Hollywood, ma è il tirare l'angolo della bocca, che è la base per un sorriso. Provateci tutti. Fate partire qualche sorriso. Un altro esempio è l'unità d'azione 4, è il solco tra le sopracciglia, quando le ravvicinate e create tutte quelle linee e quelle rughette. Non ci piacciono, ma è un forte segnale di un'emozione negativa. Ne abbiamo circa 45, di queste unità d'azione, che si combinano per esprimere centinaia di emozioni.
Teaching a computer to read these facial emotions is hard, because these action units, they can be fast, they're subtle, and they combine in many different ways. So take, for example, the smile and the smirk. They look somewhat similar, but they mean very different things. (Laughter) So the smile is positive, a smirk is often negative. Sometimes a smirk can make you become famous. But seriously, it's important for a computer to be able to tell the difference between the two expressions.
Insegnare a un computer a leggere queste espressioni facciali è difficile, perché le unità d'azione possono essere veloci, impercettibili, e si combinano in tanti modi diversi. Prendiamo per esempio un sorriso e una smorfia. Sembrano in qualche modo simili, ma hanno significati molto diversi. (Risate) Il sorriso è positivo, una smorfia è spesso negativa. Qualche volta una smorfia può farti diventare famoso. (Risate) Ma seriamente, è importante per un computer essere in grado di distinguere la differenza tra le due espressioni.
So how do we do that? We give our algorithms tens of thousands of examples of people we know to be smiling, from different ethnicities, ages, genders, and we do the same for smirks. And then, using deep learning, the algorithm looks for all these textures and wrinkles and shape changes on our face, and basically learns that all smiles have common characteristics, all smirks have subtly different characteristics. And the next time it sees a new face, it essentially learns that this face has the same characteristics of a smile, and it says, "Aha, I recognize this. This is a smile expression."
Perciò come possiamo farlo? Diamo ai nostri algoritmi decine di migliaia di esempi di persone che sappiamo sorridono, di diverse etnie, età, genere, e facciamo lo stesso per le smorfie. E poi, usando il Deep Learning, l'algoritmo cerca tutte queste trame, queste rughe, e i mutamenti di forma sul nostro viso, e in pratica apprende che tutti i sorrisi hanno caratteristiche comuni, tutte le smorfie hanno caratteristiche leggermente diverse. E la prossima volta che vede un viso nuovo, capisce che quel viso ha le stesse caratteristiche di un sorriso, e dice: "La riconosco. È un'espressione sorridente".
So the best way to demonstrate how this technology works is to try a live demo, so I need a volunteer, preferably somebody with a face. (Laughter) Cloe's going to be our volunteer today.
E il miglior modo per dimostrare come funziona questa tecnologia è una dimostrazione dal vivo, perciò mi serve un volontario, possibilmente qualcuno con una faccia. (Risate) Chloe sarà la nostra volontaria oggi.
So over the past five years, we've moved from being a research project at MIT to a company, where my team has worked really hard to make this technology work, as we like to say, in the wild. And we've also shrunk it so that the core emotion engine works on any mobile device with a camera, like this iPad. So let's give this a try.
Negli ultimi cinque anni siamo passati dall'essere un progetto di ricerca al MIT ad essere una società, in cui il mio team ha lavorato sodo per far funzionare questa tecnologia, noi diciamo, come bestie. E l'abbiamo anche compressa così che il sistema emotivo centrale funzioni su tutti i dispositivi con videocamera, come questo Ipad. Facciamo una prova.
As you can see, the algorithm has essentially found Cloe's face, so it's this white bounding box, and it's tracking the main feature points on her face, so her eyebrows, her eyes, her mouth and her nose. The question is, can it recognize her expression? So we're going to test the machine. So first of all, give me your poker face. Yep, awesome. (Laughter) And then as she smiles, this is a genuine smile, it's great. So you can see the green bar go up as she smiles. Now that was a big smile. Can you try a subtle smile to see if the computer can recognize? It does recognize subtle smiles as well. We've worked really hard to make that happen. And then eyebrow raised, indicator of surprise. Brow furrow, which is an indicator of confusion. Frown. Yes, perfect. So these are all the different action units. There's many more of them. This is just a slimmed-down demo. But we call each reading an emotion data point, and then they can fire together to portray different emotions. So on the right side of the demo -- look like you're happy. So that's joy. Joy fires up. And then give me a disgust face. Try to remember what it was like when Zayn left One Direction. (Laughter) Yeah, wrinkle your nose. Awesome. And the valence is actually quite negative, so you must have been a big fan. So valence is how positive or negative an experience is, and engagement is how expressive she is as well. So imagine if Cloe had access to this real-time emotion stream, and she could share it with anybody she wanted to. Thank you. (Applause)
Come potete vedere, l'algoritmo ha praticamente trovato il viso di Chloe, è questo riquadro bianco ai bordi, e sta tracciando i lineamenti principali del suo viso, cioè sopracciglia, occhi, bocca e naso. La domanda è: riconosce le sue espressioni? Testiamo la macchina. Prima di tutto, fai una faccia impassibile. Fantastico. (Risate) Poi se lei sorride, è un sorriso sincero, va benissimo, vedete la linea verde salire se sorride. Quello era un gran sorriso, puoi provare un sorrisetto per vedere se il computer lo riconosce? Riconosce anche quelli. Abbiamo lavorato duramente per riuscirci. E ora sopracciglia alzate, indice di sorpresa. (Risate) Accigliata, che è indice di confusione. (Risate) Corrucciata, perfetto. (Risate) Sono tutte unità d'azione diverse, e ce ne sono tante altre. Questa è solo una demo compressa. Ma chiamiamo ogni interpretazione "punto dati dell'emozione", e possono accendersi insieme e descrivere emozioni differenti, sul lato destro della demo. Sembri felice. C'è gioia. E "Joy" si accende. Poi fai una faccia disgustata. Prova a ricordare com'è stato quando Zayn ha lasciato i One Direction. (Risate) Arriccia il naso. Fantastico. (Risate) La valenza è abbastanza negativa, devi essere stata una grande fan. "Valence" è quanto positiva o negativa sia un'esperienza, ed "engagement" indica quanto lei è espressiva. Immaginate se Chloe entrasse in questo flusso emotivo in tempo reale e potesse condividerlo con chiunque volesse. Grazie. (Applausi)
So, so far, we have amassed 12 billion of these emotion data points. It's the largest emotion database in the world. We've collected it from 2.9 million face videos, people who have agreed to share their emotions with us, and from 75 countries around the world. It's growing every day. It blows my mind away that we can now quantify something as personal as our emotions, and we can do it at this scale.
Ad oggi abbiamo accumulato 12 miliardi di questi punti dati dell'emozione. È il più vasto database di emozioni al mondo. Lo abbiamo messo insieme da 2,9 milioni di video facciali, persone che hanno condiviso le loro emozioni con noi, e da 75 Paesi di tutto il mondo. E si arricchisce ogni giorno. Mi sbalordisce che oggi possiamo misurare qualcosa di così personale come le emozioni, e possiamo farlo così ampiamente.
So what have we learned to date? Gender. Our data confirms something that you might suspect. Women are more expressive than men. Not only do they smile more, their smiles last longer, and we can now really quantify what it is that men and women respond to differently. Let's do culture: So in the United States, women are 40 percent more expressive than men, but curiously, we don't see any difference in the U.K. between men and women. (Laughter) Age: People who are 50 years and older are 25 percent more emotive than younger people. Women in their 20s smile a lot more than men the same age, perhaps a necessity for dating. But perhaps what surprised us the most about this data is that we happen to be expressive all the time, even when we are sitting in front of our devices alone, and it's not just when we're watching cat videos on Facebook. We are expressive when we're emailing, texting, shopping online, or even doing our taxes.
Cosa abbiamo quindi imparato a determinare? Il genere. I nostri dati confermano qualcosa di cui potete sospettare. (Risate) Le donne sono più espressive degli uomini. Non solo sorridono di più ma i loro sorrisi durano di più e possiamo davvero determinare a cosa uomini e donne reagiscono in modo differente. Vediamo culturalmente. Negli Stati Uniti le donne sono per il 40 % più espressive degli uomini, ma -strano- non c'è alcuna differenza nel Regno Unito tra uomini e donne. (Risate) Età: le persone dai 50 anni in su sono per il 25 % più emotive dei più giovani. Le donne ventenni sorridono molto più degli uomini della stessa età, forse per necessità relazionali. Ma forse ciò che ci ha sorpresi di più in questi dati è che ci ritroviamo a essere espressivi in ogni momento, anche quando siamo seduti da soli coi nostri dispositivi, non solo quando stiamo guardando video di gatti su Facebook. Siamo espressivi quando inviamo email, messaggi, compriamo online, o anche calcolando le tasse.
Where is this data used today? In understanding how we engage with media, so understanding virality and voting behavior; and also empowering or emotion-enabling technology, and I want to share some examples that are especially close to my heart. Emotion-enabled wearable glasses can help individuals who are visually impaired read the faces of others, and it can help individuals on the autism spectrum interpret emotion, something that they really struggle with. In education, imagine if your learning apps sense that you're confused and slow down, or that you're bored, so it's sped up, just like a great teacher would in a classroom. What if your wristwatch tracked your mood, or your car sensed that you're tired, or perhaps your fridge knows that you're stressed, so it auto-locks to prevent you from binge eating. (Laughter) I would like that, yeah. What if, when I was in Cambridge, I had access to my real-time emotion stream, and I could share that with my family back home in a very natural way, just like I would've if we were all in the same room together?
Per cosa sono usati questi dati oggi? Per capire come ci relazioniamo coi media, cioè comprendere la viralità e la modalità di scelta; e anche per dare potere o attivare emotivamente la tecnologia. Voglio condividere alcuni esempi particolarmente vicini al mio cuore. Occhiali abilitati all'emozione possono aiutare gli individui con problemi di vista a leggere i volti degli altri, e possono aiutare individui con tendenza autistica a interpretare emozioni qualcosa con cui combattono realmente. Nell'istruzione, immaginate se la vostra app per l'apprendimento capisse che siete confusi e rallentasse, o che siete annoiati, così da accelerare, proprio come farebbe un bravo insegnante in classe. Se il vostro orologio tracciasse il vostro umore, o se l'auto sentisse che siete stanchi, o magari il vostro frigo sapesse che siete stressati, così da bloccarsi automaticamente per evitarvi un'abbuffata. (Risate) A me piacerebbe. (Risate) E se, quando ero a Cambridge, fossi entrata nel mio flusso emotivo in tempo reale e avessi potuto condividerlo con la mia famiglia in modo spontaneo, come avrei fatto se fossimo stati insieme nella stessa stanza?
I think five years down the line, all our devices are going to have an emotion chip, and we won't remember what it was like when we couldn't just frown at our device and our device would say, "Hmm, you didn't like that, did you?" Our biggest challenge is that there are so many applications of this technology, my team and I realize that we can't build them all ourselves, so we've made this technology available so that other developers can get building and get creative. We recognize that there are potential risks and potential for abuse, but personally, having spent many years doing this, I believe that the benefits to humanity from having emotionally intelligent technology far outweigh the potential for misuse. And I invite you all to be part of the conversation. The more people who know about this technology, the more we can all have a voice in how it's being used. So as more and more of our lives become digital, we are fighting a losing battle trying to curb our usage of devices in order to reclaim our emotions. So what I'm trying to do instead is to bring emotions into our technology and make our technologies more responsive. So I want those devices that have separated us to bring us back together. And by humanizing technology, we have this golden opportunity to reimagine how we connect with machines, and therefore, how we, as human beings, connect with one another.
Credo che nel giro di cinque anni tutti i dispositivi avranno un chip per le emozioni, e non ricorderemo com'era quando non potevamo guardar male il nostro dispositivosenza che dicesse: "Non ti piaceva, vero? La grande sfida è che ci sono così tante applicazioni di questa tecnologia che io e il mio team sappiamo di non poter realizzare da soli. Perciò l'abbiamo resa disponibile così che altri sviluppatori possano svilupparla ed essere creativi. Ammettiamo che ci sono rischi potenziali e la possibilità di abuso, ma personalmente, avendo passato tanti anni a farlo, credo che i benefici per l'uomo nell'avere una tecnologia emotivamente intelligente siano di gran lunga maggiori del potenziale uso improprio. E vi invito a essere tutti parte della conversazione. Più persone conoscono questa tecnologia, più possiamo tutti avere voce su come va usata. Dato che sempre più le nostre vite diventano digitali, combattiamo una battaglia persa cercando di frenare l'uso dei dispositivi per ritrovare le nostre emozioni. Quello che invece cerco di fare è portare le emozioni nella nostra tecnologia e renderla più reattiva. Voglio che quei dispositivi che ci hanno divisi ci uniscano di nuovo. E umanizzando la tecnologia abbiamo un'opportunità d'oro per ripensare a come siamo connessi con le macchine, e quindi a come, in quanto esseri umani, siamo connessi agli altri.
Thank you.
Grazie.
(Applause)
(Applausi)