My job at Twitter is to ensure user trust, protect user rights and keep users safe, both from each other and, at times, from themselves. Let's talk about what scale looks like at Twitter. Back in January 2009, we saw more than two million new tweets each day on the platform. January 2014, more than 500 million. We were seeing two million tweets in less than six minutes. That's a 24,900-percent increase.
Mon travail chez Twitter ? Donner confiance aux utilisateurs, protéger leurs droits et garantir leur sécurité. Les protéger des autres, mais parfois aussi d'eux-mêmes. Parlons « proportions » et voyons à quelle échelle se situe Twitter. En janvier 2009, plus de deux millions de tweets passaient chaque jour par la plateforme de partage. En janvier 2014 : plus de 500 millions. Ce qui fait environ deux millions de tweets toutes les 6 minutes. Ça correspond à une augmentation de 24 900%. L'essentiel de l'activité sur Twitter
Now, the vast majority of activity on Twitter puts no one in harm's way. There's no risk involved. My job is to root out and prevent activity that might. Sounds straightforward, right? You might even think it'd be easy, given that I just said the vast majority of activity on Twitter puts no one in harm's way. Why spend so much time searching for potential calamities in innocuous activities? Given the scale that Twitter is at, a one-in-a-million chance happens 500 times a day. It's the same for other companies dealing at this sort of scale. For us, edge cases, those rare situations that are unlikely to occur, are more like norms. Say 99.999 percent of tweets pose no risk to anyone. There's no threat involved. Maybe people are documenting travel landmarks like Australia's Heart Reef, or tweeting about a concert they're attending, or sharing pictures of cute baby animals. After you take out that 99.999 percent, that tiny percentage of tweets remaining works out to roughly 150,000 per month. The sheer scale of what we're dealing with makes for a challenge.
est totalement inoffensive. Il n'y a aucun facteur de risque. Ma tâche consiste à éliminer ou prévenir toute activité potentiellement nuisible. Ça a l'air évident, non ? Vous pourriez même penser que c'est facile, puisque la vaste majorité de l'activité sur Twitter ne met personne en danger. Pourquoi passer tant de temps à chercher des catastrophes potentielles au beau milieu d'activités anodines ? A l'échelle de Twitter, une probabilité d'une chance sur un million, ça correspond à 500 événements par jour. D'autres entreprises aussi fonctionnent à cette échelle. Pour nous, les cas limites, ces situations qui ont peu de chances de se produire, c'est la norme. Disons que 99,999 % des tweets ne présentent aucun risque, aucune menace. Les gens illustrent leurs voyages, comme par exemple ce récif australien en forme de cœur ou ils tweetent à propos d'un concert auquel ils assistent ou ils partagent des photos d'adorables bébés animaux. Si l'on écarte ces 99,999%, le minuscule pourcentage de tweets restant correspond environ à 150 000 messages par mois. L'envergure de la chose en fait un vrai défi de gestion.
You know what else makes my role particularly challenging? People do weird things. (Laughter) And I have to figure out what they're doing, why, and whether or not there's risk involved, often without much in terms of context or background. I'm going to show you some examples that I've run into during my time at Twitter -- these are all real examples — of situations that at first seemed cut and dried, but the truth of the matter was something altogether different. The details have been changed to protect the innocent and sometimes the guilty. We'll start off easy.
Vous savez ce qui rend mon travail encore plus difficile ? Les gens font des choses vraiment bizarres. (Rires) Je dois comprendre ce qu'ils font et pourquoi, et évaluer la présence de risques. Souvent en dehors de tout contexte ou de la moindre information... Voici quelques exemples auxquels j'ai été confrontée à Twitter - des exemples véridiques - des situations qui avaient l'air claires, mais qui en fin de compte, ne l'étaient pas tellement. Certains détails ont été modifiés pour garantir l'anonymat des innocents et des coupables. Commençons doucement.
["Yo bitch"]
[« Yo bitch »]
If you saw a Tweet that only said this, you might think to yourself, "That looks like abuse." After all, why would you want to receive the message, "Yo, bitch." Now, I try to stay relatively hip to the latest trends and memes, so I knew that "yo, bitch" was also often a common greeting between friends, as well as being a popular "Breaking Bad" reference. I will admit that I did not expect to encounter a fourth use case. It turns out it is also used on Twitter when people are role-playing as dogs. (Laughter) And in fact, in that case, it's not only not abusive, it's technically just an accurate greeting. (Laughter)
En voyant un tweet qui ne dit que ça, on se dit : « Ça va trop loin. » Après tout, qui voudrait recevoir un « Yo, bitch. » Mais j'essaie de me tenir au courant des dernières tendances et expressions virales donc je sais que « yo, bitch » est une façon courante de saluer ses amis, mais aussi une référence à la série « Breaking Bad ». Je dois admettre que je ne m'attendais pas à tomber sur une 4ème utilisation. Il se trouve que les gens l'utilisent aussi sur Twitter quand ils se prennent pour des chiens. (Rires) Et en fait, dans ce cas-là, il n'y a rien de mal, techniquement, c'est même tout à fait approprié ! (Rires)
So okay, determining whether or not something is abusive without context, definitely hard.
Donc, déterminer le caractère tendancieux de quelque chose sans contexte, n'est pas une mince affaire.
Let's look at spam. Here's an example of an account engaged in classic spammer behavior, sending the exact same message to thousands of people. While this is a mockup I put together using my account, we see accounts doing this all the time. Seems pretty straightforward. We should just automatically suspend accounts engaging in this kind of behavior. Turns out there's some exceptions to that rule. Turns out that that message could also be a notification you signed up for that the International Space Station is passing overhead because you wanted to go outside and see if you could see it. You're not going to get that chance if we mistakenly suspend the account thinking it's spam.
Quant au courrier indésirable, voici l'exemple d'un compte pratiquant ce type d'envois : il envoie exactement le même message à des milliers de personnes. Ici, c'est un faux, créé à partir de mon compte, mais on en voit tous les jours. Plutôt clair, non ? On devrait automatiquement suspendre tous les comptes qui adoptent ce type de comportement. Mais il y a des exceptions à la règle. Notamment si vous êtes abonné à un service qui vous informe du passage de la Station Spatiale Internationale et qui vous avertit quand sortir pour tenter de l'apercevoir. Impossible, si on suspend le compte en pensant à tort qu'il s'agit d'un message indésirable.
Okay. Let's make the stakes higher. Back to my account, again exhibiting classic behavior. This time it's sending the same message and link. This is often indicative of something called phishing, somebody trying to steal another person's account information by directing them to another website. That's pretty clearly not a good thing. We want to, and do, suspend accounts engaging in that kind of behavior. So why are the stakes higher for this? Well, this could also be a bystander at a rally who managed to record a video of a police officer beating a non-violent protester who's trying to let the world know what's happening. We don't want to gamble on potentially silencing that crucial speech by classifying it as spam and suspending it. That means we evaluate hundreds of parameters when looking at account behaviors, and even then, we can still get it wrong and have to reevaluate.
Imaginons pire. Revenons-en à mon compte et illustrons un comportement classique. Cette fois, c'est le même message, mais avec un lien. C'est souvent un bon indicateur de « hameçonnage » : quelqu'un essaie d'usurper l'identité d'un autre compte en les redirigeant vers un autre site. Ce n'est clairement pas une bonne chose. Nous tenons à suspendre les comptes qui font ce genre de choses et nous le faisons. Pourquoi les enjeux sont-ils plus grands dans ce cas-ci ? Car il pourrait s'agir d'un spectateur qui a réussi à filmer un policier frappant un manifestant pacifique et qui essaie juste d'en informer le monde. On ne veut pas prendre le risque de réduire au silence ce témoignage crucial en l'identifiant comme indésirable et en le suspendant. Nous évaluons des centaines de paramètres liés à l'activité des comptes mais nous pouvons encore nous tromper et nous devons tout réévaluer.
Now, given the sorts of challenges I'm up against, it's crucial that I not only predict but also design protections for the unexpected. And that's not just an issue for me, or for Twitter, it's an issue for you. It's an issue for anybody who's building or creating something that you think is going to be amazing and will let people do awesome things. So what do I do? I pause and I think, how could all of this go horribly wrong? I visualize catastrophe. And that's hard. There's a sort of inherent cognitive dissonance in doing that, like when you're writing your wedding vows at the same time as your prenuptial agreement. (Laughter) But you still have to do it, particularly if you're marrying 500 million tweets per day. What do I mean by "visualize catastrophe?" I try to think of how something as benign and innocuous as a picture of a cat could lead to death, and what to do to prevent that. Which happens to be my next example. This is my cat, Eli. We wanted to give users the ability to add photos to their tweets. A picture is worth a thousand words. You only get 140 characters. You add a photo to your tweet, look at how much more content you've got now. There's all sorts of great things you can do by adding a photo to a tweet. My job isn't to think of those. It's to think of what could go wrong.
Vu les défis auxquels je suis confrontée, je dois absolument pouvoir prédire l'impensable et concevoir les protections adaptées à l'inattendu. Et ce n'est pas qu'un problème pour moi ou pour Twitter, c'est aussi le vôtre. C'est un problème pour quiconque créant quelque chose qui paraît génial et permettant de faire des choses formidables. Et moi, qu'est-ce que je fais ? Je prends le temps de penser. Je me demande : comment tout ça pourrait-il complètement dégénérer ? Je visualise la catastrophe. Et c'est difficile. Il y a comme quelque chose qui cloche quand on fait ça. C'est un peu comme si vous écriviez à la fois vos vœux et votre contrat de mariage. (Rires) Mais vous devez quand même le faire, en particulier si vous épousez 500 millions de tweets par jour. Qu'est-ce que j'entends par « visualiser la catastrophe » ? J'essaie de penser comment quelque chose d'aussi bénin et inoffensif que la photo d'un chat pourrait être mortel et à ce qu'il faut faire pour l'éviter. C'est justement mon prochain exemple. Voici mon chat, Eli. Nous voulions permettre aux utilisateurs d'ajouter des photos à leurs tweets. Une image vaut mille mots. Et vous n'avez droit qu'à 140 caractères. Un tweet avec une photo ça augmente considérablement votre création de contenu ! On peut faire plein de choses superbes en ajoutant une photo à un tweet. Mon travail, ce n'est pas de penser à ça, mais à ce qui pourrait déraper.
How could this picture lead to my death? Well, here's one possibility. There's more in that picture than just a cat. There's geodata. When you take a picture with your smartphone or digital camera, there's a lot of additional information saved along in that image. In fact, this image also contains the equivalent of this, more specifically, this. Sure, it's not likely that someone's going to try to track me down and do me harm based upon image data associated with a picture I took of my cat, but I start by assuming the worst will happen. That's why, when we launched photos on Twitter, we made the decision to strip that geodata out. (Applause) If I start by assuming the worst and work backwards, I can make sure that the protections we build work for both expected and unexpected use cases.
Comment cette photo pourrait-elle conduire à ma mort ? Voici une possibilité. Cette photo, ce n'est pas juste un chat. Elle contient des données géographiques. Une photo prise avec votre téléphone ou votre appareil photo contient beaucoup plus d'informations qu'une image. En fait, cette photo contient aussi l'équivalent de ceci. Ou plus précisément, ceci. Il est fort peu probable qu'on tente de me retrouver pour me faire du mal sur la base de données liées à cette photo de mon chat, mais je considère toujours que le pire va se produire. Ainsi, en autorisant les photos sur Twitter, nous avons décidé d'en effacer toute donnée géographique. (Applaudissements) Si je me prépare au pire et que je travaille à reculons, je peux m'assurer que les protections mises en place fonctionnent dans tous les cas : ceux qu'on avait prévus ou non.
Given that I spend my days and nights imagining the worst that could happen, it wouldn't be surprising if my worldview was gloomy. (Laughter) It's not. The vast majority of interactions I see -- and I see a lot, believe me -- are positive, people reaching out to help or to connect or share information with each other. It's just that for those of us dealing with scale, for those of us tasked with keeping people safe, we have to assume the worst will happen, because for us, a one-in-a-million chance is pretty good odds.
Vu que, jour et nuit, je passe mon temps à imaginer le pire, je pourrais tout à fait avoir une sombre vision du monde. (Rires) Mais ce n'est pas le cas. La grande majorité des interactions que je vois - et j'en vois beaucoup, croyez-moi - est positive : des gens demandent de l'aide, se connectent ou partagent de l'information. Mais quiconque travaille à cette échelle ou doit assurer la sécurité des gens est obligé de se préparer au pire car pour nous, une chance sur un million
Thank you.
c'est une sacré grande probabilité.
(Applause)
Merci.