My job at Twitter is to ensure user trust, protect user rights and keep users safe, both from each other and, at times, from themselves. Let's talk about what scale looks like at Twitter. Back in January 2009, we saw more than two million new tweets each day on the platform. January 2014, more than 500 million. We were seeing two million tweets in less than six minutes. That's a 24,900-percent increase.
Mijn taak bij Twitter is het waarborgen van gebruikersvertrouwen en het beschermen van gebruikers en hun rechten. Bescherming tegen elkaar, en soms ook tegen zichzelf. Laten we even kijken op welke schaal Twitter opereert. In januari 2009 zagen we dagelijks ruim 2 miljoen nieuwe tweets op het platform. In januari 2014 meer dan 500 miljoen. We zagen 2 miljoen nieuwe tweets in minder dan 6 minuten. Dat is een stijging met 24.900 procent.
Now, the vast majority of activity on Twitter puts no one in harm's way. There's no risk involved. My job is to root out and prevent activity that might. Sounds straightforward, right? You might even think it'd be easy, given that I just said the vast majority of activity on Twitter puts no one in harm's way. Why spend so much time searching for potential calamities in innocuous activities? Given the scale that Twitter is at, a one-in-a-million chance happens 500 times a day. It's the same for other companies dealing at this sort of scale. For us, edge cases, those rare situations that are unlikely to occur, are more like norms. Say 99.999 percent of tweets pose no risk to anyone. There's no threat involved. Maybe people are documenting travel landmarks like Australia's Heart Reef, or tweeting about a concert they're attending, or sharing pictures of cute baby animals. After you take out that 99.999 percent, that tiny percentage of tweets remaining works out to roughly 150,000 per month. The sheer scale of what we're dealing with makes for a challenge.
Verreweg de meeste activiteit op Twitter is voor niemand gevaarlijk. Niemand loopt risico. Mijn taak is, om de uitzonderingen te bestrijden en voorkomen. Klinkt eenvoudig, niet? Je zou zelfs kunnen denken dat het makkelijk is, aangezien ik net zei dat de meeste activiteit op Twitter niemand schaadt. Waarom sporen we zo naarstig naar potentiële calamiteiten in onschuldige activiteiten? Gezien de huidige schaal van Twitter gebeurt iets met een kans van 1 op een miljoen 500 maal per dag. Dat is hetzelfde voor andere bedrijven die op deze schaal opereren. Voor ons zijn randgevallen -- die zeldzame situaties waarop weinig kans bestaat -- meer de norm. Stel dat 99,999% van alle tweets voor niemand schadelijk zijn. Er dreigt voor niemand gevaar. Mensen beschrijven wellicht een reisbestemming zoals een koraalrif in Australië, of tweeten over een concert dat ze bijwonen, of delen foto's van schattige jonge dieren. Nadat je die 99,999% weglaat, blijft er een minuscuul percentage aan tweets over. Dat blijken er per maand 150.000 te zijn. De schaal waarmee we van doen hebben, houdt een uitdaging in.
You know what else makes my role particularly challenging? People do weird things. (Laughter) And I have to figure out what they're doing, why, and whether or not there's risk involved, often without much in terms of context or background. I'm going to show you some examples that I've run into during my time at Twitter -- these are all real examples — of situations that at first seemed cut and dried, but the truth of the matter was something altogether different. The details have been changed to protect the innocent and sometimes the guilty. We'll start off easy.
Weet je wat mijn rol nog meer buitengewoon uitdagend maakt? Mensen .. doen .. gekke .. dingen. (Gelach) En ik moet uitvogelen wat ze aan het doen zijn, waarom, en of er risico's aan kleven. Vaak zonder veel context of achtergrond. Ik zal wat voorbeelden laten zien van dingen die ik bij Twitter tegenkwam -- alles waargebeurd -- van situaties die op het eerste oog zonneklaar leken, maar waar in feite iets heel anders speelde. De details zijn veranderd ter bescherming van de onschuldigen en soms de schuldigen. We beginnen met een makkelijke.
["Yo bitch"]
["Yo Bitch"]
If you saw a Tweet that only said this, you might think to yourself, "That looks like abuse." After all, why would you want to receive the message, "Yo, bitch." Now, I try to stay relatively hip to the latest trends and memes, so I knew that "yo, bitch" was also often a common greeting between friends, as well as being a popular "Breaking Bad" reference. I will admit that I did not expect to encounter a fourth use case. It turns out it is also used on Twitter when people are role-playing as dogs. (Laughter) And in fact, in that case, it's not only not abusive, it's technically just an accurate greeting. (Laughter)
Als je een tweet zag met alleen deze inhoud, zou je kunnen denken dat hier gescholden wordt. Immers, waarom zou je het bericht willen krijgen: "Yo Bitch" (Hoi, teef). Welnu, ik probeer enigszins de laatste trends en memes bij te houden, dus ik wist dat "yo, bitch" ook een gangbare begroeting was onder vrienden, evenals een populaire referentie aan de serie 'Breaking Bad'. Grif geef ik toe dat ik niet verwachtte een vierde betekenis tegen te komen. Het bleek dat het op Twitter ook gebruikt wordt wanneer mensen spelen dat ze hond zijn. (Gelach) En dan is het in feite niet alleen geen schelden, maar technisch gezien juist een accurate begroeting. (Gelach)
So okay, determining whether or not something is abusive without context, definitely hard.
Oké, bepalen of iets schelden is zonder de context, is behoorlijk moeilijk.
Let's look at spam. Here's an example of an account engaged in classic spammer behavior, sending the exact same message to thousands of people. While this is a mockup I put together using my account, we see accounts doing this all the time. Seems pretty straightforward. We should just automatically suspend accounts engaging in this kind of behavior. Turns out there's some exceptions to that rule. Turns out that that message could also be a notification you signed up for that the International Space Station is passing overhead because you wanted to go outside and see if you could see it. You're not going to get that chance if we mistakenly suspend the account thinking it's spam.
Laten we nu kijken naar spam. Hier is een voorbeeld van een account die klassiek spammer-gedrag vertoont: hetzelfde bericht wordt verstuurd naar duizenden mensen. Dit voorbeeld maakte ik zelf met mijn eigen account, maar wij zien voortdurend accounts die dit doen. Het lijkt duidelijk. We zouden accounts die dit doen gewoon automatisch moeten opheffen. Maar er blijken uitzonderingen te zijn op die regel. Die boodschap zou ook het bericht kunnen zijn dat je aangevraagd hebt om te weten wanneer het Internationale Ruimtestation overvliegt zodat je buiten kan gaan kijken. Die kans krijg je niet als wij per abuis die account opheffen omdat het spam lijkt.
Okay. Let's make the stakes higher. Back to my account, again exhibiting classic behavior. This time it's sending the same message and link. This is often indicative of something called phishing, somebody trying to steal another person's account information by directing them to another website. That's pretty clearly not a good thing. We want to, and do, suspend accounts engaging in that kind of behavior. So why are the stakes higher for this? Well, this could also be a bystander at a rally who managed to record a video of a police officer beating a non-violent protester who's trying to let the world know what's happening. We don't want to gamble on potentially silencing that crucial speech by classifying it as spam and suspending it. That means we evaluate hundreds of parameters when looking at account behaviors, and even then, we can still get it wrong and have to reevaluate.
Oké. Laten we de inzet verhogen. Terug naar mijn account, dat klassiek gedrag vertoont. Deze keer verstuurt het dezelfde boodschap met link. Dit is wat vaak gebeurt bij het zogenaamde 'phishing'. Iemand probeert de accountinformatie van een ander te stelen door hem naar een andere website te sturen. Dat is duidelijk geen goede zaak. Dit soort accounts heffen we op. Waarom is de inzet hierbij hoger? Dit zou ook een toeschouwer kunnen zijn bij een betoging, die zojuist een video heeft opgenomen van een politieagent die een geweldloze demonstrant slaat en dit aan de wereld wil laten zien. We willen niet per ongeluk zo'n belangrijke boodschap in de kiem smoren door hem als spam aan te merken en op te heffen. Dit betekent dat we honderden kenmerken evalueren als we naar accountgedrag kijken en zelfs dan kunnen fout zitten en bij moeten sturen.
Now, given the sorts of challenges I'm up against, it's crucial that I not only predict but also design protections for the unexpected. And that's not just an issue for me, or for Twitter, it's an issue for you. It's an issue for anybody who's building or creating something that you think is going to be amazing and will let people do awesome things. So what do I do? I pause and I think, how could all of this go horribly wrong? I visualize catastrophe. And that's hard. There's a sort of inherent cognitive dissonance in doing that, like when you're writing your wedding vows at the same time as your prenuptial agreement. (Laughter) But you still have to do it, particularly if you're marrying 500 million tweets per day. What do I mean by "visualize catastrophe?" I try to think of how something as benign and innocuous as a picture of a cat could lead to death, and what to do to prevent that. Which happens to be my next example. This is my cat, Eli. We wanted to give users the ability to add photos to their tweets. A picture is worth a thousand words. You only get 140 characters. You add a photo to your tweet, look at how much more content you've got now. There's all sorts of great things you can do by adding a photo to a tweet. My job isn't to think of those. It's to think of what could go wrong.
Gezien het soort uitdagingen die ik tegenkom is het cruciaal dat ik het onverwachte niet alleen voorspel, maar er ook bescherming tegen bied. En dat is niet alleen een zaak voor mij, of voor Twitter, maar ook voor jou. Dit speelt voor iedereen die iets bouwt of maakt dat geweldig gaat zijn en mensen tot grote dingen in staat stelt. Dus wat doe ik? Ik stop en denk na: hoe zou dit allemaal volledig fout kunnen gaan? Ik visualiseer catastrofes. Dat is moeilijk. Er is een soort inherente cognitieve dissonantie wanneer je dat doet. Alsof je je huwelijksbelofte opschrijft, en tegelijkertijd je huwelijkse voorwaarden. (Gelach) Maar toch moet je het doen, vooral als je trouwt met 500 miljoen tweets per dag. Wat bedoel ik met 'catastrofes visualiseren' ? Ik probeer me voor te stellen hoe iets onschuldigs als de afbeelding van de kat dodelijk zou kunnen zijn en hoe dat te voorkomen. Dat is toevallig mijn volgende voorbeeld. Dit is mijn kat, Eli. We wilden gebruikers de mogelijkheid geven foto's bij hun tweets te voegen. Een foto zegt meer dan 1000 woorden. Je hebt maar 140 tekens. Voeg een foto toe aan je tweet en zie hoeveel meer content je hebt. Je kan massa's geweldige dingen doen door een foto bij een tweet te stoppen. Daar houd ik me niet mee bezig. Ik moet bedenken wat er mis kan gaan.
How could this picture lead to my death? Well, here's one possibility. There's more in that picture than just a cat. There's geodata. When you take a picture with your smartphone or digital camera, there's a lot of additional information saved along in that image. In fact, this image also contains the equivalent of this, more specifically, this. Sure, it's not likely that someone's going to try to track me down and do me harm based upon image data associated with a picture I took of my cat, but I start by assuming the worst will happen. That's why, when we launched photos on Twitter, we made the decision to strip that geodata out. (Applause) If I start by assuming the worst and work backwards, I can make sure that the protections we build work for both expected and unexpected use cases.
Hoe kan deze foto tot mijn dood leiden? Nou, hier is één mogelijkheid. Er zit in die afbeelding méér dan alleen een kat. Er is geodata. Als je een foto neemt met je smartphone of digitale camera slaat deze een heleboel extra informatie op bij die afbeelding. In feite bevat deze afbeelding tevens het equivalent hiervan, of specifieker: dit. Zeker, het is onwaarschijnlijk dat iemand zal trachten me op te sporen en kwaad doen naar aanleiding van beeldinformatie uit de foto die ik nam van mijn kat, maar ik ga uit van het ergste geval. Daarom besloten we, bij de lancering van foto's op Twitter, om al die geodata te wissen. (Applaus) Als ik begin met het ergste te veronderstellen en dan terugwerk, kan ik verzekeren dat de bescherming die we bouwen, werkt voor zowel verwachte als onverwachte gevallen.
Given that I spend my days and nights imagining the worst that could happen, it wouldn't be surprising if my worldview was gloomy. (Laughter) It's not. The vast majority of interactions I see -- and I see a lot, believe me -- are positive, people reaching out to help or to connect or share information with each other. It's just that for those of us dealing with scale, for those of us tasked with keeping people safe, we have to assume the worst will happen, because for us, a one-in-a-million chance is pretty good odds.
Gezien het feit dat ik me dag en nacht de ergste scenario's voorstel, zou het niet verwonderlijk zijn als mijn wereldbeeld zwart was. (Gelach) Dat is het niet. Het leeuwendeel van de interacties die ik zie -- en ik zie een hoop, geloof me -- zijn positief, mensen die elkaar willen helpen willen bereiken of informatie met elkaar delen. Maar mensen als ik, die op deze schaal werken, en die tot taak hebben mensen bescherming te bieden, moeten ervan uitgaan dat het ergste zal gebeuren. Want voor ons is een kans van 1 op een miljoen namelijk heel reëel.
Thank you.
Dank je wel.
(Applause)
(Applaus)