My job at Twitter is to ensure user trust, protect user rights and keep users safe, both from each other and, at times, from themselves. Let's talk about what scale looks like at Twitter. Back in January 2009, we saw more than two million new tweets each day on the platform. January 2014, more than 500 million. We were seeing two million tweets in less than six minutes. That's a 24,900-percent increase.
Моя задача в Твиттере — обеспечивать доверие пользователей, защищать их права и оберегать их как друг от друга, так и иногда от самих себя. Давайте обсудим масштаб Твиттера. В январе 2009 года в день появлялось более 2 миллионов твитов. В январе 2014 года — более 500 миллионов. То есть 2 миллиона твитов меньше, чем за 6 минут. Это увеличение на 24900%.
Now, the vast majority of activity on Twitter puts no one in harm's way. There's no risk involved. My job is to root out and prevent activity that might. Sounds straightforward, right? You might even think it'd be easy, given that I just said the vast majority of activity on Twitter puts no one in harm's way. Why spend so much time searching for potential calamities in innocuous activities? Given the scale that Twitter is at, a one-in-a-million chance happens 500 times a day. It's the same for other companies dealing at this sort of scale. For us, edge cases, those rare situations that are unlikely to occur, are more like norms. Say 99.999 percent of tweets pose no risk to anyone. There's no threat involved. Maybe people are documenting travel landmarks like Australia's Heart Reef, or tweeting about a concert they're attending, or sharing pictures of cute baby animals. After you take out that 99.999 percent, that tiny percentage of tweets remaining works out to roughly 150,000 per month. The sheer scale of what we're dealing with makes for a challenge.
Большая часть активности в Твиттере никому не угрожает. Нет никакого риска. Моя задача — предотвратить и искоренить то, что может представлять угрозу. Звучит довольно конкретно, так ведь? Может, вы даже думаете, что это просто, поскольку я только что сказала, что, по большей части, активность в Твиттере безопасна. Зачем тратить время в поисках потенциальной катастрофы среди безобидных твитов? Учитывая масштаб Твиттера, один шанс на миллион случается 500 раз в день. То же относится и к другим компаниям, работающим с таким масштабом. Для нас, особенные случаи, подобные редкие, маловероятные ситуации — скорее, норма. Допустим, 99,999% твитов безобидны для всех. Нет никакой опасности. Может быть, пользователи пишут о своих путешествиях, например, на риф в форме сердца в Австралии или твитят о концерте, на который они сходили, или постят картинки милых детёнышей животных. Если вычесть эти 99,999%, то оставшаяся доля процента эквивалентна, грубо говоря, 150 000 твитов в месяц. Сам масштаб нашей работы является испытанием.
You know what else makes my role particularly challenging? People do weird things. (Laughter) And I have to figure out what they're doing, why, and whether or not there's risk involved, often without much in terms of context or background. I'm going to show you some examples that I've run into during my time at Twitter -- these are all real examples — of situations that at first seemed cut and dried, but the truth of the matter was something altogether different. The details have been changed to protect the innocent and sometimes the guilty. We'll start off easy.
Знаете, почему ещё моя работа особенно сложная? Люди ведут себя странно. (Смех) И мне приходится разбираться в том, что они делают, зачем, и несёт ли это риск, при этом часто вне контекста либо без дополнительных сведений. Я покажу вам несколько примеров того, с чем мне пришлось столкнуться за время работы в Твиттере. Это взятые из реальной жизни ситуации, которые поначалу казались стандартными, однако, на самом деле, имели совсем другую подоплёку. Детали изменены, чтобы защитить невиновных а в некоторых случаях тех, кто виноват. Начнём с простого.
["Yo bitch"]
[«Эй, сучка»]
If you saw a Tweet that only said this, you might think to yourself, "That looks like abuse." After all, why would you want to receive the message, "Yo, bitch." Now, I try to stay relatively hip to the latest trends and memes, so I knew that "yo, bitch" was also often a common greeting between friends, as well as being a popular "Breaking Bad" reference. I will admit that I did not expect to encounter a fourth use case. It turns out it is also used on Twitter when people are role-playing as dogs. (Laughter) And in fact, in that case, it's not only not abusive, it's technically just an accurate greeting. (Laughter)
Если увидеть такой твит, то можно подумать: «Похоже на оскорбление». С какой стати вам захочется получать сообщение «Эй, сучка»? Я, конечно, пытаюсь быть в курсе последних тенденций и мемов, поэтому знаю, что «Эй, сучка» — это часто используемое приветствие между друзьями, а также известная фраза из сериала «Во все тяжкие». Признаюсь, я не ожидала найти ещё одно значение. Оказывается, эту фразу также используют в Твиттере люди, изображающие собак в ролевых играх. (Смех) В этом случае это не только не оскорбление, но и, фактически, предельно чёткое приветствие. (Смех)
So okay, determining whether or not something is abusive without context, definitely hard.
Из этого примера понятно, что определить наличие в твите оскорбления вне контекста действительно сложно.
Let's look at spam. Here's an example of an account engaged in classic spammer behavior, sending the exact same message to thousands of people. While this is a mockup I put together using my account, we see accounts doing this all the time. Seems pretty straightforward. We should just automatically suspend accounts engaging in this kind of behavior. Turns out there's some exceptions to that rule. Turns out that that message could also be a notification you signed up for that the International Space Station is passing overhead because you wanted to go outside and see if you could see it. You're not going to get that chance if we mistakenly suspend the account thinking it's spam.
Давайте рассмотрим пример спама. Вот образец аккаунта, представляющего классическое поведение спамера: он рассылает одно и то же сообщение тысячам людей. Это модель, которую я создала в своём аккаунте, но на деле мы видим такие примеры регулярно. Казалось бы, понятно, что с этим делать: нужно просто автоматически приостанавливать действие аккаунтов, демонстрирующих такое поведение. Однако из этого правила есть исключения. Оказывается, это сообщение может также быть уведомлением о пролетающей над вами Международной космической станции, на которое вы подписались, потому что хотели выйти из дома и попробовать её разглядеть. Если мы по ошибке приостановим данный аккаунт, приняв его за спам, у вас не будет такой возможности.
Okay. Let's make the stakes higher. Back to my account, again exhibiting classic behavior. This time it's sending the same message and link. This is often indicative of something called phishing, somebody trying to steal another person's account information by directing them to another website. That's pretty clearly not a good thing. We want to, and do, suspend accounts engaging in that kind of behavior. So why are the stakes higher for this? Well, this could also be a bystander at a rally who managed to record a video of a police officer beating a non-violent protester who's trying to let the world know what's happening. We don't want to gamble on potentially silencing that crucial speech by classifying it as spam and suspending it. That means we evaluate hundreds of parameters when looking at account behaviors, and even then, we can still get it wrong and have to reevaluate.
Давайте рассмотрим ещё более показательные примеры. Снова посмотрим через мой аккаунт на образец типичного поведения. Теперь он рассылает одно и то же сообщение и ссылку. Часто это показатель так называемого «фишинга», когда пытаются завладеть информацией с аккаунта другого человека, направив его на другой вебсайт. Разумеется, в этом нет ничего хорошего. Мы стремимся приостанавливать аккаунты, показывающие такое поведение, и делаем это. Так почему же в этом примере высока вероятность ошибки? Например, это может быть очевидец на митинге, который записал на видео, как офицер полиции применяет силу к мирно протестующему гражданину, и пытается сообщить миру о происходящем. Мы бы не хотели рисковать и заглушать такие важные сообщения, приняв их за спам и приостановив действие аккаунта. Поэтому мы анализируем сотни разных параметров, изучая поведение аккаунтов, и всё равно можем ошибиться, и придётся проводить оценку заново.
Now, given the sorts of challenges I'm up against, it's crucial that I not only predict but also design protections for the unexpected. And that's not just an issue for me, or for Twitter, it's an issue for you. It's an issue for anybody who's building or creating something that you think is going to be amazing and will let people do awesome things. So what do I do? I pause and I think, how could all of this go horribly wrong? I visualize catastrophe. And that's hard. There's a sort of inherent cognitive dissonance in doing that, like when you're writing your wedding vows at the same time as your prenuptial agreement. (Laughter) But you still have to do it, particularly if you're marrying 500 million tweets per day. What do I mean by "visualize catastrophe?" I try to think of how something as benign and innocuous as a picture of a cat could lead to death, and what to do to prevent that. Which happens to be my next example. This is my cat, Eli. We wanted to give users the ability to add photos to their tweets. A picture is worth a thousand words. You only get 140 characters. You add a photo to your tweet, look at how much more content you've got now. There's all sorts of great things you can do by adding a photo to a tweet. My job isn't to think of those. It's to think of what could go wrong.
Учитывая все трудности, с какими мне приходится сталкиваться, мне важно не только предупредить опасность, но и разработать защиту от неожиданностей. Это важно не только для меня или для Твиттера — это важно для вас. Это важно для любого, кто создаёт нечто, как вам кажется, невероятное и позволяющее людям делать замечательные вещи. Что же мне делать? Я задумываюсь: как же может произойти ужасная ошибка? Я представляю себе катастрофу. Это сложно. Возникает неотъемлемый когнитивный диссонанс, как когда приходится одновременно сочинять свадебные клятвы и брачный договор. (Смех) Но всё равно приходится это делать, особенно если связываешь себя с 500 миллионами твитов в день. Что я имею в виду под «представляю себе катастрофу»? Я пытаюсь представить, как что-то милое и безвредное, например, изображение кошки, может привести к смертельному случаю, и думаю, как это предотвратить. Покажу это на следующем примере. Это моя кошка Эли. Мы хотели дать пользователям возможность добавлять картинки к твитам. Картинка может выразить тысячу слов, а у вас в распоряжении всего лишь 140 знаков. Стоит добавить фото к твиту — и он становится значительно богаче по содержанию. Добавление фото к твиту даёт много возможностей. Однако моя задача — думать не об этом, а о том, что может пойти не так.
How could this picture lead to my death? Well, here's one possibility. There's more in that picture than just a cat. There's geodata. When you take a picture with your smartphone or digital camera, there's a lot of additional information saved along in that image. In fact, this image also contains the equivalent of this, more specifically, this. Sure, it's not likely that someone's going to try to track me down and do me harm based upon image data associated with a picture I took of my cat, but I start by assuming the worst will happen. That's why, when we launched photos on Twitter, we made the decision to strip that geodata out. (Applause) If I start by assuming the worst and work backwards, I can make sure that the protections we build work for both expected and unexpected use cases.
Как эта картинка может стать причиной моей смерти? Вот, например, один способ. Это не просто изображение кошки. Это ещё и данные о местоположении. Когда вы снимаете что-то на смартфон или на цифровую камеру, в полученном изображении сохраняется много дополнительной информации. В действительности, эта картинка также содержит эквивалент вот этого, а, если быть точнее, вот этого. Конечно, маловероятно, что кто-то попытается отследить меня и сделать что-то со мной, основываясь на данных, связанных с фотографией моей кошки, но я начинаю думать о худшем варианте развития событий. Поэтому, когда мы запустили фотосервис в Твиттере, мы решили отказаться от отображения данных о местоположении. (Аплодисменты) Если я буду думать о худшем варианте и отталкиваться от него, я могу быть уверенной, что защита, которую мы разрабатываем, подойдёт как для типичных, так и для нетипичных случаев.
Given that I spend my days and nights imagining the worst that could happen, it wouldn't be surprising if my worldview was gloomy. (Laughter) It's not. The vast majority of interactions I see -- and I see a lot, believe me -- are positive, people reaching out to help or to connect or share information with each other. It's just that for those of us dealing with scale, for those of us tasked with keeping people safe, we have to assume the worst will happen, because for us, a one-in-a-million chance is pretty good odds.
Учитывая, что я день и ночь только и делаю, что воображаю себе худший из возможных исходов, никого бы не удивило, если бы у меня был мрачный взгляд на мир. (Смех) Это не так. Большая часть того, что я вижу, — а я вижу много, уж поверьте, — это позитивное общение, когда люди помогают друг другу, или хотят стать ближе друг другу, или поделиться информацией. Дело в том, что работая с масштабом, когда необходимо заботиться о безопасности пользователей, нам приходится думать о худшем варианте, потому что в нашем случае шанс один на миллион — это довольно высокий шанс.
Thank you.
Спасибо.
(Applause)
(Аплодисменты)