My job at Twitter is to ensure user trust, protect user rights and keep users safe, both from each other and, at times, from themselves. Let's talk about what scale looks like at Twitter. Back in January 2009, we saw more than two million new tweets each day on the platform. January 2014, more than 500 million. We were seeing two million tweets in less than six minutes. That's a 24,900-percent increase.
Моя робота в компанії "Твіттер" полягає в тому, щоб забезпечувати довіру користувачів, захищати їхні права і охороняти їх, як одне від одного, так і, деколи, від самих себе. Пропоную обговорити, як виглядає масштаб у Твіттері. Ще у січні 2009 року на платформі можна було побачити понад два мільйони твітів щодня. У січні 2014 року - понад 500 мільйонів. Ми спостерігали два мільйони твітів менш, ніж за шість хвилин. Це збільшення на 24 900 відсотків.
Now, the vast majority of activity on Twitter puts no one in harm's way. There's no risk involved. My job is to root out and prevent activity that might. Sounds straightforward, right? You might even think it'd be easy, given that I just said the vast majority of activity on Twitter puts no one in harm's way. Why spend so much time searching for potential calamities in innocuous activities? Given the scale that Twitter is at, a one-in-a-million chance happens 500 times a day. It's the same for other companies dealing at this sort of scale. For us, edge cases, those rare situations that are unlikely to occur, are more like norms. Say 99.999 percent of tweets pose no risk to anyone. There's no threat involved. Maybe people are documenting travel landmarks like Australia's Heart Reef, or tweeting about a concert they're attending, or sharing pictures of cute baby animals. After you take out that 99.999 percent, that tiny percentage of tweets remaining works out to roughly 150,000 per month. The sheer scale of what we're dealing with makes for a challenge.
Наразі переважна більшість активності на Твіттері не чинить ніякої шкоди. Немає жодного ризику. Моє завдання полягає у викоріненні та недопусканні активності, яка може його спричинити. Звучить доволі просто, чи не так? Вам навіть може здатись, що це легко, оскільки, як я щойно сказала, переважна більшість активності на Твіттері нікому не шкодить. Навіщо ж тоді витрачати стільки часу на пошуки потенційних небезпек у безневинних діях? Беручи до уваги масштаб Твіттера, шанс "один на мільйон" стається 500 разів на день. Така ж ситуація з іншими компаніями, які працюють з такими масштабами. Для нас крайні випадки, тобто ті рідкісні ситуації, які навряд чи стануться, це норма. Скажімо, 99,999 відсотків твітів не загрожують нікому. Немає ніякої загрози. Можливо, люди фільмують визначні місця подорожі, як от австралійський Харт Риф, чи пишуть твіти про концерт, який вони відвідують, чи розміщують фото милих маленьких звіряток. Після того, як ви заберете ті 99.999 відсотків, залишиться крихітна частина твітів, яка становить близько 150 тис. на місяць. Справжній масштаб того, з чим ми працюємо, потребує прикладення зусиль.
You know what else makes my role particularly challenging? People do weird things. (Laughter) And I have to figure out what they're doing, why, and whether or not there's risk involved, often without much in terms of context or background. I'm going to show you some examples that I've run into during my time at Twitter -- these are all real examples — of situations that at first seemed cut and dried, but the truth of the matter was something altogether different. The details have been changed to protect the innocent and sometimes the guilty. We'll start off easy.
Знаєте, що ще потребує від мене особливих зусиль? Люди роблять дивні речі. (Сміх) І мені потрібно з'ясувати, що вони роблять, чому, і чи не становить це загрози. Часто я не знаю контексту чи ситуації. Я покажу вам кілька прикладів, які трапились мені протягом моєї роботи у Твіттері -- це реальні випадки ситуацій, які спочатку здавалися зрозумілими, але насправді все виявлялось зовсім іншим. Ми змінили деталі для захисту невинних, а деколи і винних користувачів. Почнемо з простого.
["Yo bitch"]
["Гей, сучка"]
If you saw a Tweet that only said this, you might think to yourself, "That looks like abuse." After all, why would you want to receive the message, "Yo, bitch." Now, I try to stay relatively hip to the latest trends and memes, so I knew that "yo, bitch" was also often a common greeting between friends, as well as being a popular "Breaking Bad" reference. I will admit that I did not expect to encounter a fourth use case. It turns out it is also used on Twitter when people are role-playing as dogs. (Laughter) And in fact, in that case, it's not only not abusive, it's technically just an accurate greeting. (Laughter)
Якщо ви побачите твіт лише з цією інформацією, ви подумаєте: "Виглядає як образа." Зрештою, вам навряд чи хотілось би отримати повідомлення "Гей, сучка." Отож, я намагаюсь слідкувати за останніми трендами та мемами, тому я знаю, що "гей, сучка" -- це типове привітання між друзями, а також згадка про популярний серіал "Пуститися берега". Зізнаюсь, що я не очікувала зіткнутися з таким випадком. Виявляється, що такий вираз використовують у Твіттері, коли люди пишуть від імені собак. (Сміх) І насправді, в такому випадку, це не лише не образа, а просто нормальне привітання. (Сміх)
So okay, determining whether or not something is abusive without context, definitely hard.
Гаразд, отож, визначити чи можна щось вважати образливим чи ні без додаткової інформації насправді важко.
Let's look at spam. Here's an example of an account engaged in classic spammer behavior, sending the exact same message to thousands of people. While this is a mockup I put together using my account, we see accounts doing this all the time. Seems pretty straightforward. We should just automatically suspend accounts engaging in this kind of behavior. Turns out there's some exceptions to that rule. Turns out that that message could also be a notification you signed up for that the International Space Station is passing overhead because you wanted to go outside and see if you could see it. You're not going to get that chance if we mistakenly suspend the account thinking it's spam.
Погляньмо на спам. Ось приклад облікового запису із класичними ознаками спамера: надсилання однакового повідомлення тисячам людей. Оскільки це макет, я використала свій обліковий запис, однак ми бачимо таку ситуацію постійно. Здається, ніби все зрозуміло. Нам слід просто автоматично призупинити облікові записи, від яких спостерігається така активність. Виявляється, що існують винятки з такого правила. Виявляється, що таке повідомлення може сповіщати про те, що ви підписались на сповіщення від Міжнародної космічної станції, бо ви хочете вийти надвір і побачити, коли вона пролітатиме над вами. Ви втратите такий шанс, якщо ми випадково видалимо профіль, вважаючи його спамом.
Okay. Let's make the stakes higher. Back to my account, again exhibiting classic behavior. This time it's sending the same message and link. This is often indicative of something called phishing, somebody trying to steal another person's account information by directing them to another website. That's pretty clearly not a good thing. We want to, and do, suspend accounts engaging in that kind of behavior. So why are the stakes higher for this? Well, this could also be a bystander at a rally who managed to record a video of a police officer beating a non-violent protester who's trying to let the world know what's happening. We don't want to gamble on potentially silencing that crucial speech by classifying it as spam and suspending it. That means we evaluate hundreds of parameters when looking at account behaviors, and even then, we can still get it wrong and have to reevaluate.
Гаразд. Піднімемо ставки. Повернемось до мого профілю, який демонструє класичну поведінку. Цього разу він надсилає однакове повідомлення і посилання. Це сигналізує про так званий "фішинг", ситуацію, коли хтось намагається викрасти інформацію профілю іншого користувача, направляючи його на інший веб-сайт. Це явно не дуже добре. Ми хочемо і намагаємось видаляти профілі, які займаються такою діяльністю. Отож, чому ставки тут вищі? Це може бути спостерігач на мітингу, якому вдалося записати відео, як полісмен б'є мирного протестувальника, і який намагається розповісти про це світу. Ми не хочемо замовчувати таке важливе повідомлення, визначаючи це як спам, і видаляти його. Це означає, що ми оцінюємо сотні параметрів, спостерігаючи за поведінкою профілів, і навіть тоді ми все ж можемо помилитись, і нам потрібно оцінити ситуацію по-новому.
Now, given the sorts of challenges I'm up against, it's crucial that I not only predict but also design protections for the unexpected. And that's not just an issue for me, or for Twitter, it's an issue for you. It's an issue for anybody who's building or creating something that you think is going to be amazing and will let people do awesome things. So what do I do? I pause and I think, how could all of this go horribly wrong? I visualize catastrophe. And that's hard. There's a sort of inherent cognitive dissonance in doing that, like when you're writing your wedding vows at the same time as your prenuptial agreement. (Laughter) But you still have to do it, particularly if you're marrying 500 million tweets per day. What do I mean by "visualize catastrophe?" I try to think of how something as benign and innocuous as a picture of a cat could lead to death, and what to do to prevent that. Which happens to be my next example. This is my cat, Eli. We wanted to give users the ability to add photos to their tweets. A picture is worth a thousand words. You only get 140 characters. You add a photo to your tweet, look at how much more content you've got now. There's all sorts of great things you can do by adding a photo to a tweet. My job isn't to think of those. It's to think of what could go wrong.
Отож, беручи до уваги всі проблеми, з якими я стикаюсь, мені важливо не лише передбачити, але й розробити захист від непередбачуваного. І це проблема не тільки для мене чи для Твіттера, це проблема і для вас. Це проблема для всіх, хто будує чи створює щось таке, що, на його думку, буде чудовим і дозволить людям творити чудові речі. Отож, що я роблю? Я зупиняюсь і думаю, як це все може вийти з-під контролю? Я уявляю катастрофу. А це складно. В цьому існує певний вроджений когнітивний дисонанс, щось схоже, коли ви одночасно пишете свої весільні клятви і передшлюбний контракт. (Сміх) Проте вам все ж потрібно це зробити, особливо, якщо ви "одружуєтесь" з 500 мільйонами твітів щодня. Що я маю на увазі під "уявлянням катастрофи"? Я намагаюсь уявити, як щось таке нешкідливе як фото кота, може призвести до смерті, і що потрібно зробити, щоб запобігти цьому. Про це буде мій наступний приклад. Це моя кішка, Елі. Ми хотіли надати користувачам можливість додавати фото до твітів. Фото може замінити тисячі слів. У вас лише 140 символів. Ви додаєте фото до твіта і погляньте, наскільки більше інформації маєте. Додаючи фото до твіта, ви можете робити багато чудових речей. Моя робота полягає не в тому, щоб думати про це. Вона полягає в тому, щоб думати, що може піти не так.
How could this picture lead to my death? Well, here's one possibility. There's more in that picture than just a cat. There's geodata. When you take a picture with your smartphone or digital camera, there's a lot of additional information saved along in that image. In fact, this image also contains the equivalent of this, more specifically, this. Sure, it's not likely that someone's going to try to track me down and do me harm based upon image data associated with a picture I took of my cat, but I start by assuming the worst will happen. That's why, when we launched photos on Twitter, we made the decision to strip that geodata out. (Applause) If I start by assuming the worst and work backwards, I can make sure that the protections we build work for both expected and unexpected use cases.
Як це фото може спричинити мою смерть? Ось одна можливість. На цьому фото не лише кішка. В ньому міститься геоінформація. Коли ви робите знімок своїм смартфоном або цифровим фотоапаратом, у зображенні зберігається багато додаткової інформації. Насправді, це фото також містить відповідник цього, а точніше - цього. Звісно, навряд чи хтось буде намагатись прослідкувати за мною і нанести мені шкоду на основі інформації про фото моєї кішки. Проте спершу я припускаю найгірше. Саме тому, коли ми запустили фото на Твіттері, ми вирішили видалити геоінформацію. (Оплески) Якщо я припускаю найгірше і рухаюсь у зворотньому напрямку, я переконуюсь, що захист, який ми створюємо, працюватиме і в передбачуваних, і в непередбачуваних ситуаціях.
Given that I spend my days and nights imagining the worst that could happen, it wouldn't be surprising if my worldview was gloomy. (Laughter) It's not. The vast majority of interactions I see -- and I see a lot, believe me -- are positive, people reaching out to help or to connect or share information with each other. It's just that for those of us dealing with scale, for those of us tasked with keeping people safe, we have to assume the worst will happen, because for us, a one-in-a-million chance is pretty good odds.
Беручи до уваги те, що днями і ночами я уявляю найгірше, що може трапитись, буде не дивно, якщо мій світогляд виявиться досить похмурим. (Сміх) Це не так. Переважна більшість ситуацій, які я спостерігаю, а я бачу їх багато, повірте, -- позитивні, люди намагаються допомогти поширити інформацію між собою. Це тільки через те, що ми маємо справу з таким масштабом, і відповідаємо за безпеку людей, нам потрібно припускати найгірший розвиток подій, тому що для нас навіть один випадок на мільйон значить багато.
Thank you.
Дякую.
(Applause)
(Оплески)