My job at Twitter is to ensure user trust, protect user rights and keep users safe, both from each other and, at times, from themselves. Let's talk about what scale looks like at Twitter. Back in January 2009, we saw more than two million new tweets each day on the platform. January 2014, more than 500 million. We were seeing two million tweets in less than six minutes. That's a 24,900-percent increase.
העבודה שלי בטוויטר היא להבטיח את אמון המשתמש, להגן על זכויות המשתמש ולשמור על בטחון המשתמשים גם זה מזה וגם, לעתים, מעצמם. בואו נדבר על איך נראה קנה המידה בטוויטר. בינואר 2009, אנחנו ראינו יותר משני מיליון ציוצים בכל יום בפלטפורמה. ינואר 2014, יותר מ-500 מיליון. אנחנו ראינו יותר משני מיליון ציוצים בפחות משש דקות. זהו גידול של 24,900 אחוזים.
Now, the vast majority of activity on Twitter puts no one in harm's way. There's no risk involved. My job is to root out and prevent activity that might. Sounds straightforward, right? You might even think it'd be easy, given that I just said the vast majority of activity on Twitter puts no one in harm's way. Why spend so much time searching for potential calamities in innocuous activities? Given the scale that Twitter is at, a one-in-a-million chance happens 500 times a day. It's the same for other companies dealing at this sort of scale. For us, edge cases, those rare situations that are unlikely to occur, are more like norms. Say 99.999 percent of tweets pose no risk to anyone. There's no threat involved. Maybe people are documenting travel landmarks like Australia's Heart Reef, or tweeting about a concert they're attending, or sharing pictures of cute baby animals. After you take out that 99.999 percent, that tiny percentage of tweets remaining works out to roughly 150,000 per month. The sheer scale of what we're dealing with makes for a challenge.
עכשיו, רובם המכריע של הפעילויות בטוויטר לא פוגע באף אחד בשום דרך. שום סיכון לא מעורב. העבודה שלי היא לעקוב ולמנוע פעילויות שעשויות להיות כאלו. נשמע פשוט, נכון? אתם עשויים אפילו לחשוב שזה יכול להיות קל, בהתחשב בעובדה שאני רק אמרתי שרובם המכריע של הפעילויות בטוויטר לא פוגעות באף אחד בשום דרך. למה לבזבז כל כך הרבה זמן בחיפוש אסונות פוטנציאליים בפעילות בלתי מזיקה? בהתחשב בקנה המידה שטוויטר נמצאת בו, סיכוי של אחד למיליון קורה 500 פעמים ביום. זה אותו דבר בחברות אחרות שמתמודדות עם אותו קנה מידה. בשבילנו, מקרי קצה, מצבים נדירים אלה שאינם צפויים להתרחש, הם יותר כמו נורמות. נגיד ש 99.999 אחוז מהציוצים לא מציבים סיכון לאף אחד. אין שום איום מעורב. אולי אנשים מתעדים ציוני דרך מהנסיעות כמו "ריף הלב" של אוסטרליה, לציוצים על קונצרט שהם משתתפים בו, או משתפים תמונות של גורים חמודים של חיות. אחרי שאתם מוציאים את 99.999 האחוזים האלו, האחוז הזעיר הזה של ציוצים שנשארו בפועל יוצא בערך 150,000 בחודש. ההיקף העצום של מה שיש לנו עסק איתו עושה את זה למאתגר.
You know what else makes my role particularly challenging? People do weird things. (Laughter) And I have to figure out what they're doing, why, and whether or not there's risk involved, often without much in terms of context or background. I'm going to show you some examples that I've run into during my time at Twitter -- these are all real examples — of situations that at first seemed cut and dried, but the truth of the matter was something altogether different. The details have been changed to protect the innocent and sometimes the guilty. We'll start off easy.
אתם יודעים מה עוד עושה את התפקיד שלי למאתגר במיוחד? אנשים שעושים דברים משונים. (צחוק) ואני צריכה להבין מה הם עושים, למה, ואם יש או אין סיכון מעורב, לעתים קרובות ללא הרבה מבחינת הקשר או רקע. אני הולכת להראות לכם כמה דוגמאות שנתקלתי בהן במשך הזמן בעבודתי בטוויטר -- אלו כולן דוגמאות אמיתיות -- של מצבים שנראים במבט ראשון ברורים ומובנים מאליהם, אבל האמת הייתה משהו שונה לחלוטין. הפרטים שונו בכדי להגן על חפים מפשע ולפעמים על האשמים. ובכן, נתחיל מהקל.
["Yo bitch"]
["יואו, כלבה"]
If you saw a Tweet that only said this, you might think to yourself, "That looks like abuse." After all, why would you want to receive the message, "Yo, bitch." Now, I try to stay relatively hip to the latest trends and memes, so I knew that "yo, bitch" was also often a common greeting between friends, as well as being a popular "Breaking Bad" reference. I will admit that I did not expect to encounter a fourth use case. It turns out it is also used on Twitter when people are role-playing as dogs. (Laughter) And in fact, in that case, it's not only not abusive, it's technically just an accurate greeting. (Laughter)
אם הייתם רואים ציוץ שרק אומר את זה, הייתם חושבים לעצמכם, "זה נראה כמו פגיעה," אחרי הכל, למה שתרצו לקבל את ההודעה, "יואו, כלבה." עכשיו, אני מנסה להשאר יחסית בעניינים למגמות ולממים האחרונים, אז אני יודעת ש "יואו, כלבה" גם היתה לעתים קרובות ברכה משותפת בין חברים, כמו גם התייחסות פופולרית ל "שובר שורות". אני מודה שאני לא ציפיתי להיתקל במקרה השימוש הרביעי. הסתבר שגם משתמשים בזה בטוויטר כאשר אנשים משחקים משחק תפקידים ככלבים. (צחוק) ולמעשה, במקרה הזה, לא רק שזה לא מעליב, זו טכנית רק ברכה מדוייקת. (צחוק)
So okay, determining whether or not something is abusive without context, definitely hard.
אז בסדר, לקבוע אם כן או לא משהו פוגעני ללא הקשר, זה קשה בהחלט.
Let's look at spam. Here's an example of an account engaged in classic spammer behavior, sending the exact same message to thousands of people. While this is a mockup I put together using my account, we see accounts doing this all the time. Seems pretty straightforward. We should just automatically suspend accounts engaging in this kind of behavior. Turns out there's some exceptions to that rule. Turns out that that message could also be a notification you signed up for that the International Space Station is passing overhead because you wanted to go outside and see if you could see it. You're not going to get that chance if we mistakenly suspend the account thinking it's spam.
בואו נסתכל על דואר זבל. הנה דוגמא של חשבון העוסק בהתנהגות קלאסית של הפצת דואר זבל, שליחה של אותה הודעה בדיוק לאלפי אנשים. בזמן שזה דגם שהכנתי באמצעות החשבון שלי, אנו רואים חשבונות שעושים את זה כל הזמן. נראה די פשוט. אנחנו פשוט צריכים באופן אוטומטי להשעות חשבונות העוסקים בסוג זה של התנהגות. מסתבר שיש יוצאים מן הכלל לכלל הזה. מסתבר שההודעה הזאת יכולה גם להיות התראה שנרשמת אליה שתחנת החלל הבינלאומית חולפת מעלינו בגלל שרצית לצאת החוצה ולראות אם אתה יכול לראות אותה. אתה לא תוכל לקבל את ההזדמנות הזאת אם אנחנו בטעות נשעה את החשבון במחשבה שזה דואר זבל.
Okay. Let's make the stakes higher. Back to my account, again exhibiting classic behavior. This time it's sending the same message and link. This is often indicative of something called phishing, somebody trying to steal another person's account information by directing them to another website. That's pretty clearly not a good thing. We want to, and do, suspend accounts engaging in that kind of behavior. So why are the stakes higher for this? Well, this could also be a bystander at a rally who managed to record a video of a police officer beating a non-violent protester who's trying to let the world know what's happening. We don't want to gamble on potentially silencing that crucial speech by classifying it as spam and suspending it. That means we evaluate hundreds of parameters when looking at account behaviors, and even then, we can still get it wrong and have to reevaluate.
בסדר. בואו נעלה את ההימור. בחזרה לחשבון שלי, שוב מפגין התנהגות קלאסית. הפעם זה שולח את אותה הודעה וקישור. הדבר בדרך כלל מעיד על משהו שנקרא פישינג, מישהו מנסה לגנוב מידע מחשבון של אדם אחר על ידי הפנייתם לאתר אחר. די ברור שזה אינו דבר טוב. אנחנו רוצים, ומשעים חשבונות העוסקים בסוג כזה של התנהגות. אז למה הסיכונים גבוהים לזה? ובכן, זה יכול להיות גם עובר אורח בעצרת שהצליח להקליט וידאו של שוטר מכה מפגין לא אלים שמנסה להראות לעולם מה קורה. אנחנו לא רוצים להמר על השתקה פוטנציאלית של הנאום החיוני הזה על ידי סיווגו כדואר זבל והשעייתו. זה אומר שאנחנו מעריכים מאות מאפיינים כשאנחנו מסתכלים על התנהגות של חשבונות, ואפילו אז, אנחנו עדיין יכולים לטעות וצריכים להעריך מחדש.
Now, given the sorts of challenges I'm up against, it's crucial that I not only predict but also design protections for the unexpected. And that's not just an issue for me, or for Twitter, it's an issue for you. It's an issue for anybody who's building or creating something that you think is going to be amazing and will let people do awesome things. So what do I do? I pause and I think, how could all of this go horribly wrong? I visualize catastrophe. And that's hard. There's a sort of inherent cognitive dissonance in doing that, like when you're writing your wedding vows at the same time as your prenuptial agreement. (Laughter) But you still have to do it, particularly if you're marrying 500 million tweets per day. What do I mean by "visualize catastrophe?" I try to think of how something as benign and innocuous as a picture of a cat could lead to death, and what to do to prevent that. Which happens to be my next example. This is my cat, Eli. We wanted to give users the ability to add photos to their tweets. A picture is worth a thousand words. You only get 140 characters. You add a photo to your tweet, look at how much more content you've got now. There's all sorts of great things you can do by adding a photo to a tweet. My job isn't to think of those. It's to think of what could go wrong.
עכשיו, בהתחשב בסוגי האתגרים הניצבים מולי, זה חיוני שאני לא רק אנבא אלא גם אעצב הגנות לבלתי צפוי. וזה לא רק עניין בשבילי, או בשביל טוויטר, זה גם עניין בשבילכם. זהו עניין לכל אחד שבונה או יוצר משהו שאתם חושבים שהולך להיות מדהים ויתן לאנשים לעשות דברים נהדרים. אז מה אני עושה? אני עוצרת וחושבת, איך כל זה יכול להשתבש באופן מחריד? אני מדמיינת קטסטרופה. וזה קשה. זה סוג של דיסוננס קוגניטיבי הגלום בעשייה של זה, כמו כאשר אתם כותבים את נדרי החתונה שלכם באותו הזמן עם הסכם הממון שלכם. (צחוק) אבל אתם עדיין צריכים לעשות את זה, במיוחד אם אתם מתחתנים עם 500 מיליון ציוצים ביום. למה אני מתכוונת ב"לדמיין קטסטרופה?" אני מנסה לחשוב על איך שלפעמים תמונה שפירה ולא מזיקה כמו תמונה של חתול יכולה להוביל למוות, ומה לעשות כדי למנוע זאת. מה שהולכת להיות הדוגמה הבאה שלי. זהו החתול שלי, איליי. רצינו לתת למשתמשים את היכולת להוסיף תמונות לציוצים שלהם. תמונה שווה אלף מילים. יש לכם רק 140 תווים. אתם מוסיפים תמונה לציוץ שלכם, תסתכלו כמה יותר תוכן יש לכם עכשיו. יש המון דברים גדולים שתוכלו לעשות על ידי הוספה של תמונה לציוץ שלכם. העבודה שלי היא לא לחשוב על אלו. היא לחשוב על מה יכול להשתבש.
How could this picture lead to my death? Well, here's one possibility. There's more in that picture than just a cat. There's geodata. When you take a picture with your smartphone or digital camera, there's a lot of additional information saved along in that image. In fact, this image also contains the equivalent of this, more specifically, this. Sure, it's not likely that someone's going to try to track me down and do me harm based upon image data associated with a picture I took of my cat, but I start by assuming the worst will happen. That's why, when we launched photos on Twitter, we made the decision to strip that geodata out. (Applause) If I start by assuming the worst and work backwards, I can make sure that the protections we build work for both expected and unexpected use cases.
איך התמונה הזאת יכולה להוביל למותי? ובכן, הנה אפשרות אחת. יש בתמונה הזאת יותר מרק חתול. יש מידע גיאוגרפי. כשאתם מצלמים תמונה עם הטלפון החכם שלכם או מצלמה דיגיטלית, יש עוד הרבה אינפורמציה נוספת שנשמרת יחד עם התמונה הזאת. למעשה, התמונה הזאת גם מכילה המקבילה של זה, יותר בפרוט, זה. בטח, זה לא סביר שמישהו ינסה לעקוב אחרי ולפגוע בי בהתבסס על מידע מהתמונה שמקושר עם תמונת החתול שלי שצילמתי, אבל אני יוצא מנקודת הנחה שהגרוע ביותר יקרה. לכן, כשהשקנו את התמונות בטוויטר, קיבלנו החלטה להוציא את המידע הגיאוגרפי החוצה. (מחיאות כפיים) אם אני יוצאת מנקודת הנחה הגרוע ביותר ועובדת אחורה, אני יכולה להבטיח שההגנות שאנחנו בונים יעבדו עבור המקרים הצפויים והבלתי צפויים.
Given that I spend my days and nights imagining the worst that could happen, it wouldn't be surprising if my worldview was gloomy. (Laughter) It's not. The vast majority of interactions I see -- and I see a lot, believe me -- are positive, people reaching out to help or to connect or share information with each other. It's just that for those of us dealing with scale, for those of us tasked with keeping people safe, we have to assume the worst will happen, because for us, a one-in-a-million chance is pretty good odds.
בהתחשב בעובדה שאני מבלה את הימים והלילות שלי בלדמיין את הגרוע ביותר שיכול לקרות, זאת לא תהיה הפתעה אם השקפת העולם שלי קודרת. (צחוק) זה לא. רובן המכריע של האינטראקציות שאני רואה ואני רואה הרבה, תאמינו לי -- הן חיוביות, אנשים מגישים עזרה או מתחברים או משתפים מידע אחד עם השני. זה רק שעבור אלה מאתנו העוסקים בקנה מידה, עבור אלה מאתנו שמטרתם היא שמירה על בטחון האנשים, אנחנו צריכים להניח שהנורא מכל יקרה, מפני שעבורנו, סיכוי של אחד למיליון זה סיכויי די טוב.
Thank you.
תודה לכם.
(Applause)
(מחיאות כפיים)