It's getting harder, isn't it, to spot real from fake, AI-generated from human-generated. With generative AI, along with other advances in deep fakery, it doesn't take many seconds of your voice, many images of your face, to fake you, and the realism keeps increasing.
נכון שנעשה קשה יותר להבחין בין אמיתי למזויף? בין מעשה בינה מלאכותית לבין מעשה אדם? בעזרת בינה מלאכותית יוצרת, לצד פיתוחים אחרים במלאכת הזיוף העמוק, די בדגימה קצרה של הקול שלכם, ובמספר תמונות של פניכם, כדי לזייף אתכם, ובמידה הולכת וגדולה של ריאליזם.
I first started working on deepfakes in 2017, when the threat to our trust in information was overhyped, and the big harm, in reality, was falsified sexual images. Now that problem keeps growing, harming women and girls worldwide. But also, with advances in generative AI, we're now also approaching a world where it's broadly easier to make fake reality, but also to dismiss reality as possibly faked.
התחלתי לעבוד לראשונה על דיפ-פייק בשנת 2017, כשהאיום על האמון שלנו במידע תואר בהגזמה, בעוד שהנזק הגדול, במציאות, היו צילומים מיניים מזויפים. כיום, הבעיה הזו ממשיכה לגדול, ופוגעת בנשים ונערות בעולם כולו. אבל עם ההתקדמות בבינה מלאכותית היוצרת, אנו מתקרבים כעת גם לעולם שבו קל בהרבה ליצור מציאות מזויפת, אך גם לפטור את המציאות עצמה כמזויפת.
Now, deceptive and malicious audiovisual AI is not the root of our societal problems, but it's likely to contribute to them. Audio clones are proliferating in a range of electoral contexts. "Is it, isn't it" claims cloud human-rights evidence from war zones, sexual deepfakes target women in public and in private, and synthetic avatars impersonate news anchors.
בינה מלאכותית אורקולית מטעה וזדונית אינה שורש בעיותינו החברתיות, אך סביר להניח שהיא תחמיר אותן. שיבוטי השמע הולכים ומתרבים במגוון הקשרי בחירות. טענות של “זה נכון, לא?” מעמיד בצל הוכחות להפרת זכויות אדם מאזורי מלחמה, זיופים מיניים מטרגטים נשים בפומבי ובאופן פרטי, ואווטרים מלאכותיים מתחזים למגישי חדשות .
I lead WITNESS. We're a human-rights group that helps people use video and technology to protect and defend their rights. And for the last five years, we've coordinated a global effort, "Prepare, Don't Panic," around these new ways to manipulate and synthesize reality, and on how to fortify the truth of critical frontline journalists and human-rights defenders.
אני ראש “וויטנס“. אנו קבוצה להגנת זכויות אדם שעוזרת לאנשים להשתמש בווידאו ובטכנולוגיה כדי לשמור ולהגן על זכויותיהם. ובחמש השנים האחרונות תיאמנו מאמץ עולמי, “להתכונן ולא להיבהל“, סביב הדרכים החדשות הללו לתמרן ולסנתז את המציאות, ולבצר את האמת של עיתונאים ביקורתיים ומגיני זכויות-אדם שבחזית.
Now, one element in that is a deepfakes rapid-response task force, made up of media-forensics experts and companies who donate their time and skills to debunk deepfakes and claims of deepfakes. The task force recently received three audio clips, from Sudan, West Africa and India. People were claiming that the clips were deepfaked, not real. In the Sudan case, experts used a machine-learning algorithm trained on over a million examples of synthetic speech to prove, almost without a shadow of a doubt, that it was authentic. In the West Africa case, they couldn't reach a definitive conclusion because of the challenges of analyzing audio from Twitter, and with background noise.
מרכיב אחד הוא כוח משימה לתגובה מהירה נגד זיוף עמוק, המורכב ממומחים וחברות לזיהוי פלילי במדיה שתורמים את זמנם וכישוריהם כדי להפריך זיופים עמוקים וטענות לזיופים עמוקים. צוות המשימה קיבל לאחרונה שלושה קטעי שמע, מסודן, מערב אפריקה והודו. הטענה היתה שקטעים הם זיופים עמוקים ולא-אמיתיים. במקרה של סודן, מומחים השתמשו באלגוריתם למידת מכונה שאומן עם למעלה ממיליון דוגמאות של דיבור מלאכותי כדי להוכיח, כמעט ללא צל של ספק, שהקטע אותנטי. במקרה של מערב אפריקה, הם לא הצליחו להגיע למסקנה חד-משמעית בגלל הקשיים של ניתוח שמע מ“טוויטר” כולל רעשי הרקע.
The third clip was leaked audio of a politician from India. Nilesh Christopher of “Rest of World” brought the case to the task force. The experts used almost an hour of samples to develop a personalized model of the politician's authentic voice. Despite his loud and fast claims that it was all falsified with AI, experts concluded that it at least was partially real, not AI. As you can see, even experts cannot rapidly and conclusively separate true from false, and the ease of calling "that's deepfaked" on something real is increasing.
הקטע השלישי הודלף כהקלטה של פוליטיקאי מהודו. נילש כריסטופר מהאתר “שאר העולם” הביא את המקרה לכוח המשימה. המומחים השתמשו כמעט בשעה של דגימות לפיתוח מודל מותאם אישית של קולו המקורי של הפוליטיקאי. למרות טענותיו הקולניות והמהירות שהכל זוייף בבינה מלאכותית, המומחים הסיקו שזה אמיתי לפחות חלקית, ולא בינה מלאכותית. כפי שאתם רואים, אפילו מומחים אינם יכולים להבדיל במהירות ובפסקנות בין אמת לשקר, והקלות לתייג משהו אמיתי כ“דיפ-פייק” הולכת וגוברת.
The future is full of profound challenges, both in protecting the real and detecting the fake. We're already seeing the warning signs of this challenge of discerning fact from fiction. Audio and video deepfakes have targeted politicians, major political leaders in the EU, Turkey and Mexico, and US mayoral candidates. Political ads are incorporating footage of events that never happened, and people are sharing AI-generated imagery from crisis zones, claiming it to be real.
העתיד מלא באתגרים קשים, הן בהגנה על האמיתי והן בגילוי הזיוף. אנו כבר רואים את סימני האזהרה לאתגר זה של הבחנה בין עובדה לבדיון. זיופי שמע ווידאו התמקדו בפוליטיקאים, מנהיגים פוליטיים חשובים באיחוד האירופי, בטורקיה ובמקסיקו, ובמועמדים לראשות ערים בארה“ב. בפרסומים פוליטיים מופיעים צילומים של אירועים שלא התרחשו, ואנשים משתפים תמונות תוצרת בינה מלאכותית מאזורי משבר, בטענה שהן אמיתיות.
Now, again, this problem is not entirely new. The human-rights defenders and journalists I work with are used to having their stories dismissed, and they're used to widespread, deceptive, shallow fakes, videos and images taken from one context or time or place and claimed as if they're in another, used to share confusion and spread disinformation. And of course, we live in a world that is full of partisanship and plentiful confirmation bias.
שוב, בעיה זו אינה חדשה לגמרי. מגיני זכויות האדם והעיתונאים איתם אני עובד רגילים לכך שפוטרים את סיפוריהם, והם רגילים לזיופים נרחבים, מטעים, רדודים, לסרטונים ותמונות שצולמו בהקשר או בזמן מסוימים ושמוצגים בהקשר וזמן אחרים, שמטרתם לפזר בלבול ולהפיץ מידע מסולף. וכמובן, אנו חיים בעולם מלא במפלגתיות ובשפע של הטיית אישור.
Given all that, the last thing we need is a diminishing baseline of the shared, trustworthy information upon which democracies thrive, where the specter of AI is used to plausibly believe things you want to believe, and plausibly deny things you want to ignore.
בהינתן כל זה, הדבר האחרון שנחוץ לנו הוא התמעטות הבסיס המשותף של המידע המופץ והאמין שעליו משגשגות דמוקרטיות, שבו תעתוע הבינה המלאכותית מנוצל כדי שנאמין במידה סבירה בדברים שנרצה להאמין בהם, ולהתכחש במידה סבירה לדברים שנרצה להתעלם מהם.
But I think there's a way we can prevent that future, if we act now; that if we "Prepare, Don't Panic," we'll kind of make our way through this somehow. Panic won't serve us well. [It] plays into the hands of governments and corporations who will abuse our fears, and into the hands of people who want a fog of confusion and will use AI as an excuse.
אבל אני חושב שיש דרך למנוע את העתיד הזה, אם נפעל עכשיו; וזה אם “נתכונן ולא ניבהל“, נצליח איכשהו לפלס את דרכנו. הבהלה לא תועיל לנו. זה מועיל לממשלות ותאגידים שינצלו לרעה את פחדינו, ולאנשים שערפל של בלבול רצוי להם ושישתמשו בבינה המלאכותית כתירוץ.
How many people were taken in, just for a minute, by the Pope in his dripped-out puffer jacket? You can admit it.
כמה אנשים האמינו לרגע, לתמונת האפיפיור במעיל הנפוח שלו? (צחוק) אתם יכולים להודות בזה.
(Laughter)
וחמור יותר,
More seriously, how many of you know someone who's been scammed by an audio that sounds like their kid? And for those of you who are thinking "I wasn't taken in, I know how to spot a deepfake," any tip you know now is already outdated. Deepfakes didn't blink, they do now. Six-fingered hands were more common in deepfake land than real life -- not so much. Technical advances erase those visible and audible clues that we so desperately want to hang on to as proof we can discern real from fake.
כמה מכם מכירים מישהו שנפל קורבן להונאה של קטע שמע שמזכיר את הילד שלו? ולאלה מכם שחושבים “לא הצליחו לעבוד עלי, “אני יודע לזהות דיפ-פייק“, כל טיפ שאתם מכירים כיום כבר מיושן. בזיופים העמוקים לא היו מצמוצים. עכשיו יש בהם. ידיים עם שש אצבעות היו נפוצות יותר בארץ דיפ-פייק מאשר בחיים האמיתיים -- זה כבר לא כך. ההתקדמות הטכנית מוחקת את הרמזים הגלויים והשמיעים שאנו כל-כך רוצים להיאחז בהם כהוכחות לכך שביכולתנו להבחין בין האמיתי למזויף.
But it also really shouldn’t be on us to make that guess without any help. Between real deepfakes and claimed deepfakes, we need big-picture, structural solutions. We need robust foundations that enable us to discern authentic from simulated, tools to fortify the credibility of critical voices and images, and powerful detection technology that doesn't raise more doubts than it fixes.
אבל אנו גם באמת לא אמורים לעסוק בניחושים בלי שום עזרה. בין זיופים עמוקים אמיתיים לבין זיופים עמוקים לכאורה, אנו זקוקים לפתרונות מבניים שמתחשבים בתמונה המלאה. אנו זקוקים ליסודות מוצקים שיאפשרו לנו להבחין בין אותנטי לבין מדומה, לכלים שיחזקו את אמינותם של קולות ותמונות ביקורתיים, ולטכנולוגיית זיהוי רבת-עוצמה שלא מעוררת יותר ספקות מאשר מתקנת.
There are three steps we need to take to get to that future. Step one is to ensure that the detection skills and tools are in the hands of the people who need them. I've talked to hundreds of journalists, community leaders and human-rights defenders, and they're in the same boat as you and me and us. They're listening to the audio, trying to think, "Can I spot a glitch?" Looking at the image, saying, "Oh, does that look right or not?" Or maybe they're going online to find a detector. And the detector they find, they don't know whether they're getting a false positive, a false negative, or a reliable result.
יש שלושה שלבים שעלינו לנקוט כדי להגיע לעתיד הזה. השלב הראשון הוא להבטיח שכישורי ואמצעי הגילוי מגיעים לידי מי שזקוקים להם. שוחחתי עם מאות עיתונאים, מנהיגי קהילה ומגיני זכויות אדם, והם באותה סירה איתכם ואיתי ואיתנו. הם מאזינים בקפידה לקטעי שמע ומנסים לחשוב, “האם זה פספוס?” מסתכלים על התמונה ותוהים, “זה נראה נכון או לא?” או שהם נכנסים לאינטרנט כדי למצוא תוכנת זיהוי. ותוכנת הזיהוי שהם מוצאים -- הם לא יודעים אם הם מקבלים תוצאה חיובית שגויה, שלילית שגויה או תוצאה אמינה.
Here's an example. I used a detector, which got the Pope in the puffer jacket right. But then, when I put in the Easter bunny image that I made for my kids, it said that it was human-generated. This is because of some big challenges in deepfake detection. Detection tools often only work on one single way to make a deepfake, so you need multiple tools, and they don't work well on low-quality social media content. Confidence score, 0.76-0.87, how do you know whether that's reliable, if you don't know if the underlying technology is reliable, or whether it works on the manipulation that is being used? And tools to spot an AI manipulation don't spot a manual edit.
הנה דוגמה. השתמשתי בתוכנת זיהוי שידעה להלביש נכון את האפיפיור במעיל. אבל כשהכנסתי את תמונת ארנב הפסחא שהכנתי לילדים שלי, נכתב שהיא נוצרה על ידי אדם. הסיבה לכך היא כמה קשיים גדולים בזיהוי דיפ-פייק. כלי זיהוי עובדים לרוב רק על דרך אחת ליצירת דיפ-פייק, כך שדרושים מספר כלים, והם לא עובדים טוב על תוכן מדיה חברתית באיכות נמוכה. דירוג סיווג, 0.76-0.87, איך יודעים אם זה אמין, אם לא יודעים אם הטכנולוגיה הבסיסית אמינה, או אם היא עובדת על המניפולציה שבה נעשה שימוש? וכלים לאיתור מניפולציות בינה מלאכותית אינם מזהים עריכה ידנית.
These tools also won't be available to everyone. There's a trade-off between security and access, which means if we make them available to anyone, they become useless to everybody, because the people designing the new deception techniques will test them on the publicly available detectors and evade them. But we do need to make sure these are available to the journalists, the community leaders, the election officials, globally, who are our first line of defense, thought through with attention to real-world accessibility and use. Though at the best circumstances, detection tools will be 85 to 95 percent effective, they have to be in the hands of that first line of defense, and they're not, right now.
כלים אלה גם לא יהיו זמינים לכולם. יש פשרה בין אבטחה לגישה, מה שאומר שאם נהפוך אותם לזמינים לכולם, הם ייעשו חסרי-תועלת לכולם, כי האנשים שמתכננים את טכניקות ההונאה החדשות יבדקו אותם בתוכנות הזיהוי הזמינות לציבור ויעקפו אותן. אבל עלינו בהחלט לוודא שהן תהיינה זמינות לעיתונאים, למנהיגי הקהילה, לפקידי הבחירות בעולם כולו, שהם קו ההגנה הראשון שלנו, תוכנות שנבנו תוך תשומת לב לנגישות ולשימוש בעולם האמיתי. למרות שבנסיבות הטובות ביותר, כלי הגילוי יהיו יעילים ב-85 עד 95 אחוזים, עליהם להימצא בידי קו ההגנה הראשון, וכרגע, הם לא.
So for step one, I've been talking about detection after the fact. Step two -- AI is going to be everywhere in our communication, creating, changing, editing. It's not going to be a simple binary of "yes, it's AI" or "phew, it's not." AI is part of all of our communication, so we need to better understand the recipe of what we're consuming.
אז בשלב הראשון דיברתי על גילוי לאחר מעשה. השלב השני -- הבינה המלאכותית תגיע לכל מקום בתקשורת שלנו, היא תיצור, תשנה, תערוך. לא יהיה זיהוי בינארי פשוט של “כן, זה בינה מלאכותית” או “מזל שזה לא.” הבינה המלאכותית היא חלק מכל התקשורת שלנו, ולכן עלינו להבין טוב יותר את המתכון של מה שאנו צורכים.
Some people call this content provenance and disclosure. Technologists have been building ways to add invisible watermarking to AI-generated media. They've also been designing ways -- and I've been part of these efforts -- within a standard called the C2PA, to add cryptographically signed metadata to files. This means data that provides details about the content, cryptographically signed in a way that reinforces our trust in that information. It's an updating record of how AI was used to create or edit it, where humans and other technologies were involved, and how it was distributed. It's basically a recipe and serving instructions for the mix of AI and human that's in what you're seeing and hearing. And it's a critical part of a new AI-infused media literacy.
יש אנשים שקוראים לזה “זיהוי מקור של תוכן וחשיפתו“. טכנולוגים כבר בונים דרכים להוסיף סימני-מים סמויים למדיה שנוצרה ע"י בינה מלאכותית. הם גם תכננו דרכים -- ואני השתתפתי במאמצים אלה-- במסגרת תקן בשם C2PA, להוסיף לקבצים נתוני-על חתומים בהצפנה. כלומר, נתונים שמספקים פרטים על התוכן, חתומים בצורה מוצפנת באופן שמחזק את האמון שלנו במידע זה. זהו תיעוד מתעדכן של אופן השימוש בבינה מלאכותית ביצירתו או בעריכתו, איפה היו מעורבים בני אדם וטכנולוגיות אחרות וכיצד הוא הופץ. זהו בעצם מתכון והוראות הגשה לתערובת של בינה מלאכותית ואדם שנמצאת במה שאתם רואים ושומעים. וזהו חלק קריטי באוריינות של מדיה חדשה ששולבה בה בינה מלאכותית.
And this actually shouldn't sound that crazy. Our communication is moving in this direction already. If you're like me -- you can admit it -- you browse your TikTok “For You” page, and you're used to seeing videos that have an audio source, an AI filter, a green screen, a background, a stitch with another edit. This, in some sense, is the alpha version of this transparency in some of the major platforms we use today. It's just that it does not yet travel across the internet, it’s not reliable, updatable, and it’s not secure.
וזה בעצם לא אמור להישמע כל-כך מטורף. התקשורת שלנו כבר מתקדמת לשם. אם אתם כמוני -- אתם יכולים להודות בזה -- אתם גולשים ב“טיקטוק” בעמוד “בשבילכם” ואתם רגילים לראות סרטונים שיש להם מקור שמע, מסנן בינה מלאכותית, מסך ירוק, רקע, תפר עם עריכה אחרת. זוהי, במובן מסוים, גרסת האלפא של שקיפות זו בכמה מהפלטפורמות העיקריות בהן אנו משתמשים כיום. זה רק לא מסתובב עדיין ברחבי האינטרנט, זה לא אמין, זה לא בר-עדכון וזה לא מאובטח.
Now, there are also big challenges in this type of infrastructure for authenticity. As we create these durable signs of how AI and human were mixed, that carry across the trajectory of how media is made, we need to ensure they don't compromise privacy or backfire globally. We have to get this right.
ישנם גם אתגרים גדולים בסוג זה של תשתית לאותנטיות. כשאנו יוצרים את הסימנים העמידים האלה לתערובת הבינה המלאכותית ואדם, שמשולבים בכל מסלול יצירת המדיה החדשה, עלינו להבטיח שהם לא יפגעו בפרטיות או יפעלו כבומרנג ברחבי העולם. עלינו לעשות את זה נכון.
We can't oblige a citizen journalist filming in a repressive context or a satirical maker using novel gen-AI tools to parody the powerful ... to have to disclose their identity or personally identifiable information in order to use their camera or ChatGPT. Because it's important they be able to retain their ability to have anonymity, at the same time as the tool to create is transparent. This needs to be about the how of AI-human media making, not the who.
איננו יכולים לחייב עיתונאי אזרחי שמצלם אירועי דיכוי, או יוצר סאטירי שמשתמש בכלים חדשניים של בינה מלאכותית יוצרת כדי ללגלג על החזקים, לחשוף את זהותם או את המידע המזהה האישי שלהם כדי שיוכלו להשתמש במצלמה או בצ‘ט ג’י-פי-טי. כי חשוב שהם יוכלו לשמור על אלמוניות, במקביל לשקיפות הכלי בו הם יוצרים. העיקר צריך להיות ה“איך” ביצירת המדיה של בינה מלאכותית-אדם, ולא ה“מי“.
This brings me to the final step. None of this works without a pipeline of responsibility that runs from the foundation models and the open-source projects through to the way that is deployed into systems, APIs and apps, to the platforms where we consume media and communicate.
זה מביא אותי לשלב האחרון. כל זה לא עובד ללא מדרג אחריות החל מהמודלים הבסיסיים ומיזמי הקוד הפתוח דרך אופן היישום במערכות, בממשקי התכנות ובאפליקציות, ועד לפלטפורמות שבהן אנו צורכים מדיה ומתקשרים.
I've spent much of the last 15 years fighting, essentially, a rearguard action, like so many of my colleagues in the human rights world, against the failures of social media. We can't make those mistakes again in this next generation of technology. What this means is that governments need to ensure that within this pipeline of responsibility for AI, there is transparency, accountability and liability.
את רוב 15 השנים האחרונות הקדשתי בעצם למאבק כחלק ממשמר אחורי, כמו רבים כל-כך מעמיתי בעולם זכויות האדם, נגד הכישלונות של המדיה החברתית. איננו יכולים לחזור על הטעויות האלה בדור הבא של הטכנולוגיה. המשמעות היא שהממשלות צריכות להבטיח שכחלק ממדרג האחריות הזה לבינה המלאכותית, יהיו שקיפות, דין וחשבון ואחריות.
Without these three steps -- detection for the people who need it most, provenance that is rights-respecting and that pipeline of responsibility, we're going to get stuck looking in vain for the six-fingered hand, or the eyes that don't blink. We need to take these steps. Otherwise, we risk a world where it gets easier and easier to both fake reality and dismiss reality as potentially faked.
ללא שלושת השלבים האלה -- זיהוי, עבור מי שהכי זקוקים לכך, מקורות, שמכבדים זכויות ומדרג אחריות זה, ניתקע בחיפוש סתמי אחר ידיים עם שש אצבעות, או עיניים שלא ממצמצות. עלינו לנקוט צעדים האלה. אחרת, אנו מסתכנים בעולם שבו נהיה קל יותר ויותר לזייף את המציאות וגם לפטור את המציאות כמזויפת בפוטנציאל.
And that is a world that the political philosopher Hannah Arendt described in these terms: "A people that no longer can believe anything cannot make up its own mind. It is deprived not only of its capacity to act but also of its capacity to think and to judge. And with such a people you can then do what you please." That's a world I know none of us want, that I think we can prevent.
וזהו עולם שהפילוסופית הפוליטית חנה ארנדט תיארה במונחים אלה: “עם שכבר לא יכול להאמין לדבר “לא יכול לקבל החלטות בעצמו. “נשללת ממנו לא רק היכולת לפעול “אלא גם יכולתו לחשוב ולשפוט. “ועם כזה הוא כחומר ביד היוצר“. זהו עולם שאני יודע שאיש מאיתנו לא רוצה בו, ואני חושב שנוכל למנוע אותו.
Thanks.
תודה.
(Cheers and applause)
(תרועות ומחיאות כפיים)