So, there's about seven and a half billion of us. The World Health Organization tells us that 300 million of us are depressed, and about 800,000 people take their lives every year. A tiny subset of them choose a profoundly nihilistic route, which is they die in the act of killing as many people as possible. These are some famous recent examples. And here's a less famous one. It happened about nine weeks ago. If you don't remember it, it's because there's a lot of this going on. Wikipedia just last year counted 323 mass shootings in my home country, the United States. Not all of those shooters were suicidal, not all of them were maximizing their death tolls, but many, many were.
Nous sommes sept milliards et demi. Pour l’Organisation Mondiale de la Santé, 300 millions sont déprimés, et 800 000 se suicident chaque année. Une infime portion d’entre eux choisit une voie profondément nihiliste : ils meurent en tuant le plus de gens possible. Voici des exemples connus et assez récents. En voici un moins connu, qui s’est passé il y a neuf semaines. Vous l’avez oublié, car ce n’est pas un cas isolé. Wikipédia a comptabilisé 323 fusillades de masse, l’année dernière, dans mon pays natal, les États-Unis. Tous ces tueurs n’étaient pas suicidaires, et n’ont pas cherché à maximiser le nombre de victimes, mais beaucoup l’ont fait.
An important question becomes: What limits do these people have? Take the Vegas shooter. He slaughtered 58 people. Did he stop there because he'd had enough? No, and we know this because he shot and injured another 422 people who he surely would have preferred to kill. We have no reason to think he would have stopped at 4,200. In fact, with somebody this nihilistic, he may well have gladly killed us all. We don't know. What we do know is this: when suicidal murderers really go all in, technology is the force multiplier.
On se pose une question importante : quelles sont leurs limites ? Prenez le tueur de Las Vegas : il a massacré 58 personnes. S’est-il arrêté parce que ça lui suffisait ? Non, et nous le savons, car il a tiré et a blessé 422 personnes qu’il aurait sûrement préféré tuer. Il ne se serait donc pas arrêté à 4 200. D’ailleurs, comme il était si nihiliste, il nous aurait volontiers tous tués. On ne le sait pas. Ce que nous savons est que quand les assassins suicidaires s’y mettent vraiment, la technologie est l’effet multiplicateur.
Here's an example. Several years back, there was a rash of 10 mass school attacks in China carried out with things like knives and hammers and cleavers, because guns are really hard to get there. By macabre coincidence, this last attack occurred just hours before the massacre in Newtown, Connecticut. But that one American attack killed roughly the same number of victims as the 10 Chinese attacks combined. So we can fairly say, knife: terrible; gun: way worse. And airplane: massively worse, as pilot Andreas Lubitz showed when he forced 149 people to join him in his suicide, smashing a plane into the French Alps.
Voici un exemple : il y a quelques années, une vague d’attaques contre des écoles chinoises commises avec des couteaux, des marteaux et des couperets, car il y est difficile d’avoir des armes. Coïncidence macabre, cette dernière attaque a eu lieu quelques heures avant la tuerie de Newtown, dans le Connecticut. Mais cette attaque américaine a fait environ le même nombre de victimes que les 10 attaques chinoises combinées. On peut donc l’affirmer : couteau : horrible ; pistolet : pire. Et un avion : massivement pire, comme l’a montré le pilote Andreas Lubitz, en forçant 149 personnes à s’associer à son suicide, en écrasant un avion dans les Alpes.
And there are other examples of this. And I'm afraid there are far more deadly weapons in our near future than airplanes, ones not made of metal. So let's consider the apocalyptic dynamics that will ensue if suicidal mass murder hitches a ride on a rapidly advancing field that for the most part holds boundless promise for society. Somewhere out there in the world, there's a tiny group of people who would attempt, however ineptly, to kill us all if they could just figure out how. The Vegas shooter may or may not have been one of them, but with seven and a half billion of us, this is a nonzero population. There's plenty of suicidal nihilists out there. We've already seen that. There's people with severe mood disorders that they can't even control. There are people who have just suffered deranging traumas, etc. etc. As for the corollary group, its size was simply zero forever until the Cold War, when suddenly, the leaders of two global alliances attained the ability to blow up the world.
Il y a d’autres exemples similaires. Je crains qu’il y ait prochainement des armes bien plus létales que les avions, des armes pas faites en métal. Considérons ensemble les dynamiques apocalyptiques qui en découleraient, si un tueur de masse profite d’un domaine en avance technologique qui, dans l’ensemble, promet des bienfaits infinis pour la société. Quelque part dans le monde, il existe un petit groupe de gens qui essaieraient de tous nous tuer, si seulement ils savaient comment le faire. Le tueur de Las Vegas était peut-être comme ça, mais parmi 7,5 milliards de personnes, de telles personnes existent. Il y a plein de nihilistes suicidaires. Nous venons de le voir. Des personnes avec de graves et incontrôlables troubles de l’humeur. Des personnes qui souffrent de traumatismes bouleversants, etc., etc. Quant à notre petit groupe, il est simplement inexistant jusqu’à la Guerre froide, quand, soudainement, les dirigeants des deux coalitions ont gagné la possibilité de faire sauter la planète.
The number of people with actual doomsday buttons has stayed fairly stable since then. But I'm afraid it's about to grow, and not just to three. This is going off the charts. I mean, it's going to look like a tech business plan.
Le nombre de personnes avec un bouton pour la fin du monde est resté relativement stable depuis lors. Mais je crains qu’il ne soit en augmentation et pas qu’il passe à trois, on va battre les records. Ça va ressembler à un business plan de start-up !
(Laughter)
(Rires)
And the reason is, we're in the era of exponential technologies, which routinely take eternal impossibilities and make them the actual superpowers of one or two living geniuses and -- this is the big part -- then diffuse those powers to more or less everybody.
Parce qu’on est dans une ère de technologies exponentielles, qui prennent en permanence des impossibilités et leur donnent les super-pouvoirs d’un ou deux génies vivants et — surtout — les distribuent à tout le monde.
Now, here's a benign example. If you wanted to play checkers with a computer in 1952, you literally had to be that guy, then commandeer one of the world's 19 copies of that computer, then used your Nobel-adjacent brain to teach it checkers. That was the bar. Today, you just need to know someone who knows someone who owns a telephone, because computing is an exponential technology.
Voici un exemple positif. Si vous vouliez jouer aux Dames contre un ordinateur en 1952, le seul moyen était d’être ce type, réquisitionner l’un des 19 exemplaires de cet ordinateur, et avoir des compétences de génie pour lui apprendre à jouer aux dames. Voilà le niveau ! Aujourd’hui il suffit de connaitre quelqu’un avec un portable, parce que l’informatique est une technologie exponentielle.
So is synthetic biology, which I'll now refer to as "synbio." And in 2011, a couple of researchers did something every bit as ingenious and unprecedented as the checkers trick with H5N1 flu. This is a strain that kills up to 60 percent of the people it infects, more than Ebola. But it is so uncontagious that it's killed fewer than 50 people since 2015. So these researchers edited H5N1's genome and made it every bit as deadly, but also wildly contagious. The news arm of one of the world's top two scientific journals said if this thing got out, it would likely cause a pandemic with perhaps millions of deaths. And Dr. Paul Keim said he could not think of an organism as scary as this, which is the last thing I personally want to hear from the Chairman of the National Science Advisory Board on Biosecurity. And by the way, Dr. Keim also said this --
Comme la biologie de synthèse, que j’appellerai « biosyn ». En 2011, quelques chercheurs ont fait quelque chose d’aussi génial que le truc des Dames avec le virus H5N1. Une souche qui tue jusqu’à 60 % des gens infectés, plus qu’Ebola. Mais elle est si peu contagieuse qu’elle a tué moins de 50 personnes depuis 2015. Ces chercheurs ont modifié le génome du H5N1 et l’ont rendu tout aussi mortel, mais très contagieux ! Le directeur d’une des plus prestigieuses revues scientifiques a déclaré que si ça sortait, ça causerait une épidémie avec des millions de morts. Et le Docteur Paul Keim a déclaré n’avoir jamais imaginé d’organismes aussi terribles. Ce que, personnellement, je n’ai pas envie d’entendre du directeur du Conseil national sur la bio-securité. Monsieur Keim a aussi déclaré
["I don't think anthrax is scary at all compared to this."]
« Le bacille du charbon ne fait pas peur à côté de ça. »
And he's also one of these.
Et il est : [Expert en maladie du charbon] (Rires)
[Anthrax expert] (Laughter)
Now, the good news about the 2011 biohack is that the people who did it didn't mean us any harm. They're virologists. They believed they were advancing science. The bad news is that technology does not freeze in place, and over the next few decades, their feat will become trivially easy. In fact, it's already way easier, because as we learned yesterday morning, just two years after they did their work, the CRISPR system was harnessed for genome editing. This was a radical breakthrough that makes gene editing massively easier -- so easy that CRISPR is now taught in high schools. And this stuff is moving quicker than computing. That slow, stodgy white line up there? That's Moore's law. That shows us how quickly computing is getting cheaper. That steep, crazy-fun green line, that shows us how quickly genetic sequencing is getting cheaper. Now, gene editing and synthesis and sequencing, they're different disciplines, but they're tightly related. And they're all moving in these headlong rates. And the keys to the kingdom are these tiny, tiny data files. That is an excerpt of H5N1's genome. The whole thing can fit on just a few pages. And yeah, don't worry, you can Google this as soon as you get home. It's all over the internet, right? And the part that made it contagious could well fit on a single Post-it note. And once a genius makes a data file, any idiot can copy it, distribute it worldwide or print it. And I don't just mean print it on this, but soon enough, on this.
Heureusement, les personnes responsables du biopiratage de 2011 ne cherchaient pas à nuire, ce sont des virologues. Ils pensaient faire progresser la science. Mais la technologie ne s’arrête jamais, et dans les prochaines années, leurs prouesses seront assez simples. En effet, c’est déjà plus simple, comme l’on a vu hier matin, deux ans après leur travail, le système CRISPR a été utilisé pour une modification génétique. Une avancée radicale qui simplifie la modification de gènes — si simple que le CRISPR est enseigné au lycée. Cela bouge plus rapidement que l’informatique. Cette ligne blanche, lente et lourde ? C’est la loi de Moore. Qui prédit comment l’informatique devient moins chère. Et cette ligne verte, qui descend vite, nous montre que le prix du séquençage génétique devient moins cher. La modification, la synthèse et le séquençage des gènes sont des disciplines différentes mais liées. Elles bougent toutes au même rythme. L’élément-clé, ce sont ces petits fichiers. Ceci est un extrait du gène H5N1. La totalité tient en quelques pages. Ne vous inquiétez pas, vous pouvez chercher sur Google, vous le trouverez. La partie contagieuse pourrait bien tenir sur un Post-it. Et une fois qu’un génie crée un fichier, n’importe quel idiot peut le copier, le distribuer dans le monde ou l’imprimer. Et je ne veux pas parler de ce genre d’impression, mais de ça.
So let's imagine a scenario. Let's say it's 2026, to pick an arbitrary year, and a brilliant virologist, hoping to advance science and better understand pandemics, designs a new bug. It's as contagious as chicken pox, it's as deadly as Ebola, and it incubates for months and months before causing an outbreak, so the whole world can be infected before the first sign of trouble. Then, her university gets hacked. And of course, this is not science fiction. In fact, just one recent US indictment documents the hacking of over 300 universities. So that file with the bug's genome on it spreads to the internet's dark corners. And once a file is out there, it never comes back -- just ask anybody who runs a movie studio or a music label. So now maybe in 2026, it would take a true genius like our virologist to make the actual living critter, but 15 years later, it may just take a DNA printer you can find at any high school. And if not? Give it a couple of decades.
Imaginons un cas possible. On est, par exemple, en 2026, une virologue géniale qui espère faire avancer la science et mieux comprendre les épidémies, conçoit de nouveaux microbes. Contagieux comme la varicelle, mortels comme Ebola, et incubent pendant des mois avant l’épidémie ; par conséquent tout le monde peut être contaminé avant le premier symptôme. Puis son université est piratée. Non, ce n’est pas de la science-fiction. En effet, une inculpation récente a prouvé le piratage de plus de 300 universités aux États-Unis. Le fichier avec le gène des microbes se répand dans les coins sombres d’internet, où les fichiers ne peuvent disparaître — comme le savent les studios de cinéma et les majors de la musique. Peut-être qu’en 2026, il faudrait un génie, comme notre virologue, pour créer la bestiole, mais 15 ans après, il suffira peut-être de l’imprimante ADN de n’importe quel lycée. Et si ça ne suffit pas ? Attendez encore quelques décennies.
So, a quick aside: Remember this slide here? Turn your attention to these two words. If somebody tries this and is only 0.1 percent effective, eight million people die. That's 2,500 9/11s. Civilization would survive, but it would be permanently disfigured. So this means we need to be concerned about anybody who has the faintest shot on goal, not just geniuses. So today, there's a tiny handful of geniuses who probably could make a doomsday bug that's .1-percent effective and maybe even a little bit more. They tend to be stable and successful and so not part of this group. So I guess I'm sorta kinda barely OK-ish with that. But what about after technology improves and diffuses and thousands of life science grad students are enabled? Are every single one of them going to be perfectly stable? Or how about a few years after that, where every stress-ridden premed is fully enabled? At some point in that time frame, these circles are going to intersect, because we're now starting to talk about hundreds of thousands of people throughout the world. And they recently included that guy who dressed up like the Joker and shot 12 people to death at a Batman premiere. That was a neuroscience PhD student with an NIH grant.
Une petite parenthèse : voyez-vous cette diapo ? Regardez ces deux mots-là. [peut-être] Si quelqu’un essaie de le faire et est efficace à 0,1 % seulement, huit millions de personnes meurent. C’est 2.500 « 11 Septembre » La civilisation survivrait, mais elle serait défigurée pour toujours. Cela veut dire donc qu’on doit faire attention à tous ceux qui ont cet objectif, pas seulement les génies. Aujourd’hui il y a quelques génies qui pourraient créer des microbes fin-du-monde 1 % efficaces, peut-être un peu plus. Ils sont assez stables et accomplis, pas du tout comme ce groupe. Je suis donc à peu près rassuré. Mais après ? Quand la technologie s’améliorera, et se diffusera, et qu’on aura des milliers d’étudiants diplômés en biologie ? Est-ce que chacun d’entre eux sera parfaitement stable ? Et quelques années plus tard, où va-t-on trouver les étudiants en prépa angoissés ? À un certain moment, ces cercles vont se croiser. On parle de centaines de milliers de personnes dans le monde entier. Parmi lesquels ce type qui s’est déguisé comme le Joker et a tué 12 personnes à la première de Batman. C’était un doctorant avec une bourse du NIH.
OK, plot twist: I think we can actually survive this one if we start focusing on it now. And I say this, having spent countless hours interviewing global leaders in synbio and also researching their work for science podcasts I create. I have come to fear their work, in case I haven't gotten that out there yet --
OK, un rebondissement : je pense qu’on peut y survivre, si on s'en occupe maintenant. Je vous dis ça, car j’ai passé d’innombrables heures à interviewer les leaders mondiaux du synbio, et en étudiant leurs travaux pour mes podcasts scientifiques. Je crains leur travail, au cas où vous ne l’auriez pas compris.
(Laughter)
(Rires)
but more than that, to revere its potential. This stuff will cure cancer, heal our environment and stop our cruel treatment of other creatures. So how do we get all this without, you know, annihilating ourselves?
J’ai aussi appris à admirer leur potentiel. Cela va guérir le cancer, soigner l’environnement et mettre fin à notre façon cruelle de traiter les animaux. Comme fait-on cela sans nous anéantir ?
First thing: like it or not, synbio is here, so let's embrace the technology. If we do a tech ban, that would only hand the wheel to bad actors. Unlike nuclear programs, biology can be practiced invisibly. Massive Soviet cheating on bioweapons treaties made that very clear, as does every illegal drug lab in the world.
Premièrement, qu’on le veuille ou non, la synbio existe, adoptons donc la technologie. Si on l’interdit, ça ne fera qu’aider les personnes avec de mauvaises intentions. Contrairement aux programmes nucléaires, on peut pratiquer la biologie de manière invisible. La triche soviétique sur les traités contre les armes biologiques l’a bien montré, ainsi que tous les labos de drogues illégales dans le monde.
Secondly, enlist the experts. Let's sign them up and make more of them. For every million and one bioengineers we have, at least a million of them are going to be on our side. I mean, Al Capone would be on our side in this one. The bar to being a good guy is just so low. And massive numerical advantages do matter, even when a single bad guy can inflict grievous harm, because among many other things, they allow us to exploit the hell out of this: we have years and hopefully decades to prepare and prevent. The first person to try something awful -- and there will be somebody -- may not even be born yet.
Deuxièmement, engageons des experts. Embauchons ces experts et profitons d’eux. Sur un million et un de bio-ingénieurs, un million d’entre eux sont dans notre camp. Même Al Capone serait avec nous, la limite pour être du côté des « gentils » est si basse. Et cet avantage numérique massif est important même quand une seule personne peut causer autant de dégâts. Parce qu’entre autres, ils nous donnent l’occasion de profiter de ça : on a des années et des décennies pour se préparer et faire de la prévention. La première personne qui fera des choses atroces — et il y en aura une — n’est peut-être pas encore née.
Next, this needs to be an effort that spans society, and all of you need to be a part of it, because we cannot ask a tiny group of experts to be responsible for both containing and exploiting synthetic biology, because we already tried that with the financial system, and our stewards became massively corrupted as they figured out how they could cut corners, inflict massive, massive risks on the rest of us and privatize the gains, becoming repulsively wealthy while they stuck us with the $22 trillion bill.
Puis, ça doit être un effort collectif, auquel vous devez tous participer, car on ne peut pas demander à un petit groupe d’experts d’être en charge de retenir et d’exploiter la biologie de synthèse, On l’a déjà essayé avec le système financier, et nos intendants sont devenus énormément corrompus quand ils ont découvert comment tricher, nous infliger d’énormes risques et privatiser les gains. Devenant affreusement riches en nous laissant avec une addition de 22 000 milliards.
And more recently --
Et plus récemment -
(Applause)
(Applaudissements)
Are you the ones who have gotten the thank-you letters? I'm still waiting for mine. I just figured they were too busy to be grateful.
Vous êtes ceux qui ont reçu les lettres de remerciement ? J’attends encore la mienne. J’ai pensé qu’ils étaient trop occupés pour nous remercier.
And much more recently, online privacy started looming as a huge issue, and we basically outsourced it. And once again: privatized gains, socialized losses. Is anybody else sick of this pattern?
Et beaucoup plus récemment, la vie privée en ligne est apparue comme un problème majeur qu’on a, en fait, externalisé. Je répète : gains privatisés, pertes collectivisées. Est-ce que quelqu’un en a marre de ça ?
(Applause)
(Applaudissements)
So we need a more inclusive way to safeguard our prosperity, our privacy and soon, our lives. So how do we do all of this?
Il faudra donc une façon plus inclusive de sauvegarder notre prospérité, nos vies privées, et bientôt, nos vies. Comment fait-on tout ça ?
Well, when bodies fight pathogens, they use ingenious immune systems, which are very complex and multilayered. Why don't we build one of these for the whole damn ecosystem? There's a year of TED Talks that could be given on this first critical layer. So these are just a couple of many great ideas that are out there.
Quand nos corps luttent contre des agents pathogènes, ils utilisent des systèmes immunitaires ingénieux qui sont très complexes et multicouches. Pourquoi ne créons-nous pas ça pour notre écosystème ? On pourrait faire un an de TED Talks sur cette première couche vitale. Voici quelques idées auxquelles on pourrait se référer.
Some R and D muscle could take the very primitive pathogen sensors that we currently have and put them on a very steep price performance curve that would quickly become ingenious and networked and gradually as widespread as smoke detectors and even smartphones. On a very related note: vaccines have all kinds of problems when it comes to manufacturing and distribution, and once they're made, they can't adapt to new threats or mutations. We need an agile biomanufacturing base extending into every single pharmacy and maybe even our homes. Printer technology for vaccines and medicines is within reach if we prioritize it.
Quelques chercheurs de génie pourraient améliorer nos primitifs détecteurs de pathogènes, faire diminuer leur prix très vite, qui deviendraient rapidement ingénieux, interconnectés, et deviendraient aussi répandus que les détecteurs de fumée et les smartphones. Une petite remarque : les vaccins ont toutes sortes de problèmes qui concernent leur production et leur distribution, une fois créés, ils ne peuvent pas s’adapter aux menaces ou aux mutations. On a besoin d’une plateforme de biofabrication agile, qu'on trouverait dans chaque pharmacie et même chez nous. La technologie d’impression des vaccins et des médicaments est accessible si on lui donne la priorité.
Next, mental health. Many people who commit suicidal mass murder suffer from crippling, treatment-resistant depression or PTSD. We need noble researchers like Rick Doblin working on this, but we also need the selfish jerks who are way more numerous to appreciate the fact that acute suffering will soon endanger all of us, not just those afflicted. Those jerks will then join us and Al Capone in fighting this condition. Third, each and every one of us can be and should be a white blood cell in this immune system. Suicidal mass murderers can be despicable, yes, but they're also terribly broken and sad people, and those of us who aren't need to do what we can to make sure nobody goes unloved.
Après, la santé mentale. De nombreux meurtriers de masse suicidaires ont une dépression invalidante ou du stress post-traumatique. On a besoin de nobles chercheurs tels que Rick Doblin pour travailler sur ça, mais aussi de cons égoïstes - qui sont beaucoup plus nombreux - pour comprendre qu’une grande souffrance va nous tous menacer, pas seulement ceux qui sont touchés. Ces cons vont nous rejoindre et Al Capone pour lutter contre cette situation. Enfin, chacun d’entre nous peut et devrait être un globule blanc de ce système immunitaire. Les meurtriers de masse suicidaires peuvent être détestables, oui, mais ils sont aussi des gens vraiment brisés et tristes. Ceux qui ne le sont pas doivent faire leur possible pour que personne ne soit mal-aimé.
(Applause)
(Applaudissements)
Next, we need to make fighting these dangers core to the discipline of synthetic biology. There are companies out there that at least claim they let their engineers spend 20 percent of their time doing whatever they want. What if those who hire bioengineers and become them give 20 percent of their time to building defenses for the common good? Not a bad idea, right?
Après, on doit combattre ces dangers au sein de la biologie de synthèse. Il y a des entreprises qui affirment permettre aux ingénieurs de passer 20 % de leur temps à faire ce qu’ils veulent. Et si ceux qui embauchent les bioingénieurs, et ceux qui le deviennent, consacraient 20 % de leur temps à bâtir des défenses pour le bien commun ? Pas mal comme idée, non ?
(Applause)
(Applaudissements)
Then, finally: this won't be any fun. But we need to let our minds go to some very, very dark places, and thank you for letting me take you there this evening. We survived the Cold War because every one of us understood and respected the danger, in part, because we had spent decades telling ourselves terrifying ghost stories with names like "Dr. Strangelove" and "War Games." This is no time to remain calm. This is one of those rare times when it's incredibly productive to freak the hell out --
Enfin : ce ne sera pas drôle. Mais on doit laisser nos esprits s’aventurer dans des endroits très sombres et merci de m’avoir laissé vous y amener ce soir. On a survécu à la Guerre froide parce que chacun de nous a compris et respecté le danger, et, entre autres, parce qu’on a passé des décennies à nous raconter des histoires effrayantes comme « Docteur Folamour » et « Wargames ». Ce n’est pas le moment de rester calme. C’est un des rares moments où il est extrêmement fructueux de céder à la panique —
(Laughter)
(Rires)
to come up with some ghost stories and use our fear as fuel to fight this danger.
d’inventer des histoires effrayantes et d’utiliser nos peurs comme carburant contre ce risque.
Because, all these terrible scenarios I've painted -- they are not destiny. They're optional. The danger is still kind of distant. And that means it will only befall us if we allow it to.
En effet, toutes les situations affreuses que j’ai illustrées — ne sont pas notre destinée. Elles sont une possibilité. Le danger est encore un peu distant. Cela signifie qu’il nous arrivera dessus que si nous le permettons.
Let's not.
Ne faisons pas ça.
Thank you very much for listening.
Merci de votre attention.
(Applause)
(Applaudissements)