Five years ago, I stood on the TED stage and warned about the dangers of superintelligence. I was wrong. It went even worse than I thought.
Cinque anni fa, sono salito sul palco TED, mettendo in guardia sui pericoli della Super Intelligenza. Mi sbagliavo. È andata ancora peggio di quanto pensassi.
(Laughter)
(Risate)
I never thought governments would let AI companies get this far without any meaningful regulation. And the progress of AI went even faster than I predicted. Look, I showed this abstract landscape of tasks where the elevation represented how hard it was for AI to do each task at human level. And the sea level represented what AI could be back then. And boy or boy, has the sea been rising fast ever since. But a lot of these tasks have already gone blub blub blub blub blub blub. And the water is on track to submerge all land, matching human intelligence at all cognitive tasks.
Impensabile che i governi permettessero alle aziende di IA di andare così lontano senza alcuna regolamentazione al riguardo. Lo sviluppo dell’IA è andato persino più veloce di quanto avessi previsto. Guardate, ho mostrato questo panorama astratto di compiti in cui l'elevazione rappresentava quanto fosse difficile per l'IA svolgere ogni compito a livello umano. Il livello del mare rappresentava ciò che l’IA poteva essere allora. E accidenti, da allora il mare si è innalzato velocemente. Ma molte di queste attività sono già state incorporate glu glu glu glu glu. L’acqua è sulla buona strada per sommergere tutta la terra, eguagliando l’intelligenza umana in tutti i compiti cognitivi.
This is a definition of artificial general intelligence, AGI, which is the stated goal of companies like OpenAI, Google DeepMind and Anthropic. And these companies are also trying to build superintelligence, leaving human intelligence far behind. And many think it'll only be a few years, maybe, from AGI to superintelligence.
Questa è la definizione di Intelligenza Artificiale Generale, IAG, che è l'obiettivo dichiarato di aziende come OpenAI, Google DeepMind e Anthropic. Queste aziende provano anche a costruire la Super Intelligenza, che va molto oltre l’intelligenza umana. Molti pensano che in pochi anni, forse, passeremo da IAG alla Super Intelligenza.
So when are we going to get AGI? Well, until recently, most AI researchers thought it was at least decades away. And now Microsoft is saying, "Oh, it's almost here." We're seeing sparks of AGI in ChatGPT-4, and the Metaculus betting site is showing the time left to AGI plummeting from 20 years away to three years away in the last 18 months. And leading industry people are now predicting that we have maybe two or three years left until we get outsmarted. So you better stop talking about AGI as a long-term risk, or someone might call you a dinosaur stuck in the past.
Quando avremo l’IAG? Poco tempo fa, gran parte dei ricercatori di IA pensava ci volessero decenni. E ora Microsoft dice: «Oh, ci siamo quasi». Stiamo vedendo barlumi di IAG in ChatGPT-4 e il sito di scommesse Metaculus mostra che il tempo per l’IAG è crollato da 20 anni a tre anni di distanza negli ultimi 18 mesi. I principali esponenti del settore ora prevedono che ci restino forse due o tre anni prima di essere superati in astuzia. È meglio smettere di parlare dell’IAG come di un rischio a lungo termine, o qualcuno potrebbe definirvi un dinosauro bloccato nel passato.
It's really remarkable how AI has progressed recently. Not long ago, robots moved like this.
È davvero straordinario constatare come l’IA sia progredita di recente. Non molto tempo fa, i robot si muovevano in questo modo.
(Music)
(Musica)
Now they can dance.
Ora sanno ballare.
(Music)
(Musica)
Just last year, Midjourney produced this image. This year, the exact same prompt produces this. Deepfakes are getting really convincing.
Solo l’anno scorso, Midjourney ha prodotto questa immagine. Quest’anno, la stessa identica richiesta produce questo. I deepfake stanno diventando davvero convincenti.
(Video) Deepfake Tom Cruise: I’m going to show you some magic.
(Video) Deepfake Tom Cruise: Ti mostrerò un po’ di magia.
It's the real thing.
È tutto vero.
(Laughs)
(Risata)
I mean ... It's all ... the real ... thing.
Voglio dire... È tutto... è tutto... vero. Max Tegmark: O forse no?
Max Tegmark: Or is it?
And Yoshua Bengio now argues that large language models have mastered language and knowledge to the point that they pass the Turing test. I know some skeptics are saying, "Nah, they're just overhyped stochastic parrots that lack a model of the world," but they clearly have a representation of the world. In fact, we recently found that Llama-2 even has a literal map of the world in it. And AI also builds geometric representations of more abstract concepts like what it thinks is true and false.
Yoshua Bengio ora sostiene che i grandi modelli linguistici padroneggiano linguaggio e conoscenze al punto di superare il test di Turing. So che alcuni scettici dicono: «No, sono solo pappagalli stocastici sopravvalutati che non hanno un modello del mondo», invece hanno una chiara rappresentazione del mondo. Abbiamo scoperto di recente che Llama-2 contiene letteralmente una mappa mondiale. Inoltre, l’intelligenza artificiale crea rappresentazioni geometriche di concetti più astratti, ad esempio, di ciò che crede vero o falso.
So what's going to happen if we get AGI and superintelligence? If you only remember one thing from my talk, let it be this. AI godfather, Alan Turing predicted that the default outcome is the machines take control. The machines take control. I know this sounds like science fiction, but, you know, having AI as smart as GPT-4 also sounded like science fiction not long ago. And if you think of AI, if you think of superintelligence in particular, as just another technology, like electricity, you're probably not very worried. But you see, Turing thinks of superintelligence more like a new species. Think of it, we are building creepy, super capable, amoral psychopaths that don't sleep and think much faster than us, can make copies of themselves and have nothing human about them at all. So what could possibly go wrong?
Cosa succederà se avremo AGI e Super Intelligenza? Se ricorderete almeno una cosa del mio talk, lasciate che sia questa. Il padrino dell’IA, Alan Turing, ha predetto che il risultato scontato è che le macchine prenderanno il controllo. Le macchine prenderanno il controllo. So che sembra fantascienza, ma avere un’IA intelligente come GPT-4 sembrava anche fantascienza fino a poco tempo fa. Se considerate l’IA, se considerate la Super Intelligenza, in particolare, una tecnologia come tante, come l’elettricità, probabilmente non vi preoccupa molto. Ma vedete, Turing considerava la Super Intelligenza più come una nuova specie. Pensateci, stiamo costruendo raccapriccianti, super capaci amorali psicopatici, che non dormono e pensano molto più velocemente di noi, possono duplicarsi senza avere nulla di umano. Quindi, cosa potrebbe andare storto?
(Laughter)
(Risate)
And it's not just Turing. OpenAI CEO Sam Altman, who gave us ChatGPT, recently warned that it could be "lights out for all of us." Anthropic CEO, Dario Amodei, even put a number on this risk: 10-25 percent. And it's not just them. Human extinction from AI went mainstream in May when all the AGI CEOs and who's who of AI researchers came on and warned about it. And last month, even the number one of the European Union warned about human extinction by AI.
Non la pensa così solo Turing. Il CEO di OpenAI Sam Altman, che ci ha fornito ChatGPT, ha recentemente avvertito che potrebbe «sostituire completamente tutti noi». Il CEO di Anthropic, Dario Amodei, ha addirittura stimato questo rischio: Dal 10 al 25 percento. Non sono solo loro a pensarlo. L’estinzione umana dovuta all’IA è un’idea diventata virale a maggio, quando tutti gli amministratori delegati dell’IAG e i principali ricercatori di IA ci hanno messo in guardia. Il mese scorso, persino il numero uno dell’Unione Europea ha messo in guardia sull’estinzione umana a causa dell’IA.
So let me summarize everything I've said so far in just one slide of cat memes. Three years ago, people were saying it's inevitable, superintelligence, it'll be fine, it's decades away. Last year it was more like, It's inevitable, it'll be fine. Now it's more like, It's inevitable.
Lasciatemi riassumere quanto ho detto finora in una sola slide di meme sui gatti. Tre anni fa, la gente diceva: «La Super Intelligenza è inevitabile, andrà tutto bene, mancano ancora decenni». L’anno scorso, si diceva più: «È inevitabile, andrà tutto bene». Ora l’atteggiamento è: «È inevitabile».
(Laughter)
(Risate)
But let's take a deep breath and try to raise our spirits and cheer ourselves up, because the rest of my talk is going to be about the good news, that it's not inevitable, and we can absolutely do better, alright?
Ma facciamo un respiro profondo e proviamo a risollevare il morale e a riprenderci, perché il resto del mio talk riguarderà le buone notizie, tutto questo non è inevitabile e possiamo decisamente migliorare, siete d’accordo?
(Applause)
(Applausi)
So ... The real problem is that we lack a convincing plan for AI safety. People are working hard on evals looking for risky AI behavior, and that's good, but clearly not good enough. They're basically training AI to not say bad things rather than not do bad things. Moreover, evals and debugging are really just necessary, not sufficient, conditions for safety. In other words, they can prove the presence of risk, not the absence of risk. So let's up our game, alright? Try to see how we can make provably safe AI that we can control.
Quindi... Il vero problema è la mancanza di un piano plausibile per la sicurezza dell’IA. Le persone stanno lavorando sodo sulle valutazioni, alla ricerca di comportamenti rischiosi legati all'IA, e questo è positivo, ma chiaramente non sufficiente. Praticamente stanno addestrando l’IA a non dire cose cattive, ma non a non fare cose cattive. Inoltre, le valutazioni e il debug sono in realtà solo condizioni necessarie, ma non sufficienti, per la sicurezza. In altre parole, possono verificare la presenza di un rischio, non l'assenza di rischio. Facciamo di meglio, va bene? Proviamo a rendere l’IA dimostrabilmente sicura e controllabile.
Guardrails try to physically limit harm. But if your adversary is superintelligence or a human using superintelligence against you, right, trying is just not enough. You need to succeed. Harm needs to be impossible. So we need provably safe systems. Provable, not in the weak sense of convincing some judge, but in the strong sense of there being something that's impossible according to the laws of physics. Because no matter how smart an AI is, it can't violate the laws of physics and do what's provably impossible. Steve Omohundro and I wrote a paper about this, and we're optimistic that this vision can really work. So let me tell you a little bit about how.
I guardrail cercano di limitare fisicamente i danni. Ma se l’avversario è la Super Intelligenza o un umano che usa la Super Intelligenza contro di voi, provarci non è sufficiente. Dovete vincere. Il danno deve essere impossibile. Necessitiamo di sistemi dimostrabilmente sicuri. Dimostrabile, non nel senso debole di convincere qualche giudice, ma nel senso forte che esiste qualcosa di impossibile in base alle leggi della fisica. Non importa quanto sia intelligente un’IA, essa non può violare le leggi della fisica e fare ciò che è provatamente impossibile. Io e Steve Omohundro abbiamo scritto un articolo al riguardo e siamo ottimisti che questa visione possa davvero funzionare. Permettetemi di spiegarvi come.
There's a venerable field called formal verification, which proves stuff about code. And I'm optimistic that AI will revolutionize automatic proving business and also revolutionize program synthesis, the ability to automatically write really good code. So here is how our vision works. You, the human, write a specification that your AI tool must obey, that it's impossible to log in to your laptop without the correct password, or that a DNA printer cannot synthesize dangerous viruses. Then a very powerful AI creates both your AI tool and a proof that your tool meets your spec. Machine learning is uniquely good at learning algorithms, but once the algorithm has been learned, you can re-implement it in a different computational architecture that's easier to verify.
Esiste un campo venerabile chiamato verifica formale, che dimostra cose riguardanti il codice. Sono ottimista che l’IA rivoluzionerà il campo delle verifiche automatiche e rivoluzionerà la sintesi dei programmi, ossia la capacità di scrivere un ottimo codice in automatico. Ecco come funziona la nostra visione. Tu, in quanto essere umano, scrivi una specifica a cui il tuo strumento di IA deve obbedire, per esempio che è impossibile accedere al tuo laptop senza la password corretta, o che una stampante per il DNA non può sintetizzare virus pericolosi. Un’IA molto potente crea sia il vostro strumento di IA, sia una prova che lo strumento soddisfa le vostre specifiche. L’apprendimento automatico è straordinario nell’apprendimento degli algoritmi, ma una volta appreso l'algoritmo, si può implementarlo di nuovo in un’architettura computazionale diversa e più facile da verificare.
Now you might worry, how on earth am I going to understand this powerful AI and the powerful AI tool it built and the proof, if they're all too complicated for any human to grasp? Here is the really great news. You don't have to understand any of that stuff, because it's much easier to verify a proof than to discover it. So you only have to understand or trust your proof-checking code, which could be just a few hundred lines long. And Steve and I envision that such proof checkers get built into all our compute hardware, so it just becomes impossible to run very unsafe code.
Ora potreste obiettare, come diavolo farò a capire questa potente IA e il potente strumento che ha creato e la prova, se sono tutti troppo complicati da comprendere per un umano? Ecco la notizia davvero fantastica. Non dovete capire nessuna di queste cose, perché è molto più facile verificare una prova che scoprirla. Dovete solo capire o fidarvi del codice di verifica delle prove, che potrebbe essere lungo solo poche centinaia di righe. Steve e io immaginiamo che tali test valutativi siano integrati in tutto il nostro hardware di calcolo, rendendo impossibile eseguire codici molto pericolosi.
What if the AI, though, isn't able to write that AI tool for you? Then there's another possibility. You train an AI to first just learn to do what you want and then you use a different AI to extract out the learned algorithm and knowledge for you, like an AI neuroscientist. This is in the spirit of the field of mechanistic interpretability, which is making really impressive rapid progress. Provably safe systems are clearly not impossible.
E se l’IA, però, non fosse in grado di creare un tale strumento di IA? In questo caso c’è un’altra possibilità. Si addestra un’IA perché apprenda prima a fare ciò che si desidera e poi si utilizza un’altra IA per estrarre l’algoritmo e le conoscenze apprese per voi, come un neuroscienziato dell’IA. Questo è nello spirito del campo dell’interpretabilità meccanicistica, che sta facendo progressi rapidi e davvero sorprendenti. Sistemi dimostrabilmente sicuri non sono impossibili.
Let's look at a simple example of where we first machine-learn an algorithm from data and then distill it out in the form of code that provably meets spec, OK? Let’s do it with an algorithm that you probably learned in first grade, addition, where you loop over the digits from right to left, and sometimes you do a carry. We'll do it in binary, as if you were counting on two fingers instead of ten. And we first train a recurrent neural network, never mind the details, to nail the task. So now you have this algorithm that you don't understand how it works in a black box defined by a bunch of tables of numbers that we, in nerd speak, call parameters. Then we use an AI tool we built to automatically distill out from this the learned algorithm in the form of a Python program. And then we use the formal verification tool known as Dafny to prove that this program correctly adds up any numbers, not just the numbers that were in your training data.
Vediamo un semplice esempio in cui prima c’è un algoritmo che apprende automaticamente a partire dai dati e poi lo estraiamo sotto forma di codice che soddisfa per certo le specifiche, ok? Proviamo con un algoritmo che di certo avrete imparato in prima elementare, l’addizione, in cui si scorrono le cifre da destra a sinistra e, a volte, si esegue un riporto. Lo faremo in linguaggio binario, come se contassi su due dita anziché dieci. Per prima cosa addestriamo una rete neurale ricorsiva, lasciate stare i dettagli, per portare a termine il compito. Ora avete questo algoritmo che non capite come funziona, in una scatola nera definita da una serie di tabelle con numeri che noi, in linguaggio nerd, chiamiamo parametri. Dopo usiamo uno strumento di IA creato per estrarre automaticamente l'algoritmo appreso sotto forma di programma Python. Infine, utilizziamo lo strumento di verifica formale noto come Daphne per dimostrare che questo programma somma correttamente tutti i numeri, non solo i numeri presenti nei computi di addestramento.
So in summary, provably safe AI, I'm convinced is possible, but it's going to take time and work. And in the meantime, let's remember that all the AI benefits that most people are excited about actually don't require superintelligence. We can have a long and amazing future with AI.
In sintesi, un’IA dimostrabilmente sicura, sono convinto sia possibile, ma richiederà tempo e lavoro. Nel frattempo, ricordiamo che tutti i vantaggi dell’IA che entusiasmano la maggior parte delle persone in realtà non richiedono la Super Intelligenza. Possiamo avere un futuro lungo e fantastico con l'IA.
So let's not pause AI. Let's just pause the reckless race to superintelligence. Let's stop obsessively training ever-larger models that we don't understand. Let's heed the warning from ancient Greece and not get hubris, like in the story of Icarus. Because artificial intelligence is giving us incredible intellectual wings with which we can do things beyond our wildest dreams if we stop obsessively trying to fly to the sun.
Quindi, non mettiamo in pausa l’IA. Mettiamo in pausa la corsa spericolata alla Super Intelligenza. Smettiamola di addestrare ossessivamente modelli sempre più grandi che non comprendiamo. Facciamo attenzione agli avvertimenti dell’antica Grecia e non diventiamo arroganti, come nel mito di Icaro. Perché l’intelligenza artificiale ci sta regalando incredibili ali intellettuali con cui possiamo fare cose che superano i nostri sogni più sfrenati se abbandoniamo l’ossessione di volare verso il sole.
Thank you.
Vi ringrazio.
(Applause)
(Applausi)