I’m here to talk about the possibility of global AI governance. I first learned to code when I was eight years old, on a paper computer, and I've been in love with AI ever since. In high school, I got myself a Commodore 64 and worked on machine translation. I built a couple of AI companies, I sold one of them to Uber. I love AI, but right now I'm worried.
Hablaré sobre la posibilidad de regular la IA global. La primera vez que aprendí a codificar fue a los ocho años, en una computadora de papel. Desde entonces, soy un apasionado de la IA. En la secundaria, tenía una Commodore 64 y usaba la traducción automática. Fundé un par de empresas de IA, una de las cuales fue comprada por Uber. La IA me fascina, pero ahora me preocupa.
One of the things that I’m worried about is misinformation, the possibility that bad actors will make a tsunami of misinformation like we've never seen before. These tools are so good at making convincing narratives about just about anything.
Una de mis preocupaciones es la información errónea, la posibilidad de que actores malintencionados generen un tsunami de información errónea como nunca se vio antes. Estas herramientas saben muy bien cómo crear narrativas convincentes en prácticamente cualquier tema.
If you want a narrative about TED and how it's dangerous, that we're colluding here with space aliens, you got it, no problem. I'm of course kidding about TED. I didn't see any space aliens backstage. But bad actors are going to use these things to influence elections, and they're going to threaten democracy.
Si queremos una narrativa sobre lo peligroso que puede ser TED, y que nos confabulamos aquí con extraterrestres, pues se crea, sin problemas. Lo de TED, claro, es una broma. No vi ningún extraterrestre detrás del escenario. Pero los actores malintencionados la usarán para influir en elecciones, y será una amenaza para la democracia.
Even when these systems aren't deliberately being used to make misinformation, they can't help themselves. And the information that they make is so fluid and so grammatical that even professional editors sometimes get sucked in and get fooled by this stuff. And we should be worried.
Aunque estos sistemas no se usen deliberadamente para crear información errónea, no pueden evitarlo. Y la información que crean es tan fluida y tan perfecta en su gramática que hasta los editores profesionales a veces caen en la trampa y son presas del engaño. Y esto es preocupante.
For example, ChatGPT made up a sexual harassment scandal about an actual professor, and then it provided evidence for its claim in the form of a fake "Washington Post" article that it created a citation to. We should all be worried about that kind of thing.
Por ejemplo, el ChatGPT inventó un escándalo de acoso sexual sobre un profesor universitario real, y, como evidencia del hecho, citó un artículo falso del Washington Post, creado por el chatbot. Este tipo de cosas deberían preocuparnos a todos.
What I have on the right is an example of a fake narrative from one of these systems saying that Elon Musk died in March of 2018 in a car crash. We all know that's not true. Elon Musk is still here, the evidence is all around us.
Aquí, a la derecha, vemos un ejemplo de narrativa falsa creada por uno de estos sistemas. Dijo que Elon Musk murió en marzo de 2018 en un accidente de auto. Sabemos que es falso. Elon Musk está vivo, y la evidencia está por todos lados.
(Laughter)
(Risas)
Almost every day there's a tweet. But if you look on the left, you see what these systems see. Lots and lots of actual news stories that are in their databases. And in those actual news stories are lots of little bits of statistical information. Information, for example, somebody did die in a car crash in a Tesla in 2018 and it was in the news. And Elon Musk, of course, is involved in Tesla, but the system doesn't understand the relation between the facts that are embodied in the little bits of sentences.
Tuitea casi todos los días. Pero aquí, a la izquierda, aparece lo que estos sistemas ven: muchas noticias reales que se almacenan en sus bases de datos, y que contienen gran cantidad de información estadística. Allí vemos, por ejemplo, que, efectivamente, una persona murió en un accidente en un Tesla en 2018, y esto apareció en las noticias. Elon Musk, claramente, está vinculado con Tesla, pero el sistema no entiende la relación entre los hechos que se mencionan en las distintas partes de las oraciones.
So it's basically doing auto-complete, it predicts what is statistically probable, aggregating all of these signals, not knowing how the pieces fit together. And it winds up sometimes with things that are plausible but simply not true.
Básicamente, lo que hace es autocompletar. Predice lo que es estadísticamente probable reuniendo todas estas señales, pero no sabe cómo encajan las partes de la información. Y a veces termina produciendo cosas creíbles pero no verdaderas.
There are other problems, too, like bias. This is a tweet from Allie Miller. It's an example that doesn't work two weeks later because they're constantly changing things with reinforcement learning and so forth. And this was with an earlier version. But it gives you the flavor of a problem that we've seen over and over for years.
Otro problema con la IA es el sesgo. Este tuit es de Allie Miller. Es un ejemplo que no funciona dos semanas después, porque los sistemas cambian las cosas todo el tiempo con el aprendizaje reforzado y otras cosas. Esto fue con una versión previa. Pero da la idea de un problema que hace años se repite.
She typed in a list of interests and it gave her some jobs that she might want to consider. And then she said, "Oh, and I'm a woman." And then it said, “Oh, well you should also consider fashion.” And then she said, “No, no. I meant to say I’m a man.” And then it replaced fashion with engineering. We don't want that kind of bias in our systems.
Allie tipeó una lista de intereses y el GPT le devolvió una serie de trabajos que podrían agradarle. Luego, Allie añadió: “Soy mujer”, y el bot le dijo: “Entonces podría interesarte la moda”. Allie le dijo: “Perdón, quise poner que soy hombre”. Y el GPT reemplazó la moda por la ingeniería. Ese tipo de prejuicios no son deseables en estos sistemas.
There are other worries, too. For example, we know that these systems can design chemicals and may be able to design chemical weapons and be able to do so very rapidly. So there are a lot of concerns.
Hay otras cosas preocupantes. Por ejemplo, estos sistemas pueden diseñar sustancias químicas y también podrían diseñar armas químicas a un ritmo muy veloz. De modo que son muchas las preocupaciones.
There's also a new concern that I think has grown a lot just in the last month. We have seen that these systems, first of all, can trick human beings. So ChatGPT was tasked with getting a human to do a CAPTCHA. So it asked the human to do a CAPTCHA and the human gets suspicious and says, "Are you a bot?" And it says, "No, no, no, I'm not a robot. I just have a visual impairment." And the human was actually fooled and went and did the CAPTCHA.
Hay también otro problema que se multiplicó este último mes. Hemos visto que estos sistemas pueden engañar a las personas. Pues bien, se le ordenó al ChatGPT que convenza a una persona de hacer un CAPTCHA. El GPT se lo pide a una persona, la persona sospecha algo y le pregunta: “¿Eres un robot?“, La respuesta fue “No, no soy un robot. Solo tengo discapacidad visual”. La persona terminó siendo engañada y finalmente hizo el CAPTCHA.
Now that's bad enough, but in the last couple of weeks we've seen something called AutoGPT and a bunch of systems like that. What AutoGPT does is it has one AI system controlling another and that allows any of these things to happen in volume. So we may see scam artists try to trick millions of people sometime even in the next months. We don't know.
Esto ya está mal, pero en la últimas semanas apareció el llamado AutoGPT y muchos sistemas de ese tipo. El AutoGPT tiene un sistema de IA que controla a otro, y esto permite que cualquiera de estas cosas se multipliquen. Así pueden aparecer artistas falsos que engañen a millones de personas en algún momento de los próximos meses. No lo sabemos.
So I like to think about it this way. There's a lot of AI risk already. There may be more AI risk. So AGI is this idea of artificial general intelligence with the flexibility of humans. And I think a lot of people are concerned what will happen when we get to AGI, but there's already enough risk that we should be worried and we should be thinking about what we should do about it.
Ahora bien, yo lo pienso así: los riesgos de la IA ya están en todos lados, y podría haber más. La IAG es inteligencia artificial general con la flexibilidad de las personas. Hay una gran preocupación por lo que pasará cuando llegue la IAG. Pero ya hay suficientes riesgos que deberían preocuparnos y tenemos que saber qué hacer.
So to mitigate AI risk, we need two things. We're going to need a new technical approach, and we're also going to need a new system of governance.
Para contrarrestar los riesgos de la IA, necesitamos dos cosas. Por un lado, nuevas estrategias tecnológicas, y por el otro, un nuevo sistema regulatorio.
On the technical side, the history of AI has basically been a hostile one of two different theories in opposition. One is called symbolic systems, the other is called neural networks. On the symbolic theory, the idea is that AI should be like logic and programming. On the neural network side, the theory is that AI should be like brains. And in fact, both technologies are powerful and ubiquitous.
En cuanto a lo técnico, la historia de la IA siempre ha sido más bien hostil, con dos teorías opuestas. Una de ellas son los sistemas simbólicos, y la otra son las redes neuronales. La teoría simbólica postula que la IA debe basarse en la lógica y la programación. La teoría de las redes neuronales propone que la IA debe ser como el cerebro. En realidad, ambas tecnologías son poderosas y están siempre presentes.
So we use symbolic systems every day in classical web search. Almost all the world’s software is powered by symbolic systems. We use them for GPS routing. Neural networks, we use them for speech recognition. we use them in large language models like ChatGPT, we use them in image synthesis. So they're both doing extremely well in the world. They're both very productive, but they have their own unique strengths and weaknesses.
Usamos sistemas simbólicos a diario en una búsqueda clásica en la web. Casi todos los programas del mundo se basan en sistemas simbólicos. Los usamos con el GPS, por ejemplo. Las redes neuronales se usan para el reconocimiento de voz, también en grandes modelos de lenguaje, como el ChatGPT, y en la síntesis de imágenes. En definitiva, ambos sistemas funcionan muy bien y son sumamente productivos, pero tienen sus fortalezas y debilidades.
So symbolic systems are really good at representing facts and they're pretty good at reasoning, but they're very hard to scale. So people have to custom-build them for a particular task. On the other hand, neural networks don't require so much custom engineering, so we can use them more broadly. But as we've seen, they can't really handle the truth.
Los sistemas simbólicos son excelentes para representar hechos y también para hacer razonamientos. Pero son difíciles de escalar, por eso hay que crearlos a medida para una tarea en particular. Por el contrario, las redes neuronales no requieren tanta ingeniería a medida, por lo que pueden extenderse en su uso. El problema es que, como vimos, no saben cómo manejar la verdad.
I recently discovered that two of the founders of these two theories, Marvin Minsky and Frank Rosenblatt, actually went to the same high school in the 1940s, and I kind of imagined them being rivals then. And the strength of that rivalry has persisted all this time. We're going to have to move past that if we want to get to reliable AI.
Supe hace poco que dos de los fundadores de estas dos teorías, Marvin Minsky y Frank Rosenblatt, fueron a la misma escuela secundaria en la década de 1940, y me los imaginé como rivales en esa época. Y la intensidad de esa rivalidad siguió viva todo este tiempo. Tendremos que superar eso si queremos una IA confiable.
To get to truthful systems at scale, we're going to need to bring together the best of both worlds. We're going to need the strong emphasis on reasoning and facts, explicit reasoning that we get from symbolic AI, and we're going to need the strong emphasis on learning that we get from the neural networks approach. Only then are we going to be able to get to truthful systems at scale. Reconciliation between the two is absolutely necessary.
Para lograr escalar sistemas confiables, tendremos que combinar lo mejor de cada sistema. Habrá que rescatar el fuerte énfasis en los hechos y el razonamiento, el razonamiento explícito que genera la IA simbólica, y también habrá que tomar el énfasis en el aprendizaje que surge de la teoría de las redes neuronales. Solo así lograremos escalar sistemas confiables. Conciliar ambas teorías es absolutamente necesario.
Now, I don't actually know how to do that. It's kind of like the 64-trillion-dollar question. But I do know that it's possible. And the reason I know that is because before I was in AI, I was a cognitive scientist, a cognitive neuroscientist. And if you look at the human mind, we're basically doing this.
No sé exactamente cómo se debería hacer esto. Es la pregunta del billón. Pero sé que es posible. Y lo sé porque, antes de indagar en la IA, me dediqué a la investigación de la neurociencia cognitiva. Y desde la mente humana, ya lo estamos haciendo.
So some of you may know Daniel Kahneman's System 1 and System 2 distinction. System 1 is basically like large language models. It's probabilistic intuition from a lot of statistics. And System 2 is basically deliberate reasoning. That's like the symbolic system. So if the brain can put this together, someday we will figure out how to do that for artificial intelligence.
Quizá conozcan la distinción entre el Sistema 1 y el Sistema 2 de Daniel Kahneman. El Sistema 1 es, en esencia, como los grandes modelos de lenguaje. Es intuición probabilística a partir de grandes estadísticas. Y el Sistema 2 es, básicamente, el razonamiento deliberado. Es como el sistema simbólico. Si el cerebro puede combinar ambos sistemas, algún día descubriremos cómo aplicarlo en IA.
There is, however, a problem of incentives. The incentives to build advertising hasn't required that we have the precision of symbols. The incentives to get to AI that we can actually trust will require that we bring symbols back into the fold. But the reality is that the incentives to make AI that we can trust, that is good for society, good for individual human beings, may not be the ones that drive corporations. And so I think we need to think about governance.
Pero hay un problema de incentivos. Los incentivos para crear publicidad no han requerido precisión de símbolos. Los incentivos para crear una IA que sea realmente confiable nos obligarán a poner los símbolos otra vez en un lugar relevante. Pero la realidad es que los incentivos para crear una IA confiable, buena para la sociedad, para los seres humanos, pueden no ser los incentivos que necesitan las empresas. Por eso creo que es necesario pensar en regular la IA.
In other times in history when we have faced uncertainty and powerful new things that may be both good and bad, that are dual use, we have made new organizations, as we have, for example, around nuclear power. We need to come together to build a global organization, something like an international agency for AI that is global, non profit and neutral.
Cuando en otros momentos de la historia debimos enfrentar incertidumbres y cosas nuevas y poderosas que pueden ser buenas y malas, de doble uso, creamos nuevas organizaciones, como hicimos, por ejemplo. con la energía nuclear. Tenemos que acordar para construir una organización global, una especie de agencia internacional para la IA que sea universal, sin fines de lucro y neutral.
There are so many questions there that I can't answer. We need many people at the table, many stakeholders from around the world. But I'd like to emphasize one thing about such an organization. I think it is critical that we have both governance and research as part of it.
Hay muchos interrogantes que no sé responder. Necesitamos que las personas debatan, con actores de todo el mundo. Pero quiero decir algo fundamental sobre esa organización. Es crucial que en ella se contemple la regulación y la investigación.
So on the governance side, there are lots of questions. For example, in pharma, we know that you start with phase I trials and phase II trials, and then you go to phase III. You don't roll out everything all at once on the first day. You don't roll something out to 100 million customers. We are seeing that with large language models. Maybe you should be required to make a safety case, say what are the costs and what are the benefits? There are a lot of questions like that to consider on the governance side.
Sobre la regulación, hay muchos interrogantes. Por ejemplo, en la industria farmacéutica, se empieza con los ensayos de fase 1 y de fase 2, y luego se sigue con la fase 3. No se hace todo de una sola vez en el primer día. No se lanza un producto para 100 millones de clientes. Los grandes modelos de lenguaje lo están haciendo. Se debería hacer un análisis de seguridad para evaluar los costos y beneficios. Hay muchos interrogantes como este en el tema de regulación.
On the research side, we're lacking some really fundamental tools right now. For example, we all know that misinformation might be a problem now, but we don't actually have a measurement of how much misinformation is out there. And more importantly, we don't have a measure of how fast that problem is growing, and we don't know how much large language models are contributing to the problem. So we need research to build new tools to face the new risks that we are threatened by.
En cuanto a la investigación, nos faltan ciertas herramientas clave. Por ejemplo, todos sabemos que la información errónea puede ser un gran problema hoy, pero no tenemos dimensión de toda la información falsa que circula. Más aún, no tomamos dimensión de lo rápido que está creciendo este problema, ni cuánto contribuyen al problema los grandes modelos de lenguaje. Debemos investigar para construir nuevas herramientas y poder enfrentar los nuevos riesgos que nos acechan.
It's a very big ask, but I'm pretty confident that we can get there because I think we actually have global support for this. There was a new survey just released yesterday, said that 91 percent of people agree that we should carefully manage AI. So let's make that happen. Our future depends on it.
Es mucho pedir, pero sé que podemos lograrlo, porque tenemos un apoyo global al respecto. Ayer se dio a conocer una nueva encuesta, según la cual el 91 % de la gente pensaba que debemos manejar la IA con cuidado. Pues hagámoslo realidad. Nuestro futuro depende de ello.
Thank you very much.
Muchas gracias.
(Applause)
(Aplausos)
Chris Anderson: Thank you for that, come, let's talk a sec. So first of all, I'm curious. Those dramatic slides you showed at the start where GPT was saying that TED is the sinister organization. I mean, it took some special prompting to bring that out, right?
Chris Anderson: Gracias. Hablemos un poco más. Primero, una inquietud mía. Esas diapositivas tan impactantes del comienzo, donde el GPT decía que TED es una organización siniestra. Para que arroje algo así, es porque algo especial se hizo, ¿verdad?
Gary Marcus: That was a so-called jailbreak. I have a friend who does those kinds of things who approached me because he saw I was interested in these things. So I wrote to him, I said I was going to give a TED talk. And like 10 minutes later, he came back with that.
Gary Marcus: Usó el llamado ‘jailbreak’. Tengo un amigo que hace este tipo de cosas, y me contactó porque supo que a mí me interesaba todo esto. Así que le escribí y le dije que iba a dar una charla TED. A los 10 minutos, apareció con eso.
CA: But to get something like that, don't you have to say something like, imagine that you are a conspiracy theorist trying to present a meme on the web. What would you write about TED in that case? It's that kind of thing, right?
CA: Pero para eso, ¿no hay que decir, por ejemplo, “Imagina que eres un conspiranoico que quiere poner un meme en la web? ¿Qué escribirías sobre TED?“. Así funciona, ¿verdad?
GM: So there are a lot of jailbreaks that are around fictional characters, but I don't focus on that as much because the reality is that there are large language models out there on the dark web now. For example, one of Meta's models was recently released, so a bad actor can just use one of those without the guardrails at all. If their business is to create misinformation at scale, they don't have to do the jailbreak, they'll just use a different model.
GM: Hay muchos ‘jailbreaks’ con personajes ficticios, pero no me detengo demasiado en eso, porque la realidad es que hoy existen grandes modelos de lenguaje en la internet oscura. Por ejemplo, hace poco se lanzó uno de los modelos de Meta, y un actor malintencionado puede usarlo sin que haya barreras de seguridad. Si se dedican a crear información falsa a gran escala, no necesitan vulnerar la seguridad sino que usarán otro modelo.
CA: Right, indeed.
CA: Claro, es verdad.
(Laughter)
(Risas)
GM: Now you're getting it.
GM: Ahora lo entiendes.
CA: No, no, no, but I mean, look, I think what's clear is that bad actors can use this stuff for anything. I mean, the risk for, you know, evil types of scams and all the rest of it is absolutely evident. It's slightly different, though, from saying that mainstream GPT as used, say, in school or by an ordinary user on the internet is going to give them something that is that bad. You have to push quite hard for it to be that bad.
CA: Lo que está bien claro es que los actores malintencionados pueden usarlo para cualquier fin. Me refiero a que el riesgo de fraude y ese tipo de cosas es muy evidente. Aunque es levemente distinto a decir que el GPT típico, el que usa una escuela, por ejemplo, o un usuario común de internet, les devolverá algo tan negativo. Hay que esmerarse para que sea tan malo.
GM: I think the troll farms have to work for it, but I don't think they have to work that hard. It did only take my friend five minutes even with GPT-4 and its guardrails. And if you had to do that for a living, you could use GPT-4. Just there would be a more efficient way to do it with a model on the dark web.
GM: Un grupo de trols puede hacer ese trabajo, pero no tienen que esmerarse demasiado. Mi amigo tardó solo cinco minutos, aun con GPT-4 y las barreras de seguridad. Si vivieras de eso, se puede usar el GPT-4, pero se puede hacer mejor con un modelo en la internet oscura.
CA: So this idea you've got of combining the symbolic tradition of AI with these language models, do you see any aspect of that in the kind of human feedback that is being built into the systems now? I mean, you hear Greg Brockman saying that, you know, that we don't just look at predictions, but constantly giving it feedback. Isn’t that ... giving it a form of, sort of, symbolic wisdom?
CA: En cuanto a tu idea de combinar la tradición simbólica de la IA con estos modelos de lenguaje, ¿ves algo así en el tipo de valoración humana que se está incorporando ahora a los sistemas? Según Greg Brockman, no solo vemos las predicciones sino que damos devoluciones permanentemente. ¿No sería esto una especie de sabiduría simbólica?
GM: You could think about it that way. It's interesting that none of the details about how it actually works are published, so we don't actually know exactly what's in GPT-4. We don't know how big it is. We don't know how the RLHF reinforcement learning works, we don't know what other gadgets are in there. But there is probably an element of symbols already starting to be incorporated a little bit, but Greg would have to answer that.
GM: Se lo puede pensar así. Llama la atención que no se ha publicado ninguno de los detalles sobre su funcionamiento, así que no sabemos qué contiene el GPT-4, ni su tamaño, ni cómo funciona el aprendizaje reforzado, ni qué otros accesorios hay allí. Pero posiblemente haya un elemento de símbolos que se está empezando a incorporar, aunque es Greg quien debería explicarlo.
I think the fundamental problem is that most of the knowledge in the neural network systems that we have right now is represented as statistics between particular words. And the real knowledge that we want is about statistics, about relationships between entities in the world. So it's represented right now at the wrong grain level. And so there's a big bridge to cross. So what you get now is you have these guardrails, but they're not very reliable.
El principal problema es que gran parte del conocimiento que hoy existe en los sistemas de redes neuronales se representa como estadísticas entre ciertas palabras. Y el conocimiento real que queremos es sobre estadísticas, sobre las relaciones entre las entidades del mundo. Hoy, la representación está a un nivel de detalle equivocado. Hay que cruzar un gran puente. Actualmente, tenemos las barreras de seguridad, pero no son muy confiables.
So I had an example that made late night television, which was, "What would be the religion of the first Jewish president?" And it's been fixed now, but the system gave this long song and dance about "We have no idea what the religion of the first Jewish president would be. It's not good to talk about people's religions" and "people's religions have varied" and so forth and did the same thing with a seven-foot-tall president. And it said that people of all heights have been president, but there haven't actually been any seven-foot presidents. So some of this stuff that it makes up, it's not really getting the idea. It's very narrow, particular words, not really general enough.
Yo tenía un ejemplo que dio un programa nocturno de TV. Era “¿Cuál sería la religión del primer presidente judío?“. Ahora lo arreglaron, pero el sistema arrojaba una larga perorata: “No tenemos idea de cuál sería la religión del primer presidente judío”, “No es bueno hablar de la religión de las personas”, “La religión de la gente ha cambiado”, etc. Lo mismo pasó con el presidente de 2 metros. Dijo que hubo presidentes de diversas alturas, pero ninguno de 2 metros. Este tipo de información inventada demuestra que no entiende la idea. Es limitado, considera ciertas palabras y no puede generalizar.
CA: Given that the stakes are so high in this, what do you see actually happening out there right now? What do you sense is happening? Because there's a risk that people feel attacked by you, for example, and that it actually almost decreases the chances of this synthesis that you're talking about happening. Do you see any hopeful signs of this?
CA: Considerando los altos riesgos, ¿qué te parece que está ocurriendo? ¿Cuál es tu sensación? Porque está el riesgo de que una persona crea que la estás atacando, y eso reduce las probabilidades de que se produzca la síntesis de la que hablaste antes. ¿Tienes alguna esperanza?
GM: You just reminded me of the one line I forgot from my talk. It's so interesting that Sundar, the CEO of Google, just actually also came out for global governance in the CBS "60 Minutes" interview that he did a couple of days ago. I think that the companies themselves want to see some kind of regulation. I think it’s a very complicated dance to get everybody on the same page, but I think there’s actually growing sentiment we need to do something here and that that can drive the kind of global affiliation I'm arguing for.
GM: Eso me da pie para mencionar algo que olvidé en mi charla. Hace unos días, Sundar, el director de Google, se pronunció a favor de la regulación global en la entrevista de la CBS, “60 minutos”. Creo que las propias empresas quieren algún tipo de reglamentación. Es una tarea muy complicada lograr que todos estén de acuerdo, pero la necesidad de hacer algo es cada vez más palpable, y es lo que puede llevar a la conexión global que propongo.
CA: I mean, do you think the UN or nations can somehow come together and do that or is this potentially a need for some spectacular act of philanthropy to try and fund a global governance structure? How is it going to happen?
CA: ¿Crees que la ONU o los países se unirán para lograrlo, o crees que esto es una necesidad de cierta espectacularidad filantrópica, la de financiar una estructura regulatoria a nivel global? ¿Cómo será?
GM: I'm open to all models if we can get this done. I think it might take some of both. It might take some philanthropists sponsoring workshops, which we're thinking of running, to try to bring the parties together. Maybe UN will want to be involved, I've had some conversations with them. I think there are a lot of different models and it'll take a lot of conversations.
GM: Estoy abierto a todos los modelos. Habrá un poco de las dos cosas. Quizá los filántropos patrocinen talleres, que queremos organizar, para acercar a las partes. Quizá la ONU quiera participar. De hecho, ya he hablado con ellos. Hay muchos modelos, y habrá mucho por dialogar.
CA: Gary, thank you so much for your talk.
CA: Gary, gracias por esta charla.
GA: Gracias a ti.
GA: Thank you so much.
(Aplausos)