So you go to the doctor and get some tests. The doctor determines that you have high cholesterol and you would benefit from medication to treat it. So you get a pillbox. You have some confidence, your physician has some confidence that this is going to work. The company that invented it did a lot of studies, submitted it to the FDA. They studied it very carefully, skeptically, they approved it. They have a rough idea of how it works, they have a rough idea of what the side effects are. It should be OK. You have a little more of a conversation with your physician and the physician is a little worried because you've been blue, haven't felt like yourself, you haven't been able to enjoy things in life quite as much as you usually do. Your physician says, "You know, I think you have some depression. I'm going to have to give you another pill."
Você vai ao médico e faz alguns exames. o médico considera que seu colesterol está alto e que você deveria tomar uma medicação para tratá-lo. Então você compra uma caixa de remédios. Você está confiante, seu médico está confiante de que isso vai funcionar. A empresa que inventou o remédio fez muitos estudos e enviou para o FDA. Eles fizeram estudos criteriosos, céticos, e deram a aprovação. Eles têm uma ideia de como ele funciona, têm uma ideia de quais são os efeitos colaterais. Deve dar certo. Você conversa mais com seu médico e o médico está preocupado porque você anda deprimido, não tem se sentido como você mesmo, não tem conseguido curtir as coisas da vida como antes. O médico diz: "Sabe, acho que você está meio deprimido. Vou ter que te dar outro remédio."
So now we're talking about two medications. This pill also -- millions of people have taken it, the company did studies, the FDA looked at it -- all good. Think things should go OK. Think things should go OK. Well, wait a minute. How much have we studied these two together?
Então, agora estamos falando de duas medicações. Este remédio também: milhões de pessoas já o tomaram, a empresa pesquisou, a FDA deu uma olhada. Está tudo bem. Deve dar tudo certo. Deve dar tudo certo. Espera um minuto. Pesquisamos sobre esses dois juntos?
Well, it's very hard to do that. In fact, it's not traditionally done. We totally depend on what we call "post-marketing surveillance," after the drugs hit the market. How can we figure out if bad things are happening between two medications? Three? Five? Seven? Ask your favorite person who has several diagnoses how many medications they're on.
É muito difícil fazer isso. Na verdade, normalmente, não é feito. Dependemos totalmente da chamada "fiscalização pós-marketing", depois que o remédio chegou ao mercado. Como podemos descobrir se coisas ruins acontecem entre dois medicamentos? Três? Cinco? Sete? Pergunte à pessoa próxima a você, diagnosticada com várias coisas, quantos medicamentos ela toma.
Why do I care about this problem? I care about it deeply. I'm an informatics and data science guy and really, in my opinion, the only hope -- only hope -- to understand these interactions is to leverage lots of different sources of data in order to figure out when drugs can be used together safely and when it's not so safe.
Por que eu me importo com isso? Eu me importo muito. Sou um cara da informática, da ciência de dados, e na minha opinião a única esperança, a única, para entender essas interações é confrontar muitas fontes diferentes de dados para descobrir quando remédios podem ser usados juntos e de forma segura e quando não é tão seguro.
So let me tell you a data science story. And it begins with my student Nick. Let's call him "Nick," because that's his name.
Vou contar uma história de ciência de dados. Tudo começou com meu aluno Nick. Vamos chamá-lo de "Nick", porque é esse o seu nome.
(Laughter)
(Risos)
Nick was a young student. I said, "You know, Nick, we have to understand how drugs work and how they work together and how they work separately, and we don't have a great understanding. But the FDA has made available an amazing database. It's a database of adverse events. They literally put on the web -- publicly available, you could all download it right now -- hundreds of thousands of adverse event reports from patients, doctors, companies, pharmacists. And these reports are pretty simple: it has all the diseases that the patient has, all the drugs that they're on, and all the adverse events, or side effects, that they experience. It is not all of the adverse events that are occurring in America today, but it's hundreds and hundreds of thousands of drugs.
Nick era um estudante jovem. Eu disse: "Nick, temos que entender como esses remédios funcionam e como funcionam juntos e como funcionam separados, e não sabemos muita coisa." Mas o FDA disponibilizou uma base de dados incrível. Uma base de dados de efeitos adversos. Eles literalmente colocaram na web, disponível ao público, todos vocês podem baixar agora mesmo, centenas de milhares de relatórios de efeitos adversos de pacientes, médicos, empresas e farmacêuticos. Estes relatórios são bem simples: têm todas as doenças das quais o paciente sofre, todos os remédios que ele está tomando, todos os efeitos adversos ou colaterais que ele sentiu. Não são todos os efeitos adversos que estão ocorrendo nos EUA hoje, mas são centenas e centenas de milhares de remédios.
So I said to Nick, "Let's think about glucose. Glucose is very important, and we know it's involved with diabetes. Let's see if we can understand glucose response. I sent Nick off. Nick came back.
Então eu disse ao Nick: "Vamos pensar sobre glicose. Glicose é muito importante e sabemos que tem a ver com a diabetes. Vejamos se conseguimos entender a resposta da glicose." O Nick foi. O Nick voltou.
"Russ," he said, "I've created a classifier that can look at the side effects of a drug based on looking at this database, and can tell you whether that drug is likely to change glucose or not."
"Russ", ele disse, "criei um 'categorizador' que consegue analisar efeitos colaterais de um remédio a partir da análise dessa base de dados, e dizer se aquele remédio pode ou não alterar a glicose."
He did it. It was very simple, in a way. He took all the drugs that were known to change glucose and a bunch of drugs that don't change glucose, and said, "What's the difference in their side effects? Differences in fatigue? In appetite? In urination habits?" All those things conspired to give him a really good predictor. He said, "Russ, I can predict with 93 percent accuracy when a drug will change glucose."
Ele conseguiu. Foi simples, de certa forma. Ele pegou todos os remédios associados a alterações na glicose e um monte que não alteram a glicose, e disse: "Qual é a diferença nos efeitos colaterais deles? Diferenças na fadiga? Apetite? Frequência de urinar?" Tudo isso conspirou para lhe dar um ótimo "prognosticador". Ele disse: "Russ, consigo prever com 93% de precisão quando um remédio altera a glicose."
I said, "Nick, that's great." He's a young student, you have to build his confidence. "But Nick, there's a problem. It's that every physician in the world knows all the drugs that change glucose, because it's core to our practice. So it's great, good job, but not really that interesting, definitely not publishable."
Eu disse: "Nick, que bacana". Ele é um estudante jovem, preciso fomentar sua autoconfiança. "Mas, Nick, há um problema. Todos os médicos do mundo sabem quais remédios mexem na glicose, porque é crucial para nossa prática. Então, bacana, bom trabalho, mas isso não é tão interessante e com certeza não dá para publicar."
(Laughter)
(Risos)
He said, "I know, Russ. I thought you might say that." Nick is smart. "I thought you might say that, so I did one other experiment. I looked at people in this database who were on two drugs, and I looked for signals similar, glucose-changing signals, for people taking two drugs, where each drug alone did not change glucose, but together I saw a strong signal."
Ele disse: "Eu sei, Russ. Achei que diria isso." O Nick é esperto. "Achei que diria isso, então fiz outro experimento. Analisei na base de dados as pessoas que tomam dois remédios. Procurei sinais parecidos, sinais de alterações na glicose, em pessoas que tomam dois remédios, nas quais cada remédio, sozinho, não alterou a glicose, mas que, usados juntos, deixam um sinal relevante."
And I said, "Oh! You're clever. Good idea. Show me the list." And there's a bunch of drugs, not very exciting. But what caught my eye was, on the list there were two drugs: paroxetine, or Paxil, an antidepressant; and pravastatin, or Pravachol, a cholesterol medication.
Eu disse: "Ah! Você é inteligente. Boa ideia. Me mostre a lista." Tinha um monte de remédios, não muito eletrizante. Mas o que chamou minha atenção, foram dois remédios na lista: paroxetina, ou Paxil, um antidepressivo; e pravastatina, ou Pravachol, remédio para o colesterol.
And I said, "Huh. There are millions of Americans on those two drugs." In fact, we learned later, 15 million Americans on paroxetine at the time, 15 million on pravastatin, and a million, we estimated, on both. So that's a million people who might be having some problems with their glucose if this machine-learning mumbo jumbo that he did in the FDA database actually holds up. But I said, "It's still not publishable, because I love what you did with the mumbo jumbo, with the machine learning, but it's not really standard-of-proof evidence that we have." So we have to do something else. Let's go into the Stanford electronic medical record. We have a copy of it that's OK for research, we removed identifying information. And I said, "Let's see if people on these two drugs have problems with their glucose."
Eu disse: "Hum. Há milhões de norte-americanos tomando os dois". Descobrimos depois, 15 milhões nos EUA tomavam paroxetina, e 15 milhões tomavam pravastatina. Um milhão, estimamos, tomavam ambos. Então um milhão de pessoas talvez estivesse com problemas em sua glicose se a máquina de analisar o "blábláblá" da base de dados do FDA realmente funcionasse. Eu disse: "Ainda não dá pra publicar, porque adoro o que fez com o 'blábláblá', com a máquina que analisa, mas essas evidências ainda não estão no padrão necessário." Então temos que fazer outra coisa. Vamos aos registros médicos eletrônicos de Stanford. Temos uma cópia, está boa para a pesquisa, e removemos as identificações. Eu disse: "Vamos ver se as pessoas tomando esses remédios têm problemas com a glicose."
Now there are thousands and thousands of people in the Stanford medical records that take paroxetine and pravastatin. But we needed special patients. We needed patients who were on one of them and had a glucose measurement, then got the second one and had another glucose measurement, all within a reasonable period of time -- something like two months. And when we did that, we found 10 patients. However, eight out of the 10 had a bump in their glucose when they got the second P -- we call this P and P -- when they got the second P. Either one could be first, the second one comes up, glucose went up 20 milligrams per deciliter. Just as a reminder, you walk around normally, if you're not diabetic, with a glucose of around 90. And if it gets up to 120, 125, your doctor begins to think about a potential diagnosis of diabetes. So a 20 bump -- pretty significant.
Há milhares e milhares de pessoas nos registros médicos de Stanford tomando paroxetina e pravastatina. Mas precisamos de pacientes especiais. Precisamos de pacientes que tomaram uma delas e mediram sua glicose, e aí tomaram a outra e mediram de novo sua glicose, tudo isso dentro de um tempo razoável, algo como dois meses. Fizemos isso e achamos dez pacientes. Porém, oito desses dez tiveram aumento da glicose quando tomaram o segundo P, chamamos de "P&P", quando tomaram o segundo P. Qualquer um pode ser o primeiro, quando o segundo aparece, a glicose sobe 20 mg/dL. Só para lembrar: você anda por aí numa boa, se você não for diabético, com a glicose por volta de 90. Se subir para 120, 125, seu médico começa a considerar um diagnóstico de diabetes. Então uma alta de 20 é bem significativa.
I said, "Nick, this is very cool. But, I'm sorry, we still don't have a paper, because this is 10 patients and -- give me a break -- it's not enough patients."
Eu disse: "Nick, isso é muito legal. Mas, desculpe, ainda não temos um artigo, porque são só dez pacientes e, fala sério, não são pacientes suficientes."
So we said, what can we do? And we said, let's call our friends at Harvard and Vanderbilt, who also -- Harvard in Boston, Vanderbilt in Nashville, who also have electronic medical records similar to ours. Let's see if they can find similar patients with the one P, the other P, the glucose measurements in that range that we need.
Então pensamos no que fazer. Decidimos chamar nossos amigos em Harvard e em Vanderbilt, que também, Harvard em Boston, Vanderbilt em Nashville, têm registros médicos eletrônicos parecidos com o nossos. Vejamos se eles acham pacientes similares com um P, o outro P, as medições da glicose no limite que precisamos.
God bless them, Vanderbilt in one week found 40 such patients, same trend. Harvard found 100 patients, same trend. So at the end, we had 150 patients from three diverse medical centers that were telling us that patients getting these two drugs were having their glucose bump somewhat significantly.
Deus abençoe, Vanderbilt achou em uma semana 40 pacientes com a mesma tendência. Harvard achou 100 com a mesma tendência. Ao final, achamos 150 pacientes desses três centros médicos diferentes que diziam que pacientes tomando esses dois medicamentos sofriam aumento da glicose de forma significativa.
More interestingly, we had left out diabetics, because diabetics already have messed up glucose. When we looked at the glucose of diabetics, it was going up 60 milligrams per deciliter, not just 20. This was a big deal, and we said, "We've got to publish this." We submitted the paper. It was all data evidence, data from the FDA, data from Stanford, data from Vanderbilt, data from Harvard. We had not done a single real experiment.
Mais interessante: deixamos de fora diabéticos, porque eles já têm a glicose bem alterada. Quando analisamos a glicose de diabéticos, estava subindo 60 mg/dL, não só 20. Isso era considerável e dissemos: "Temos que publicar isso." Enviamos o artigo. Tudo tinha base em dados, dados do FDA, dados de Stanford, dados de Vanderbilt e dados de Harvard. Não tínhamos feito nenhum experimento físico.
But we were nervous. So Nick, while the paper was in review, went to the lab. We found somebody who knew about lab stuff. I don't do that. I take care of patients, but I don't do pipettes. They taught us how to feed mice drugs. We took mice and we gave them one P, paroxetine. We gave some other mice pravastatin. And we gave a third group of mice both of them. And lo and behold, glucose went up 20 to 60 milligrams per deciliter in the mice.
Mas estávamos nervosos. Então Nick, enquanto o artigo estava sob avaliação, foi ao laboratório. Achamos alguém que entende de coisas de laboratório. Eu não faço isso. Eu cuido de pacientes, não de pipetas. Nos ensinaram a dar remédio a ratos. Pegamos os ratos e demos um P, paroxetina. Demos a outros a pravastatina. Ao terceiro grupo, demos ambas. "Voilà": a glicose subiu entre 20 e 60 mg/dL nos ratos. O artigo foi aceito com base apenas nas evidências informacionais,
So the paper was accepted based on the informatics evidence alone, but we added a little note at the end, saying, oh by the way, if you give these to mice, it goes up.
mas adicionamos uma notinha no final alertando que a glicose aumentará se derem ambas aos ratos. Foi ótimo e a história podia terminar aí.
That was great, and the story could have ended there. But I still have six and a half minutes.
Mas ainda tenho seis minutos e meio.
(Laughter)
(Risos)
So we were sitting around thinking about all of this, and I don't remember who thought of it, but somebody said, "I wonder if patients who are taking these two drugs are noticing side effects of hyperglycemia. They could and they should. How would we ever determine that?"
Então estávamos lá, pensando nisso, e não lembro de quem foi a ideia, mas alguém disse: "Será que os pacientes tomando os dois remédios estão notando efeitos colaterais de hiperglicemia? Eles poderiam e deveriam. Como poderíamos determinar isso?"
We said, well, what do you do? You're taking a medication, one new medication or two, and you get a funny feeling. What do you do? You go to Google and type in the two drugs you're taking or the one drug you're taking, and you type in "side effects." What are you experiencing? So we said OK, let's ask Google if they will share their search logs with us, so that we can look at the search logs and see if patients are doing these kinds of searches. Google, I am sorry to say, denied our request. So I was bummed. I was at a dinner with a colleague who works at Microsoft Research and I said, "We wanted to do this study, Google said no, it's kind of a bummer." He said, "Well, we have the Bing searches."
Pensamos, bem, o que você faz? Você toma um remédio, um remédio novo ou dois, e se sente meio esquisito. O que você faz? Você vai ao Google digita os dois remédios ou o remédio que você está tomando e digita "efeitos colaterais". O que você está sentindo? Dissemos: "Ok. vamos perguntar ao Google se compartilhariam os históricos conosco para analisarmos esses históricos de pesquisa e saber se os pacientes estão fazendo essas buscas. O Google, infelizmente, negou o pedido. Fiquei chateado. Eu estava jantando com um colega que trabalha na Microsoft Research e disse: "Queríamos fazer uma pesquisa, o Google disse não. É meio chato." Ele disse: "Bem, temos as pesquisas do Bing".
(Laughter)
(Risos)
Yeah. That's great. Now I felt like I was --
É. Que legal. Achei que estava...
(Laughter)
(Risos)
I felt like I was talking to Nick again. He works for one of the largest companies in the world, and I'm already trying to make him feel better. But he said, "No, Russ -- you might not understand. We not only have Bing searches, but if you use Internet Explorer to do searches at Google, Yahoo, Bing, any ... Then, for 18 months, we keep that data for research purposes only." I said, "Now you're talking!" This was Eric Horvitz, my friend at Microsoft.
que estava falando com o Nick de novo. Ele trabalha para uma das maiores empresas do mundo e eu tentando fazê-lo se sentir melhor. Ele disse: "Russ, acho que não entendeu. Não temos só as pesquisas do Bing. Se você usar o Internet Explorer para pesquisar no Google, Yahoo, Bing, qualquer um... E, por 18 meses, mantemos esses dados só para fins de pesquisa." Eu disse: "Agora sim!" Foi o Eric Horvitz, meu amigo na Microsoft.
So we did a study where we defined 50 words that a regular person might type in if they're having hyperglycemia, like "fatigue," "loss of appetite," "urinating a lot," "peeing a lot" -- forgive me, but that's one of the things you might type in. So we had 50 phrases that we called the "diabetes words." And we did first a baseline. And it turns out that about .5 to one percent of all searches on the Internet involve one of those words. So that's our baseline rate. If people type in "paroxetine" or "Paxil" -- those are synonyms -- and one of those words, the rate goes up to about two percent of diabetes-type words, if you already know that there's that "paroxetine" word. If it's "pravastatin," the rate goes up to about three percent from the baseline. If both "paroxetine" and "pravastatin" are present in the query, it goes up to 10 percent, a huge three- to four-fold increase in those searches with the two drugs that we were interested in, and diabetes-type words or hyperglycemia-type words.
Fizemos um estudo. Definimos 50 palavras que uma pessoa comum talvez digite se estiver com hiperglicemia. Como "fadiga", "falta de apetite", "urinando muito", "fazendo muito xixi", desculpa, mas essa é uma das coisas que você talvez digite. Tínhamos 50 frases que denominamos "palavras de diabetes". Primeiro estabelecemos uma medida padrão. Acontece que entre 0,5% a 1% de todas as pesquisas na Internet envolvem essas palavras. Essa era nossa medida padrão. Se digitarem "paroxetina" ou "Paxil", são sinônimos, e uma dessas palavras, a taxa sobe cerca de 2% das palavras de diabetes, se você já souber que existe a palavra "paroxetina". Se for "pravastatina", a taxa sobre cerca de 3% do padrão. Se ambas estiverem presentes na pesquisa sobe até 10%, um aumento enorme de três vezes a quatro vezes nas pesquisas com os dois remédios nos quais estamos interessados e palavras de diabetes ou palavras de hiperglicemia.
We published this, and it got some attention. The reason it deserves attention is that patients are telling us their side effects indirectly through their searches. We brought this to the attention of the FDA. They were interested. They have set up social media surveillance programs to collaborate with Microsoft, which had a nice infrastructure for doing this, and others, to look at Twitter feeds, to look at Facebook feeds, to look at search logs, to try to see early signs that drugs, either individually or together, are causing problems.
Publicamos isso e recebeu alguma atenção. A razão pela qual merece atenção é que os pacientes estão nos dizendo indiretamente os efeitos colaterais por meio de suas pesquisas. Levamos isso ao FDA. Eles se interessaram. Eles têm programas de monitoramento de mídias socias para colaborar com a Microsoft, que tem uma boa infraestrutura para fazer isso, e outras, para olhar "feeds" do Twitter, "feeds" do Facebook, olhar históricos de pesquisa, tentar ver sinais precoces que remédios, seja individualmente ou em conjunto, estejam causando problemas.
What do I take from this? Why tell this story? Well, first of all, we have now the promise of big data and medium-sized data to help us understand drug interactions and really, fundamentally, drug actions. How do drugs work? This will create and has created a new ecosystem for understanding how drugs work and to optimize their use. Nick went on; he's a professor at Columbia now. He did this in his PhD for hundreds of pairs of drugs. He found several very important interactions, and so we replicated this and we showed that this is a way that really works for finding drug-drug interactions.
O que tiro disso? Por que contar essa história? Primeiramente, agora temos a promessa da "big data" e dados de tamanho médio para nos ajudar a entender a interação de remédios e, fundamentalmente, ações dos remédios. Como remédios funcionam? Isso vai criar, e já criou, um novo ecossistema para entender como remédios funcionam e para otimizar seu uso. Nick continuou. Ele é professor em Columbia agora. Ele fez isso em seu doutorado com centenas de pares de remédios. Ele encontrou várias interações muito importantes então replicamos isso e mostramos que essa é uma forma que funciona para descobrir interações entre remédios.
However, there's a couple of things. We don't just use pairs of drugs at a time. As I said before, there are patients on three, five, seven, nine drugs. Have they been studied with respect to their nine-way interaction? Yes, we can do pair-wise, A and B, A and C, A and D, but what about A, B, C, D, E, F, G all together, being taken by the same patient, perhaps interacting with each other in ways that either makes them more effective or less effective or causes side effects that are unexpected? We really have no idea. It's a blue sky, open field for us to use data to try to understand the interaction of drugs.
Porém, há algumas coisas. Não só usamos pares de remédios por vez. Como disse, há pacientes tomando três, cinco, sete, nove remédios. Será que já foram estudados em relação às interações dos nove ao mesmo tempo? Sim, podemos fazer com base em pares. "A" e "B", "A" e "C", "A" e "D". Mas e "A, B, C, D, E, F, G" todos juntos, tomados pelo mesmo paciente, talvez interagindo entre si de forma que talvez os deixem mais, ou menos, eficientes; ou causem efeitos colaterais inesperados? Realmente não sabemos. É um céu azul, campo aberto, para usarmos dados para tentar entender a interação de remédios.
Two more lessons: I want you to think about the power that we were able to generate with the data from people who had volunteered their adverse reactions through their pharmacists, through themselves, through their doctors, the people who allowed the databases at Stanford, Harvard, Vanderbilt, to be used for research. People are worried about data. They're worried about their privacy and security -- they should be. We need secure systems. But we can't have a system that closes that data off, because it is too rich of a source of inspiration, innovation and discovery for new things in medicine.
Duas outras lições: quero que pensem sobre o poder que pudemos gerar com dados de pessoas que voluntariamente informaram suas reações adversas por meio de farmacêuticos, médicos, ou elas próprias; com as pessoas que deram acesso aos dados de Stanford, Harvard e Vanderbilt para serem usados para pesquisa. As pessoas se preocupam com dados. Preocupam-se com sua privacidade e segurança, e devem. Precisamos de sistemas seguros. Mas não podemos ter sistemas que enclausuram os dados, porque são uma fonte muito rica de inspiração, inovação e descoberta de novas coisas para a medicina.
And the final thing I want to say is, in this case we found two drugs and it was a little bit of a sad story. The two drugs actually caused problems. They increased glucose. They could throw somebody into diabetes who would otherwise not be in diabetes, and so you would want to use the two drugs very carefully together, perhaps not together, make different choices when you're prescribing. But there was another possibility. We could have found two drugs or three drugs that were interacting in a beneficial way. We could have found new effects of drugs that neither of them has alone, but together, instead of causing a side effect, they could be a new and novel treatment for diseases that don't have treatments or where the treatments are not effective. If we think about drug treatment today, all the major breakthroughs -- for HIV, for tuberculosis, for depression, for diabetes -- it's always a cocktail of drugs.
Finalmente, quero dizer: nesse caso, achamos dois remédios e a história foi meio triste. São dois remédios que causam problemas. Aumentavam a glicose. Poderiam levar alguém à diabetes, que em outra situação não a teria. então deve-se usar os dois juntos com muito cuidado, talvez não usá-los juntos, fazer outras escolhas ao prescrever. Mas tem outra possibilidade. Poderíamos ter encontrado dois ou três remédios que interagissem de forma benéfica. Poderíamos ter achado novos efeitos de remédios que nenhum tem quando sozinho, mas juntos, ao invés de causar um efeito colateral, poderiam ser um novo tratamento para doenças que não têm tratamento ou cujos tratamentos são ineficientes. Se pensarmos em tratamentos com remédios hoje, os avanços mais importantes, contra HIV, tuberculose, depressão, diabetes, são sempre um coquetel de remédios.
And so the upside here, and the subject for a different TED Talk on a different day, is how can we use the same data sources to find good effects of drugs in combination that will provide us new treatments, new insights into how drugs work and enable us to take care of our patients even better?
Então tem um lado positivo aqui. E um tema para outro dia, para outra palestra TED. Será assim que poderemos usar as mesmas fontes de dados para achar bons efeitos em combinações de remédios que forneceriam novos tratamentos, nova compreensão de como remédios funcionam, e nos permitam cuidar de forma ainda melhor de nossos pacientes?
Thank you very much.
Muito obrigado.
(Applause)
(Aplausos)