So I'm a doctor, but I kind of slipped sideways into research, and now I'm an epidemiologist. And nobody really knows what epidemiology is. Epidemiology is the science of how we know in the real world if something is good for you or bad for you. And it's best understood through example as the science of those crazy, wacky newspaper headlines. And these are just some of the examples.
私は医者ですが 研究の道を進んで 今では疫学者となりました 疫学について 誰も理解してくれません 疫学とは 何かが人に良いか悪いかを実社会で どう決めるかという科学です 具体例で理解してもらいましょう 例えば ばかげて珍妙な新聞の見出しにみられる科学について ここに挙げたのはほんの一部です
These are from the Daily Mail. Every country in the world has a newspaper like this. It has this bizarre, ongoing philosophical project of dividing all the inanimate objects in the world into the ones that either cause or prevent cancer. Here are some of the things they said cause cancer: divorce, Wi-Fi, toiletries and coffee. Some things they say prevent cancer: crusts, red pepper, licorice and coffee. So you can see there are contradictions. Coffee both causes and prevents cancer. As you start to read on, you can see that maybe there's some political valence behind some of this. For women, housework prevents breast cancer, but for men, shopping could make you impotent.
デイリー・メールからです どの国にもあるような新聞です 同紙は奇妙で哲学的ともいえるプロジェクトの最中で 身の周りのありふれた物を ガンの原因とガンを防ぐ物とに分けようとしています 最近 こんな物がガンの原因とされました 離婚 Wi-Fi 化粧品やコーヒー こちらは ガンを防ぐとされた物 パンの皮や唐辛子 甘草やコーヒー ここで既に 矛盾が生じています コーヒーはガンを招くし予防にもなります 読み始めるとわかりますが ある種の政治的な意図も隠されています 女性は家事をすると乳ガンの予防になり 男性は買い物に行くと不能になります こんな話の背後の科学を
(Laughter)
So we know that we need to start unpicking the science behind this. And what I hope to show is that unpicking the evidence behind dodgy claims isn't a kind of nasty, carping activity; it's socially useful. But it's also an extremely valuable explanatory tool, because real science is about critically appraising the evidence for somebody else's position. That's what happens in academic journals, it's what happens at academic conferences -- the Q&A session after a postdoc presents data is often a bloodbath. And nobody minds that; we actively welcome it. It's like a consenting intellectual S&M activity.
解き明かして行く必要があります お伝えしたいことは 怪しげな情報を解きほぐし 背後にある根拠を明らかにすることは 面倒なあら探しなどではなく 社会的に意義あることです また極めて有益な 説明の手段となります なぜなら本当の科学では他人の研究の 根拠を厳しく評価するからです これは学術誌上で行われています 学術会議でも行われます データを示した後の Q&A セッションは しばしば血の海となります 気にするどころか むしろ歓迎されます 知的な SM 活動に集中するのです
(Laughter)
これから私の分野である
So what I'm going to show you is all of the main things, all of the main features of my discipline, evidence-based medicine. And I will talk you through all of these and demonstrate how they work, exclusively using examples of people getting stuff wrong.
科学的根拠に基づく医療の 肝となる原則や特徴について 説明しながら その中でそれらの原則や特徴が どう作用するのかを示します 間違っている例で説明していきましょう
We'll start with the absolute weakest form of evidence known to man, and that is authority. In science, we don't care how many letters you have after your name -- we want to know what your reasons are for believing something. How do you know that something is good for us or bad for us? But we're also unimpressed by authority because it's so easy to contrive. This is somebody called Dr. Gillian McKeith, PhD, or, to give her full medical title, Gillian McKeith.
まずは権威という 科学的根拠から 最も遠い例を取り上げます 科学において 肩書の多さは関係ありません 何かを信じる その根拠が問題にされるのです 何かが健康によい・悪いと 何をもって判断しているかです しかし権威とはすごいもので 容易にでっち上げられるのです この人は「ジリアン・マキース博士」 もとい「ジリアン・マキース」です
(Laughter)
(笑)
Again, every country has somebody like this. She is our TV diet guru. She has five series of prime-time television, giving out very lavish and exotic health advice. She, it turns out, has a non-accredited correspondence course PhD from somewhere in America. She also boasts that she's a certified professional member of the American Association of Nutritional Consultants, which sounds very glamorous; you get a certificate. This one belongs to my dead cat, Hettie. She was a horrible cat. You go to the website, fill out the form, give them $60, it arrives in the post. That's not the only reason we think this person is an idiot. She also says things like eat lots of dark green leaves, they contain chlorophyll and really oxygenate your blood. And anybody who's done school biology remembers that chlorophyll and chloroplasts only make oxygen in sunlight, and it's quite dark in your bowels after you've eaten spinach.
どこの国にもいるタイプの人です ダイエットの専門家としてテレビに登場し ゴールデンアワーの番組を5本も持ち 風変わりで金のかかるアドバイスをしていますが アメリカのどこかで 無認定の通信教育を受けて 博士号を取得したことが判明しています アメリカ栄養コンサルタント協会の公認— プロ・メンバーを自称しています 実に華麗なるご経歴ですが 認定証などは誰でも入手できます これは昔 うちの猫がもらった認定証です ウェブサイトでフォームに記入して 60ドルを支払うと送られてきます この人が愚かだと思う理由は他にもあります 緑葉野菜を多く食べた方がいい なぜなら葉緑素が多くて 血液を酸化するからと言うのです 学校で生物学を学んだ人なら誰でも 葉緑素や葉緑体が酸素を作るのは 日光を受けたときと知っていますね さて食べたホウレンソウの行き先の体内はとても暗いのです
Next, we need proper science, proper evidence. So: "Red wine can help prevent breast cancer." This is a headline from The Daily Telegraph in the UK. "A glass of red wine a day could help prevent breast cancer." So you find this paper, and find that it is a real piece of science. It's a description of the changes in the behavior of one enzyme when you drip a chemical extracted from some red grape skin onto some cancer cells in a dish on a bench in a laboratory somewhere. And that's a really useful thing to describe in a scientific paper. But on the question of your own personal risk of getting breast cancer if you drink red wine, it tells you absolutely bugger all. Actually, it turns out that your risk of breast cancer increases slightly with every amount of alcohol you drink. So what we want are studies in real human people.
次に 適切な引用と根拠とが必要です 「赤ワインは乳がんを予防する」 デイリー・テレグラフの見出しです 毎日一杯の赤ワインが乳がんを予防するというのです 元の論文を探すとそれは確かに 一本の学術論文です ある酵素の働きを調べた論文で 赤いぶどうの皮から抽出した物質を ある種のがん細胞に与えた結果について ある実験室の実験台の皿の中での結果です 科学的な論文に記述するに値する 重要なことですが 赤ワインを飲んで 乳がんになるのかという問題については 何も述べていません 実は 少しでもアルコールを取るたびに ガンのリスクはわずかながら 増大することがわかっています 本当の人での研究が望まれます
And here's another example. This is from Britain's "leading" diet nutritionist in the Daily Mirror, our second-biggest selling newspaper. "An Australian study in 2001 found that olive oil, in combination with fruits, vegetables and pulses, offers measurable protection against skin wrinklings," and give the advice: "If you eat olive oil and vegetables, you'll have fewer wrinkles." They helpfully tell you how to find the paper, and what you find is an observational study. Obviously, nobody has been able to go back to 1930, get all the people born in one maternity unit, and half of them eat lots of fruit and veg and olive oil, half of them eat McDonald's, and then we see how many wrinkles you've got later.
別の例を紹介します イギリスで指導的なダイエットや栄養の専門家が 英国2位のデイリー・ミラー紙に載せた記事 2001 年のオーストラリアでの研究では オリーブ油と果物・野菜・豆を取っていると 皮膚のしわに対する予防として有意な差が得られた と記し こんなアドバイスを与えています オリーブ油と野菜で皮膚のしわが減ります ありがたいことに 論文の所在も示されています その論文を見つけるとそれは観察研究です 1930 年に遡って ある産科病棟を選んで その半分には大量の果物と野菜とオリーブ油を食べさせ 残り半分にはマクドナルドを食べさせて 後でどれほどのしわが生じるかを 比較することができないのは明らかです
You have to take a snapshot of how people are now. And what you find is, of course: people who eat veg and olive oil have fewer wrinkles. But that's because people who eat fruit and veg and olive oil are freaks -- they're not normal, they're like you; they come to events like this.
人びとの現状を捉えるしかないのです そしてわかったことは 確かにー 野菜とオリーブ油を食べる人たちにはしわが少ないのですが それは果物や野菜やオリーブ油を食べる人たちが 皆さんのような変わり者で こんなイベントに 集まるような人だからです
(Laughter)
上流育ちで豊かで 屋外で仕事することは少なく
They're posh, they're wealthy, less likely to have outdoor jobs, less likely to do manual labor, they have better social support, are less likely to smoke; for a host of fascinating, interlocking social, political and cultural reasons, they're less likely to have wrinkles. That doesn't mean it's the vegetables or olive oil.
何か手を使う仕事ではないでしょう 手厚い社会の支援を受け 喫煙しない人が多く つまり 魅力的で 相互に関わり合う多くの— 社会的政治的 そして文化的理由から この人たちはしわが少ないのです 野菜やオリーブ油のおかげではありません (笑)
(Laughter)
そこで理想的には治験をすればいいわけです
So ideally, what you want to do is a trial. People think they're familiar with the idea of a trial. Trials are old; the first one was in the Bible, Daniel 1:12. It's straightforward: take a bunch of people, split them in half, treat one group one way, the other group, the other way. A while later, you see what happened to each of them. I'm going to tell you about one trial, which is probably the most well-reported trial in the UK news media over the past decade. This is the trial of fish oil pills. The claim: fish oil pills improve school performance and behavior in mainstream children. They said, "We did a trial. All the previous ones were positive, this one will be too." That should ring alarm bells: if you know the answer to your trial, you shouldn't be doing one. Either you've rigged it by design, or you've got enough data so there's no need to randomize people anymore.
治験という考え方はご存知のことでしょう 歴史は古く 最初の治験は聖書のダニエル書に記されています とても単純に 多くの人を集め 半分に分け 一群をある方法で 残りは別の方法で手当し しばらく経ったら 追跡調査で様子を調べます ここ十年イギリスのメディアにおいて 最も多く取り上げられた ある治験について話します 魚油(ぎょゆ)カプセルについての治験です 普通の子どもたちの成績と行動が 魚油カプセルで改善するというのです 「治験も行っている すべての結果は 有効性を示し 今回もそうなるだろう」 要注意ポイントです 結果が事前にわかっているなら治験をするべきではありません 設計が偏っているのか すでにデータが十分でランダム試験が必要ないのか ということ さて彼らの治験ではこんなことを計画していました
So this is what they were going to do in their trial: They were taking 3,000 children, they were going to give them these huge fish oil pills, six of them a day, and then, a year later, measure their school exam performance and compare their performance against what they predicted their exam performance would have been if they hadn't had the pills. Now, can anybody spot a flaw in this design?
3000人の子どもに対して 全員にこの魚油カプセルを与えます 一日 6 粒ずつ 一年後に学校の試験成績を評価します カプセルを投与しなかった場合に 予想される成績と 比較するというのです この設計の問題点がわかる方はいますか?
(Laughter)
医学的治験のプロの方でなくても
And no professors of clinical trial methodology are allowed to answer this question. So there's no control group. But that sounds really techie, right? That's a technical term. The kids got the pills, and their performance improved.
お答えください コントロール 対比グループがないのですね 専門的なご回答でした 専門用語ですね カプセルを飲んで子どもの成績が向上したら
What else could it possibly be if it wasn't the pills? They got older; we all develop over time. And of course, there's the placebo effect, one of the most fascinating things in the whole of medicine. It's not just taking a pill and performance or pain improving; it's about our beliefs and expectations, the cultural meaning of a treatment. And this has been demonstrated in a whole raft of fascinating studies comparing one kind of placebo against another. So we know, for example, that two sugar pills a day are a more effective treatment for gastric ulcers than one sugar pill. Two sugar pills a day beats one a day. That's an outrageous and ridiculous finding, but it's true. We know from three different studies on three different types of pain that a saltwater injection is a more effective treatment than a sugar pill, a dummy pill with no medicine in it, not because the injection or pills do anything physically to the body, but because an injection feels like a much more dramatic intervention. So we know that our beliefs and expectations can be manipulated, which is why we do trials where we control against a placebo, where one half of the people get the real treatment, and the other half get placebo.
カプセル以外に何か理由が考えられるでしょうか 大きくなった 年々成長していきますからね そして プラセボ(偽薬)効果もあります 医学の中で プラセボは実に魅力的です 薬を摂取して成績や苦痛が良くなるというだけではなく 人の信念と期待とが関わります 手当ての文化的意味合いにも関わります ある種のプラセボ効果を他と比較する素晴らしい研究が 多数行われて このことが示されてきました 例えば胃潰瘍に対して毎日二錠の砂糖玉は 一日一錠よりも効くことが わかっています 砂糖玉二錠は一錠より勝るのです とっぴでばかげた結果ですが これは真実です 独立した三つの研究で 三種類の異なる痛みに対して 塩水の注射が砂糖玉よりも— 薬効成分を含まない砂糖玉よりも効くことがわかっています 注射も薬も肉体的には何も作用しませんが 注射の方が劇的な手当と感じられるのです こんなふうに我々の信念と期待とは 誘導されるので 治験においては プラセボを対比実験に用いて 半分の人は本当の処置を受け 残り半分はプラセボを受けるようにします
But that's not enough. What I've just shown you are examples of the very simple and straightforward ways that journalists and food supplement pill peddlers and naturopaths can distort evidence for their own purposes. What I find really fascinating is that the pharmaceutical industry uses exactly the same kinds of tricks and devices, but slightly more sophisticated versions of them, in order to distort the evidence they give to doctors and patients, and which we use to make vitally important decisions.
実は これだけでは不十分です 今ご紹介したのは非常に単純でわかりやすい実例でした メディアとサプリメント業者と 自然療法の医師とが 自分の目的のために根拠を歪曲できますが 実に興味深いことに 製薬業界もまた 同種のトリックと仕掛けを さらに洗練された方法で用います 命に関わる重要な判断が行われる際に 医師や患者が用いる情報を歪めてしまうのです
So firstly, trials against placebo: everybody thinks a trial should be a comparison of your new drug against placebo. But in a lot of situations that's wrong; often, we already have a good treatment currently available. So we don't want to know that your alternative new treatment is better than nothing, but that it's better than the best available treatment we have. And yet, repeatedly, you consistently see people doing trials still against placebo. And you can get licensed to bring your drug to market with only data showing that it's better than nothing, which is useless for a doctor like me trying to make a decision.
まず最初に偽薬に対する治験から 治験は新薬を偽薬と対比するものであると 誰もが考えます 実は多くの場合これは誤りです すでに非常によい治療法があることが多いので 何もしないよりも新しい治療法が良い ということが知りたいわけではないのです 知りたいのは現在最良の治療法よりも良いのかどうかです それなのに 未だに偽薬に対する治験が 繰り返し行われています 認可されて上市された薬であっても 何もしないよりも有効というデータだけでは 医師が判断するための役には立ちません
But that's not the only way you can rig your data. You can also rig your data by making the thing you compare your new drug against really rubbish. You can give the competing drug in too low a dose, so people aren't properly treated. You can give the competing drug in too high a dose, so people get side effects. And this is exactly what happened with antipsychotic medication for schizophrenia. Twenty years ago, a new generation of antipsychotic drugs were brought in; the promise was they would have fewer side effects. So people set about doing trials of the new drugs against the old drugs. But they gave the old drugs in ridiculously high doses: 20 milligrams a day of haloperidol. And it's a foregone conclusion if you give a drug at that high a dose, it will have more side effects, and your new drug will look better.
データを操作する方法はそれに留まりません 新しい薬の比較対象を ろくでもない条件としても データ操作ができます 競合薬の投与量を極端に減らし 治療効果が出ないようにすることや 競合薬の投与量を極端に増やし 副作用が出るようにすることもできます これは統合失調症に対する 抗精神病薬で実際に行われたことです 20年前 新しい世代の抗精神病薬がもたらされ 副作用が少ないと期待されていました この新薬と旧薬を比較する治験が 開始されましたが 古い薬のほうは— 信じ難いほど大量の投与でした ハロペリドールを一日 20 mg です そんな大量投与をすれば 副作用が多く現れ 新薬が優れたものに 見えるのは 最初からわかっていることです
Ten years ago, history repeated itself, when risperidone, the first of the new-generation antipsychotic drugs, came off copyright, so anybody could make copies. Everybody wanted to show their drug was better than risperidone, so you see trials comparing new antipsychotic drugs against risperidone at eight milligrams a day. Again, not an insane dose, not an illegal dose, but very much at the high end of normal. So you're bound to make your new drug look better. And so it's no surprise that overall, industry-funded trials are four times more likely to give a positive result than independently sponsored trials.
興味深いことに10年後に歴史は繰り返し 新世代の抗精神薬であるリスペリドンの特許が切れ 誰もが作れるようになりました 誰もが自分たちの薬はリスペリドンよりも 優れていることを示そうとして多くの治験が行われ 8 mg のリスペリドンが投与されました 狂気の投与量でも違法な投与量でもありませんが しかし基準の上限近くです こうして新薬の方が優れているという結果を導くわけです ですから 業界が資金を提供した治験は 独立な資金による治験と比べて 4倍も肯定的な結果が出るというのも 驚くことではありません
But -- and it's a big but --
しかし —大きなポイントです— しかし
(Laughter)
(笑)
it turns out, when you look at the methods used by industry-funded trials, that they're actually better than independently sponsored trials. And yet, they always manage to get the result that they want. So how does this work?
実際のところ 業界資金の治験で用いられている方法は 独立資金の治験よりもより 優れていることが明らかなのです それにも関わらず 望む結果が得られている どういうことでしょうか
(Laughter)
この奇妙な現象をどうやって説明したら良いのでしょうか
How can we explain this strange phenomenon? Well, it turns out that what happens is the negative data goes missing in action; it's withheld from doctors and patients. And this is the most important aspect of the whole story. It's at the top of the pyramid of evidence. We need to have all of the data on a particular treatment to know whether or not it really is effective. There are two different ways you can spot whether some data has gone missing. You can use statistics or you can use stories. I prefer statistics, so that's what I'll do first.
実は否定的なデータが治験の途中で 消えてしまうことが明らかになりました 医師や患者が伏せるのです ここが最も重要な箇所で 積み上げた論証全てに関わります ある治療が本当に効果があるかどうかを知るためには すべての関連データが必要です 二つの異なった方法で 治験中に— データが消えていることを指摘できます 統計によるものとストーリーによるものです 私は統計が好きなので まずそちらから
This is a funnel plot. A funnel plot is a very clever way of spotting if small negative trials have disappeared, have gone missing in action. This is a graph of all of the trials done on a particular treatment. As you go up towards the top of the graph, what you see is each dot is a trial. As you go up, those are bigger trials, so they've got less error; they're less likely to be randomly false positives or negatives. So they all cluster together. The big trials are closer to the true answer. Then as you go further down at the bottom, what you can see is, on this side, spurious false negatives, and over on this side, spurious false positives. If there is publication bias, if small negative trials have gone missing in action, you can see it on one of these graphs. So you see here that the small negative trials that should be on the bottom left have disappeared. This is a graph demonstrating the presence of publication bias in studies of publication bias. And I think that's the funniest epidemiology joke you will ever hear.
このグラフをファネル・プロットと呼びます このプロットは小規模の否定的な結果が 治験の途中で消滅してしまったことをとても巧みに示します このグラフはある処置について行われた 全ての治験を描いたものです グラフの上の方に向かって 全ての点がひとつずつの治験です 上のものほど大規模治験で誤差が小さいものです つまりランダムな擬陽性や擬陰性が生じることは考えにくく このように点が集まります 大規模な治験は真の結果に近いのです 下に降りるほど こちら側にはばらつきによるマイナスの値が こちらにはばらつきによるプラスが表れます ここに出版バイアスがある場合には 小規模治験のマイナスの結果が治験から消えて こんなグラフのようになります こちらの左の下側にあるべき 小規模な否定的治験がありません この出版バイアスの研究におけるこのグラフには 出版バイアスが現れています これが疫学業界で耳にした中で 最高のジョークだと思います
(Laughter)
これが統計による証明でした
That's how you can prove it statistically. But what about stories? Well, they're heinous, they really are. This is a drug called reboxetine. This is a drug which I, myself, have prescribed to patients. And I'm a very nerdy doctor. I hope I go out of my way to try and read and understand all the literature. I read the trials on this. They were all positive, all well-conducted. I found no flaw. Unfortunately, it turned out, that many of these trials were withheld. In fact, 76 percent of all of the trials that were done on this drug were withheld from doctors and patients. Now if you think about it, if I tossed a coin a hundred times, and I'm allowed to withhold from you the answers half the times, then I can convince you that I have a coin with two heads. If we remove half of the data, we can never know what the true effect size of these medicines is.
ストーリーはどうでしょう 実に悪質なストーリーです レボゼチンという薬があります わたし自身 患者さんにこの薬を処方しました わたしはとてもマニアックな医者なので 関係する文献を全部読みたいと考えました 治験報告を読むと全てが肯定的で 適切に行われていました 欠点は何もみつかりません 残念なことに 多くの治験の結果が 伏せられていたことがわかりました 実際 この薬に関しては 全体のうち 76% の治験が 医師と患者によって伏せられておりました こんなことを考えてみてください コインを百回投げるとして 半分の結果を隠すことが 許されるのなら 持っているコインは— 両側が表でできていると 信じさせることができます 結果の半分を隠してしまったら ある薬の真の効果はまったくわかりません
And this is not an isolated story. Around half of all of the trial data on antidepressants has been withheld, but it goes way beyond that. The Nordic Cochrane Group were trying to get ahold of the data on that to bring it all together. The Cochrane Groups are an international nonprofit collaboration that produce systematic reviews of all of the data that has ever been shown. And they need to have access to all of the trial data. But the companies withheld that data from them. So did the European Medicines Agency -- for three years.
この手の話はこの一件だけではなく 抗うつ剤の治験データの半分は隠されています それに留まりません 北欧コクラングループは隠されたデータを— 探し 全てをまとめようとしました コクラングループというのは国際的な非利益の共同研究で 公開された全てのデータの体系的なレビューを作成しています そして全ての治験データを入手できる必要があります でも製薬会社はデータを公表しません 欧州医薬品庁も 3年に渡り公表しませんでした この問題に関して今は解決策がありません
This is a problem that is currently lacking a solution. And to show how big it goes, this is a drug called Tamiflu, which governments around the world have spent billions and billions of dollars on. And they spend that money on the promise that this is a drug which will reduce the rate of complications with flu. We already have the data showing it reduces the duration of your flu by a few hours. But I don't care about that, governments don't care. I'm sorry if you have the flu, I know it's horrible, but we're not going to spend billions of dollars trying to reduce the duration of your flu symptoms by half a day. We prescribe these drugs. We stockpile them for emergencies on the understanding they'll reduce the number of complications, which means pneumonia and death. The infectious diseases Cochrane Group, which are based in Italy, has been trying to get the full data in a usable form out of the drug companies, so they can make a full decision about whether this drug is effective or not, and they've not been able to get that information. This is undoubtedly the single biggest ethical problem facing medicine today. We cannot make decisions in the absence of all of the information.
これがどれほど重大かというと これはタミフルです 世界中の政府がこの薬に 何十億ドルも費やしています この薬がインフルエンザの 重症化を防ぐと期待して 出費しているのです これまでのデータによればこの薬は インフルエンザの期間を数時間短縮します でも私も政府もそんなことは問題にしません インフルエンザにかかってつらいのは可哀想ですが インフルエンザの発症期間を たかだか半日短縮するために 何十億ドルも使うことはないでしょう この薬を処方し 緊急事態に備えて 大量に貯蔵して 合併症すなわち肺炎や死者を 減らせるという理解に基づいてのことです イタリアを拠点とするコクラン感染症グループは 利用可能な形式で全てのデータを 製薬会社から得て この薬が有効かどうかを 判断できるようにしようと 試みてきましたが その情報は未だに得られていません 疑うことなく 今日の医学における 最大の倫理問題です 情報が全てなければ 判断することはできません
So it's a little bit difficult from there to spin in some kind of positive conclusion. But I would say this: I think that sunlight is the best disinfectant. All of these things are happening in plain sight, and they're all protected by a force field of tediousness. And I think, with all of the problems in science, one of the best things that we can do is to lift up the lid, finger around at the mechanics and peer in.
そこから何か肯定的な結論を 導きだすのは大変に困難です でもこういうことは言えます 陽の光ほど 効果的な殺菌剤はない 全てのことはこうして丸見えになってきて ただ単調な作業という力の 場のようなもので守られています 科学の全ての問題に対して 我々のできる最良のことは 蓋を開けてあちこちを触れてみたり 覗き込むことだと思います
Thank you very much.
ありがとうございます
(Applause)
(拍手)