I'm going to be talking about statistics today. If that makes you immediately feel a little bit wary, that's OK, that doesn't make you some kind of crazy conspiracy theorist, it makes you skeptical. And when it comes to numbers, especially now, you should be skeptical. But you should also be able to tell which numbers are reliable and which ones aren't. So today I want to try to give you some tools to be able to do that. But before I do, I just want to clarify which numbers I'm talking about here. I'm not talking about claims like, "9 out of 10 women recommend this anti-aging cream." I think a lot of us always roll our eyes at numbers like that. What's different now is people are questioning statistics like, "The US unemployment rate is five percent." What makes this claim different is it doesn't come from a private company, it comes from the government.
오늘은 통계에 대해 말씀드릴 거예요. 약간 불안해하셔도 괜찮아요. 그렇다고 해서 정신나간 음모론자인 것이 아니라 단지 회의적인 분인 것이니까요. 숫자에 관해서는, 특히나 지금은 의심을 하셔야 합니다. 하지만 어떤 숫자를 신뢰해도 되고 어떤 숫자를 신뢰하면 안 되는지를 구분할 줄 알아야 해요. 그래서 구분할 수 있게 해주는 몇 가지 방법을 알려드리려고 해요. 하지만 그 전에 제가 말씀드릴 숫자들이 어떤 건지 명확히 짚고 넘어갈게요. "10명 중 9명의 여성이 안티에이징 크림을 추천한다."같은 걸 말하는 게 아니에요. 그런 숫자를 보면 많은 분들이 눈을 굴리시죠. 요새 와서 달라진 건 사람들이 이런 통계에 의문을 갖게 된 겁니다. "미국의 실업률은 5%다." 이 주장이 특별한 이유는 사기업이 하는 말이 아니라 정부가 한 말이기 때문입니다.
About 4 out of 10 Americans distrust the economic data that gets reported by government. Among supporters of President Trump it's even higher; it's about 7 out of 10. I don't need to tell anyone here that there are a lot of dividing lines in our society right now, and a lot of them start to make sense, once you understand people's relationships with these government numbers. On the one hand, there are those who say these statistics are crucial, that we need them to make sense of society as a whole in order to move beyond emotional anecdotes and measure progress in an [objective] way. And then there are the others, who say that these statistics are elitist, maybe even rigged; they don't make sense and they don't really reflect what's happening in people's everyday lives.
미국인 10명 중 4명이 정부에서 보고하는 경제적 데이터를 신뢰하지 않습니다. 이 비율은 트럼프 대통령 지지자들의 경우에는 더 높습니다. 10명 중에 7명이에요. 제가 굳이 말씀드리지 않아도 지금 사회에 나누어진 선들이 많다는 건 다들 알고 있습니다. 정부의 수치와 사람들 간의 관계를 이해하고나면 그 선들이 많이 말이 되기 시작합니다. 반면에 통계가 매우 중요하다고 말하는 사람들도 있습니다. 사회를 전체적으로 이해하려면 필요하다고 말합니다. 감정적인 진술들을 넘어 발전을 객관적으로 측정하기 위해서요. 그리고 또 다른 집단도 있습니다. 통계는 엘리트주의적이며 조작됐다고까지도 말하고 말도 안 되며 사람들의 일상에서 일어나는 일들을 반영하지 않는다고 합니다.
It kind of feels like that second group is winning the argument right now. We're living in a world of alternative facts, where people don't find statistics this kind of common ground, this starting point for debate. This is a problem. There are actually moves in the US right now to get rid of some government statistics altogether. Right now there's a bill in congress about measuring racial inequality. The draft law says that government money should not be used to collect data on racial segregation. This is a total disaster. If we don't have this data, how can we observe discrimination, let alone fix it? In other words: How can a government create fair policies if they can't measure current levels of unfairness? This isn't just about discrimination, it's everything -- think about it. How can we legislate on health care if we don't have good data on health or poverty? How can we have public debate about immigration if we can't at least agree on how many people are entering and leaving the country? Statistics come from the state; that's where they got their name. The point was to better measure the population in order to better serve it. So we need these government numbers, but we also have to move beyond either blindly accepting or blindly rejecting them. We need to learn the skills to be able to spot bad statistics.
두 번째 부류의 사람들의 주장이 이기고 있는 것 같긴 해요. 우린 대안적 사실의 세상에 살고 있고 사람들은 통계를 공동 전제나 토론의 시작점으로 여기지 않습니다. 이건 문제입니다. 사실 일부 정부 통계를 아예 없애자는 움직임이 지금 존재합니다. 지금 의회에 인종 차별을 측정하는 것에 대한 법안이 있습니다. 초안에 따르면 국고가 인종차별에 관한 데이터를 수집하는 데 쓰이면 안 된다고 하고 있습니다. 정말 끔찍한 일이에요. 데이터 없이 어떻게 차별을 관찰할 수 있죠? 게다가 어떻게 시정하죠? 다시 말하면 정부가 현재의 불공정의 정도를 측정할 수 없으면 어떻게 공정한 정책을 만들 수 있죠? 비단 차별만 문제인 것이 아닙니다. 모든 게 문제예요. 생각해보세요. 보건과 건강에 대한 양질의 데이터가 없으면 어떻게 의료보험 법을 제정할 수 있죠? 얼마나 많은 사람들이 이 나라에 들어오고 나가는지에 대해서도 의견이 일치하지 않는데 어떻게 공개 토론이 이루어질 수 있죠? 통계는 국가에서부터 나옵니다. 그게 통계의 어원이에요. 국민을 더 잘 섬기기 위해 더 잘 측정하는 것이 목적이었습니다. 그래서 정부의 수치가 필요합니다. 하지만 맹목적으로 받아들이거나 반대하는 건 넘어서야 합니다. 잘못된 통계를 잡아내는 방법을 알아야 합니다.
I started to learn some of these when I was working in a statistical department that's part of the United Nations. Our job was to find out how many Iraqis had been forced from their homes as a result of the war, and what they needed. It was really important work, but it was also incredibly difficult. Every single day, we were making decisions that affected the accuracy of our numbers -- decisions like which parts of the country we should go to, who we should speak to, which questions we should ask. And I started to feel really disillusioned with our work, because we thought we were doing a really good job, but the one group of people who could really tell us were the Iraqis, and they rarely got the chance to find our analysis, let alone question it. So I started to feel really determined that the one way to make numbers more accurate is to have as many people as possible be able to question them.
저는 그 중 일부를 UN산하의 통계부서에서 일하면서 배웠습니다. 저희 일은 이라크 전쟁으로 얼마나 많은 이라크인이 피난을 갔는지와 무엇을 필요로 하는지를 알아내는 것이었습니다. 정말 중요한 일이었는데 동시에 매우 어려운 일이었습니다. 매일 우리는 수치의 정확도에 영향을 미치는 결정들을 내렸습니다. 이라크의 어느 지역을 가야 할지 누구와 얘기할지 어떤 질문을 물어야할지를요. 그런데 저는 우리의 일에 환멸을 느끼기 시작했습니다. 우리는 일을 잘하고 있다고 생각했었어요. 그런데 그걸 정말 확인시켜줄 수 있는 사람은 이라크인들 뿐인데 그들은 우리 분석에 의문을 제기하는 건 고사하고 볼 기회도 거의 없었어요. 그래서 저는 수치를 더 정확하게 만들어 줄 유일한 방법이 최대한 많은 사람들이 의문을 제기하게 하는 거라고 생각하게 됐어요.
So I became a data journalist. My job is finding these data sets and sharing them with the public. Anyone can do this, you don't have to be a geek or a nerd. You can ignore those words; they're used by people trying to say they're smart while pretending they're humble. Absolutely anyone can do this.
그래서 저는 데이터 기자가 됐습니다. 제 일은 데이터 집합들을 찾아 대중에게 공유하는 것입니다. 공부벌레나 괴짜가 아니어도 누구나 할 수 있는 일이에요. 이 단어들은 무시하세요. 겸손한 척 하면서 자기가 똑똑하다는 걸 말하려는 사람들이 쓰는 단어들이에요. 정말 누구나 할 수 있어요.
I want to give you guys three questions that will help you be able to spot some bad statistics. So, question number one is: Can you see uncertainty? One of things that's really changed people's relationship with numbers, and even their trust in the media, has been the use of political polls. I personally have a lot of issues with political polls because I think the role of journalists is actually to report the facts and not attempt to predict them, especially when those predictions can actually damage democracy by signaling to people: don't bother to vote for that guy, he doesn't have a chance. Let's set that aside for now and talk about the accuracy of this endeavor.
잘못된 통계를 잡아내는 걸 도와주는 세 가지 질문을 여러분께 드리고 싶어요. 첫 번째 질문, 불확실성이 보이시나요? 사람과 숫자의 관계와, 사람들의 미디어에 대한 신뢰를 바꾸어놓은 것 중 하나는 정치 분야의 여론조사입니다. 저는 개인적으로 여론조사에 불만이 많아요. 기자의 역할은 사실을 보도하는 거지 예측하는 게 아니라고 생각하거든요. 특히나 그 예측들이 사람들에게 이런 신호를 주어 민주주의를 훼손할 수 있는 경우에는요. "저 사람한테 투표할 필요 없어. 가망이 없거든." 하지만 그건 제쳐두고 여론조사의 정확성에 대해 얘기해봅시다.
Based on national elections in the UK, Italy, Israel and of course, the most recent US presidential election, using polls to predict electoral outcomes is about as accurate as using the moon to predict hospital admissions. No, seriously, I used actual data from an academic study to draw this. There are a lot of reasons why polling has become so inaccurate. Our societies have become really diverse, which makes it difficult for pollsters to get a really nice representative sample of the population for their polls. People are really reluctant to answer their phones to pollsters, and also, shockingly enough, people might lie. But you wouldn't necessarily know that to look at the media. For one thing, the probability of a Hillary Clinton win was communicated with decimal places. We don't use decimal places to describe the temperature. How on earth can predicting the behavior of 230 million voters in this country be that precise? And then there were those sleek charts. See, a lot of data visualizations will overstate certainty, and it works -- these charts can numb our brains to criticism. When you hear a statistic, you might feel skeptical. As soon as it's buried in a chart, it feels like some kind of objective science, and it's not.
영국, 이탈리아, 이스라엘의 총선과 가장 최근에 있었던 미국 대선에 기반해서 볼 때 선거의 결과를 여론조사로 예측하는 건 달로 병원의 입원자 수를 점치는 것만큼이나 부정확합니다. 아니 정말 제가 학술 연구의 데이터로 도출한 결론이에요. 여론조사가 부정확해진 데에는 많은 이유가 있습니다. 우리 사회가 매우 다양해져서 여론조사원들이 여론 조사의 모집단에서 정말로 대표성 있는 표본을 얻기가 매우 힘들어졌어요. 사람들은 여론조사원들의 전화를 받기 꺼려하고 놀랍게도 거짓으로 답할 수도 있습니다. 하지만 사람들은 보도자료를 볼 때 그걸 의식하진 않죠. 힐러리 클린턴이 우승할 확률은 소수점까지 계산됐었어요. 소수점은 기온을 나타낼 때도 안 써요. 그런데 어떻게 미국의 2억3천만 유권자의 행동을 예측하는 게 그렇게 정확할 수 있죠? 번지르르한 도표도 있었죠. 데이터를 시각화한 도표들은 많이들 확실성을 과장해요. 효과도 있고요. 차트들은 비판을 무디게 할 수 있습니다. 통계를 들으면 의심을 품을 수도 있지만 차트로 나타내어지는 순간 객관적인 과학같이 느껴집니다. 그렇지 않은데도요.
So I was trying to find ways to better communicate this to people, to show people the uncertainty in our numbers. What I did was I started taking real data sets, and turning them into hand-drawn visualizations, so that people can see how imprecise the data is; so people can see that a human did this, a human found the data and visualized it. For example, instead of finding out the probability of getting the flu in any given month, you can see the rough distribution of flu season. This is --
그래서 저는 이 이야기를 사람들에게 더 잘 전달할 수 있고 숫자의 불확실성을 보여줄 수 있는 방법을 찾으려 했어요. 그래서 저는 실제 데이터 모음을 갖다가 손으로 그린 도표로 변환시켰어요. 사람들이 데이터가 얼마나 부정확한지 볼 수 있게요. 인간이 이걸 그렸고 인간이 데이터를 찾고 시각화했다고요. 일례로 감기에 걸릴 월별 확률을 보는 것 대신에 독감이 유행하는 철이 언젠지를 대략적으로 알 수 있죠. 이것은...
(Laughter)
(웃음)
a bad shot to show in February. But it's also more responsible data visualization, because if you were to show the exact probabilities, maybe that would encourage people to get their flu jabs at the wrong time.
2월에 보여주기 나쁜 이미지죠. 하지만 동시에 더 책임감있는 도표예요. 정확한 확률로 보여주면 사람들이 잘못된 시기에 독감 예방주사를 맞도록 장려할 수 있으니까요.
The point of these shaky lines is so that people remember these imprecisions, but also so they don't necessarily walk away with a specific number, but they can remember important facts. Facts like injustice and inequality leave a huge mark on our lives. Facts like Black Americans and Native Americans have shorter life expectancies than those of other races, and that isn't changing anytime soon. Facts like prisoners in the US can be kept in solitary confinement cells that are smaller than the size of an average parking space.
구불구불한 선으로 그린 이유는 사람들이 이 통계가 정확하진 않다는 걸 알게 하고 특정 숫자가 아닌 중요한 사실을 기억하도록 하기 위해서입니다. 불의와 불평등같은 사실들은 우리 인생에 큰 자국을 남깁니다. 흑인 미국인과 북미 원주민들이 다른 인종보다 수명이 더 짧으며, 이건 빠른 시일 내에 변하지 않을 거라는 사실도요. 미국의 죄수들이 주차장의 일반적인 크기보다 더 작은 독방에 수감될 수 있다는 사실도요.
The point of these visualizations is also to remind people of some really important statistical concepts, concepts like averages. So let's say you hear a claim like, "The average swimming pool in the US contains 6.23 fecal accidents." That doesn't mean every single swimming pool in the country contains exactly 6.23 turds. So in order to show that, I went back to the original data, which comes from the CDC, who surveyed 47 swimming facilities. And I just spent one evening redistributing poop. So you can kind of see how misleading averages can be.
이 도표들의 또 다른 요점은 사람들에게 매우 중요한 몇 가지 통계적 개념을 알려주기 위해서입니다. 평균같은 개념이요. 이런 주장을 듣는다고 생각해보세요. "미국의 수영장에는 평균적으로 6.23건의 배설물 사고가 일어난다." 이건 국내의 모든 수영장에 정확히 6.23개의 똥이 들어있다는 걸 의미하는 게 아닙니다. 그걸 증명하기 위해서 저는 미국 질병관리본부 출저의 47개 수영시설을 조사한 데이터 원본으로 돌아가서 하룻밤 꼬박 똥을 재분배했어요. 평균이 얼마나 사람들을 오도할 수 있는지 볼 수 있죠.
(Laughter)
(웃음)
OK, so the second question that you guys should be asking yourselves to spot bad numbers is: Can I see myself in the data? This question is also about averages in a way, because part of the reason why people are so frustrated with these national statistics, is they don't really tell the story of who's winning and who's losing from national policy. It's easy to understand why people are frustrated with global averages when they don't match up with their personal experiences. I wanted to show people the way data relates to their everyday lives. I started this advice column called "Dear Mona," where people would write to me with questions and concerns and I'd try to answer them with data. People asked me anything. questions like, "Is it normal to sleep in a separate bed to my wife?" "Do people regret their tattoos?" "What does it mean to die of natural causes?"
잘못된 숫자를 발견하기 위해 스스로에게 물어야 할 두 번째 질문은 이겁니다. 데이터 속에서 나를 볼 수 있는가? 어떻게 보면 이 질문도 평균에 관한 거예요. 사람들이 국가적 통계에 대해 불만을 느끼는 이유 중의 하나가 국가 정책으로 누가 이득을 얻고 있고 누가 손해를 보고 있는지 알 수가 없다는 것이니까요. 사람들이 전세계 평균이 자신의 경험과 맞지 않을 때 왜 불만스러워하는지는 쉽게 이해됩니다. 저는 데이터가 사람들의 일상에 어떻게 관련있는지를 보여주기 위해 "모나에게"라는 고민 상담란을 만들었어요. 사람들이 제게 질문과 걱정을 적어보내면 저는 데이터로 답을 해주었습니다. 제게 뭐든지 물어봤어요. "아내와 다른 침대에서 자는 게 정상인가요?" "사람들은 문신 새긴 걸 후회하나요?" "자연사했다는 게 무슨 뜻이죠?"
All of these questions are great, because they make you think about ways to find and communicate these numbers. If someone asks you, "How much pee is a lot of pee?" which is a question that I got asked, you really want to make sure that the visualization makes sense to as many people as possible. These numbers aren't unavailable. Sometimes they're just buried in the appendix of an academic study. And they're certainly not inscrutable; if you really wanted to test these numbers on urination volume, you could grab a bottle and try it for yourself.
다 좋은 질문들이에요. 이 수치들과 소통할 방법에 대해 생각해보게 하니까요. 누군가가 "얼만큼이 오줌을 많이 싸는 건가요?"라고 물으면 실제로 제가 받았던 질문인데 그래프가 최대한 많은 사람들에게 이해되도록 노력해야 합니다. 이 수치들은 찾을 수 있어요. 때로는 학술 연구의 부록에 묻혀있죠. 그리고 절대 불가해하지 않아요. 이 수치를 소변의 양에 테스트해보고 싶으면 그냥 병을 가져다 직접 해보세요.
(Laughter)
(웃음)
The point of this isn't necessarily that every single data set has to relate specifically to you. I'm interested in how many women were issued fines in France for wearing the face veil, or the niqab, even if I don't live in France or wear the face veil. The point of asking where you fit in is to get as much context as possible. So it's about zooming out from one data point, like the unemployment rate is five percent, and seeing how it changes over time, or seeing how it changes by educational status -- this is why your parents always wanted you to go to college -- or seeing how it varies by gender. Nowadays, male unemployment rate is higher than the female unemployment rate. Up until the early '80s, it was the other way around. This is a story of one of the biggest changes that's happened in American society, and it's all there in that chart, once you look beyond the averages. The axes are everything; once you change the scale, you can change the story.
이것의 요지는 모든 데이터 집단이 여러분과 특정한 연관성이 있어야 한다는 것이 아닙니다. 저는 프랑스에서 얼마나 많은 여성이 니캅을 쓴 것 때문에 벌금을 물었는지에 관심이 있어요. 제가 프랑스에 살고 있지 않고 니캅도 쓰지 않는데도요. 내가 어디에 들어맞는지를 묻는 이유는 최대한 많은 맥락을 얻기 위해서입니다. 그래서 한 데이터 지점으로부터 멀리 떨어져서 봐야 합니다. 일례로 실업률이 5%라면 이게 시간이 갈수록 어떻게 변하는지 학력에 따라 어떻게 변하는지 참고로, 그래서 부모님들이 대학에 가라고 하는 겁니다. 또는 젠더에 따라 어떻게 다른지를 봐야하죠. 요즘은 남성 실업률이 여성 실업률보다 높습니다. 80년대 초반까지는 반대였어요. 이건 미국 사회에 일어난 가장 큰 변화 중 하나입니다. 평균 너머를 보게 되면 도표 안에 다 들어있는 것입니다. X축과 Y축이 전부예요. 규모를 바꾸면 이야기가 달라집니다.
OK, so the third and final question that I want you guys to think about when you're looking at statistics is: How was the data collected? So far, I've only talked about the way data is communicated, but the way it's collected matters just as much. I know this is tough, because methodologies can be opaque and actually kind of boring, but there are some simple steps you can take to check this.
통계를 볼 때 여러분이 생각해보길 바라는 세 번째이자 마지막 질문은 이겁니다. 어떻게 데이터를 수집했지? 여태까지 저는 데이터가 전달되는 방식에 대해서만 말했어요. 하지만 수집되는 방식도 똑같이 중요합니다. 이게 어렵다는 거 알아요. 방법론이 불분명하거나 사실 약간 지루할 수 있거든요. 하지만 이걸 확인하는 데 쓸 수 있는 간단한 방법이 있습니다.
I'll use one last example here. One poll found that 41 percent of Muslims in this country support jihad, which is obviously pretty scary, and it was reported everywhere in 2015. When I want to check a number like that, I'll start off by finding the original questionnaire. It turns out that journalists who reported on that statistic ignored a question lower down on the survey that asked respondents how they defined "jihad." And most of them defined it as, "Muslims' personal, peaceful struggle to be more religious." Only 16 percent defined it as, "violent holy war against unbelievers." This is the really important point: based on those numbers, it's totally possible that no one in the survey who defined it as violent holy war also said they support it. Those two groups might not overlap at all.
마지막 예시를 여기서 들게요. 한 여론조사에서 국내 무슬림의 41%가 지하드를 지지한다는 걸 발견했어요. 매우 무서운 일이죠. 2015년에 전국적으로 발표됐어요. 이런 수치를 체크해보고 싶을 때 저는 먼저 설문지 원본을 찾아보아요. 이 통계를 보고한 기자들은 설문지 하단에 위치한 응답자에게 자신이 "지하드"를 어떻게 정의하는지를 물어본 질문을 무시했더군요. 대부분의 사람들이 이렇게 정의했어요. "더 독실해지기 위한 무슬림의 개인적이고 평화적인 투쟁." 16%만이 이렇게 정의했어요. "이교도들과의 폭력적인 성전." 이게 진짜 중요한 사실인데요. 이 통계에 기반했을 때 설문지에서 지하드를 폭력적인 성전이라고 답한 사람 중 그 누구도 그걸 지지한다고 하지 않았을 가능성이 존재해요. 두 집합의 교집합이 아예 없을 수 있어요.
It's also worth asking how the survey was carried out. This was something called an opt-in poll, which means anyone could have found it on the internet and completed it. There's no way of knowing if those people even identified as Muslim. And finally, there were 600 respondents in that poll. There are roughly three million Muslims in this country, according to Pew Research Center. That means the poll spoke to roughly one in every 5,000 Muslims in this country.
설문조사가 어떻게 실행됐는지를 물어보는 것도 좋습니다. 이건 옵트인 설문조사였어요. 누구나 인터넷에서 보고 응답할 수 있었다는 뜻입니다. 이 사람들이 애초에 무슬림조차 알 방법이 없어요. 마지막으로 이 설문조사의 응답자 수는 600명이었습니다. 퓨 연구센터에 따르면 국내에는 약 300만명의 무슬림이 있습니다. 이 말은 여론조사가 대략 5000명의 무슬림 중 한 명 꼴로 조사했다는 겁니다.
This is one of the reasons why government statistics are often better than private statistics. A poll might speak to a couple hundred people, maybe a thousand, or if you're L'Oreal, trying to sell skin care products in 2005, then you spoke to 48 women to claim that they work.
그렇기 때문에 국가 통계가 때로는 사설 통계보다 낫습니다. 여론조사는 200명 정도를 조사합니다. 1000명일 때도 있어요. 2005년에 스킨 케어 제품을 판매하려고 했던 로레알은 48명의 여성을 조사하고 효과가 있다고 주장했죠.
(Laughter)
(웃음)
Private companies don't have a huge interest in getting the numbers right, they just need the right numbers. Government statisticians aren't like that. In theory, at least, they're totally impartial, not least because most of them do their jobs regardless of who's in power. They're civil servants. And to do their jobs properly, they don't just speak to a couple hundred people. Those unemployment numbers I keep on referencing come from the Bureau of Labor Statistics, and to make their estimates, they speak to over 140,000 businesses in this country.
사기업은 올바른 수치를 얻는 데에는 그다지 큰 관심이 없어요. 자기가 원하는 숫자가 필요한거죠. 정부 통계는 그렇지 않아요. 적어도 이론상으로는 완전히 공평해요. 누가 권력을 갖게 되든 대부분이 그냥 자기 일을 하는 것도 한 이유예요. 공무원이니까요. 자기 일을 제대로 하려면 200명만 설문조사하지 않아요. 제가 자꾸 언급하는 이 실업률 수치는 노동통계청에서 발표한 거예요. 이 수치를 계산하기 위해 노동통계청은 14만 개가 넘는 국내 사업장을 조사합니다.
I get it, it's frustrating. If you want to test a statistic that comes from a private company, you can buy the face cream for you and a bunch of friends, test it out, if it doesn't work, you can say the numbers were wrong. But how do you question government statistics? You just keep checking everything. Find out how they collected the numbers. Find out if you're seeing everything on the chart you need to see. But don't give up on the numbers altogether, because if you do, we'll be making public policy decisions in the dark, using nothing but private interests to guide us.
알아요, 정말 짜증나죠. 사기업에서 발표한 통계를 시험해보고 싶다면 친구들과 직접 로션을 사서 발라보면 됩니다. 효과가 없으면 통계가 틀렸다고 말할 수 있어요. 그런데 정부 통계는 어떻게 의문을 제기하죠? 모든 것을 계속 확인하는 겁니다. 수치를 어떻게 수집했는지 내가 도표에서 봐야 할 모든 것을 다 보고 있는지를 알아내세요. 하지만 수치 일체를 포기하진 마세요. 그렇게 되면 사익이 알려주는 방향만 사용하면서 무지 속에서 공공정책을 만들고 있게 될 테니까요.
Thank you.
고맙습니다.
(Applause)
(박수)