I'm going to be talking about statistics today. If that makes you immediately feel a little bit wary, that's OK, that doesn't make you some kind of crazy conspiracy theorist, it makes you skeptical. And when it comes to numbers, especially now, you should be skeptical. But you should also be able to tell which numbers are reliable and which ones aren't. So today I want to try to give you some tools to be able to do that. But before I do, I just want to clarify which numbers I'm talking about here. I'm not talking about claims like, "9 out of 10 women recommend this anti-aging cream." I think a lot of us always roll our eyes at numbers like that. What's different now is people are questioning statistics like, "The US unemployment rate is five percent." What makes this claim different is it doesn't come from a private company, it comes from the government.
Hoy les hablaré de estadísticas. Si eso les hace sentir recelosos de inmediato, está bien, eso no los vuelve unos locos de teorías de conspiración, los vuelve escépticos. Cuando se trata de números, en especial actualmente, deberían ser escépticos. Pero también deberían poder distinguir números fiables de los que no lo son. Así que hoy quiero darles herramientas para poder hacer eso. Pero antes de hacerlo, quiero aclarar sobre qué números les hablaré. No haré aseveraciones como, "9 de 10 mujeres recomiendan esta crema antiedad". Creo que todos ponen los ojos en blanco con números como esos. La gente ahora cuestiona estadísticas como, "La tasa de desempleo en EE. UU. es del 5 %". Esta aseveración es distinta porque no proviene de una compañía privada, proviene del gobierno.
About 4 out of 10 Americans distrust the economic data that gets reported by government. Among supporters of President Trump it's even higher; it's about 7 out of 10. I don't need to tell anyone here that there are a lot of dividing lines in our society right now, and a lot of them start to make sense, once you understand people's relationships with these government numbers. On the one hand, there are those who say these statistics are crucial, that we need them to make sense of society as a whole in order to move beyond emotional anecdotes and measure progress in an [objective] way. And then there are the others, who say that these statistics are elitist, maybe even rigged; they don't make sense and they don't really reflect what's happening in people's everyday lives.
Cerca de 4 de 10 estadounidenses desconfían de los datos económicos que publica el gobierno. El número aumenta entre los adeptos del presidente Trump, alrededor de 7 de 10. No necesito decirles que hay muchas líneas divisoras en nuestra sociedad actualmente, y muchas comienzan a cobrar sentido, cuando se comprende la relación entre la gente y los números del gobierno. Por una parte, hay quienes dicen que estas estadísticas son cruciales, y necesarias para entender la sociedad como un todo para superar anécdotas emocionales y medir el progreso de manera objetiva. Por otra parte, hay quienes dicen que estas estadísticas son elitistas, incluso manipuladas; que no tienen sentido y que no reflejan en realidad lo que ocurre en la vida cotidiana de la gente.
It kind of feels like that second group is winning the argument right now. We're living in a world of alternative facts, where people don't find statistics this kind of common ground, this starting point for debate. This is a problem. There are actually moves in the US right now to get rid of some government statistics altogether. Right now there's a bill in congress about measuring racial inequality. The draft law says that government money should not be used to collect data on racial segregation. This is a total disaster. If we don't have this data, how can we observe discrimination, let alone fix it? In other words: How can a government create fair policies if they can't measure current levels of unfairness? This isn't just about discrimination, it's everything -- think about it. How can we legislate on health care if we don't have good data on health or poverty? How can we have public debate about immigration if we can't at least agree on how many people are entering and leaving the country? Statistics come from the state; that's where they got their name. The point was to better measure the population in order to better serve it. So we need these government numbers, but we also have to move beyond either blindly accepting or blindly rejecting them. We need to learn the skills to be able to spot bad statistics.
Pareciera que el segundo grupo va ganando la pelea hasta ahora. Vivimos en un mundo de hechos alternativos donde la gente no se identifica con estas estadísticas, el punto de partida para el debate. Esto es un problema. Hay movimientos en EE. UU. actualmente para eliminar algunas estadísticas gubernamentales. Hay un proyecto de ley en el congreso para medir la inequidad racial. La proposición dice que el dinero del gobierno no debe usarse para recolectar datos sobre la segregación racial. Es un desastre total. Si no obtenemos esta información, ¿cómo observar la discriminación, para solucionarla? En otras palabras: ¿Cómo creará un gobierno políticas justas si no puede medir los actuales niveles de injusticia? No solo se trata de discriminación, sino de todo, piénsenlo. ¿Cómo legislar los servicios sanitarios sin datos sobre salud o pobreza? ¿Cómo tener un debate público sobre inmigración si no concordamos sobre cuánta gente entra y sale del país? Las estadísticas provienen del estado; de allí viene su nombre. El objetivo era medir mejor la población a fin de servirle mejor. Así que necesitamos los números del gobierno, pero no tenemos que aceptarlos ciegamente o rechazarlos ciegamente. Necesitamos tener las habilidades para detectar malas estadísticas.
I started to learn some of these when I was working in a statistical department that's part of the United Nations. Our job was to find out how many Iraqis had been forced from their homes as a result of the war, and what they needed. It was really important work, but it was also incredibly difficult. Every single day, we were making decisions that affected the accuracy of our numbers -- decisions like which parts of the country we should go to, who we should speak to, which questions we should ask. And I started to feel really disillusioned with our work, because we thought we were doing a really good job, but the one group of people who could really tell us were the Iraqis, and they rarely got the chance to find our analysis, let alone question it. So I started to feel really determined that the one way to make numbers more accurate is to have as many people as possible be able to question them.
Comencé a aprender de esto trabajando en un departamento de estadísticas de Naciones Unidas. Mi trabajo era averiguar cuántos iraquíes se vieron forzados a dejar sus casas como resultado de la guerra, y qué necesitaban. Era un trabajo muy importante, pero muy difícil también. Cada día tomábamos decisiones que afectaban la exactitud de los números, decisiones como cuáles partes del país debíamos visitar, con quién hablar, qué preguntas realizar. Comencé a sentirme desilusionada con nuestro trabajo, porque pensábamos que hacíamos un buen trabajo pero los únicos que podían decírnoslo eran los iraquíes, y ellos casi nunca tenían oportunidad de ver o cuestionar nuestro análisis. Así que me convencí de que para obtener números exactos se debía interrogar a cuanta gente se pudiera.
So I became a data journalist. My job is finding these data sets and sharing them with the public. Anyone can do this, you don't have to be a geek or a nerd. You can ignore those words; they're used by people trying to say they're smart while pretending they're humble. Absolutely anyone can do this.
Así me convertí en periodista de datos. Mi trabajo es encontrar series de datos y compartirlas con el público. Cualquiera lo puede hacer, no se necesita ser un nerdo. Pueden ignorar esas palabras; la gente las usa para decir que son inteligentes pretendiendo ser modestos. En definitiva, cualquiera puede hacerlo.
I want to give you guys three questions that will help you be able to spot some bad statistics. So, question number one is: Can you see uncertainty? One of things that's really changed people's relationship with numbers, and even their trust in the media, has been the use of political polls. I personally have a lot of issues with political polls because I think the role of journalists is actually to report the facts and not attempt to predict them, especially when those predictions can actually damage democracy by signaling to people: don't bother to vote for that guy, he doesn't have a chance. Let's set that aside for now and talk about the accuracy of this endeavor.
Quiero darles tres preguntas que les ayudarán a detectar malas estadísticas. Pregunta número uno, ¿Se distingue incertidumbre? Una cosa que ha cambiado la relación de la gente con los números, incluso su confianza en los medios, ha sido el uso de las encuestas políticas. Personalmente tengo muchos problemas con las encuestas políticas porque creo que el rol de los periodistas es informar sobre hechos y no intentar predecirlos, en especial cuando esas predicciones pueden dañar la democracia al decirle a la gente: ni voten por ese tipo, no tiene oportunidad. Dejemos eso a un lado y hablemos de la exactitud de esta tarea.
Based on national elections in the UK, Italy, Israel and of course, the most recent US presidential election, using polls to predict electoral outcomes is about as accurate as using the moon to predict hospital admissions. No, seriously, I used actual data from an academic study to draw this. There are a lot of reasons why polling has become so inaccurate. Our societies have become really diverse, which makes it difficult for pollsters to get a really nice representative sample of the population for their polls. People are really reluctant to answer their phones to pollsters, and also, shockingly enough, people might lie. But you wouldn't necessarily know that to look at the media. For one thing, the probability of a Hillary Clinton win was communicated with decimal places. We don't use decimal places to describe the temperature. How on earth can predicting the behavior of 230 million voters in this country be that precise? And then there were those sleek charts. See, a lot of data visualizations will overstate certainty, and it works -- these charts can numb our brains to criticism. When you hear a statistic, you might feel skeptical. As soon as it's buried in a chart, it feels like some kind of objective science, and it's not.
Basándose en elecciones nacionales en el Reino Unido, Italia, Israel y claro, en la más reciente elección presidencial de EE. UU., usar encuestas para predecir resultados electorales es tan preciso como usar la Luna para predecir admisiones hospitalarias. No, en serio, usé información real de un estudio académico para sacarlo. Hay muchas razones por las que las encuestas se han vuelto inexactas. Nuestras sociedades son diversas, lo que hace difícil a los encuestadores obtener un muestreo representativo de la población en sus encuestas. La gente es reacia a contestar por teléfonos encuestas, y también, sorprendentemente, la gente miente. Pero no se necesita saberlo para mirar los medios. La probabilidad de que Hillary Clinton ganara se comunicó con cifras decimales. No usamos cifras decimales para describir la temperatura. ¿Cómo es que predecir la conducta de 230 millones de votantes en este país es algo tan preciso? Y luego tenemos esas gráficas elegantes. Muchas visualizaciones de datos exageran exactitud, y funciona; esas gráficas nos insensibilizan a la crítica. Cuando escuchan un número pueden sentirse escépticos. Cuando se pone en una gráfica se siente como ciencia objetiva, y no lo es.
So I was trying to find ways to better communicate this to people, to show people the uncertainty in our numbers. What I did was I started taking real data sets, and turning them into hand-drawn visualizations, so that people can see how imprecise the data is; so people can see that a human did this, a human found the data and visualized it. For example, instead of finding out the probability of getting the flu in any given month, you can see the rough distribution of flu season. This is --
Así que busqué mejores maneras de comunicar esto a la gente, de mostrarles la inexactitud en los números. Comencé a tomar grupos de información real, y a convertirlos en visualizaciones hechas a mano, para que la gente viera cuán imprecisos son los datos; que estaban hechos por un humano, que encontró la información y la visualizó. Por ejemplo, en lugar de encontrar la probabilidad de enfermarse de gripa en algún mes, verían la distribución bruta de la temporada de gripa. Esta es...
(Laughter)
(Risas)
a bad shot to show in February. But it's also more responsible data visualization, because if you were to show the exact probabilities, maybe that would encourage people to get their flu jabs at the wrong time.
una mala toma mostrada en febrero. Pero es una visualización de datos más responsable, porque si mostraran las probabilidades exactas quizá alentaría a la gente a tomar sus vacunas en el momento equivocado.
The point of these shaky lines is so that people remember these imprecisions, but also so they don't necessarily walk away with a specific number, but they can remember important facts. Facts like injustice and inequality leave a huge mark on our lives. Facts like Black Americans and Native Americans have shorter life expectancies than those of other races, and that isn't changing anytime soon. Facts like prisoners in the US can be kept in solitary confinement cells that are smaller than the size of an average parking space.
El punto de estas líneas inestables es que la gente recuerda estas imprecisiones, pero no necesariamente se quedan con un número específico, pero recuerdan datos importantes. Datos como injusticia e inequidad marcan nuestras vidas. Datos como que afroamericanos y nativos americanos tienen menos esperanza de vida que los de otras razas, y eso no cambiará pronto. Datos como se puede confinar a prisioneros en EE. UU. en aislamiento en celdas más pequeñas que un espacio de aparcamiento promedio.
The point of these visualizations is also to remind people of some really important statistical concepts, concepts like averages. So let's say you hear a claim like, "The average swimming pool in the US contains 6.23 fecal accidents." That doesn't mean every single swimming pool in the country contains exactly 6.23 turds. So in order to show that, I went back to the original data, which comes from the CDC, who surveyed 47 swimming facilities. And I just spent one evening redistributing poop. So you can kind of see how misleading averages can be.
El punto de estas visualizaciones es también recordarle a la gente algunos conceptos estadísticos muy importantes, conceptos como promedios. Supongamos que escuchan, "La piscina promedio en EE. UU. sufre de 6,23 accidentes fecales". No significa que cada alberca en el país tiene 6,23 mojones. Para mostrar eso, revisé la información original, provenientes de la CDC, ellos estudiaron 47 instalaciones acuáticas. Invertí una tarde redistribuyendo excremento. Para que pudieran ver cuán engañosos son los promedios.
(Laughter)
(Risas)
OK, so the second question that you guys should be asking yourselves to spot bad numbers is: Can I see myself in the data? This question is also about averages in a way, because part of the reason why people are so frustrated with these national statistics, is they don't really tell the story of who's winning and who's losing from national policy. It's easy to understand why people are frustrated with global averages when they don't match up with their personal experiences. I wanted to show people the way data relates to their everyday lives. I started this advice column called "Dear Mona," where people would write to me with questions and concerns and I'd try to answer them with data. People asked me anything. questions like, "Is it normal to sleep in a separate bed to my wife?" "Do people regret their tattoos?" "What does it mean to die of natural causes?"
La segunda pregunta que se deben hacer para detectar un número erróneo: ¿Me reflejo en los datos? Esta pregunta también es acerca de los promedios, porque la gente se frustra con las estadísticas nacionales porque estas no dicen quién va ganando o perdiendo en una política nacional. Se comprende por qué la gente se frustra con los promedios globales cuando no coinciden con sus experiencias personales. Quería mostrarles cómo los datos se relacionan con la vida cotidiana. Comencé una columna de consejos "Querida Mona," donde la gente me escribe preguntas y preocupaciones e intento responderles con datos. La gente pregunta de todo, como, "¿Es normal que duerma en camas separadas con mi esposa?", "¿La gente se arrepiente de tatuarse?", "¿Qué significa morir por causas naturales?".
All of these questions are great, because they make you think about ways to find and communicate these numbers. If someone asks you, "How much pee is a lot of pee?" which is a question that I got asked, you really want to make sure that the visualization makes sense to as many people as possible. These numbers aren't unavailable. Sometimes they're just buried in the appendix of an academic study. And they're certainly not inscrutable; if you really wanted to test these numbers on urination volume, you could grab a bottle and try it for yourself.
Todas las preguntas son buenas, porque te hacen pensar en maneras de encontrar y comunicar estos números. Si alguien pregunta, "¿Cuánta orina es demasiada orina?", que es una pregunta que me hicieron, quieres asegurarte de que la visualización tenga sentido para tanta gente como sea posible. Estos números están disponibles. A veces están enterrados en el apéndice de un estudio académico. Y ciertamente no son inescrutables; si realmente quieren probar estos números de volumen de orina, podrían probarlo Uds. mismos con una botella.
(Laughter)
(Risas)
The point of this isn't necessarily that every single data set has to relate specifically to you. I'm interested in how many women were issued fines in France for wearing the face veil, or the niqab, even if I don't live in France or wear the face veil. The point of asking where you fit in is to get as much context as possible. So it's about zooming out from one data point, like the unemployment rate is five percent, and seeing how it changes over time, or seeing how it changes by educational status -- this is why your parents always wanted you to go to college -- or seeing how it varies by gender. Nowadays, male unemployment rate is higher than the female unemployment rate. Up until the early '80s, it was the other way around. This is a story of one of the biggest changes that's happened in American society, and it's all there in that chart, once you look beyond the averages. The axes are everything; once you change the scale, you can change the story.
El punto de esto no es necesariamente que cada grupo de datos se relacione con Uds. Me interesa cuántas mujeres recibieron multas en Francia por usar velo facial, o el nicab, incluso si no vivo en Francia o no uso el velo facial. El punto es lograr tanto contexto como sea posible Se trata de alejarse del punto de datos, como la tasa de desempleo es del 5 %, y ver cómo cambia con el tiempo, o ver cómo cambia según el estatus educativo, --por eso sus padres siempre quisieron que fueran a la universidad-- o ver cómo varía según el género. Hoy la tasa de desempleo de varones es mayor que la de las mujeres. Hasta principios de los ochenta, era al revés. Este es uno de los mayores cambios en la sociedad estadounidense, y todo está en la gráfica, si ven más allá de los promedios. Los ejes lo son todo; si se cambia la escala, se puede cambiar la historia.
OK, so the third and final question that I want you guys to think about when you're looking at statistics is: How was the data collected? So far, I've only talked about the way data is communicated, but the way it's collected matters just as much. I know this is tough, because methodologies can be opaque and actually kind of boring, but there are some simple steps you can take to check this.
La tercera y última pregunta que quiero que piensen cuando miren una estadística es: ¿Cómo se recopiló la información? Hasta ahora, solo he hablado de cómo se comunican los datos, pero el cómo se recopilaron es igual de importante. Sé que es difícil, porque la metodología puede ser opaca y un tanto aburrida, pero hay unos pasos sencillos para revisar esto.
I'll use one last example here. One poll found that 41 percent of Muslims in this country support jihad, which is obviously pretty scary, and it was reported everywhere in 2015. When I want to check a number like that, I'll start off by finding the original questionnaire. It turns out that journalists who reported on that statistic ignored a question lower down on the survey that asked respondents how they defined "jihad." And most of them defined it as, "Muslims' personal, peaceful struggle to be more religious." Only 16 percent defined it as, "violent holy war against unbelievers." This is the really important point: based on those numbers, it's totally possible that no one in the survey who defined it as violent holy war also said they support it. Those two groups might not overlap at all.
Usaré un último ejemplo. Una encuesta encontró que el 41 % de los musulmanes del país apoyaban la yihad, lo cual obviamente asusta, y se reportó en todos lados en 2015. Cuando quiero revisar un número como ese, comenzaré por encontrar el cuestionario original. Resulta que los periodistas que reportaron esa estadística ignoraron una pregunta posterior en la encuesta que pedía a los encuestados definir "yihad". Y la mayoría lo definían como, "La lucha personal y pacífica para ser más religioso". El 16 % lo definió como "guerra santa y violenta contra los no creyentes". Este es un punto importante: basándose en esos números es posible que nadie en la encuesta que lo definió como guerra santa dijera que también lo apoyaba. Esos dos grupos quizá no coincidan.
It's also worth asking how the survey was carried out. This was something called an opt-in poll, which means anyone could have found it on the internet and completed it. There's no way of knowing if those people even identified as Muslim. And finally, there were 600 respondents in that poll. There are roughly three million Muslims in this country, according to Pew Research Center. That means the poll spoke to roughly one in every 5,000 Muslims in this country.
También es pertinente preguntar cómo se realizó la encuesta. Esta fue encuesta fue de participación libre, cualquiera pudo encontrarla en internet y responderla. No se puede saber si esas personas se identificaban como musulmanes. Finalmente, hubo 600 encuestados en esa encuesta. Hay cerca de tres millones de musulmanes en este país, según el Centro de Investigación Pew. Significa que se encuestó a uno de cada 5000 musulmanes en este país.
This is one of the reasons why government statistics are often better than private statistics. A poll might speak to a couple hundred people, maybe a thousand, or if you're L'Oreal, trying to sell skin care products in 2005, then you spoke to 48 women to claim that they work.
Esta es una de las tres razones por las que las estadísticas gubernamentales son mejores que las privadas. Una encuesta puede hablar con unos cientos, o miles, o como L'Oreal en 2005, para vender productos para el cuidado de la piel, hablaron con 48 mujeres para decir que trabajaron.
(Laughter)
(Risas)
Private companies don't have a huge interest in getting the numbers right, they just need the right numbers. Government statisticians aren't like that. In theory, at least, they're totally impartial, not least because most of them do their jobs regardless of who's in power. They're civil servants. And to do their jobs properly, they don't just speak to a couple hundred people. Those unemployment numbers I keep on referencing come from the Bureau of Labor Statistics, and to make their estimates, they speak to over 140,000 businesses in this country.
Las compañías privadas no tienen gran interés por obtener bien los números, solo necesitan los números correctos. Los estadísticos gubernamentales no son así. En teoría, al menos, son imparciales, porque la mayoría hace su trabajo sin importar quién esté en el poder. Son servidores públicos. Y hacen su trabajo apropiadamente, no solo hablan con un par de cientos. Esos números de desempleo de los que he hablando vienen de la administración de Estadísticas Laborales, y para sacar sus estimaciones, hablan con cerca de 140 000 negocios en el país.
I get it, it's frustrating. If you want to test a statistic that comes from a private company, you can buy the face cream for you and a bunch of friends, test it out, if it doesn't work, you can say the numbers were wrong. But how do you question government statistics? You just keep checking everything. Find out how they collected the numbers. Find out if you're seeing everything on the chart you need to see. But don't give up on the numbers altogether, because if you do, we'll be making public policy decisions in the dark, using nothing but private interests to guide us.
Lo comprendo, es frustrante. Si quieren comprobar una estadística de una compañía privada, compren la crema facial y pruébenla si no funciona, pueden decir que los números se equivocan. Pero ¿cómo cuestionar estadísticas gubernamentales? Solo continúen revisando todo. Averigüen cómo recopilaron los números. Averigüen si en la estadística ven todo lo que necesitan ver. Pero no se rindan ante los números porque si lo hacen, estaremos tomando decisiones sobre políticas públicas ciegamente, usando solo intereses privados para guiarnos.
Thank you.
Gracias.
(Applause)
(Aplausos)