Existen dos graves peligros de ser un ignorante en bioestadística y epidemiología. Uno de ellos es fallar un gran número de preguntas en el examen MIR. Otro, es malinterpretar los datos que nos proporcionan los estudios que continuamente salen a la luz y son los pilares fundamentales de la Medicina en general y la Medicina Preventiva en particular, siempre basada en la evidencia.

Escribo esta entrada en el blog para recordar la importancia de este tema, ya que de vez en cuando podemos despistarnos y olvidarnos que una actitud crítica, ''científica'', debe tenerse presente siempre que leamos y estudiemos nuevos estudios que encontremos, ya que todo el mundo tiene alcance a ellos hoy en día gracias a internet y en caso de fallar a la hora de interpretar la información, esta malinterpretación puede extenderse enormemente, muchas veces por ignorancia bienintencionada (la malintencionada se la dejo a charlatanes que suelen lucrarse gracias a ella).

Usaré un ejemplo reciente para ilustrar este asunto. Un estudio publicado en febrero de este año en el portal científico PLoS ONE, y que se ha compartido en las redes sociales de forma extensa, sobre la influencia en la salud de dietas vegetarianas, llegó a mis manos hace un tiempo a través de Twitter, retuiteado por Javier Peláez (@Irreductible), el cual también escribió una entrada en su blog sobre el mismo (ya estáis tardando en seguirle y echarle un vistazo a Naukas, uno de los mejores portales de divulgación científica en castellano de la red).

Resumiendo los resultados del artículo en las páginas webs de divulgación que se hicieron eco: "Los vegetarianos tienen más cáncer, alergias y problemas mentales". Las reacciones no se hicieron esperar:

Vegetarianos del mundo, la salud no es una excusa para comer sólo vegetales: http://t.co/WGybessJOz
— beoxman (@beoxman) abril 9, 2014

yo q admiraba a los veganos: Vegetarians Found To Have More Cancer, Allergies And Mental Disorders http://t.co/b2nrSPoXJ6 vía @science2_0
— Eva Caballero (@EvitaCaballero) abril 7, 2014

Dedicado a mis amigos vegetarianos: http://t.co/vZKNroQeES
— Antonio Escobar (@AntonioEscobarN) abril 14, 2014

Los vegetarianos tienen más cáncer, alergias y problemas mentales. http://t.co/I0M6OgexsHEs lo que tiene guiarte por la FE, no la CIENCIA.
— El Teleoperador (@teleoperador) abril 6, 2014

Ciertamente, los resultados son llamativos. Con respecto a los problemas mentales, los investigadores agrupaban problemas de ansiedad y depresión (alguno que conozco definiría el abandono del jamón serrano como problema mental en sí, aunque no trata de esto el asunto). Pero... ¿cáncer? ¿alergias?. Saltan las alarmas. Los vegetarianos son acusados de dañarse gravemente la salud. Efectivamente, algunas dietas extremas pueden ser peligrosas (como las veganas estrictas), pero muchos vegetarianos intentan tener una completa ingesta de nutrientes esenciales, ya sea de una forma u otra. Antes de sacar conclusiones, deberíamos leer el estudio con detenimiento.

Los investigadores usaron 4 grupos o variables independientes, donde repartieron a los sujetos investigados según su dieta: vegetarianos (tanto veganos como vegetarianos que toman leche y huevos), dietas carnívoras con muchas frutas y vegetales, dietas carnívoras pero con poca cantidad de carne, y dietas carnívoras ''puras''. Se ajustó por edad, sexo y estatus socio-económico para evitar posibles factores de confusión, y mediante entrevistas con cuestionarios, se recogieron los datos. Por último, el análisis estadístico se hizo buscando relación con condiones crónicas de salud (18 en total) como alergias, cáncer, trastornos mentales, osteoporosis, hipertensión, etc etc:

Lo que primero llama la atención, es el diseño del estudio. Antes que nada, me gustaría recordar los diferentes tipos de diseño de estudios (enfocados a temas de salud). Hay 2 grandes grupos, los estudios experimentales, donde se aleatoriza a los sujetos y el investigador asigna la exposición a estudiar frente a otra cosa (placebo o un fármaco cuya eficacia está comprobada frente a uno nuevo experimental), por ejemplo, los ensayos clínicos donde le damos una pastilla al voluntario a ver qué pasa, ensayos de campo, ensayos comunitarios o estudios cuasi-experimentales (en este caso no hay aleatorización). Son los diseños más robustos,  que proporcionan una evidencia más fuerte, gracias al enmascaramiento doble-ciego y la aleatorización.

El otro grupo, es el de los estudios no experimentales u observacionales. Es decir, no hay asignación de la exposición por parte del investigador, el cual se limita a recoger laboriosamente datos que le proporcionan los sujetos (mediante entrevistas, cuestionarios, etc) para luego sacar conclusiones tras un análisis estadístico o una simple descripción correlacionando los datos. Por un lado, los estudios analíticos, que engloban cohortes y casos y controles (prospectivos y retrospectivos, se analiza los datos y su relación frente a una exposición que hayan tenido o que vayan a tener frente a algo, generalmente a lo largo de un tiempo determinado). Y por otro lado, los estudios descriptivos, que incluyen estudios transversales y ecológicos (preguntan ahora mismo algo a todos los sujetos a ver qué dicen, y el investigador toma nota, en diferentes escalas según el número de participantes). Los estudios descriptivos son mucho más débiles y con un diseño más deficiente que los analíticos, por motivos obvios.

En nuestro caso, hablamos de un estudio transversal. Partiendo de la crítica al diseño en cuanto a la selección de los participantes del estudio y la forma de agruparlos (los autores contaron veganos, vegetarianos que comen carne, leche y huevo en un mismo grupo debido a su pequeño número), los investigadores han recogido información de gente sobre sus hábitos dietéticos y su estado de salud, en un momento determinado, sin un seguimiento temporal. Esta clase de estudios son útiles, sobre todo, para describir prevalencias, lo cual puede dar pistas para iniciar una investigación más exhaustiva. Pero prevalencia no implica ''aparición'' o incidencia de algo, ni puede relacionarse con otra variable de forma causal ya que no se ha descrito una secuencia temporal al respecto. En cualquier estudio, la causalidad se basa fundamentalmente en esta secuencia temporal (¿os suena  que la causa siempre va antes que el efecto? pues eso) ¡Los mismos autores lo mencionan en las conclusiones!

 limitations of our results are due to the fact that the survey was based on cross-sectional data. Therefore, no statements can be made whether the poorer health in vegetarians in our study is caused by their dietary habit or if they consume this form of diet due to their poorer health status"

O lo que es lo mismo: los investigadores no podrían decir si los enfermos de cáncer siguen una dieta vegetariana DESPUÉS de habérsele diagnosticado el cáncer, o viceversa. De hecho, suena más plausible que sea lo primero, ya que tal vez los enfermos de cáncer asocien la dieta vegetariana a un estilo de vida más ''saludable'', y por ello decidan abandonar la carne. En cualquier caso, no podemos saberlo. Si en vez de un estudio transversal, hubiese sido longitudinal, con un seguimiento temporal con, por ejemplo, 4 cohortes con diferentes hábitos dietéticos, durante un tiempo (por ejemplo, 10 años), podríamos sacar alguna conclusión más consistente y palpable.

Para rematar la faena, en la tabla que os pongo arriba, en la letra pequeña, nos dicen que han hecho el análisis estadístico con el test de la Ji-cuadrado, teniendo distintas variables categóricas o dicotómicas tanto en las variables independientes como en las dependientes (sumando ambas, alrededor de 20), cuando una regresión logística hubiese sido mucho más acertado en este caso. Es decir, que abre una  posibilidad real que implique que las famosas "p" de significación estadística que sustentan las afirmaciones que los vegetarianos están más enfermos tal vez también estén mal calculadas, y por tanto, no tengan valor, ya que podría existir algún sesgo por mala especificación.

En definitiva, si bien estos resultados podrían usarse para describir una mayor presencia de enfermedades en personas con hábitos vegetarianos (si es que el análisis estadístico no es un desastre), habría que ir más allá e investigar una posible relación causal, si la hubiese. Cosa que no se ha hecho en este estudio, y que mucha gente ha dado por sentado erróneamente. Además, no he hablado de los posibles sesgos, que merecería una entrada aparte en el blog. Este estudio no demuestra nada, ni que la dieta vegetariana sea más perjudicial o más sana. Ni una cosa ni la otra (por si algún amante de los animales me está leyendo y ya esté sacando otras conclusiones nuevamente equivocadas de cómo interpretar estos resultados)

Hay muchos más ejemplos de estudios mal realizados como en este caso, no es algo aislado. En algunas ocasiones, los estudios transversales y ecológicos pueden llegar a ser hasta divertidos (¿relación entre el consumo de chocolate por país y el número de premios Nobel? ¿en serio?). Si ya sumamos los conflictos de interés y la sombra de oscuros objetivos tras los estudios, la cosa alcanza niveles escandolosos: grandes empresas financiando estudios cuyos resultados, por descontado, van a dar resultados favorables a lo que estamos buscando. Y luego está esa irritante manía de publicar sólo los estudios que encuentran cosas estadísticamente significativas. Aunque no lo parezca, hay ingentes cantidades de estudios que no sacan resultados concluyentes de nada en muchas ocasiones, o peor, se ocultan resultados o directamente se manipulan. Pero claro, decir que ''no, la verdad es que no hemos llegado a ninguna conclusión sobre el tema que estudiábamos'' no queda tan bien en un titular de una publicación científica.

Aqui os dejo el link a una página muy interesante sobre este tema: Statistics Done Wrong, una guía completísima para aprender a identificar errores de cualquier tipo en toda clase de estudios.

Es precisamente esta auto-crítica la que hace al método científico tan eficaz: ser siempre escépticos, incluso con aquello que a primera vista no nos tendría que llevar a esa duda, que a veces es tan sana. Obviamente, cuando esto se repite muchas veces, por muchas personas diferentes, y se ha comprobado y revisado hasta la saciedad, podemos decir que tenemos algo sólido sobre lo que sentarnos, no hacerlo sería un error igualmente grave. Estoy acordándome ahora mismo de los famosos grupos anti-vacunas, que llevan la duda al extremo, incapaces de ver los beneficios de la vacunación debido a un miedo infundado, basado en un único estudio ya retirado e invalidado hace años.

Para terminar, os dejo un simpático ejemplo de lo que hablo, sacado de la portada y primera página de un número de la revista Natural Geographic en 2004.

"¿Estaba Darwin equivocado? NO. La evidencia de la evolución es abrumadora"

Hoy os traigo (gracias a Cris Alfaro) una imagen muy representativa del pasado, las estimaciones de causas de muerte durante todo el siglo XX. Creada por David McCandless, con datos recogidos de la OMS, se desgranan con una meticulosidad exquisita  las causas organizadas en agrupaciones sucesivas. El primer premio se lo lleva las enfermedades no transmisibles o crónicas (sin incluir el cáncer) seguidas muy de cerca por las enfermedades infecciosas (asombroso el daño que provocaba la viruela) y las enfermedades cardiovasculares. Da que pensar también el grupo dedicado a la ''Humanidad'', donde agrupa guerras, accidentes, ideologías, consumo de drogas (incluyendo el tabaco) y demás prácticas autodestructivas que llevamos a cabo como especie.

pulsa en la imagen para ampliar

|visto en twitter

Es la palabra tabú de los últimos años, una patología que crece vertiginosamente (14 millones de casos nuevos al año) castigando de nuevo a quienes menos herramientas tienen para protegerse. Porque el mito de que el cáncer es una enfermedad de los países ricos está cada vez más desechado, sobre todo si atendemos a la mortalidad que provoca.

Pero el cáncer no es una única enfermedad, cada zona tiene mayor o menor incidencia de determinados tipos de cáncer en función de múltiples variantes como la alimentación, la polución o la carga genética. De ahí que por ejemplo China, a pesar de las altísimas cifras de fumadores tenga una menor incidencia de cáncer de pulmón que muchos países europeos y sin embargo sea líder en otros tipos como el de estómago o hígado.

El cómo y dónde ataca el cáncer depende de muchos factores, y quizá el más importante es el sexo. Estos dos mapas reflejan esa diferencia, además de dividirlo por países. Así podemos observar que si bien el cáncer de mama es el predominante en mujeres, en algunas zonas de África el cáncer de cérvix es más común. En hombres, de todos los tipos es el de próstata el que más mata, pero quedan países como Japón en los que el cáncer de estómago sigue haciendo estragos.

| leído en el blog de salud de la NPR; los datos son de la OMS.

p<0,05 es un amigo: te crees el estudio por improbable que parezca su planteamiento #comiendonoselmir y la #preventiva con @mirasturias

- @AndresMuDel resumiendo la estadística

La cadena televisiva Channel 4 ha realizado una encuesta entre mil británicos sobre algunas cuestiones de su sexualidad. El trabajo está disponible a través de la web y su visualización a base de gráficos interactivos está muy bien lograda. Desde la página de Sexperience 1000 elegiremos una de las preguntas en la encuesta, relacionadas con datos demográficos, preferencias, frecuencia o filias y las combinaremos con otros parámetros, variables, que nos permitirán filtrar los resultados. Por ejemplo, podremos saber si los varones que escuchan música pop tienen su primera relación sexual antes que las mujeres del mismo grupo, o si la marca del coche se asocia con un número de enfermedades de transmisión sexual.

Un interesante juego de datos combinado con gráficos atractivos y un tema que siempre tiene tirón. ¿Pero qué podemos deducir de los datos?

Para poder responder a la pregunta, primero tendremos que saber qué tipo de datos tenemos sobre la mesa. Porque no vale lo mismo lo que nos cuente alguien sobre cómo el paracetamol que el perfil farmacodinámico de ese fármaco obtenido por muestras seriadas dentro de un ensayo aleatorizado. Así pues existen diferentes niveles de "valor de los datos" y en función del valor que tengan los datos así será el valor que tenga nuestro estudio de los mismos. Es lo que llamamos Calidad de la Evidencia o Niveles de Evidencia y que podemos medir con diferentes escalas con nombres tan terroríficos como CTFPHC, OCEBM o GRADE.

Por lo tanto el tipo de datos que tengamos va a condicionar el tipo de estudio que podamos hacer. Así, si tenemos datos que hemos obtenido en una encuesta por la calle (como es el caso) sólo podremos hacer un estudio transversal, también llamado de prevalencia. ¿Y es malo un estudio transversal?

Todos los tipos de estudios tienen sus limitaciones y sus ventajas. Los estudios de transversales son baratos y rápidos de hacer, nos dan capacidad para obtener una muestra de buena calidad, nos sirven para estimar prevalencias y estudiar múltiples variables resultado (enfermedad-exposición). Pero a su vez son un tipo de estudio que los investigadores sólo utilizan para hacer planteamientos iniciales y para identificar frecuencias poblacionales de enfermedades que no sean raras o de curso muy rápido. Y es que el mayor problema que tienen los estudios de prevalencia es que no nos permiten establecer causalidad (decir que esto produce aquello).

Y es que para que admitamos una relación de causalidad tienen que cumplirse varios aspectos que sólo pueden comprobarse cuando tenemos datos de tipo longitudinal (a lo largo del tiempo). Se les conoce como Criterios de Causalidad de Bradford-Hill en honor a un epidemiólogo inglés que además de redactarlos los utilizó para ser el primero en demostrar que el tabaco produce cáncer de pulmón. Son carne de pregunta MIR desde hace años y si queréis conocerlos más a fondo podéis pasaros por el análisis que hice en "Hoy he aprendido que..."

En definitiva, los estudios que generan más ruido son habitualmente los estudios de prevalencia financiados con fondos privados de partes interesadas. Porque es muy fácil manipular los datos obtenidos de un muestreo transversal para que "digan" lo que nos interesa ante un público sin conocimientos estadísticos. Así podremos vender ideas como que quienes compran una determinada marca tienen más éxito en el trabajo o que comprar un coche te llevará a la felicidad. Pero sólo hace falta un poco de lógica y una lista con los Criterios de Bradford-Hill para sonrojar a más de un publicista ingenioso.

Este tema ya lo hemos comentado también al hablar de las gráficas de Hans Rosling, aunque quedó tapado por la Falacia Ecológica.

No me canso de ver a Hans Rosling explicando sus maravillosas gráficas de la GapMinder Foundation. Esos datos volando de un lado a otro, y esas curiosas curvas que trazan a lo largo del tiempo. Y sin embargo sé que a nivel estadístico su validez es escasa porque se basan en relaciones entre valores poblacionales. Y es que los datos poblacionales no son un válidos para medir asociaciones ni para ser extrapolados a los individuos. Por ejemplo, no puedo asumir que Benson, de Sudáfrica, tendrá un sueldo menor que Helen, de Finlandia; aunque los datos poblacionales indican que la renta per capita es mayor en Luxemburgo, ya que Benson podría ser un futbolista de élite y Helen una desempleada.

El problema de los estudios con datos poblacionales, también llamados estudios ecológicos, es por tanto el propio origen de estos datos, las medidas de tendencia central. Y es que aunque Helen sea finlandesa, no implica que sea rubia.

En el día a día, llamamos a la falacia ecológica, estereotipos. Y las ideas estereotipadas nos llevan muchas veces a cometer prejuicios que muchas veces son fallidos.

Por tanto la falacia ecológica surge de la aplicación de rasgos o características muy presentes en una población a un indivíduo extraído de forma aleatoria de esa misma población. Un caso típico es la relación entre el consumo de tabaco de mascar y el cáncer de boca. En España el consumo de tabaco de mascar está prohibido (prevención primaria) pero no así en los Estados Unidos, y sabemos también que la incidencia de cancer oral es menor aquí. Sin embargo sólo con esos datos no podemos establecer una relación de causalidad entre el tabaco de mascar y el cáncer de boca. ¿Por qué? Pues porque en gran medida la falacia ecológica ocurre debido a la imposibilidad de controlar las múltiples variables confusoras en el análisis estadístico de los datos ya que no estamos midiendo las covariables (algunas pueden estar alterando los datos).

La falacia ecológica es también la que utilizan muchas preguntas tipo test. Si en un examen me preguntan qué enfermedad sospecho ante un paciente con fiebre, cefalea y mialgias, de un pueblo donde beben leche sin pasteurizar, buscaría sin dudar Brucellosis. Es más, lo que tiene es una Brucellosis, y punto. ¿Pero no sería más lógico pensar que lo que tiene es una gripe? Sí, pero seguro que bebió leche sin pasteurizar y seguro que provenía de una vaca infectada por Brucella. Claro está, ese proceso deductivo es falaz, porque podría estar inmunodeprimido y tener un a Listeriosis, o simplemente podríamos asumir que lo más probable es que tenga lo más probable y sea una simple gripe e incluso es posible que nuestro paciente ni tan siquiera beba leche. Pero así actúa la falacia ecológica, cuando suponemos que la presencia de un factor de riesgo y una enfermedad en la población bastan para demostrar una relación causa-efecto.

Pero, ¿significa esto que el bueno de Hans Rosling nos engaña? No necesariamente. Porque muchas de las charlas de la GapMinder no van sobre relaciones causales, si no sobre relaciones entre dos variables como por ejemplo poseer una bicicleta y la mortalidad infantil. Muchas de las suposiciones de Hans Rosling son meras conjeturas, pero el poder de la línea temporal otorga a sus presentaciones una potencia que aunque no sea estadística sí es visual.

Os dejo que os deleite con esta charla de 2009 sobre las tasas de infección por VIH en el mundo, no olvidéis la falacia ecológica, pero aprended de los datos: