Existen dos graves peligros de ser un ignorante en bioestadística y epidemiología. Uno de ellos es fallar un gran número de preguntas en el examen MIR. Otro, es malinterpretar los datos que nos proporcionan los estudios que continuamente salen a la luz y son los pilares fundamentales de la Medicina en general y la Medicina Preventiva en particular, siempre basada en la evidencia.
Escribo esta entrada en el blog para recordar la importancia de este tema, ya que de vez en cuando podemos despistarnos y olvidarnos que una actitud crítica, ''científica'', debe tenerse presente siempre que leamos y estudiemos nuevos estudios que encontremos, ya que todo el mundo tiene alcance a ellos hoy en día gracias a internet y en caso de fallar a la hora de interpretar la información, esta malinterpretación puede extenderse enormemente, muchas veces por ignorancia bienintencionada (la malintencionada se la dejo a charlatanes que suelen lucrarse gracias a ella).
Usaré un ejemplo reciente para ilustrar este asunto. Un estudio publicado en febrero de este año en el portal científico PLoS ONE, y que se ha compartido en las redes sociales de forma extensa, sobre la influencia en la salud de dietas vegetarianas, llegó a mis manos hace un tiempo a través de Twitter, retuiteado por Javier Peláez (@Irreductible), el cual también escribió una entrada en su blog sobre el mismo (ya estáis tardando en seguirle y echarle un vistazo a Naukas, uno de los mejores portales de divulgación científica en castellano de la red).
Resumiendo los resultados del artículo en las páginas webs de divulgación que se hicieron eco: "Los vegetarianos tienen más cáncer, alergias y problemas mentales". Las reacciones no se hicieron esperar:
Ciertamente, los resultados son llamativos. Con respecto a los problemas mentales, los investigadores agrupaban problemas de ansiedad y depresión (alguno que conozco definiría el abandono del jamón serrano como problema mental en sí, aunque no trata de esto el asunto). Pero... ¿cáncer? ¿alergias?. Saltan las alarmas. Los vegetarianos son acusados de dañarse gravemente la salud. Efectivamente, algunas dietas extremas pueden ser peligrosas (como las veganas estrictas), pero muchos vegetarianos intentan tener una completa ingesta de nutrientes esenciales, ya sea de una forma u otra. Antes de sacar conclusiones, deberíamos leer el estudio con detenimiento.
Los investigadores usaron 4 grupos o variables independientes, donde repartieron a los sujetos investigados según su dieta: vegetarianos (tanto veganos como vegetarianos que toman leche y huevos), dietas carnívoras con muchas frutas y vegetales, dietas carnívoras pero con poca cantidad de carne, y dietas carnívoras ''puras''. Se ajustó por edad, sexo y estatus socio-económico para evitar posibles factores de confusión, y mediante entrevistas con cuestionarios, se recogieron los datos. Por último, el análisis estadístico se hizo buscando relación con condiones crónicas de salud (18 en total) como alergias, cáncer, trastornos mentales, osteoporosis, hipertensión, etc etc:
Lo que primero llama la atención, es el diseño del estudio. Antes que nada, me gustaría recordar los diferentes tipos de diseño de estudios (enfocados a temas de salud). Hay 2 grandes grupos, los estudios experimentales, donde se aleatoriza a los sujetos y el investigador asigna la exposición a estudiar frente a otra cosa (placebo o un fármaco cuya eficacia está comprobada frente a uno nuevo experimental), por ejemplo, los ensayos clínicos donde le damos una pastilla al voluntario a ver qué pasa, ensayos de campo, ensayos comunitarios o estudios cuasi-experimentales (en este caso no hay aleatorización). Son los diseños más robustos, que proporcionan una evidencia más fuerte, gracias al enmascaramiento doble-ciego y la aleatorización.
El otro grupo, es el de los estudios no experimentales u observacionales. Es decir, no hay asignación de la exposición por parte del investigador, el cual se limita a recoger laboriosamente datos que le proporcionan los sujetos (mediante entrevistas, cuestionarios, etc) para luego sacar conclusiones tras un análisis estadístico o una simple descripción correlacionando los datos. Por un lado, los estudios analíticos, que engloban cohortes y casos y controles (prospectivos y retrospectivos, se analiza los datos y su relación frente a una exposición que hayan tenido o que vayan a tener frente a algo, generalmente a lo largo de un tiempo determinado). Y por otro lado, los estudios descriptivos, que incluyen estudios transversales y ecológicos (preguntan ahora mismo algo a todos los sujetos a ver qué dicen, y el investigador toma nota, en diferentes escalas según el número de participantes). Los estudios descriptivos son mucho más débiles y con un diseño más deficiente que los analíticos, por motivos obvios.
En nuestro caso, hablamos de un estudio transversal. Partiendo de la crítica al diseño en cuanto a la selección de los participantes del estudio y la forma de agruparlos (los autores contaron veganos, vegetarianos que comen carne, leche y huevo en un mismo grupo debido a su pequeño número), los investigadores han recogido información de gente sobre sus hábitos dietéticos y su estado de salud, en un momento determinado, sin un seguimiento temporal. Esta clase de estudios son útiles, sobre todo, para describir prevalencias, lo cual puede dar pistas para iniciar una investigación más exhaustiva. Pero prevalencia no implica ''aparición'' o incidencia de algo, ni puede relacionarse con otra variable de forma causal ya que no se ha descrito una secuencia temporal al respecto. En cualquier estudio, la causalidad se basa fundamentalmente en esta secuencia temporal (¿os suena que la causa siempre va antes que el efecto? pues eso) ¡Los mismos autores lo mencionan en las conclusiones!
limitations of our results are due to the fact that the survey was based on cross-sectional data. Therefore, no statements can be made whether the poorer health in vegetarians in our study is caused by their dietary habit or if they consume this form of diet due to their poorer health status"
O lo que es lo mismo: los investigadores no podrían decir si los enfermos de cáncer siguen una dieta vegetariana DESPUÉS de habérsele diagnosticado el cáncer, o viceversa. De hecho, suena más plausible que sea lo primero, ya que tal vez los enfermos de cáncer asocien la dieta vegetariana a un estilo de vida más ''saludable'', y por ello decidan abandonar la carne. En cualquier caso, no podemos saberlo. Si en vez de un estudio transversal, hubiese sido longitudinal, con un seguimiento temporal con, por ejemplo, 4 cohortes con diferentes hábitos dietéticos, durante un tiempo (por ejemplo, 10 años), podríamos sacar alguna conclusión más consistente y palpable.
Para rematar la faena, en la tabla que os pongo arriba, en la letra pequeña, nos dicen que han hecho el análisis estadístico con el test de la Ji-cuadrado, teniendo distintas variables categóricas o dicotómicas tanto en las variables independientes como en las dependientes (sumando ambas, alrededor de 20), cuando una regresión logística hubiese sido mucho más acertado en este caso. Es decir, que abre una posibilidad real que implique que las famosas "p" de significación estadística que sustentan las afirmaciones que los vegetarianos están más enfermos tal vez también estén mal calculadas, y por tanto, no tengan valor, ya que podría existir algún sesgo por mala especificación.
En definitiva, si bien estos resultados podrían usarse para describir una mayor presencia de enfermedades en personas con hábitos vegetarianos (si es que el análisis estadístico no es un desastre), habría que ir más allá e investigar una posible relación causal, si la hubiese. Cosa que no se ha hecho en este estudio, y que mucha gente ha dado por sentado erróneamente. Además, no he hablado de los posibles sesgos, que merecería una entrada aparte en el blog. Este estudio no demuestra nada, ni que la dieta vegetariana sea más perjudicial o más sana. Ni una cosa ni la otra (por si algún amante de los animales me está leyendo y ya esté sacando otras conclusiones nuevamente equivocadas de cómo interpretar estos resultados)
Hay muchos más ejemplos de estudios mal realizados como en este caso, no es algo aislado. En algunas ocasiones, los estudios transversales y ecológicos pueden llegar a ser hasta divertidos (¿relación entre el consumo de chocolate por país y el número de premios Nobel? ¿en serio?). Si ya sumamos los conflictos de interés y la sombra de oscuros objetivos tras los estudios, la cosa alcanza niveles escandolosos: grandes empresas financiando estudios cuyos resultados, por descontado, van a dar resultados favorables a lo que estamos buscando. Y luego está esa irritante manía de publicar sólo los estudios que encuentran cosas estadísticamente significativas. Aunque no lo parezca, hay ingentes cantidades de estudios que no sacan resultados concluyentes de nada en muchas ocasiones, o peor, se ocultan resultados o directamente se manipulan. Pero claro, decir que ''no, la verdad es que no hemos llegado a ninguna conclusión sobre el tema que estudiábamos'' no queda tan bien en un titular de una publicación científica.
Aqui os dejo el link a una página muy interesante sobre este tema: Statistics Done Wrong, una guía completísima para aprender a identificar errores de cualquier tipo en toda clase de estudios.
Es precisamente esta auto-crítica la que hace al método científico tan eficaz: ser siempre escépticos, incluso con aquello que a primera vista no nos tendría que llevar a esa duda, que a veces es tan sana. Obviamente, cuando esto se repite muchas veces, por muchas personas diferentes, y se ha comprobado y revisado hasta la saciedad, podemos decir que tenemos algo sólido sobre lo que sentarnos, no hacerlo sería un error igualmente grave. Estoy acordándome ahora mismo de los famosos grupos anti-vacunas, que llevan la duda al extremo, incapaces de ver los beneficios de la vacunación debido a un miedo infundado, basado en un único estudio ya retirado e invalidado hace años.
Para terminar, os dejo un simpático ejemplo de lo que hablo, sacado de la portada y primera página de un número de la revista Natural Geographic en 2004.
"¿Estaba Darwin equivocado? NO. La evidencia de la evolución es abrumadora"
