En el “Mar de la Incertidumbre”. En Medicina. Parte II. La crisis de reproducibilidad. El efecto declinación.

La crisis de la reproducibilidad, o replicación, se refiere a una extraña realidad. Muchos, la mayoría, de estudios científicos, aparentemente sólidos, no son reproducibles. Al hacerse evidente esta realidad, se la ha comenzado a calificar como crisis. Cuando se intenta repetirlos en la misma forma en que fueron realizados, no se logra el efecto esperado. En algunos casos, se logra con resultados menos notorios, que implican un efecto de declinación. Algunos, tal vez la mayoría, no serán reproducibles porque no han sido realizados apropiadamente. Un número menor, porque son fraudulentos. Muchas veces, por razones que no se comprenden, son misteriosas.

“En revistas de alto perfil, la mayoría de los hallazgos publicados son irreproducibles en el 70 al 90 % de los casos.”. (Begley CG, Ioannidis JP., 2015) (1) (Begley CG, Ellis LM., 2012) (2) La proliferación de estudios no reproducibles es una plaga en tiempos actuales.

El misterio.

En 1999, se publicó en Science, un estudio de John Crabbe y colaboradores, neurocientíficos de la Universidad de Oregón. En él se describe un experimento, realizado simultáneamente, en 3 centros de investigación distintos. Era un intento de evaluar la reproducibilidad. Se realizó en

Portland, en Albany y en Edmonton. Se evaluará la respuesta conductual de ratones, a la administración de cocaína.

Se estandarizaron todas las variables del experimento. Los animales eran de la misma especie, provenían del mismo proveedor, fueron enviados el mismo día, en la misma forma, a los tres laboratorios.

Se los alojó en jaulas similares, con la misma clase de aserrín en el suelo de la jaula. Se alimentaron con la misma comida. El mismo número de ratones en cada jaula. La intensidad de la luz, y el tiempo de luz y oscuridad se hicieron iguales.

Cuando hubo que manipularlos se usó el mismo tipo de guantes. El experimento se realizó a la misma hora en los tres centros, se usaron los mismos instrumentos de medición. Las latitudes de los centros difieren muy poco. Sus climas eran parecidos, con ligeras variaciones. Los resultados deberían ser iguales. Pero no lo fueron.

En dos laboratorios difirieron, pero no mucho. En uno de ellos la diferencia fue enorme. En la introducción los autores señalan.

“…se evaluaron los animales con una batería de seis aspectos conductuales. Los aparatos, los protocolos y las variables ambientales se hicieron rigurosamente idénticas. A pesar de esto, hubo diferencias sistemáticas en la conducta, en los tres laboratorios”. (Crabbe, J. C., Wahlsten, D., & Dudek, B. C. (1999) (3)

La realidad. Las causas no son tan misteriosas.

Este experimento no parece tener explicación. Influencias extrañas, indetectables, han probablemente operado. O tal vez el método científico tiene algún fallo que no comprendemos.

Lo cierto es que en los estudios de todos los días la imposibilidad de reproducirlos es lo habitual y no la excepción.

“More than 70% of researchers have tried and failed to reproduce another scientist's experiments, and more than half have failed to reproduce their own experiments. Those are some of the telling figures that emerged from Nature's survey of 1,576 researchers who took a brief online questionnaire on reproducibility in research”

“Más del 70% de investigadores han tratado y fallado en reproducir los experimentos de otros científicos. Más de la mitad ha fallado en reproducir sus propios experimentos. Esta son las cifras que emergen de una encuesta realizada por Nature, a 1576 investigadores, sobre la reproducibilidad de los estudios”. (Baker, M., 2016) (4)

CG. Begley y J. Ioannidis, expresan en una de sus publicaciones:

“En los años recientes, se reconocen con más asiduidad las debilidades que existen en nuestros sistemas actuales de investigación básica y preclínica. En revistas de alto perfil, la mayoría de los hallazgos publicados, no son reproducibles en el 70 al 90 % de los casos.”. (Begley CG, Ioannidis JP., 2015) (2)

Basándose en observaciones empíricas, estiman estos autores, que las publicaciones irreproducibles, alcanzan ese porcentaje. En todo el espectro de la investigación, en medicina y psicología.

Con el agravante de que muchas publicaciones irreproducibles, se dan en revistas de alto perfil. Como dijimos en un post anterior, investigadores de Bayer, no pudieron replicar 43, de 67 supuestos hallazgos, en investigación cardiovascular y oncológica, reportados en revistas de prestigio.

Antes de avanzar en una posible línea de trabajo, científicos de la empresa Amgen, evaluaron 53 estudios de drogas, considerados innovadores. No pudieron replicar 47 de 53. Estas drogas tendrían un efecto potencial para el tratamiento del cáncer.

Se suponía que algunos podrían no ser totalmente verificables, por describir aspectos muy novedosos. Pero solo 6 de los 53 pudieron ser confirmados. (Begley CG, Ellis LM.,2012) (1) (Begley CG, Ioannidis JP. 2015) (2)

Posibles causas.

La revisión por pares, que debe determinar la calidad de un estudio, a menudo no es rigurosa. Los editores de las revistas no tienen ideas claras sobre la calidad de lo que publican.

“…Low sample size, small effect sizes, data dredging, (also known as P-hacking), conflicts of interest, large numbers of scientists working competitively in silos, without combining their efforts, and so on, may conspire to dramatically increase the probability that a published finding is incorrect…”

“… muestras pequeñas, efectos de baja magnitud, la manipulación de los datos para encontrar patrones que puedan mostrarse como significativos, (phacking). Conflictos de interés, científicos que trabajan aislados y no combinan esfuerzos, y otras causas, conspiran para incrementar dramáticamente la probabilidad de que un hallazgo publicado sea incorrecto…” (Munafò MR, Nosek BA, et al., 2017) (5)

¿Autoengaño...?

Los científicos deben estar alertas y abiertos a lo nuevo. Pero al mismo tiempo, deben evitar ser engañados, por la tendencia humana de ver patrones en lo azaroso. Esta tendencia, que se denomina “apofenia”, más el sesgo de confirmación, que nos lleva a enfocar en aquello que está en línea con nuestra expectativa, nos pueden llevar a falsas conclusiones.

La apofenia (del griego ἀπό, apó, "separar, alejar", y φαίνειν, phaínein, "aparecer, manifestarse como fenómeno, fantasía”), es la experiencia de percibir patrones, conexiones o ambos, en sucesos aleatorios o en datos aparentemente sin sentido. Este término tiene acepciones diferentes en los ámbitos de la psicología y de la estadística, donde también suele utilizarse.

El término fue acuñado en 1959, por el neurólogo y psiquiatra alemán Klaus Conrad, quien lo definió como: “visión sin motivos de conexiones, acompañada de la experiencia de dar sentido a lo que no lo tiene”. Wikipedia (22-03-25)

El sesgo de confirmación o sesgo confirmatorio, es la tendencia a favorecer, buscar, interpretar y recordar, la información que confirma las propias creencias o hipótesis, dando menos consideración, a posibles alternativas. Se trata de un tipo de sesgo cognitivo y un error sistemático del razonamiento inductivo. (Wikipedia 22-03-25)

Dicen Marcus Munafò y sus colaboradores:

“…durante el análisis de los datos puede ser difícil para los investigadores reconocer sus errores, debido a los sesgos de confirmación y de retrospectiva, haciéndolos aceptar resultados que cumplen sus expectativas y rechazando los contrarios”. (Munafò MR, Nosek BA, et al., 2017) (5)

Para John Ioannidis, el problema principal es que, demasiados investigadores persiguen lo que llama, “cazar la significación”.

Encontrar maneras de que los datos alcancen el test de significación, el límite del 95% inventado por Ronald Fisher, (valor de “p”, menor de 0.05).

Dice Ioannidis “...los científicos están tan ansiosos de alcanzar ese valor que juegan con los números, tratando de hallar algo que sea válido”

De forma parecida, David Grimes expresa:

“...Torturing the data until it confesses: P-Hacking…. The economist Ronald Coase, famously quipped that if you torture the data enough, it will confess to anything. This is certainly true of all biomedical science, with inappropriate statistical analysis lying at the heart of many spurious results, P-Hacking or data dredging”

“…Torturando los datos hasta que confiesen, El economista Ronald Coase, con humor, decía que, si torturamos los datos lo suficiente, confesarán cualquier cosa. Esto, en las ciencias biomédicas, se da con análisis estadísticos inapropiados, en el fondo de muchos hallazgos espúreos. (P-hacking or data dredging),” (Grimes DR., 2024) (6)

El dragado de datos, (data dredging), también conocido como espionaje de datos o p-hacking, es el uso indebido del análisis de datos para encontrar patrones en los datos, que puedan presentarse como estadísticamente significativos, aumentando y subestimando así dramáticamente, el riesgo de información falsa positiva. Esto se hace realizando muchas pruebas estadísticas sobre los datos, y solo informando aquellas que arrojan resultados significativos. (Wikipedia 1-03-25)

Otro mecanismo para alcanzar resultados a cualquier costo, es el llamado “HARKing”.

HARKing. Este es un acrónimo de “Hypothesizing After the Results are Known”. Presentar hipótesis post-hoc, en la introducción de un estudio, como si hubieran sido formuladas antes de obtener los datos. Mientras que p-hacking, trata de que los datos conforme la hipótesis, HARKing simplemente busca una hipótesis, que vaya bien con los datos. (Wikipedia 1-03-25)

Formas de desperdiciar esfuerzo y recursos en investigación. Tomado de (Grimes, 2024) (6)

Favoreciendo la irreproducibilidad. Publish or Perish.

La proliferación de estos estudios no reproducibles, que como dijimos, son una plaga en tiempos actuales, se atribuye a varias causas. Además de las misteriosas.

Los investigadores tienen incentivos para producir mucho y rápido. Interesa más el número, no la calidad. Se espera que publiquen. Si no publican no se los considera, se los critica, no se los promueve, e incluso pueden perder el trabajo. La academia premia el número. El famoso “publish or perish”

Publicar o perecer, (en inglés publish or perish) es un aforismo que describe la gran presión que sufren los investigadores y académicos para publicar de manera constante en revistas científicas especializadas con el fin de mantener sus empleos, obtener financiación y avanzar en su carrera.

Presión académica: Los científicos y profesores universitarios necesitan sumar publicaciones para demostrar su productividad.

Financiación y estabilidad: Las instituciones evalúan la cantidad y el impacto de los artículos para asignar recursos y puestos estables. Quienes dedican más tiempo a la docencia o a actividades sin artículos formales pueden perder terreno profesional. (Wikipedia)

Publish or Perish: A Survival Guide for Ph.D. Students and Junior Faculty by Arnaud De Bruyn PhD., Gary L. Lilien PhD.), Alina Ferecatu PhD.

Un estudio de K.D. Cobey y colaboradores, evalúa la opinión de investigadores en ciencias biomédicas sobre el tema de la reproducibilidad de los resultados. Observan que el 72% de los encuestados concuerdan en que hay una crisis de reproducibilidad en la medicina. (6), La causa percibida como la más importante es la “presión para publicar”, (publish or perish), quien publica poco, puede perder su lugar de trabajo. (Cobey KD, Ebrahimzadeh S, et al., 2024)

Efecto “Declinación”.

Se dice que ha ocurrido el “efecto declinación”, cuando el resultado de un estudio que parecía altamente positivo, se demuestra como de menor impacto, o eficacia, cuando se repite. Quien lo observa, probablemente por primera vez, para su desconcierto, es J.B. Rhine.

John Banks Rhine, trabajaba en la Universidad de Duke, y había desarrollado interés en la parapsicología. Utilizaba las cartas de Zener, para evaluar la “percepción extrasensorial”. Sus sujetos solían mostrar resultados sugerentes de percepción extrasensorial. Adivinaban unas cartas con figuras simples, llamadas cartas de Zener.

Las cartas de Zener fueron creadas en la década de 1930, por el psicólogo Karl Zener y el parapsicólogo Joseph Banks Rhine, en la Universidad de Duke, EE. UU. Diseñadas para investigar habilidades psíquicas como la telepatía y la clarividencia, estas cartas constan de un mazo de 25, con cinco símbolos distintos: círculo, cruz, ondas, cuadrado y estrella. Cada símbolo aparece cinco veces. Rhine usó las cartas en experimentos para probar la percepción extrasensorial (ESP), pidiendo a los participantes que adivinaran el símbolo de una carta oculta. (fuente Grok)

La mayoría de los sujetos adivinaban un 10 a 12% de las veces. Otros acertaban con mayor frecuencia. Un estudiante, llamado Adam Linzmayer, lograba adivinar las figuras, el 50% de las veces.

En algunas oportunidades adivinaba todas las figuras. Esto excede ampliamente la posibilidad del azar. Varias veces Linzmayer demostró esta característica. Rhine estaba convencido de la percepción extrasensorial. Pero luego, al repetir los ensayos, Linzmayer y otros participantes destacados, comenzaron a perder esa capacidad y terminaron con resultados similares a otros menos capaces, el mero azar.

J.B. Rhine en un experimento con las cartas de Zener. (Francis Wickware - Dr. Rhine and ESP. Life Magazine. April. 15, 1940)

Rhine llamó a esta situación, “efecto declinación”. No está claro por qué Linzmayer y otros perdieron su talento.

Para quienes piensen que Rhine no estaba en sus cabales, pueden ver el estudio publicado en Nature: "Information transmission under conditions of sensory shielding" (Nature, October 18, 1974, 251, 5476, Pages 602–607) (8).

Los autores fueron Russell Targ y Harold E. Puthoff, físicos destacados, y el estudio se realizó en el Stanford Research Institute. Es desconcertante.

A pesar de las críticas, Rhine es reconocido como el "padre de la parapsicología moderna" por su esfuerzo en establecerla como disciplina científica. Sus métodos estadísticos y el uso de las cartas Zener siguen siendo referentes en el campo. La Parapsychological Association y el Rhine Research Center continúan su legado.

The Truth wears off.

En un interesante ensayo, Jonah Lehrer, en el New Yorker, sugestivamente titulado: "The Truth wears off, ¿is there something wrong with the scientific method?”, (La Verdad se apaga con el Tiempo, ¿hay algo equivocado en el método científico...?). se refiere extensamente al efecto declinación, y menciona varios ejemplos de este fenómeno.

Entre ellos, menciona el entusiasmo con que se recibió la aparición de los nuevos antipsicóticos, como risperidona, olanzapina o quetiapina en los inicios de los años 90. En Bruselas, en 2007, hubo una reunión a puerta cerrada, en la sala de conferencias de un hotel, de unas docenas de personas, compuesta por neurocientíficos, psiquiatras y ejecutivos de compañías farmacéuticas. En esa reunión se comentaban con desconcierto, que dichos beneficios parecían estar desvaneciéndose. Sostenidas por varios estudios randomizados, Seroquel, Abilify y Zyprexa fueron “best seller,” para las empresas productoras.

Pero en esta conferencia surgía que, con el correr de los años, no parecían superiores a los más antiguos, que venían en uso desde la década de los 50.

Cuando estos fármacos se aprobaron, los ensayos iniciales financiados por las farmacéuticas mostraron una reducción drástica y espectacular de los síntomas psicóticos en pacientes con esquizofrenia. Sin embargo, a medida que investigadores independientes repetían las pruebas a lo largo de una década, los resultados positivos eran cada vez más modestos, hasta el punto de que los datos presentados en Bruselas rozaban la insignificancia en algunos indicadores.

Y su proclamada falta de efectos secundarios, era inexistente. Sus virtudes parecían estar desvaneciéndose. Mientras las farmacéuticas ganaban miles de millones basándose en la "verdad" de los primeros estudios, los científicos en esa sala admitían en secreto que la eficacia real de los fármacos se estaba esfumando.

Algún experto llegó a decir que “eran peores”. (Lehrer, J. 2010) (9)

Los antipsicóticos atípicos, (de segunda generación), no demostraron ser claramente superiores a los típicos, según estudios de la época, como CATIE y CUtLASS, que destacan beneficios marginales, contrarrestados por riesgos metabólicos. (Jayaram M, Rattehalli RD, Adams CE., 2012) (10) Ahora asistimos al nacimiento de otro grupo de drogas antipsicóticas, cuyo futuro tal vez sea el mismo, como Lumateperone, Cariprazine, Bexpiprazole, y otros.

En una publicación en JAMA, John Ioannidis, se refiere a la existencia de efectos que, en subsiguientes estudios son contradichos, o cuyos efectos supuestos, son inferiores a los inicialmente descritos.

“… de 49 estudios clínicos originales frecuentemente citados, 45 aseveraban que la intervención era efectiva. De estos, 7 (16%) fueron posteriormente refutados. Otros 7 (16%) al ser repetidos, los efectos fueron de menor cuantía”.

Concluye:

“Efectos posteriormente negados, o inicialmente más notables, no son raros en investigaciones frecuentemente citadas. Las controversias son más frecuentes en estudios no randomizados, pero aún muy citados ensayos randomizados, pueden ser refutados, en especial aquellos con bajo número de casos estudiados”. (Ioannidis JP.,2005) (11)

Toda clase de efectos, supuestamente confirmados, parecen ser inciertos. Es como si los datos perdieran su cualidad de verdaderos. Establecidos como verdades en los textos, pasan a ser improbables. Los textos envejecen, y los datos improbables continúan en ellos. Este fenómeno, dice Lehrer, no tiene aún un nombre mejor que el de "declinación". Aparece en muchas disciplinas, desde la psicología a la ecología, y es notable en ciencias biomédicas. (Lehrer, J. 2010) (9)

Entre otros. Lehrer refiere los siguientes:

En la década del 90, J.W. Schooler, observó un efecto psicológico interesante, un hecho nuevo, con respecto al lenguaje y la memoria. Se creía en esa época, que el acto de describir un recuerdo, mejoraba la capacidad de volver a recordarlo. Por medio de inteligentes experimentos, Schooler demostró que sujetos a los que se les mostraba una cara y se les pedía que la describieran, eran menos capaces de reconocer esa figura, si se les mostraba tiempo después.

Llamó a este fenómeno, “ensombrecimiento verbal”. Su trabajo mereció gran interés. (Schooler, J. W., & Engstler-Schooler, T. Y., 1990) (12) Schooler se hizo conocido, fue citado numerosas veces. Luego extendió este concepto a otros aspectos de la memoria, como el recuerdo del sabor de un vino, de un perfume, o de otras cosas.

Este descubrimiento tuvo un impacto en la psicología del testimonio, revolucionando los protocolos de interrogatorios policiales para evitar que las descripciones iniciales contaminaran la memoria visual de los testigos.

Con el tiempo, Schooler comenzó a sorprenderse y a dudar. Como otros muchos investigadores, intentaba y no conseguía reproducir sus experimentos. Repasando su método y su análisis de los datos, no podía encontrar una falla. El efecto se hacía más y más débil al ser reproducido. Finalmente intentó evaluar este fenómeno de declinación, realizando otros experimentos, sin encontrar una explicación razonable al fenómeno.

Terminó por llamarlo, “habituación cósmica”, en similitud a que, sometidos a cualquier estímulo, nos habituamos y tendemos a dejar de percibirlo. El universo se habitúa y deja de manifestarse en ciertas cosas.

Para salvar la incertidumbre sobre si el efecto era real o una ilusión, la comunidad científica psicológica, organizó un proyecto masivo de réplica abierta llamado Registered Replication Report (RRR) en 2014. La reproducibilidad en psicología es muy baja.

Laboratorios independientes recrearon exactamente el experimento original de Schooler bajo condiciones estrictamente controladas. El resultado fue que: el ensombrecimiento verbal existía, pero su tamaño real era menor que el reportado originalmente en 1990. (Alogna, V. K., Attaya, M. K., Aucoin, P, et al., 2014) (13)

Golondrina Común, (Hirundo rustica).

En 1991 el zoólogo danés Anders Moller, hizo un descubrimiento relacionado con las golondrinas, la simetría y la reproducción. Se sabe desde hace mucho tiempo, que la asimetría corporal, indica una mayor carga de mutaciones en el genoma. Moller creyó descubrir que las golondrinas hembra elegían a los machos más simétricos para reproducirse.

Esto sugería que las hembras utilizaban la simetría como una forma de determinar la buena genética del macho. Publicó su hallazgo en Nature, y despertó una fiebre de investigaciones similares, extendiéndose a otras especies e incluso a la especie humana. (Møller, A. P. (1992) (14) En los años posteriores numerosos estudios confirmaron este hallazgo, en distintos modelos. Se dijo que las mujeres tenían mejores orgasmos con hombres simétricos. Supuestamente, por esa percepción de la salud genética.

Luego la teoría empezó a desplomarse, en 1994, de catorce estudios publicados solo ocho confirmaron esta idea. En 1995, cuatro de 8 publicaciones. En 1998, de 12 estudios solo tres encontraron la relación esperada. El efecto parecía disminuir, entre 1992 y 1997 la magnitud del efecto se redujo en un 80%

Gráfico generado por Grok

¿Sesgo de publicación?

Este fenómeno de la declinación ha sido atribuido, a falta de mejores explicaciones, al sesgo de publicación. Los científicos, y las revistas científicas, tienen tendencia a publicar hallazgos positivos. No encontrar efectos, hallazgos negativos, no generan demasiado interés, y no se publican. Hay una ola de entusiasmo inicial, ante el hecho nuevo, y el fenómeno se traslada a los textos. Pasado el tiempo las repeticiones del mismo son negativas, se comienza a cuestionar. El interés por cuestionar crece, repeticiones van negando el efecto.

Pero, lamentablemente, el dato sigue en los textos, por mucho tiempo. Y se lo sigue citando, en otras publicaciones. para la confusión general. Que investigadores serios no consigan, con sus mejores esfuerzos, reproducir sus propios hallazgos, no termina de explicarse.

Para un grupo importante de metodólogos y psicólogos (como Jonathan Schooler, citado en el propio artículo), el texto de Lehrer fue un espejo incómodo pero necesario. Esta facción utilizó el revuelo del artículo para propulsar cambios reales que maduraron en los años siguientes.

El escándalo de Jonah Lehrer en 2012. En ese año fue acusado de citas incorrectas de Bob Dylan, en su libro “Imagine: How Creativity Works”. Y además de autoplagio, extraña calificación, y se convirtió en uno de los episodios de "caída en desgracia" más emblemáticos de la era digital. Su caso sirve como una radiografía perfecta de las presiones del éxito prematuro, los peligros de la divulgación científica superficial y la brutalidad de la cultura de la cancelación en redes sociales. (Wikipedia). Pero creo que el artículo al que me refiero es correcto.

Pareciera que la “habituación cósmica”, opera en algún sentido. Josef Škoda, clínico, profesor de la universidad de Viena, fue uno de los precursores de la medicina moderna. Difundió el uso de la auscultación y la percusión en medicina.

Fue, además, podemos decir, el creador de la dermatología. Recuerdo haber leído de Škoda, que era escéptico de los fármacos de la época, afirmar irónicamente, “hay que apresurarse a utilizar los nuevos medicamentos antes de que pierdan su efecto.”

Joseph Škoda (1805-1881), médico, profesor y dermatólogo checo.

En medicina esta situación es particularmente preocupante. Aunque muchas ideas generan resultados conflictivos y sus efectos parecen disminuir, se persiste en ellas por mucho tiempo. Son ideas que parecen ciertas. Que parecen tener sentido. Y no queremos dejar de lado.

Dice Lehrer: “… y este es el motivo por el cual el efecto declinación, es tan preocupante. No porque revele la falibilidad de la ciencia humana, en la cual los datos son retocados, y nuestras creencias determinan lo que percibimos. Tampoco porque nuestras más exitosas teorías sean modas pasajeras, que pronto serán rechazadas. El efecto declinación es preocupante, porque nos recuerda lo difícil que es probar algo. Aunque tengamos una idea que es verdadera, probarla puede ser muy difícil. Y una idea que ha sido probada en un experimento, puede ser falsa” (Lehrer, J. 2010) (9). Ver tambien, (Jennions, Michael & Moller, Anders, 2002) (15)

Conclusión.

Navegamos el Mar de la Incertidumbre. Debemos estar alerta. La verdad se nos escapa de diversas maneras. Algunas que podemos llamar ilícitas, mentiras disfrazadas. Otras propias de la realidad, a veces inescrutable.

Como dice Jonah Lehrer:

Aunque tengamos una idea que es verdadera, probarla puede ser muy difícil. Y una idea que ha sido probada en un experimento, puede ser falsa”