La crítica se ha levantado hacia las instituciones de investigación, tanto de las ciencias sociales como las ciencias duras. El llamado se hace para generar alternativas que garanticen la confiabilidad y valor de las investigaciones, al tiempo que estimule a los científicos a ser más honestos en el reporte que publican de sus investigaciones.
La propuesta es simple y directa: los científicos deberían divulgar de qué manera recogen y analizan los datos que utilizan en sus publicaciones científicas.
Sin embargo, según subrayan Joseph Simmons y Uri Simonsohn, de Wharton, y su compañero de la Universidad de California en Berkeley, Leif Nelson, en un reciente trabajo de investigación, se enfatiza de forma exagerada la publicación de los resultados de las investigaciones en revistas respetables y se presta poca atención a las evidencias presentadas para apoyar los descubrimientos hechos. En realidad, observan los autores, "desafortunadamente es demasiado fácil publicar evidencias 'estadísticamente significativas' capaces de corroborar cualquier hipótesis".
No se trata de algo nuevo. No sólo el sector académico, también el público en general, a menudo ha visto con escepticismo estudios que, en algunos casos, desafían el sentido común. El problema en ese caso, dice Simonsohn, es que ese tipo de postura acaba poniendo en duda incluso las investigaciones más sólidas, capaces de producir nuevos conocimientos que van desde el comportamiento del inversor, márketing del producto e incluso psicología del consumidor.
Puesto que es muy fácil encontrar evidencias para cualquier hipótesis, y como los descubrimientos que desafían el sentido común son los que más llaman la atención y reciben más elogios, "existe siempre la tentación de hacer investigaciones cuya contribución, a fin de cuentas, poco beneficia a la sociedad", dice Simonsohn. "En vez de hacer preguntas que culminen con descubrimientos importantes en nuestras respectivas áreas, muchas veces las preguntas que hacemos son aquellas que conseguirán llamar la atención de los medios de comunicación. Nos estamos perdiendo verdades importantes acerca del mundo".
Por ejemplo, dice Simonsohn, "¿y si hubiera una buena manera de influir en el comportamiento de las tasas de interés, o una manera que permitiera descubrir las realidades básicas acerca de cómo formamos nuestras opiniones? Tal y como están las cosas actualmente, no estamos dando a los científicos el incentivo apropiado" para que sigan esa línea de cuestionamiento.
Es una cuestión de metodología, según explican Simmons y sus compañeros del trabajo de investigación titulado "Psicología del falso positivo: flexibilidad no revelada en la recogida y análisis de datos permite presentar cualquier cosa como si fuera importante” [False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant].
El error más caro
Dicen los investigadores que el "error más caro" del proceso científico, que consiste en la generación de hipótesis, recogida y análisis de los datos para ver si son coherentes con las hipótesis, es un falso positivo, un efecto para el cual se obtienen evidencias estadísticamente significativas, aunque tal efecto no sea real. Los falsos positivos, dicen los autores, son persistentes, desperdician recursos al "inspirar inversiones en programas de investigaciones estériles" y pueden, por último, crear problemas de credibilidad en cualquier campo después de su publicación.
Los falsos positivos ocurren muy de vez en cuando, pero la elevada frecuencia de los casos observados se debe al hecho de que los investigadores tienen que tomar incontables decisiones durante el proceso de recogida y análisis de datos. Además de eso, dicen los autores, "es común entre los investigadores recoger una combinación de alternativas analíticas que produzcan resultados de 'importancia estadística' y, a continuación, informar sólo de lo que salió bien. El problema, está claro, es que la posibilidad de por lo menos uno (entre muchos) análisis genere un descubrimiento que sea un falso positivo" es elevada. En realidad, el investigador es de forma invariable "más propenso a encontrar una falsa evidencia acerca de la existencia de un efecto que una evidencia verdadera que niegue su existencia".
Si se añade a eso el deseo del investigador de encontrar un resultado estadísticamente significativo, mientras menos intuitivo sea, mejor. O, según dicen los autores, "una vasta literatura documenta que las personas se guían por intereses personales a la hora de lidiar con informaciones ambiguas, optando por conclusiones justificables que encajen con sus deseos" y culminen con la publicación de su trabajo.
Simonsohn ofrece un ejemplo hipotético. Suponga que un investigador esté intentando ayudar a un profesional de márketing a descubrir qué convierte en atractivo para el público joven un anuncio de televisión o de vídeo. Digamos que una posibilidad sea mostrarlo acompañado de una canción de éxito. En ese momento, como ya sabemos que se trata de una buena idea, el investigador simplemente analizaría si vale la pena pagar por los derechos de autor de la música en cuestión tomando como base los ingresos generados por el anuncio. "Todo eso es muy monótono", dice Simonsohn. "Imagine ahora que se introducen en el anuncio líneas amarillas subliminales en diagonal con el objetivo de aumentar las ventas. Si estuviéramos ante dos estudios así, lo que estima el valor exacto del coste a pagar por los derechos de autor de una canción no se publicará porque se cree que no será interesante. El otro se publicará, porque se trata de un estudio menos intuitivo". Hacer preguntas menos obvias tiene sentido, porque la información vale más en esos casos, observa Simonsohn. "Pero en el momento en que trabajar con la información correcta deje de ser una exigencia para que un estudio se lleve a cabo y se publique, lo que se obtendrá de hacer preguntas menos obvias tenderá a producir descubrimientos menos confiables. El investigador dará preferencia a la solución de las líneas amarillas. Ella nos desvía de las preguntas que nos llevarán a descubrimientos más reales y verificables".
Aunque Simonsohn reconozca que desde hace tiempo los académicos se preocupan por las libertades que algunos investigadores se toman cuando analizan los datos de su trabajo, él señala tres contribuciones exclusivas de su investigación.
En primer lugar, él y sus compañeros ofrecen una solución simple y barata para el problema y que no interfiere con el trabajo de los científicos que ya hacen todo de la manera apropiada: pedirles que divulguen lo que han hecho, tan solo añadiendo algunas docenas de palabras a la mayor parte de los artículos. En segundo lugar, los autores muestran la envergadura a que puede llegar el problema: aunque hasta el momento hubiera la sospecha de que las consecuencias de tomarse tales libertades fuera algo relativamente secundario, los autores muestran que tal comportamiento aumenta en más del 50% las posibilidades de encontrar evidencias de una hipótesis falsa. En tercer lugar, los autores hicieron una experiencia real para ejemplificar de qué modo se manipulan los datos para que produzca el resultado deseado. En la demostración hecha, los autores "mostraron" que al oír la música de los Beatles "When I'm 64", las personas se volvían más jóvenes, es decir, ellas no sólo se sentían más jóvenes; era, de hecho, como si hubieran rejuvenecido [más de un año]. Simonsohn y el resto de investigadores usaron participantes reales y recurrieron a análisis estadísticos para llegar a conclusiones que, a pesar de los cuidados tomados, son obviamente falsas. El análisis se hizo al mismo tiempo que se obtenían los datos, y se interrumpía de forma inmediata si se obtenía el resultado deseado. Los autores estudiaron también el efecto contrario sobre personas que oían la canción infantil "Hot potato", pero no informaron del resultado obtenido porque la predicción no funcionaba en ese caso. Esos dos procedimientos —la monitorización de datos y la exclusión de los fracasos— no sólo son aceptados por las revistas especializadas, sino también son exigidas por ellas con frecuencia, de manera que los estudios se presentan de forma "simplificada".
Esa flexibilidad puede llevar a un número elevado de falsos positivos, evalúa Simonsohn. Puede también generar una actitud de cinismo en las personas que leen la conclusión de un estudio científico que "parece simplemente imposible", añade. "Pero es importante acordarse de que algunas de las principales teorías en que creemos hoy parecían, al principio, cosa de lunáticos [...] Sería pésimo si el público en general comenzara a descartar las conclusiones de la ciencia a causa del bajo nivel de las investigaciones".
La necesidad de exigencias mínimas
Para solucionar lo que los autores llaman "problema de la flexibilidad-ambigüedad", ellos proponen seis exigencias para los investigadores y cuatro directrices para los revisores de las revistas científicas que, según creen, pueden contribuir a tomar decisiones mejor informadas en lo que concierne a la credibilidad de los descubrimientos de los investigadores. Una de las recomendaciones más importantes para los investigadores requiere que ellos informen de qué modo determinaron el tamaño de la muestra utilizada especificando las condiciones en que el experimento fue realizado y las manipulaciones que no salieron bien, evitando así que los investigadores trabajen sólo con aquellos resultados coherentes con sus hipótesis.
Respecto a las directrices seguidas por los revisores, una de las más significativas requiere que los autores "demuestren que los resultados obtenidos no han dependido de decisiones analíticas arbitrarias"; otra dice que si "las justificaciones presentadas para la recogida y análisis de datos no fueran convincentes, los revisores tendrán que exigir a los autores que procedan a una réplica exacta del experimento hecho". De esa manera, el revisor "podrá decir a un autor: 'Me ha gustado su investigación. Haga nuevamente el estudio número 4 del mismo modo, pero con el doble de personas. Si funciona, publicaremos su trabajo'", dice Simonsohn. "Eso, sin embargo, nunca sucede, pero es lo que debería suceder".
Los autores señalan que las exigencias de divulgación referidas arriba "acarrean costes mínimos a los investigadores, lectores y revisores [...] Deberíamos trabajar con exigencias de ese tipo como si la credibilidad de nuestra profesión dependiera de ellas. La realidad todavía no es así".
Simonsohn insiste en destacar que los problemas descritos en su trabajo no son fruto de "malas intenciones". Surgen de las ambigüedades que se introducen en la recogida y análisis de datos, así como del deseo de los "investigadores de obtener resultados estadísticamente importantes".
Aunque muchos de los compañeros de Simonsohn apoyen la adopción de las recomendaciones mencionadas arriba para los editores de revistas científicas, hay también quienes critican la investigación de los autores. Los críticos se pueden situar en tres categorías. "Nadie está contra nuestra investigación", dice Simonsohn. "El común de la gente la apoya de forma discreta. Hay, sin embargo, quien dice: 'Han sacado a relucir algunos puntos interesantes. Necesitamos un tiempo para pensar en ellos'. Esa es la respuesta típica de quien piensa en la necesidad de algún tipo de reforma". Otra reacción es la de aquellos que "concuerdan con nosotros, pero creen que no son las revistas las encargadas de establecer patrones de investigación. 'Somos científicos', dicen, 'las personas deben divulgar lo que deseen". La tercera crítica dice que "estamos atacando psicólogos sin evidencias que respalden nuestras quejas, esas cosas disminuyen el impacto de nuestra profesión y la capacidad que ella tiene de influir en las políticas y conseguir financiaciones".
Simonsohn no está de acuerdo con esto. "Somos científicos simplemente porque las personas nos consideran mejor preparados para descubrir lo que es verdad. Si nuestra metodología los priva de esa ventaja, tan solo hay que preguntar a los investigadores su opinión sobre el tema trabajado, en vez de solicitarles los análisis estadísticos que utilizaron. Las evidencias obtenidas por medio de una flexibilidad ilimitada de análisis y recogida de datos tal vez sean tan confiables como un mero presentimiento, posiblemente hasta menos, si publicáramos sólo los resultados de nuestros estudios contrarios al sentido común. Para mí, no hay cuestión que merezca más atención que esa".
