La tecnología ha traído consigo herramientas que facilitan la transparencia de la presentación de informes científicos, la comunicación y la mejora en los esfuerzos de colaboración entre investigadores. Sin embargo, en los últimos tiempos se han detectados altos índices de prácticas de investigación cuestionables, ha aumentado el número de retracciones y en general se hace necesario un escrutinio de las prácticas científicas y sus resultados. Todo esto ha dado lugar a la llamada crisis de replicabilidad.
Hoy os traigo un informe titulado Digital tools and services to support research replicability and verifiability, de octubre de este año y publicado por Jisc y escrito por Caroline Skirrow y Marcus Munafò de la Universidad de Bristol. Este informe me llegó por Twitter y no recuerdo quién lo compartió. Os cuento algunas cosas que se pueden leer en él. Este informe examina los diferentes enfoques y herramientas TIC disponibles para mejorar la replicabilidad y verificabilidad de la investigación en el área de las ciencias biomédicas y medioambientales.
Para elaborar este informe, además de una revisión de la literatura utilizaron el método de bola de nieve o snowballing, que es una técnica de muestreo para conseguir un marco muestral de una población. En este caso contactaron con varios investigadores y les hicieron varias preguntas como:
- ¿Qué herramientas digitales/webs/infraestructuras conoces que promuevan la ciencia abierta?
- ¿Qué herramientas utiliza? ¿Cómo le ayudan en su investigación?
- ¿Qué herramientas, si las hay, le ofrecen algún tipo de ahorro en su investigación?
- ¿Cuáles son los puntos fuertes y débiles de las herramientas que utiliza?
- ¿Se le ocurre alguna otra herramienta o servicio digital (no disponible actualmente) que pueda ser de ayuda en su trabajo?
También se les pidió que nombraran a otros colegas que pudieran contestar estas preguntas, de manera que así también aumentó el tamaño muestral.
Comienza el informe comentando algunas de las barreras que se dan en cuanto a la replicabilidad y verificabilidad de las investigaciones. Por ejemplo, habla de los sesgos que se pueden dar al publicar: cuando un autor decide publicar un hallazgo de investigación en particular, cuando los hallazgos generan interés editorial y son revisados favorablemente por los revisores o cuando hay intereses financieros o de otro tipo. La Open Science Collaboration publicó un artículo en el que explicaban que habían intentado replicar varias investigaciones publicadas en tres de las principales revistas de Psicología. Encontraron que a pesar de que el 97% de los estudios informaron de hallazgos estadísticamente significativos, sólo el 39% pudo ser replicado. En la investigación preclínica se estima que alrededor del 50% de la investigación no es replicable.
La flexibilidad de los investigadores para elegir cómo seleccionar los datos y de informar de sus hallazgos implica que también pueden decidir si comunican o no los datos, cuáles comunicar y cómo hacerlo. Esto, a la larga, favorece la aparición de prácticas de investigación cuestionables.
Pero no sólo los investigadores tienen la culpa de los sesgos en la publicación. Las revistas publican preferentemente hallazgos estadísticamente significativos, novedosos o sorprendentes (puedes leer información relacionada aquí, aquí o aquí). Además, los investigadores se encuentran en la encrucijada de tener que publicar con regularidad y a ser posible en revistas de impacto. Esto también puede influir en los tipos de estudios que se hacen y en cómo se presentan.
El informe continúa hablando sobre los cambios culturales de años recientes sobre el modo en el que se hace la ciencia, con muchos cambios apoyados por el aumento de las conexiones, plataformas mejoradas para la comunicación de los investigadores y una amplia oferta de opciones para almacenar datos e información. Además, estos cambios han sido apoyados por iniciativas como la Transparency and Openness (TOP) guidelines, la Declaration On Research Assessment (DORA) de San Francisco o la iniciativa All Trials que aboga por la publicación de todos los resultados de ensayos clínicos con un foco muy claro en la diseminación y transparencia de la ciencia.
Los principales interesados en las prácticas de investigación abiertas, según se indica en este informe, son:
- Los propios científicos
- Las revistas
- Patrocinadores y gobiernos
- Organizaciones mundiales
A continuación comentan las soluciones digitales de apoyo a la replicabilidad y verificabilidad de los estudios. Desde los registros de ensayos clínicos, los repositorios institucionales, plataformas que facilitan a los investigadores un pre-registro de sus investigaciones. El siguiente gran punto del informe es el dedicado a la publicación y difusión. Para paliar en la medida de lo posible algunos de los sesgos que se nombraban al principio, aparecen iniciativas para fomentar la comunicación y el debate sobre la reproducibilidad entre los investigadores. Por ejemplo PsychFileDrawer para subir y consultar los resultados de los intentos de replicación en Psicología Experimental, o esta iniciativa más general: StudySwap. También se habla de la importancia de la publicación abierta y los e-prints. El pago para poder publicar en revistas Open Access revisadas por pares muchas veces es una barrera para la difusión de las investigaciones. Publicar los e-prints (incluyendo pre-prints) es una forma de evitar esta barrera, mejorar la transparencia de las actividades de investigación y reducir la posible duplicidad de trabajos. Los repositorios institucionales pueden almacenar los e-prints de sus investigadores, aunque también existen bases de datos de pre-prints como arXiv, PsyArXiv o PeerJ preprints. Para asegurarse de que estos pre-prints cumplen con las especificaciones de la revista, habría que consultar la herramienta Sherpa
Otro punto muy interesante de este informe es el que se refiere a las directrices mínimas para presentar informes. Hay evidencia de que completar una checklist puede mejorar la comprensión y calidad de los informes en artículos de investigación. La Equator Network es un catálogo de normas para la presentación de informes de investigación en salud. Incluye más de 400 directrices, por ejemplo las STROBE para los estudios observacionales, CONSORT para los ensayos aleatorios, PRISMA para las revisiones sistemáticas y meta-análisis y ARRIVE para la investigación animal en experimentos in vivo.
Finaliza el informe comentando la importancia de enlazar digitalmente y de manera permanente en el tiempo todos los documentos creados en el contexto de una investigación (registro de los datos del estudio, materiales, protocolos, guión y resultados del análisis, publicaciones y materiales suplementarios). El Open Science Framework provee una plataforma única para el pre-registro, y que de forma colaborativa se emprenda, archive y compartan proyectos de investigación.
Tras la discusión, que os invito a leerla (os pongo el enlace al informe al final), podréis encontrar los anexos con información y enlaces a sitios webs, iniciativas y herramientas sobre todos los puntos que se han tratado previamente. Merece mucho la pena.
Digital tools and services to support research replicability and verifiability.
Digital tools and services to support research replicability and verifiability.
Digital tools and services to support research replicability and verifiability.
Imagen: https://geneticliteracyproject.org/2018/09/05/social-science-reproducibility-crisis-only-13-of-21-prestigious-studies-replicable/
Biblioteca Médica Virtual - Blog 