Calidad frente a calidad. La revolución DORA llega a la ANECA

AGHM

De la esperanza de acabar con las estrictas métricas y la llamada “dictadura de los papers”, a la inquietud que produce la gran cantidad de incertidumbre que ofrece el nuevo sistema que, además, lo tiene que aplicar la ANECA (que en general no despierta mucha confianza). Soy partidario de que tenemos que dar un voto de confianza a esta nueva manera de abordar la evaluación de la Ciencia. Esperar y ver antes de juzgar. Pero a lo mejor, como siempre que se introducen nuevos sistemas, habrá bajas inocentes por el camino.

JOSÉ MANUEL TORRALBA


ANECA: Desafíos y Transformaciones en la Evaluación Científica

Siento tener que decirlo, pero a la mayoría de las personas que trabajamos en el Sistema Español de Ciencia y Tecnología (SECTI), cuando oímos la palabra ANECA se nos eriza el pelo de la nuca. Es difícil encontrar a alguien, cuya experiencia con la ANECA, haya sido plenamente satisfactoria. Y para la mayoría, ANECA es sinónimo de “burocracia”, “pérdida de tiempo”, cuando no, para muchos, “arbitrariedad”.

Sin embargo, me consta que distintos directores de la agencia han tratado, desde siempre, de dotar a la agencia de transparencia, simplificar procesos y objetivar al máximo las evaluaciones. Cualquiera que se haya visto inmerso en un proceso de acreditación, recuerda el proceso como uno de los menos amigables a los que haya tenido que enfrentarse en su vida. Recientemente la ANECA, en la red social X (antes Twitter) “posteó”: “✅ANECA certificada en exportación de CVN, ✅Más de 41.000 investigadoras/es pueden exportar sus datos curriculares del programa ACADEMIA de ANECA (profesorado funcionario) a CVN, 🤗ANECA agradece a @FECYT_Ciencia el trabajo conjunto. ¡Un placer!”.

Este “tweet” generó un buen número de comentarios que iban, desde la indignación hasta el cachondeo. Irritación/Cachondeo porque si hay algo que irrita a los investigadores es la obligatoriedad de preparar CVs basados en diversos formatos (CVN, CVA,…) donde la posibilidad de “importación” desde otras bases de datos es cuestionable y normalmente requieren de mucho tiempo de trabajo personal. Lo que sería bueno, de verdad, es que el CV de ANECA, el que se emplea para las acreditaciones, se pudiera importar desde el CVN o directamente desde ORCID, por ejemplo. Es decir, ¡el camino contrario que ahora se habilita!. ¡Qué envidia de esos países (avanzados) donde los CVs tienen un formato libre!

ANECA está avanzando hacia un modelo de evaluación científica que valora la calidad frente a la cantidad

España Reforma la Evaluación Científica

Y con estos antecedentes, el Gobierno anuncia[2] que ANECA está “avanzando hacia un modelo de evaluación científica que valora la calidad frente a la cantidad”, siguiendo los principios de la Declaración de San Francisco Sobre La Evaluación De La Investigación (DORA)[3]. A partir de esta declaración se generó la Coalición para el Avance de la Evaluación de la Investigación (CoARA)[4], que persigue maximizar la calidad y el impacto científico y social de la investigación (en base a los principios de DORA) y al que ya se han unido más de 650 instituciones, entre ellas 95 agencias evaluadoras y financiadoras, y entre ellas la Agencia Estatal de Investigación y la ANECA.

En este anuncio se adelanta que la próxima evaluación de “Sexenios de Investigación”[5] se van a “reconocer una mayor diversidad de perfiles y carreras investigadoras, el cumplimiento de los principios de ciencia abierta y la evolución hacia un modelo de evaluación más cualitativo” basados en los nuevos criterios de evaluación de la actividad investigadora que publicará próximamente el Ministerio de Ciencia, Innovación y Universidades. Con ello, presumen, la ANECA avanza hacia un modelo de evaluación científica que valora la calidad frente a la cantidad. El tema es, a priori, tan excepcional, que ha merecido la atención de la prestigiosa revista Science[6] en un artículo publicado el pasado 29 de noviembre donde el titular es “España quiere cambiar cómo evaluar a sus científicos y esto supone el fin de la “dictadura de los papers”.

España quiere cambiar cómo evaluar a sus científicos y esto supone el fin de la “dictadura de los papers

En este artículo se resalta que, gracias a la creación en 1994 del sistema de sexenios, España pasó de ser un país en la cola de los rankings de publicaciones, a estar en el puesto número 11 del mundo con más de 100000 publicaciones anuales. Y desde entonces la evaluación de los sexenios se ha venido haciendo en la base de publicar en revistas “de alto impacto”, llevando a lo que se define en el artículo como “la dictadura de los papers”. Porque efectivamente, la medición de la calidad en base los papers del impacto más alto posible, se extendió desde la evaluación de los sexenios a cualquier tipo de evaluación: para acreditaciones, promociones, premios, concursos de acceso, oposiciones varias, evaluaciones de proyectos,… Vamos, para todo, y girando todo alrededor del “paper de alto impacto”. Esto además trajo consigo el encumbramiento de las llamadas también “revistas de ato impacto”.

AGHM

La apuesta por una evaluación más cualitativa en la investigación académica en España

Y la última consecuencia, una perversa conducta de los investigadores excesivamente enfocada al hecho de publicar por encima de cualquier otra actividad académica. Normal, si entendemos que publicar, hasta ahora, es el eje sobre el que gira cualquier promoción, complemento o valoración positiva de la actividad del investigador/profesor. Hay que decir que esta epidemia de “paperitis” que ha conducido, además, en muchas ocasiones a comportamientos poco éticos (todo vale para publicar, y el famoso “publica o perece”), no solo afecta al sistema español, sino que se ha extendido por todo el universo.

Por tanto, el anuncio del Gobierno, y por tanto de ANECA, debiéramos recibirlo con ilusión y esperanza. La ilusión y la esperanza del que está sometido por un sistema dictatorial y opresor. Pero…  es fácil pensar: ¿podemos esperar algo bueno de quien ha sido el principal brazo ejecutor de la “política del paper por encima de todo” durante años? Y por otro lado, la evaluación basada en las métricas de papers, con todo lo malo, al menos tiene la virtud de la objetividad. Una objetividad basada en el peso de los números, pero que permite al evaluado calibrar y esperar un determinado resultado en función del peso de lo que aporta. Y la virtud añadida, de que cuando hay que evaluar muchos expedientes se puede hacer de forma rápida y “aseada”.

Según se ha anunciado, la “nueva manera de evaluar” será “más cualitativa apoyada por un uso responsable de indicadores cuantitativos, que en el caso de los artículos no se pueden reducir al factor de impacto de las revistas; en un mayor reconocimiento de la multidisciplinariedad y la interdisciplinariedad, …”.

la “nueva manera de evaluar” será “más cualitativa apoyada por un uso responsable de indicadores cuantitativos, que en el caso de los artículos no se pueden reducir al factor de impacto de las revistas”

De la esperanza a la incertidumbre

Esta propuesta suena muy bien, pero cuando un evaluador tenga que valorar, pongamos 10 CVs, ¿cómo valorará a calidad de los trabajos sin utilizar la métrica? ¿Se tiene que basar en las citas? ¿Y los trabajo recién publicados que aún no pueden tener citas?¿Tendrá que leerse entonces el evaluador el trabajo para, presumiblemente, valorar su posible impacto? Entonces ¿solo podrán evaluar un CV “auténticos expertos” en el perfil del evaluado? ¿Cómo se valora la multidisciplinariedad y la interdisciplinariedad en áreas donde estos conceptos no aportan valor a una investigación? ¿se dejará de penalizar por muchos evaluadores el alto número de coautores? ¿Y si en vez de 10 son 30 CVs? Las evaluaciones, está claro, llevarán mucho más tiempo, ¿quién asumirá este coste?

Hay docenas de preguntas parecidas a estas, que aun no tienen respuesta. Y si ya se cometen arbitrariedades con una evaluación basada en métricas, no me quiero ni imaginar lo que puede pasar cuando la calidad de un trabajo dependa del criterio subjetivo de un evaluador “que no debe tener en cuenta las métricas”, y que no podrá quitarse de la cabeza las que, en su criterio, son revistas buenas y revistas malas. ¿Saldremos de una dictadura para entrar en un régimen de libertinaje y arbitrariedad?

De la esperanza de acabar con las estrictas métricas y la llamada “dictadura de los papers”, a la inquietud que produce la gran cantidad de incertidumbre que ofrece el nuevo sistema que, además, lo tiene que aplicar la ANECA (que en general no despierta mucha confianza). Soy partidario de que tenemos que dar un voto de confianza a esta nueva manera de abordar la evaluación de la Ciencia. Esperar y ver antes de juzgar. Pero a lo mejor, como siempre que se introducen nuevos sistemas, habrá bajas inocentes por el camino.


[1] Agencia Nacional de Evaluación de la Calidad y Acreditación

[2] https://www.ciencia.gob.es/Noticias/2023/diciembre/ANECA-avanza-modelo-evaluacion-cientifica-valora-calidad-frente-cantidad.html

[3] https://sfdora.org/read/read-the-declaration-espanol/

[4] https://coara.eu/agreement/the-agreement-full-text/

[5] https://www.aneca.es/sexenios

[6] https://www.science.org/content/article/spain-wants-change-how-it-evaluates-scientists-and-end-dictatorship-papers


JOSÉ MANUEL TORRALBA

Catedrático de la Universidad Carlos III de Madrid, y director del IMDEA Materiales, ha sido DG de Universidades e Investigación de la CM y Vicerrector en la UC3M

Espacios de Educación Superior está dirigido a poner en contacto a las personas e instituciones interesadas en la sociedad del aprendizaje en Iberoamérica y España.