La evaluación científica 'rompe' con el modelo de exclusividad del impacto

La Agencia Nacional de Evaluación de la Calidad y Acreditación (Aneca) ha hecho públicos los principios generales y directrices que servirán de referencia para la actualización del desarrollo de los criterios de evaluación de la investigación que, por primera vez, se quiere hacer de modo transversal y coordinado en los programas PEP, Academia y Sexenios, 'rompiendo' así con el modelo de exclusividad del impacto. Según informa la fundación estatal, está previsto que este desarrollo de criterios se ultime y se haga público antes de que finalice este año, “una vez adaptado a las especificidades de cada campo científico”.

La baso de estos principios generales y directrices se han elaborado tomando como base dos pilares fundamentales. Por un lado, la experiencia de trabajo de los comités y comisiones de Aneca. Por el otro, las aportaciones de grupos de trabajo que la Agencia ha constituido para analizar aspectos relacionados con la evaluación de la investigación e informes externos que ha encargado para un mayor conocimiento de la situación.

Con estos cambios, la agencia persigue incrementar la objetividad y la transparencia en la evaluación de la investigación para la mejora en los procesos de acreditación y evaluación del personal docente e investigador de las instituciones de educación superior.

No obstante, apunta, la aplicación del desarrollo de criterios no supondrá un cambio radical de los mismos, ya que las modificaciones se introducirán de manera paulatina y nunca tendrán carácter retroactivo.

Referencias a la multidisciplinariedad

Por otro lado, Aneca se ha planteado incorporar, por primera vez, referencias a la multidisciplinariedad. “También se pretende incorporar indicadores para validar la calidad de las aportaciones, y no solo de su soporte de publicación, e introducir recomendaciones para la valoración de acciones vinculadas al avance de la ciencia abierta”, explica la fundación, que también estudia el uso de indicadores de evaluación de la producción científica que no se centren únicamente en valoraciones cuantitativas o en el uso exclusivo del factor de impacto de las revistas.

Entre otras acciones, Aneca ha encargado un informe sobre el impacto de las revistas de acceso abierto. Dicho documento analiza más de 12.000 revistas en un periodo de tres años (2017 a 2019), teniendo en cuenta dos parámetros: la tasa de autocitas y el número de documentos citables. “Se han identificado comportamientos no estándares, es decir, que se desvían de la media, aunque esta desviación en el número de citas puede darse en revistas de prestigio internacional por su condición de soporte referencial o en otras revistas por características propias del campo de estudio”, subraya.

El resultado es que la inmensa mayoría de las revistas se ajusta a comportamientos estandarizados. Según la Agencia, solo en una ínfima parte de las más de 12.000 revistas analizadas se han identificado comportamientos atípicos de modo repetido y/o constante en ambas variables en al menos dos de los tres años del periodo analizado. “Estos comportamientos se dan tanto en revistas de open a ccess como en revistas de suscripción”, añade.

En ningún caso se puede deducir que Aneca señale revistas que vayan a dejar de ser consideradas en sus procesos de evaluación. La Agencia anunció que estudia incluir en su desarrollo de criterios la recomendación a sus comités y comisiones de que, como parte de su obligada discrecionalidad técnica, orienten su actuación a un análisis cualitativo especialmente en el caso de artículos de revistas en las que se identifique un comportamiento no estandarizado en ambas variables a lo largo de varios años.