Ir al contenido principal

Acceso abierto a la producción científica: Acceso Abierto, Ciencia abierta y evaluación de la actividad investigadora

Evaluación de la actividad investigadora

 


ANECA abre por primera vez un periodo de consulta para la revisión de los principios y criterios de evaluación de los sexenios de investigación. 

Las aportaciones pueden realizarse hasta el 19 de noviembre 2023.

Los elementos principales de esta revisión son: 

1. Ajustar dicha Resolución a la nueva Ley Orgánica 2/2023, de 22 de marzo, del Sistema Universitario (LOSU), y dar coherencia a este programa de evaluación de la actividad investigadora con lo dispuesto en el Real Decreto 678/2023, de 18 de julio, por el que se regula la acreditación estatal para el acceso a los cuerpos docentes universitarios y el régimen de los concursos de acceso a plazas de dichos cuerpos (artículo 21.6 y Anexo del RD).

2. Específicamente, se está procediendo a la modificación del preámbulo de la Resolución y a una actualización de los criterios generales que se establecen para todos los campos (sección I). Se busca introducir una mayor diversidad de aportaciones, avanzar hacia nuevas formas de evaluación que se centren en la relevancia e impacto de cada aportación y no en el medio de difusión, también promover el acceso abierto y el uso de repositorios institucionales y temáticos, así como a valorar positivamente las investigaciones multidisciplinares e interdisciplinares.

3. También se está  dando cumplimiento a los compromisos adquiridos por ANECA con su adhesión a las declaraciones  San Francisco Declaration on Research Assessment (DORA) y a la Coalition for Advancing Research Assessment (CoARA)

4. También se ha abierto un proceso participativo sobre los nuevos criterios de evaluación de sexenios.

Más información en: Borrador y consulta pública

 

RESUMEN DE LOS PRINCIPALES COMENTARIOS AL BORRADOR

No es un borrador cerrado, es un documento abierto. 

Antecentes

Los antecedentes son los múltiples manifiestos que en los últimos años han puesto en evidencia algunos disfuncionamientos en los procesos de evaluación científica: DORA, LEIDEN, etc. 

Estas declaraciones, entre otras cosas, advierten del error de usar una única métrica para la evaluación. Factor de Impacto 

Búsqueda de nuevas métricas que valoren de manera diferente la investigación. Etapa transitoria. 

Orientación a COARA, que es la  reunión de instituciones preocupadas por el modelo de evaluación científica. COARA se dota de un instrumento que es el ARRA  (Agreement On Reforming Research Assessment) es el documento con todos los principios en que se basan esas reformas de evaluación de la investigación. 

Por esta razón, Importante proceso de adhesión a COARA de muchas instituciones. ANECA, FECYT, CSIC y CRUE. 

Coincide con la reforma de la Ley de la Ciencia, donde por primera vez aparece el concepto de Ciencia Abierta (en 2011 aparecía Acceso Abierto) y complementado con la publicación de la ENCA donde se definen objetivos a alcanzar en cuatro años, entre ellos una reforma de la evaluación científica en España. Además de objetivos, aparece presupuesto y plazos concretos. 

También forma parte del contexto la entrada en vigor de la Ley Orgánica 2/2023 del Sistema Universitario que igualmente se ocupa de la evaluación académica. 

Desarrollo posterior del Real Decreto 678/2023 por el que se regula la acreditación estatal para el acceso a los cuerpos docentes universitarios y el régimen de los concursos de acceso a plazas de dichos cuerpos. 

Posición nueva de ANECA

Traslada los anteriores antecedentes al papel. Se conforma una Comisión de Evaluación y Seguimiento del Sistema de Acreditación Estatal  para la aplicación del Real Decreto 678/2023. Esta Comisión asesorará a la Agencia en la elaboración de los criterios de los procesos de acreditación.  De paso ANECA incorpora esos aspectos a la Convocatoria de Sexenios de 2023. Al menos en la parte Genérica. Esos criterios aparecen en el Borrador abierto actualmente.  

Principales cambios

Recuperación de las aportaciones extraordinarias (en todos los campos)

Aplicación de criterios y metodologías de evaluación cualitativas y cuantitativas. Uso de la narrativa. 

Carta de naturaleza a la investigación interdisciplinaria o multidisciplinaria. Se retoma el campo 0 con el nuevo uso de este tipo de investigación. 

Acceso Abierto: requiere depósito en repositorios institucionales o temáticos de las evidencias a aportar. También los datos. 

Se admiten aportaciones disponibles online, aceptadas y publicadas aunque aún no tengan asignado volumen. 

Se eliminan métricas y fuentes en los criterios específicos. 

La lista de posibles métricas y fuentes pasa al apéndice. La lista será ilustrativa aunque no exhaustiva. 

Se simplifican los criterios específicos. 

Detalles sobre el Apéndice

Se elimina el Factor de Impacto

Se introducen dos métricas nuevas :

a) Se da menos peso a la métrica basada en revista

b) Se introducen elementos de Ciencia Abierta. 

Estas métricas no tienen carácter vinculante, son orientaciones o de carácter ilustrativo para "la narrativa". 

El concepto de bibliometría narrativa parte de los ya existentes CV Narrativos. 

Proceso lógico: Aportación / Indicio / Dimensiones / Métrica / Contexto

-- Mayor amplitud de aportaciones

-- Ampliación de los elementos a usar para el impacto. Los indicios pueden ser tanto cualitativos como cuantitativos. 

-- Agrupación de indicios en tres niveles: a nivel de aportación, a nivel de medio y a nivel de apertura 

APORTACIÓN

MEDIO

APERTURA

Citación

Impacto

Depósito (repositorios institucionales, temáticos, en abierto, etc.). También revistas diamante.

Uso (descargas, lecturas, interacciones, uso)

Calidad

Compartición [del material]: compartir en abierto, disponibilidad de datasets, transparencia, reutilización, replicabilidad, etc.

Influencia social

(políticas científicas, trabajos no científicos

Participación (ciencia ciudadana)

Visibilidad social

(redes sociales)

 

-- Métricas desde distintas fuentes. El solicitante elegirá a su criterio las métricas más adecuadas de manera responsable. 

-- Contexto para explicar las métricas seleccionadas. El ya antiguo campo Resumen es el que habrá de usarse para la narrativa. Este campo será el utilizado para contextualizar las métricas. 

Resumen elaborado a partir de la Presentación "Introducción al Borrador ANECA  de la Convocatoria 2023 de Sexenios y su apéndice métrico.

Disponible en:  https://upotv.upo.es/video/65531f96abe3c6f2d58b4569

Documentos complementarios

a) Sexenios 2023: principales cambios. Disponible en: https://rio.upo.es/xmlui/handle/10433/16707

* Este documento contiene el análisis de los principales cambios identificados en el BORRADOR DE CRITERIOS que ANECA hizo públicos el pasado día 6 de noviembre de 2023 respecto de años anteriores.

b) Bibliometría Narrativa: aplicaciones para la defensa de currículos y aportaciones científicas en el marco de CoARA... y ANECA-Sexenios . Disponible en https://zenodo.org/records/10089106

* Este documento contiene un curso propone explorar la Bibliometría Narrativa como una herramienta innovadora para analizar y presentar los Currículos Vitae (CV) narrativos exigidos en el nuevo marco evaluativo de CoARA

Actualizado a 17/11/2023

 

 

 

 

Resumimos y extraemos aquí algunos puntos de la norma 678/2023 vinculados al acceso abierto y repositorios académicos. Estos elementos los encontramos en el artículo 17, 21 y en el “Anexo de evaluación de méritos y competencias”.

El 6 de septiembre de 2023 aparece en BOE el Real Decreto 678/2023, de 18 de julio, por el que se regula la acreditación estatal para el acceso a los cuerpos docentes universitarios y el régimen de los concursos de acceso a plazas de dichos cuerpos.

Este texto es la respuesta a las necesidades específicas de la Ley Orgánica del Sistema Universitario (LOSU) y a la evaluación de la actividad docente e investigadora a nivel internacional impulsada por la Comisión Europea. El artículo 69 de la LOSU incorpora un principio de simplificación en relación con la acreditación de los cuerpos docentes universitarios, al estipular que el procedimiento deberá garantizar la agilidad y la petición de documentación accesible, en modo abierto, abreviada y significativa, utilizando los repositorios institucionales.

Además, la nueva norma introduce el espíritu y los cambios oportunos para el fomento de la ciencia abierta y la reforma de la evaluación de la investigación, en línea con la Ley de la Ciencia, la Tecnología y la Innovación y la Estrategia Nacional de Ciencia Abierta (ENCA), incluyendo una mayor pluralidad de métodos, criterios, y contribuciones evaluadas, así como una mayor contextualización de la evaluación, tanto cualitativa como cuantitativa.

La norma hace referencia al acceso abierto y los repositorios en los siguientes artículos y Anexo:

Artículo 17. Requisitos de la solicitud

3. ANECA requerirá el uso de los repositorios institucionales y temáticos, así como de agregadores reconocidos internacionalmente, en acceso abierto con arreglo a los artículos 12 y 69.2.b) de la Ley 2/2023, de 22 de marzo, como forma de acceso preferente a las publicaciones científicas y otros resultados de investigación.

Artículo 21.  Méritos y competencias evaluables y criterios de evaluación.

1. Las personas solicitantes deberán resumir su trayectoria docente e investigadora, incluyendo las de transferencia e intercambio del conocimiento e innovación, liderazgo o actividad profesional en un currículo breve, que incluirá una exposición y justificación de un número reducido de contribuciones relevantes con una explicación narrativa sobre su calidad y relevancia. El currículo incluirá los siguientes méritos y competencias, de acuerdo con las directrices de este real decreto, y en la forma que establezca ANECA:

a) Méritos y competencias de investigación, incluyendo las de transferencia e intercambio del conocimiento e innovación: Las personas solicitantes deberán destacar la calidad, impacto o relevancia científica, social o local de sus contribuciones, sustentada por los indicadores que ellas mismas quieran aportar. Igualmente, podrán incluir el o los identificadores persistentes y enlaces que estimen convenientes a las bases de datos utilizadas comúnmente en los ámbitos de conocimiento correspondientes, así como a los repositorios institucionales y temáticos y agregadores reconocidos internacionalmente.

4. Los criterios de evaluación de la actividad docente e investigadora y de la transferencia e intercambio del conocimiento deberán incorporar la interdisciplinariedad o multidisciplinariedad, la ciencia ciudadana, las aportaciones de relevancia local, el pluralismo lingüístico y el pluralismo científico, así como el acceso abierto a los resultados.

ANEXO Evaluación de méritos y competencias

Serán méritos y competencias evaluables:

1.2 Resultados y difusión de la actividad investigadora y de transferencia e intercambio del conocimiento: Se valorará una amplia gama de resultados, en función de su calidad, grado de difusión e impacto científico y social. Entre ellos, se considerarán publicaciones científicas, datos, códigos, "software", creaciones artísticas, patentes y registros de propiedad intelectual, aportaciones a congresos, divulgación científica, transferencia al sector productivo, transferencia social (incluyendo microcredenciales de transferencia) e intercambio del conocimiento. Se considerarán las evaluaciones positivas de tramos de investigación y de transferencia. Se valorará la disponibilidad en acceso abierto a todos los resultados de la actividad desarrollada y el uso de repositorios institucionales y temáticos, e infraestructuras y plataformas abiertos.

 

En los próximos meses ANECA publicará nuevos criterios y procedimientos en los que veremos cómo van a aplicarse las directrices del nuevo Real Decreto, mientras tanto y hasta el 1 de abril de 2024 todas las solicitudes de acreditación del programa ACADEMIA se seguirán resolviendo con la normativa y procedimientos del RD 1312/2007

 

Estamos en:


Biblioteca de la Universidad de Huelva Licencia Creative Commons Licencia Creative Commons Atribución-NoComercial-CompartirIgual 4.0 Internacional .