L'agreement on Reforming Research Assessment (ARRA) è un documento che stabilisce una direzione nel processo di riforma della ricerca: superare gli indici bibliometrici, o comunque usarli solo con funzione di supporto, e puntare invece su una valutazione qualitativa. Vediamo cosa questo potrebbe significare nel caso del singolo ricercatore
Pubblicato il 20 luglio 2022, l’Agreement on Reforming Research Assessment (ARRA) è un documento snello e di alto livello, che stabilisce una direzione comune per la riforma delle pratiche di valutazione della ricerca, nel rispetto dell'autonomia delle organizzazioni.
[...] La visione su cui si basa l’ARRA è che la valutazione della ricerca, vale a dire dei ricercatori, dei progetti, e delle organizzazioni di ricerca, sia di supporto alla ricerca di qualità e alla massimizzazione dell’impatto a diversi livelli.
Ciò può avvenire riconoscendo una molteplicità di prodotti e di risultati, ma anche di pratiche e di attività che costituiscono e definiscono la ricerca.
È qui evidente il nesso con il supporto dell’ARRA verso l’adozione delle pratiche della scienza aperta, che contribuiscono a garantire una ricerca di qualità, cioè fondata su trasparenza, rigore e integrità, apertura e collaborazione. Ciò comporta anche valutare la ricerca principalmente su base qualitativa, e fare uso di indicatori quantitativi solo con una funzione di supporto. [...] Di seguito un esempio di implementazione degli impegni fondamentali (ad esclusione del quarto (1), che non è rilevante in questo contesto) considerando, nello specifico, la valutazione del singolo ricercatore e definendo per essa i possibili criteri.
Un aspetto da considerare a monte di ogni definizione di processi, criteri e indicatori, è che
nel definire i criteri di valutazione del singolo ricercatore sarà indispensabile valorizzare i diversi profili di carriera, anche individuandone di nuovi (l’accordo indica in particolare la necessità di valorizzare la carriera di data stewardship, in quanto è un ruolo di supporto alla ricerca che sarà fondamentale per garantire una corretta gestione dei dati secondo i principi FAIR), così come tenere in considerazione i diversi stadi della carriera, distinguendo tra criteri per il reclutamento e criteri per gli avanzamenti di carriera.
Inoltre, attenzione specifica dovrà essere data all’individuazione delle pratiche che caratterizzano l’ambito o gli ambiti disciplinari di riferimento. Tutto questo nel quadro, più generale, dell’autonomia dell'istituzione di appartenenza nel determinare i suoi scopi e la sua missione. In linea con il primo impegno dell’ARRA “riconoscere la molteplicità di contributi e delle carriere nella ricerca, in accordo con i bisogni e la natura della ricerca”, le strategie per riconoscere e valorizzare una varietà di risultati, contributi e attività comprendono i seguenti elementi (2):
1. Utilizzare formati di curriculum che consentano di prendere in considerazione diversi contributi alla conoscenza, alla formazione e allo sviluppo di altri ricercatori, alla più ampia comunità di ricerca e alla società intera (3). I modelli che possono essere adattati agli scopi della valutazione includono la OS-CAM, il Position paper Room for everyone’s talent e l’esperimento Science in Transition dell’Università di Utrecht. Una volta individuate le aree che rientrano nella missione dell’istituzione e tra le attività del ruolo in oggetto (4), sarà possibile definire i relativi indicatori.
2. Valutare una molteplicità di risultati della ricerca (set di dati FAIR, replication study, registered report, pre-print, materiale didattico) in diverse lingue, in conformità con l'iniziativa di Helsinki (5).
3. Valutare pratiche diverse, comprese quelle che contribuiscono a solidità, apertura, trasparenza e inclusività della ricerca e del processo di ricerca, inclusi peer-review, lavoro di squadra (teamwork) e collaborazione. In particolare, alcune indicazioni sui criteri in base ai quali valutare solidità della ricerca e del processo di ricerca includono: valutare l'allineamento con i valori dell'integrità della ricerca e valorizzare la conoscenza di un processo sperimentale rigoroso, secondo quanto enunciato negli Hong-Kong Principles; valorizzare il lavoro di squadra e la collaborazione; valorizzare output associati a una ricerca solida, aperta e trasparente (come set di dati FAIR, replication study, registered report, pre-print). Le indicazioni per valutare l’apertura e la trasparenza della ricerca e del processo di ricerca comprendono: prendere in considerazione la UNESCO recommendation on open science (6); valorizzare attività complementari (come la didattica, attività di informazione, sensibilizzazione, e outreach) e risultati associati all’apertura (come data set FAIR, pre-print, open software, open code, traduzioni). Tra le indicazioni per valutare l’inclusività della ricerca e del processo di ricerca rientrano: valorizzare l’inclusione di altri attori nel processo di ricerca, dalla definizione delle domande prioritarie per la ricerca alla traduzione in conoscenza; considerare la diversità dei gruppi di ricerca a tutti i livelli, e dei contenuti di ricerca e innovazione; considerare la dimensione EDI (Equity, Diversity, Inclusion) e includere la dichiarazione EDI nei processi di valutazione (7); considerare referenze a 360° o comunque referenze di organizzazioni piuttosto che individuali; includere nella formazione per valutatori la formazione sul pregiudizio implicito e/o inconscio; considerare la possibilità di estrarre a sorte l’allocazione di risorse a domande di finanziamento che abbiano superato un processo di peer-review e risultino di egual valore; considerare l’inclinazione verso pregiudizi di genere, o verso altri pregiudizi. In accordo con il secondo impegno di “basare la valutazione della ricerca principalmente sulla valutazione qualitativa per la quale la revisione tra pari è centrale, supportata da un uso responsabile di indicatori quantitativi”, la valutazione dovrà essere qualitativa, e le attività di revisione inter pares dovranno essere valorizzate.
Si tratterà dunque di riconoscere contributi come il peer review e i ruoli editoriali (ad esempio incentivando tra i ricercatori beneficiari di grant Horizon 2020 e Horizon Europe, l’utilizzo della piattaforma della Commissione europea Open Research Europe (ORE), che assegna un DOI ai contributi di peer review, riconoscendoli come contributi scientifici). Una strategia per ottimizzare le procedure di valutazione in termini di costi e di tempo, sia per chi valuta che per chi viene valutato, è limitare il numero di risultati esaminati (andando verso una selezione di risultati chiave e del perché sono importanti) (8). Sarà inoltre possibile fare uso di indicatori basati sui criteri di cui sopra, che misurino apertura, trasparenza, collaborazione, integrità della ricerca, per supportare la valutazione qualitativa. Infatti, l’impegno 3 richiede l’abbandono “[de]gli usi inappropriati nella valutazione della ricerca di metriche basate su riviste e pubblicazioni, in particolare usi inappropriati di Journal Impact Factor (JIF) e h-index” e definisce tali usi inappropriati con precisione (9).
NOTE:
(1) Il quarto impegno richiede di “evitare l'uso delle classifiche (ranking) degli organismi di ricerca nella valutazione della ricerca”.
(2) La gran parte delle indicazioni è ripresa e adattata dal toolbox, Annex 4, pp. 21-22 dell'Agreement
(3) Cfr. Aubert Bonn N., Bouter L. (2021), Research assessments should recognize responsible research practices Narrative review of a lively debate and promising developments, Submitted as chapter for the book:Handbook of Bioethical Decisions –Vol. II Scientific Integrity and Institutional EthicsEdited by Erick Valdes and Juan Alberto Lecaros, Pre-print: 10.31222/osf.io/82rmj
https://doi.org/10.31222/osf.io/82rmj
(4) Si veda lo EU competence framework for researchers (Knowledge Ecosystem Project) / https://www.vitae.ac.uk/researchers-professional-development/about-the-vitae-researcher-development-framework/developing-the-vitae-researcher-development-framework
(5) Helsinki Initiative on Multilingualism in Scholarly Communication (2019). Helsinki: Federation of Finnish Learned Societies, Committee for Public Information, Finnish Association for Scholarly Publishing, Universities Norway & European Network for Research Evaluation in the Social Sciences and the Humanities. https://doi.org/10.6084/m9.figshare.7887059.
(6) Unesco Recommendation on Open Science (2021) https://en.unesco.org/science-sustainable-future/open-science/recommendation.
(7) Si veda la Rubrica della University of Berkeley “Rubric for Assessing Candidate Contributions to Diversity, Equity, Inclusion, and Belonging”, che presenta un modello a disposizione dei comitati di valutazione, da utilizzare per valutare i contributi dei candidati a diversità, equità, inclusione e appartenenza (DEIB). Si tratta di una guida che può essere adattata a ricerche specifiche a seconda delle competenze dipartimentali o disciplinari. https://ofew.berkeley.edu/recruitment/contributions-diversity/rubric-assessing-candidate-contributions-diversity-equity
(8) In questa direzione vanno le Linee guida del Cancer Research UK, cfr. Improving how we evaluate research: how we’re implementing DORA, online a:
https://news.cancerresearchuk.org/2018/02/20/improving-research-evaluation-dora/
(9) Agreement on Reforming Research Assessment, p. 6. Traduzione italiana di Francesca Di Donato
Il testo di questo articolo è un estratto del preprnt "Una questione di qualità o una formalità? L’Agreement on Reforming Research Assessment e il processo di riforma della valutazione della ricerca in Europa", di Francesca Di Donato (2022), Zenodo. DOI: 10.5281/zenodo.7433048.
L'articolo è anche pubblicato in «Bollettino telematico di filosofia politica», 2022, pp. 1-30, dove è disponibile per la open peer review.
20 December 2022
