Il tema della valutazione della ricerca, e in particolare come riformarla in modo da evitare alcuni effetti indesiderati sulla qualità, per renderla più responsabile e in linea con i princìpi della scienza aperta, è al centro di importanti ed ambiziosi programmi di sviluppo da parte della Commissione europea e molte altre organizzazioni.

Tra le iniziative di maggiore rilievo si segnalano la Coalizione per l'avanzamento della valutazione della ricerca (CoARA), sostenuta dalla Direzione generale per la ricerca e l'innovazione della Commissione, e l'Agenda politica dello Spazio europeo della ricerca (SER - in inglese ERA) a indicare la direzione da seguire verso cambiamenti rilevanti. Inoltre, una base legale è stata creata nel giugno 2022 con le conclusioni del Consiglio d'Europa sulla valutazione della ricerca e l'attuazione della scienza aperta.

Il punto di partenza è il seguente:

La nostra visione è che la valutazione della ricerca, dei ricercatori e delle organizzazioni di ricerca riconosca i diversi risultati, pratiche e attività che massimizzano la qualità e l’impatto della ricerca stessa. Ciò richiede di basare la valutazione principalmente sul giudizio qualitativo, per il quale la peer review è centrale, supportata da un uso responsabile degli indicatori quantitativi.

--- Agreement on Reforming Research Assessment, luglio 2022. Tradotto dall’inglese da Francesca Di Donato in Una questione di qualità o una formalità? L’Agreement on Reforming Research Assessment e il processo di riforma della valutazione della ricerca in Europa, in «Bollettino telematico di filosofia politica», 2022, pp. 1-30, https://doi.org/10.5281/zenodo.7433048.

Verso una valutazione della ricerca che tenga conto della Scienza Aperta

L'attuale sistema di valutazione della ricerca è criticato perché non tiene conto dei cambiamenti in atto nel processo di ricerca - che è più collaborativo, e più basato sui dati - e per l'ampio ricorso a misure quantitative come il Journal Impact Factor e l’h-index. Questi indici incentivano i ricercatori a dare la priorità alla pubblicazione su riviste considerate di prestigio per via dei loro alti indici rispetto agli aspetti essenziali della ricerca scientifica, come la riproducibilità, la condivisione dei dati e altre pratiche della scienza aperta.

È ormai chiaro come le pratiche di valutazione della ricerca dovrebbero evolversi e come la scienza può essere più aperta. Il percorso verso l'attuazione della riforma è delineato nell'Agreement on Reforming Research Assessment (ARRA), pubblicato il 20 luglio 2022. L’ARRA contiene dieci impegni che definiscono una direzione comune per riformare le pratiche della valutazione della ricerca, che i firmatari dell’accordo si impegnano a rispettare. In particolare, i primi quattro impegni definiscono un set di standard e regole, promuovendo allo stesso tempo una valutazione della ricerca basata sul riconoscimento della varietà di risultati, pratiche e attività, e incoraggiando l'abbandono progressivo degli indicatori quantitativi, specie quando inappropriati. Eccoli:

1. “Riconoscere la molteplicità di contributi e delle carriere nella ricerca, in base alle esigenze e alla natura della ricerca stessa.”

2. “Basare la valutazione della ricerca principalmente sulla valutazione qualitativa, per la quale la peer review è centrale, supportata da un uso responsabile degli indicatori quantitativi.”

3. “Abbandonare gli usi inappropriati nella valutazione della ricerca di metriche basate su riviste e pubblicazioni, in particolare gli usi inappropriati di Journal Impact Factor e h-index."

4. “Evitare l'uso delle classifiche degli organismi di ricerca nella valutazione della ricerca.”

--- Gli impegni sono stati tradotti dall’inglese da Francesca Di Donato in Una questione di qualità o una formalità? L’Agreement on Reforming Research Assessment e il processo di riforma della valutazione della ricerca in Europa, in «Bollettino telematico di filosofia politica», 2022, pp. 1-30, https://doi.org/10.5281/zenodo.7433048. 

Tuttavia, come implementare questi cambiamenti rimane una sfida per molte organizzazioni. Adattare le pratiche di valutazione della ricerca a diverse discipline, fasi della carriera e risultati della ricerca rappresenta una sfida ulteriore, a cui si aggiunge la mancanza di un'infrastruttura aperta e di alta qualità. 

Il sistema attuale spesso utilizza metodi inappropriati e ristretti per valutare la qualità, la performance e l'impatto della ricerca. La quantità di pubblicazioni in riviste con un elevato Journal Impact Factor e il numero di pubblicazioni e citazioni sono proxy dominanti per la qualità, la performance e l'impatto. Alcuni enti di finanziamento e enti di ricerca stanno già adottando misure per migliorare la valutazione della ricerca e dei ricercatori, ma i progressi sono ancora lenti, limitati e frammentati in tutta Europa.

--- European Commission, Directorate-General for Research and Innovation, European Research Area policy agenda – Overview of actions for the period 2022-2024, Publications Office of the European Union, 2022, https://data.europa.eu/doi/10.2777/52110. 

GraspOS: un data space per la valutazione 

Il progetto Horizon Europe GraspOS ha l’obiettivo di affrontare queste sfide creando un data space aperto per la valutazione della ricerca con una duplice ambizione:

1. sostenere le riforme politiche verso una valutazione della ricerca che tenga conto della Scienza Aperta a vari livelli, tra cui ricercatori, istituzioni, organizzazioni e paesi. 

2. Fornire un'infrastruttura digitale federata che raccolga dati per la valutazione, proponendo così un'alternativa non commerciale a quanto attualmente esistente in termini di valutazione della ricerca a livello istituzionale, e in termini di infrastrutture commerciali per il monitoraggio e la valutazione della ricerca. 

Il progetto riunisce un consorzio multidisciplinare di 18 partner provenienti da 10 paesi europei, tra cui università, istituti di ricerca e organizzazioni non profit con competenze in diversi settori, come la gestione dei dati, la comunicazione scientifica, la pubblicazione ad accesso aperto e lo sviluppo di metriche di valutazione della ricerca.

Lo sviluppo di nuove infrastrutture e strumenti di valutazione è troppo spesso guidato dalle possibilità offerte dalle nuove fonti di dati o dalle nuove tecnologie, piuttosto che dalle esigenze degli utenti finali. Ciò porta a strumenti di valutazione e monitoraggio che non sono noti agli utenti finali, o che vengono utilizzati anche se non sono adatti agli obiettivi della valutazione.
Se si desidera raggiungere un consenso su nuovi indicatori e l'adozione di metriche, le comunità di ricerca interessate (ricercatori, società scientifiche, organismi di finanziamento e organismi di ricerca) devono essere coinvolte nel progetto il prima possibile, in modo da poterne informare lo sviluppo per tutta la sua durata. 

Presentando tre tipi di attività che coinvolgono le diverse comunità di ricerca interessate, intendiamo qui sottolineare l’importanza della collaborazione stretta con gli utenti finali per far avanzare la valutazione della ricerca.

Coinvolgere le comunità di ricerca interessate

Per garantire che gli indicatori, gli strumenti, i servizi e le infrastrutture applicati nella valutazione o nel monitoraggio si basino sulle reali esigenze della comunità, GraspOS comprende nove progetti pilota che coinvolgono un gruppo diversificato di stakeholder, raggruppati in tre tipi:

• Agenzie di finanziamento e stakeholder nazionali che operano nell'infrastruttura

• Università e istituti di ricerca

• Discipline tematiche

I progetti pilota hanno una comprensione comune di ciò che significa la valutazione della ricerca che tiene conto della Scienza Aperta, nonché delle esigenze e delle sfide legate allo sviluppo di nuovi modi per valutare o monitorare la Scienza Aperta.

Comunità di pratica di esperti sulla valutazione della ricerca che tiene conto della Scienza Aperta

In un articolo pubblicato su LSE Impact Blog, Ismael Rafols, Ingeborg Meijer e Jordi Molas-Gallart ribadiscono che la Scienza Aperta viene implementata in modi diversi nelle diverse comunità di ricerca, e che

Non dovremmo monitorare se c'è più o meno Scienza Aperta, ma quali tipi di Scienza Aperta vengono sviluppati e adottati, da chi e con quali conseguenze.

Data la fase embrionale del processo di riforma, è il momento opportuno per raccogliere e scambiare esperienze relative ai tentativi pratici di condurre valutazioni della ricerca che tengano conto della Scienza Aperta. 

A tal fine, GraspOS organizza incontri online bimestrali durante i quali università, finanziatori nazionali e gruppi di ricerca tematici si incontrano online per discutere i molteplici modi in cui la valutazione (responsabile) della ricerca tiene conto della Scienza Aperta. Questa comunità mobilita le reti esistenti coinvolte nella definizione delle politiche come CoARA, EOSC Association e OpenAIRE NOADs, completando il loro lavoro.

Coara WG Towards Open Infrastructures for Responsible Research Assessment 

Nel marzo 2023, CoARA ha lanciato un appello ai suoi membri per proporre Working Groups (WG) che avrebbero lo scopo di sostenere l'attuazione degli impegni contenuti nell'Accordo per la riforma della valutazione della ricerca. La proposta per il WG Towards Open Infrastructures for Responsible Research Assessment (OI4RRA) è stata accettata e riunirà 23 membri* della Coalizione provenienti da tutto il mondo, tra cui alcuni partner di GraspOS.

*I membri sono: OpenAIRE, Leiden University (CWTS), National Research Council (CNR), Federation of Finnish Learned Societies (TSV), SS Cyril and Methodius University in Skopje, University of Minho, Masaryk University, OpenCitations, University of Debrecen, Trinity College Dublin, University of Bologna, Universities Norway, NIFU (Nordic institute for studies of innovation, research and education), EIFL, Netherlands Research Council (NWO), COKI (Australia), National Institute of Informatics (NII, Japan), Michael J. Fox Foundation (United States), Technische Universiteit Delft, West and Central African Research and Education Network (WACREN, Ghana), Vrije Universiteit Amsterdam (Paesi Bassi), UEFISCDI (Romania), University of Lubjlana (Slovenia).

L'ambizione del gruppo è quella di facilitare la transizione delle istituzioni dall'utilizzo di infrastrutture e informazioni di ricerca proprietarie, all'adozione di alternative aperte e interoperabili. L'attenzione è rivolta a rendere la valutazione della ricerca più trasparente e responsabile, consentendo alla comunità di ricerca di avere il pieno controllo sui dati e sugli indicatori utilizzati nelle valutazioni. 

Per maggiori informazioni sul progetto potete visitare il sito: https://graspos.eu/ 

Materiali e prodotti di progetto sono raccolti nella apposita comunità Zenodo, e in quella dedicata alla riforma della valutazione:

• GraspOS: https://zenodo.org/communities/graspos_project

• Open science and Responsible Research Assessment: https://zenodo.org/communities/open_science_rra

05 December 2023