Il premio intende essere un riconoscimento per i lavori scientifici che implementano pratiche di riproducibilità e in generale di scienza aperta. In mancanza di indicatori standard, lo scopo è far emergere quanto di buono esiste già e incentivare l'innovazione del processo scientifico. Dalla prima edizione emerge uno spaccato del panorama open science in Italia e, in vista dell'edizione 2024, l'intenzione è rendere il premio un appuntamento fisso in Italia

Una comunità di persone volontarie all’interno della quale circolano approcci innovativi alla propria professione si consolida sia tramite la partecipazione continuata a progetti di lungo periodo, sia tramite chiamate a raccolta puntuali e a breve termine. In quest’ultimo contesto, l’Italian Reproducibility Network ha organizzato un premio da assegnare ai contributi scientifici che si distinguessero per la propria aderenza alle pratiche di riproducibilità.

In assenza di indicatori standard e condivisi per questo tipo di contributi e azioni, un adeguato riconoscimento per coloro che promuovono la pratica della scienza aperta è essenziale per incentivare e valorizzare l'innovazione e la trasparenza nel progresso scientifico.

Per la commissione organizzatrice la progettazione del premio, la gestione dei contributi inviati e le decisioni finali si sono snodate lungo un vero e proprio percorso. Sono emersi spunti interessanti che tratteggiano un’istantanea, seppur parziale, del panorama open science italiano e che aprono a possibili nuovi sviluppi del premio in futuro.

Call for Interest

Nel novembre 2023 la commissione organizzatrice ha costruito la call for interest riprendendo la linea di principio che ha ispirato l’intera iniziativa ITRN: la riproducibilità. ITRN e il premio Reproducibility Award mirano a differenziarsi da altre iniziative simili sia locali che internazionali direzionando il focus sul percorso di costruzione e realizzazione di un contributo scientifico che favorisce la riproducibilità.

Questo principio ha guidato innanzitutto la redazione del modello di contributo proposto nella call. Esso è stato pensato per essere sufficientemente inclusivo per la gran parte dei possibili output riproducibili, poiché la descrizione del prodotto è stata lasciata volutamente libera e l’unica richiesta sostanziale era quella di indicare un identificativo univoco e persistente, per essere certi di avere un riferimento certificato dove poter approfondire i contenuti del contributo.

Nei criteri di valutazione, la commissione ha messo insieme due aree di giudizio: una più tecnica e quantitativa, l’altra più concettuale e qualitativa, enumerando cinque punti:

1. utilizzo di piattaforme per la condivisione dei prodotti della ricerca in maniera FAIR (dati, codice, etc.);
2. utilizzo di strumenti open;
3. utilizzo ragionato di licenze aperte che regolano il riutilizzo dei prodotti condivisi.
4. Impatto/Significatività del contributo: descrizione chiara e quantitativamente efficace di materiali e/o metodi(replicabilità);
5. impatto e applicazioni pratiche e future.

Dunque con i primi tre criteri si intendeva posizionare il contributo su alcuni assi di un ideale spazio di condivisione, orientati secondo il tipo di repository prescelto, la tipologia di strumenti open sfruttati per la realizzazione del contributo e la licenza adottata per regolarne il riuso; l’idea sottesa agli altri due criteri era invece inquadrare il rigore e la completezza della descrizione dei materiali e dei metodi, per garantire la replicabilità del prodotto, riservando infine un’ultima parte della valutazione all’impatto generico del lavoro.

La combinazione tra l’eterogeneità delle categorie di valutazione e la diversità dei profili all’interno della commissione organizzatrice (psicologia, scienze cognitive, neuroscienze, fisica; profili accademici consolidati, early career researcher, profili tecnici) è sembrata ideale per effettuare una selezione equilibrata ed eterogenea.

Contributi

La partecipazione alla prima edizione del Reproducibility Award è andata ben oltre le aspettative: i contributi inviati sono stati 48.

La provenienza geografica riflette uno sbilanciamento verso il centro-nord mentre la presentazione dei contributi è prevalentemente da parte di early career researchers.

Significativa anche la risposta dall’estero, principalmente su spinta di persone che provenivano da esperienze di dottorato all’interno di università italiane.

Oltre il 90% dei contributi erano del formato “lavoro scientifico”. Questi contributi erano solo superficialmente valutabili come “standard”. Infatti, tramite l’innesto di pratiche open, sono emerse declinazioni innovative e virtuose. Tra i lavori inviati, la condivisione dei dati e del codice sembra essere infatti una modalità “di default”. Inoltre, una parte significativa dei contributi era preregistrata e/o pubblicata come registered report.

Tra i contributi erano presenti anche altri tipi di oggetti scientifici “non identificati” o meglio, per loro natura, difficilmente inquadrabili in termini di impatto secondo metriche classiche come la descrizione del percorso di creazione di una rivista diamond open access, un tutorial e una pagina web di accompagnamento per un lavoro scientifico.

Assegnazione dei premi

In prima battuta il processo di valutazione e selezione è sembrato quasi banale perché si trattava di assegnare punteggi in un range già definito.

Durante il processo di revisione, però, è subito apparso chiaro alla commissione che sarebbe stato impossibile premiare un solo lavoro, poiché già da una prima e complessa selezione, basata su criteri puramente quantitativi, un gruppo consistente di lavori presentava punteggi molto alti, con basse fluttuazioni sia tra categorie che tra i valutatori.

Infatti nell’area tecnica/quantitativa sostanzialmente tutti i lavori avevano soddisfatto i criteri di condivisione dati e utilizzo di strumenti open. L’unico asse più trascurato era quello dell’utilizzo della licenza.

Nell’area concettuale/qualitativa le cose erano addirittura più complicate, poiché alla completezza e al rigore nella descrizione di materiali e metodi, si affiancava in molti casi una grande rilevanza su diversi piani: scientifico, didattico e in alcuni casi persino sociale. La decisione finale è stata di assegnare tre premi e in aggiunta a questi nominare ufficialmente altri tre lavori, per arrivare a sei menzioni.

I contributi costituiscono un sottoinsieme eterogeneo, all’interno del quale abbiamo osservato la presenza di diversi punti in comune. Due lavori erano pubblicati tramite il processo di registered report. Uno di essi proveniva da un laboratorio che opera tramite pratiche open “by-default”, mostrando come si possa innovare ogni singolo passaggio nella produzione delle opere d’ingegno. Tra i sei c’erano due repliche: una che riproduceva uno studio effettuato negli USA, un’altra che metteva insieme dati provenienti da oltre cinquemila esperimenti effettuati in 21 paesi, dimostrando come le pratiche open permettano di gestire iniziative di ampio respiro che attaccano il problema della WEIRD-ness (Western, Educated, Industrialized, Rich, and Democratic nations) nell’insieme delle persone testate. Due studi si focalizzavano sul problema della ricostruzione di reti di connessioni cerebrali, “affrontandolo” da angolazioni diverse: uno tramite neuroimaging pesato in diffusione, l’altro tramite colorazione istochimica. Uno dei due lavori era corredato da una pagina web pensata appositamente come una “explorable explanation” dei risultati: un oggetto di impatto scientifico altissimo ma difficilmente rilevabile tramite metriche classiche. Allo stesso modo, è stata premiata una riflessione rigorosa, tramite simulazioni, di una pratica ricorrente nell’ambito open come la meta-analisi, presentata sotto forma di tutorial.

Nel complesso, molti dei lavori esaminati presentavano aspetti interessanti e di valore che avrebbero sicuramente meritato una menzione e uno spazio dedicato all'interno del contesto valutativo. Tuttavia i premi, per loro stessa natura, prevedono una scelta, il che rende inevitabile che non tutti i contributi meritevoli possano essere inclusi o menzionati.

Sviluppi futuri

L’intenzione è ora rendere il premio un appuntamento fisso dell’open science in Italia, per stimolare l’incontro e la discussione tra interpreti provenienti da background diversi ed eterogenei. La raccolta di contributi genera inoltre delle istantanee sugli interessi e sulle direzioni verso le quali si evolve questa particolare comunità scientifica.

Lo sbilanciamento geografico verso il centro-nord, osservato anche in altre iniziative promosse da ITRN, così come il sottovalutare l’argomento delle licenze d’uso per le collezioni di dati condivise, suggerisce la necessità di azioni mirate.

La diversità e l'eterogeneità dei contributi presentati ha offerto la possibilità di ridefinire l’approccio valutativo al premio e di adattare la visione rispetto alle singole peculiarità dei lavori presentati. Questa sfida ha spinto a ridiscutere e riformulare la call per il 2024 e ad adottare dei criteri di valutazione dell’attività di ricerca più inclusivi.

Le discussioni scientifiche scaturite all’interno del III Meeting annuale ITRN, che si è svolto a Bologna il 23 Febbraio 2024, suggeriscono la possibilità di organizzare un evento indipendente con tempi adeguati per celebrare i contributi vincitori e per sviluppare un dibattito su temi specifici per un futuro più affidabile della scienza.

Nel valutare chi fa ricerca è infatti cruciale riconoscere e premiare non solo i risultati ottenuti, ma anche gli sforzi dedicati a promuovere e praticare la scienza aperta, poiché questi contribuiscono in modo significativo alla progressione e all’integrità del processo scientifico.

Azioni in questo senso sono al momento in fase di studio per i prossimi anni, per proseguire e consolidare il premio in sé e la rilevanza dell’iniziativa ITRN nella comunità scientifica nazionale.

13 June 2024