Il lavoro di ricerca genera una varietà di prodotti fondamentali per la diffusione della conoscenza, quali dati e software. Tuttavia, la valutazione è basata su indicatori costruiti su database chiusi, opachi e costruiti sulle sole pubblicazioni peer reviewed. Sviluppare alternative aperte, capaci di includere fonti e prodotti diversi, comporta sfide significative ma offre anche importanti opportunità

La comunicazione accademica e scientifica vive una profonda trasformazione, guidata dai principi della scienza aperta. Politiche e obblighi sull’accesso aperto, sui dati e software di ricerca FAIR (Findable, Accessible, Interoperable, Reusable) stanno rivoluzionando silenziosamente il modo in cui la conoscenza scientifica viene pubblicata e condivisa.

Una prova di questo cambiamento è l’aumento della varietà di prodotti della ricerca creati dai ricercatori, come dati e software. Su 9,5 milioni di profili ORCID con almeno un prodotto di ricerca, circa 450.000 elencano dati di ricerca e circa 77.000 software di ricerca. Questa varietà di prodotti (alcuni accessibili e riutilizzabili) è indubbiamente vantaggiosa per il progresso scientifico. Tutto ciò evidenzia  anche la necessità di una riforma radicale della valutazione della ricerca, come proposto da CoARA, la coalizione delle organizzazioni impegnate nel riformare la valutazione della ricerca, che sottolinea l’importanza di valorizzare percorsi di carriera diversificati e sviluppare forme innovative di valutazione e indicatori che riflettano la piena varietà del lavoro scientifico.

Grafi della conoscenza scientifica come Scopus, Web of Science e Google Scholar sono stati fondamentali nel fornire indicatori ampiamente utilizzati (e criticati) per la valutazione della ricerca nel dominio tradizionale delle pubblicazioni scientifiche peer-reviewed. Nonostante la loro natura chiusa e opaca, aggregano metadati da sedi editoriali per offrire mappe strutturate di pubblicazioni, autori, istituzioni e delle loro interconnessioni (citazioni, coautorie, affiliazioni), considerate centrali per valutare (e prevedere) l’impatto scientifico.

Possiamo quindi presumere che costruire grafi aperti della conoscenza scientifica, semplicemente aggregando più sedi e tipi di prodotti della ricerca, fornisca automaticamente gli indicatori di valutazione necessari? La risposta è: il diavolo è nei dettagli. Questa è una sfida che ho affrontato come CTO dell’infrastruttura europea per la comunicazione scientifica aperta OpenAIRE e responsabile del grafo OpenAIRE.

Il grafo di OpenAIRE offre accesso libero a una mappa completa di metadati su pubblicazioni, dati e software di ricerca, con un ampio indice di citazioni che include sia citazioni tra pubblicazioni, sia tra pubblicazioni e dati/software. Il processo di creazione del grafo OpenAIRE e i feedback degli utenti hanno evidenziato quattro sfide tecniche e culturali fondamentali per qualsiasi tentativo di riforma della valutazione della ricerca.

Una sovrabbondanza di sedi editoriali e prodotti di ricerca

La valutazione della ricerca è basata principalmente su metriche derivate da un gruppo selezionato di sedi editoriali “autorevoli ”. Queste sedi adottano meccanismi di controllo per garantire un certo livello di fiducia scientifica (approvazione della comunità, per esempio  peer review, pratiche comunitarie) e affidabilità dei  metadati (autorevolezza e accuratezza delle informazioni, per esempio garantite da cura/validazione).

Creare grafi della conoscenza da queste fonti è relativamente semplice, poiché il numero di sedi autorevoli è limitato (Crossref, PubMed, DBLP, ArXiv, ecc.) e i tipi di risorse sono abbastanza uniformi (articolo, tesi, capitolo di libro, libro, ecc.). Tuttavia, la diversità della scienza aperta implica l’aggregazione di un numero vasto (migliaia, in crescita) di sedi editoriali (quali DataCite, SoftwareHeritage, repository istituzionali, repository di dati, repository di software, repository generalisti come Zenodo e Figshare, aggregatori) con formati di metadati e vocabolari specifici per comunità, relativi a pubblicazioni (rapporti, deliverable, presentazioni, lezioni, ecc.), dati di ricerca (dataset, proteine, cristalli, ecc.) e software di ricerca.

Questa eterogeneità rende l’aggregazione dei metadati una sfida complessa, dinamica e costosa da mappare.

Fiducia nelle fonti e valutazione responsabile

La vastità delle piattaforme di scienza aperta include sedi editoriali che possono non adottare pratiche di controllo tipiche dell’editoria accademica tradizionale. Se da un lato questo approccio favorisce un accesso più rapido e ampio alla ricerca, dall’altro significa che i grafi della conoscenza possono includere prodotti non sottoposti a rigorosa validazione scientifica o dei metadati.

Questo rappresenta una sfida per la valutazione della ricerca. Ci si chiede, ad esempio: i  metadati e i link di citazione di un record bibliografico proveniente da un repository istituzionale (es. HAL.fr), da un repository tematico (es. ArXiv.org), o da una rivista peer-reviewed WoS sono ugualmente affidabili per la valutazione? Una citazione inserita manualmente in un record (es. in Zenodo.org) è affidabile quanto una estratta dalla bibliografia di un articolo PDF tradizionale?

Le risposte dipendono da come utenti e valutatori intendono usare questi grafi. Perciò è cruciale conoscere l’origine e l’affidabilità delle informazioni, se siano state sottoposte a peer-review o curate da bibliotecari. Questa conoscenza consente agli utenti di selezionare un sottoinsieme di dati coerente con le proprie esigenze di valutazione, scegliendo tra fonti quali Scopus, che si basa su sedi “autorevoli ”, o approcci più inclusivi come Google Scholar.

Creare consenso sulle pratiche editoriali

Nella scienza aperta l’assenza dei trazionali meccanismi di controllo può e deve essere compensata da un consenso sulle pratiche editoriali.

Senza linee guida, gli sforzi di pubblicazione generano spesso metadati bibliografici divergenti, incompleti o errati, ostacolando l’uso dei grafi per la valutazione. La deduplicazione dei record diventa più complessa, dovendo gestire informazioni mancanti ed eccezioni.

Allo stesso modo, i record possono non riflettere correttamente le loro interconnessioni, talvolta omettendo (o usando male!) identificatori chiave come ORCID, ROR, DSKGs, handle e altri. Sebbene soluzioni tecnologiche possano mitigare alcune di queste sfide (per esempio inferire dai full-text degli articoli proprietà dei metadati e collegamenti ad altre entità), una risoluzione efficace e sostenibile, basata su politiche e linee guida, richiede anche un cambiamento culturale nel modo in cui i ricercatori pubblicano i propri prodotti e le sedi editoriali rispondono a queste esigenze.

Una cultura “Open Science” della valutazione della ricerca

Riformare la valutazione della ricerca non è solo una responsabilità, ma una grande opportunità per la comunità scientifica di collaborare e generare un cambiamento significativo. Sfruttando infrastrutture aperte, possiamo garantire che i flussi di pubblicazione e valutazione restino aperti, trasparenti, regolamentati e sostenibili, evitando il controllo da parte di attori commerciali.

Il grafo OpenAIRE mira a realizzare questa visione, superando molte delle criticità menzionate e offrendo un indice di citazioni aperto che cattura il panorama globale della scienza aperta, incarnando i Principi delle infrastrutture scientifiche aperte (POSI, nell’acronimo inglese) e i principi emergenti del gruppo di lavoro CoARA OI4RRA, specificamente dedicato al ruolo delle infrastrutture aperte nella riforma della valutazione. Soprattutto, consente a ricercatori, organizzazioni, enti finanziatori, decisori pubblici e fornitori di piattaforme editoriali in vari ambiti, di monitorare attivamente lo stato e l’impatto delle pratiche editoriali globali, apprendere come migliorare tecnicamente e culturalmente i propri flussi di pubblicazione, e fornire feedback e azioni correttive per migliorare il grafo (e altri grafi della conoscenza). Esempi di servizi costruiti per le organizzazioni includono l’Irish Monitor e l’EOSC Observatory; tra quelli per gli enti finanziatori, c'è il monitor Open Science della Commissione Europea, o ancora per i decisori pubblici si può citare il capitolo sulla produzione della conoscenza scientifica del rapporto SRIP.

Ciclo dopo ciclo di generazione dei dati, l’evoluzione del grafo OpenAIRE riflette il nostro apprendimento e adattamento collettivo, promuovendo un ecosistema scientifico affidabile e d’impatto, modello di ciò che possiamo realizzare insieme.

I grafi della conoscenza della scienza aperta sono strumenti dinamici, imperfetti ma essenziali, che offrono preziose informazioni sulle pratiche editoriali esistenti e sono fondamentali per guidare tutti gli attori verso una maggiore coerenza con i principi della scienza aperta. Come comunità, il nostro coinvolgimento è cruciale per tutelare e plasmare il futuro della valutazione della ricerca in scienza aperta.

--

02 ottobre 2025