Indicatori di valutazione della qualità della ricerca negli atenei: sensibilità, sostituibilità e capacità discriminatoria.

La valutazione della ricerca scientifica è entrata nella più generale valutazione del sistema universitario italiano con indicatori poco espressivi della qualità dei prodotti della ricerca. In questa memoria, si analizzano con metodi statistici alcuni indici derivabili da dati ufficiali sulla ricerca svolta negli atenei, con l’obiettivo di individuare un insieme ristretto di indicatori di quantità e qualità della ricerca in Italia. I criteri di selezione degli indicatori sono la sensibilità degli stessi a modificazioni nell’output della ricerca, la sostituibilità tra indicatori e la capacità di discriminare tra atenei. Gli indicatori possono essere utilizzati in una varietà di casi, dalla programmazione triennale alla determinazione di quote premiali del fondo di finanziamento ordinario, a confronti tra atenei e, per lo stesso ateneo, tra tempi diversi. Il nostro studio ha dimostrato che: a. gli indicatori, proposti dal CIVR, della capacità degli atenei di valorizzazione economica e produttiva della ricerca (brevetti, partnership) e di attrazione di finanziamenti (Prin, altre fonti) risentono della dimensione degli atenei, valutabile sia in rapporto al numero di studenti iscritti e sia al numero di ricercatori che vi operano. L’uso di questi indicatori, quando non siano standardizzati per dimensione, rischia di dare un’immagine inadeguata della capacità di un ateneo di attrarre risorse dal – e coinvolgere i ricercatori e le strutture dipartimentali nel – proprio territorio di riferimento. Pertanto, si propone di standardizzare ogni indicatore di capacità di attrazione di risorse, interne ed esterne (Prin finanziati, partnership attivate, altre espressioni di esito positivo di richieste di finanziamento della ricerca) e di valorizzazione applicativa della ricerca (brevetti attivati, spin-off promossi), rapportando il valore dell’indicatore, per un ateneo o per un’area scientifico-disciplinare, al numero di ricercatori in servizio nell’ateneo o nell’area scientifica. b. Alcuni tra gli indicatori analizzati sono significativamente connessi alla dislocazione geografica, altri alla natura giuridica (pubblica vs privata) e altri ancora alla dimensione della sede universitaria. Vale la pena osservare che tutti gli indicatori di qualità della ricerca risultati significativi ai test statistici sono, escluso quello della valorizzazione applicativa della ricerca, relativizzati al numero di ricercatori. La standardizzazione per dimensione porta dunque alla luce differenze effettive nel modo di fare ricerca negli atenei pubblici e in quelli privati e tra atenei appartenenti alle grandi ripartizioni geografiche del Paese. Le differenze riguardano prevalentemente la produzione di brevetti (differenze significative per ripartizione geografica) e la generazione di spin-off, la creazione di partnership con imprese ed enti del territorio e, in genere, la valorizzazione applicativa della ricerca (differenze secondo la ripartizione privato/pubblico e la classificazione per dimensione degli atenei). In definitiva, gli indicatori standardizzati per dimensione si dimostrano più sensibili di quelli non standardizzati. c. Le differenze tra atenei riguardano anche due indicatori standardizzati (per dimensione) inerenti – seppure indirettamente – alla qualità scientifica dei prodotti di ricerca, l’indicatore di propensione all’internazionalizzazione (rilevante per la ripartizione geografica degli atenei) e quello di produzione di lavori con impact factor (rilevante per la classificazione per natura giuridica dell’ateneo). Tra i due, la propensione all’internazionalizzazione è un indicatore sensibile al modo di fare ricerca nelle università espressivo quanto gli indicatori creati con i punteggi assegnati ai lavori scientifici valutati dal CIVR (scoring dei prodotti e proporzione di prodotti eccellenti). La propensione all’internazionalizzazione è, infatti, legata anche alla dimensione quantitativa della ricerca, non solo alla qualità dei migliori prodotti della ricerca. d. D’altronde, gli indicatori diretti della qualità della ricerca sono poco sensibili alla ripartizione degli atenei in classi dimensionali, giuridiche e geografiche. Mostrano insignificanti differenze nelle varie classi lo score dei prodotti, la proporzione di prodotti di buona e accettabile qualità (l’eccellenza è, invece, sensibile), la proporzione di Prin finanziati e il grado di apertura dei lavori di ricerca. Sarebbe da valutare positivamente l’intrapresa di un nuovo studio volto a individuare criteri di selezione e scoring più discriminanti di quello adottato dal CIVR di far valutare due lavori per ogni ricercatore equivalente, criterio che costringe l’indicatore di scoring della qualità della ricerca degli atenei a variare in un intervallo ristretto. e. L’analisi fattoriale degli indicatori permette di individuare due dimensioni negli indicatori sulla valutazione della ricerca degli atenei: una che dipende dagli sforzi degli atenei per valorizzare dal punto di vista applicativo la ricerca e una che riassume le valutazioni dei prodotti di ricerca espresse dal CIVR. Si tratta di dimensioni linearmente indipendenti e quindi sommabili. Ambedue derivano dalla intraprendenza dei ricercatori universitari. Tuttavia, la prima è maggiormente condizionata dall’ambiente sociale ed economico nel quale è insediata l’università, la seconda dal clima proattivo interno all’accademia e dalle reti tra studiosi attivate dai ricercatori universitari in ambito nazionale e internazionale. L’ambiente economico può, infatti, stimolare la capacità di produrre brevetti e ricerca finalizzata: le università del Settentrione sono, per questo motivo, alquanto più favorite in questo di quelle del Meridione. Il confronto e la compenetrazione con altre realtà di ricerca, soprattutto internazionali, il ringiovanimento delle idee che si accompagna anche al reclutamento di nuovi ricercatori, nonché l’inventiva e lo spirito di sacrificio distinguono, invece, gli atenei che investono economicamente e politicamente nella ricerca. Per questo motivo, le categorie territoriali, giuridiche e dimensionali non colgono che in minima parte la dimensione accademica della ricerca. f. I punteggi fattoriali si dimostrano poco sensibili a variazioni anche cospicue dei valori stimati per gli atenei italiani in due occasioni successive. Pertanto, non ci sembra opportuno suggerirne l’impiego al posto degli indicatori elementari, almeno fino a che non si trovino indicatori complessi più reattivi di quelli analizzati.