Il documento del DIPARTIMENTO DI SCIENZE POLITICHE sulla bozza di Bando VQR dell’ANVUR

DOCUMENTO DEL DIPARTIMENTO DI SCIENZE POLITICHE DELL’UNIVERSITA’ FEDERICO II – NAPOLI 

Le osservazioni che seguono tengono conto sia di alcuni aspetti generali relativi alla filosofia sottesa all’esercizio valutativo, così come presentato nella bozza di bando, sia di alcuni aspetti più specifici che derivano dal contesto da cui queste nostre osservazioni provengono: quello di un Dipartimento la cui composizione interdisciplinare è intesa essere un punto di forza (dal punto di vista sia della ricerca che vi si produce, che dell’offerta formativa, in cui la multidimensionalità dei processi e dei fenomeni sociali e politici è fatta oggetto di studio mettendo in campo tutto l’ambito delle scienze economico-politico-sociali), ma che la logica della VQR tende a trasformare in un punto di debolezza.

Gli studi sulla valutazione hanno messo in evidenza da tempo che i criteri di valutazione della ricerca tendono a modificare in senso adattivo i comportamenti dei soggetti valutati e che -se non adeguatamente calibrati in relazione ad obiettivi che specifichino la direzione nella quale si intenda modificare il sistema oggetto di valutazione – inducono mutamenti opportunisticamente guidati dai meccanismi di incentivi messi in campo che acquisiscono un valore impropriamente normativo e di indirizzo delle politiche di ricerca. A tal proposito ci sembra di dover innanzitutto sottolineare che il sistema di valutazione agganciato al sistema di ripartizione del FFO non produce alcun incremento della qualità totale del sistema, ma piuttosto la riduce massimizzando le “distanze” nella valutazione tra chi sta al vertice nella scala di attribuzione dei punteggi (quella percentuale ridotta di prodotti che per postulato si stabilisce non possa eccedere il 10%, cui si attribuisce il punteggio 1) e chi sta sulla linea mediana (il 50% cui si attribuisce un punteggio artificiosamente schiacciato verso il basso, 0.1), aumenta le disparità del sistema, divaricando la distribuzione della qualità e rinforzando quello che in letteratura è noto come effetto San Matteo.

L’idea di dare a chi ha e di togliere a chi non ha può avere una sua giustificazione nella solerzia dei primi e nella pigrizia dei secondi; ma se guardiamo al modo nel quale viene costruito ancora una volta il sistema di valutazione comprendiamo facilmente che premi e punizioni vengono distribuiti in modo tale da non incentivare davvero il lavoro dei ricercatori.

1) Vengono valutati i singoli, ma premiate e punite le strutture a cui essi appartengono. Le strutture dei soggetti A e B, che individualmente ottengono entrambi valutazioni di eccellenza nella VQR, saranno premiate in modo inversamente proporzionale alla fatica che i due soggetti hanno dovuto fare per accedere all’eccellenza. Peraltro, se le strutture riescono a darsi regole in grado di trasferire sui singoli soggetti incentivi e sanzioni in modo da riprodurre ai diversi livelli di aggregazione i meccanismi incentivanti, l’effetto complessivo ne risulterà amplificato ed estremizzato, con l’esito di azzerare ogni possibile motivazione alternativa per l’agire individuale e, di fatto, disincentivando ogni comportamento non direttamente incentivato (a cominciare, per fare un esempio, dall’attenzione alla didattica che a livello individuale non è in alcun modo sorretta da incentivi e che non si vede come possa, a livello di strutture, reggere il percorso di assicurazione della qualità ricercato a livello dei Corsi di Studio e dei Dipartimenti, senza risorse motivazionali e di tempo profuse a livello individuale). Se, d’altra parte, le strutture non riprodurranno al loro interno i meccanismi incentivanti proposti dalla VQR, rischieranno di essere penalizzate a livello di sistema.

2) In presenza di agenti che si comportano in modo cooperativo nella ricerca, è sbagliato introdurre principi e regole che stimolano in modo artificioso la concorrenza, producendo effetti di posizione di tipo differenziale. Le graduatorie costruite per far emergere poche (e, per una scelta la cui ratio appare punitiva del sistema nel suo complesso, sempre meno: dal 20% della precedente VQR al 10% del nuovo bando) “eccellenze” sono, da questo punto di vista, assai deleterie. E’ facile constatare che un sistema con poche eccellenze e molti “prodotti” (il 50%, per definizione) aprioristicamente valutati come di scarsa qualità, tende a produrre un peggioramento della qualità media dell’intero sistema, piuttosto che – come sarebbe negli obiettivi istituzionali dell’ANVUR – il suo miglioramento. Peraltro, dal punto di vista motivazionale, un sistema che riconosce solo l’eccellenza tenderà a generare disaffezione e disimpegno progressivo da parte di coloro che non vedono riconosciuto il proprio lavoro (a che pro, continuare a fare ricerca di buona qualità, quando il differenziale con cui questa si discosta dalla cattiva ricerca è 0,1 e dall’eccellenza è 0,9)? E anche dal punto di vista delle opportunità, se a chi produce ricerca buona – ma non eccellente – vengono sottratte risorse e viene reso sempre più difficile, non solo accedere ai bandi competitivi, ma anche partecipare ai Comitati scientifici dei Dottorati – come si pensa che possa migliorare la qualità della propria ricerca?

3) Quando, poi, i risultati conseguiti dalle strutture valutate dipendono in misura non marginale da condizioni di cui esse non hanno né la responsabilità né il controllo (i c.d. fattori di contesto, che nel caso degli Atenei dipendono dalle risorse economiche, produttive e culturali dei territori in cui sono collocati), il meccanismo premiale strutturato alla maniera fin qui realizzata genera inevitabilmente il seguente risultato: chi è in basso nelle graduatorie finirà sempre più in basso indipendentemente dal proprio impegno, salvo interventi esterni che modifichino il contesto. Effetti di questo tipo sono noti e, ad esempio, in aziende private, vengono corretti con incentivi non legati al posizionamento, ma al miglioramento o vengono corretti con investimenti perequativi laddove si riscontrano differenze nei punti di partenza. Anche se sembra superfluo ricordarlo, è bene sottolineare che questa competizione uguale tra diseguali (gli atenei e i dipartimenti sono diseguali per dimensione, per vocazioni, per risorse di partenza, per contesto socio-economico e per platee di riferimento), finisce quasi sempre (tranne rare eccezioni) per riprodurre le ben note diseguaglianze territoriali che affliggono il nostro sistema paese.

4) Va ricordato peraltro che le valutazioni di cui parliamo non sono “cieche” e i revisori non solo sono anonimi ma sono resi irresponsabili dalla mancata richiesta di argomentazione articolata delle loro valutazioni e dall’assenza di trasparenza dei giudizi che ne deriva. Sarebbe opportuno che ogni articolo fosse, non solo valutato da più valutatori, ma che questi fossero il più possibile differenziati dal punto di vista delle appartenenze di Ateneo, di scuola, di cordata (per evitare che la valutazione sia distorta, nella migliore delle ipotesi, da divergenze di visione, o, nella peggiore, da tentazioni di utilizzare la valutazione come strumento per regolare conti di scuola o personali). La valutazione del prodotto sarebbe quindi la media delle singole valutazioni. Inoltre, sembra assolutamente inammissibile la non trasparenza dei giudizi, di cui si è fatta esperienza nel passato esercizio di valutazione. Il valutato ha il diritto di conoscere nel dettaglio le argomentazioni su cui si basa la valutazione, così come il valutatore ha il dovere di esplicitare la sua interpretazione dei criteri e di articolare e motivare il giudizio che esprime.

5) Venendo ad aspetti più specifici, intendiamo segnalare che i criteri proposti dall’Anvur scoraggiano la ricerca interdisciplinare che è spesso quella che produce più innovazione e avanzamento di conoscenza, ma il cui “impatto” è distribuito in maniera diversificata e temporalmente asincrona nei diversi ambiti disciplinari di provenienza di coloro che vi contribuiscono. Anche la sua collocabilità editoriale è diversificata, a seconda di quelli che sono i fuochi di interesse delle riviste più accreditate nei diversi contesti disciplinari in una data congiuntura storica. I criteri e i profili di qualità disegnati dal bando rischiano di produrre una sistematica sottovalutazione del lavoro di alcuni ed il progressivo scoraggiamento di ricerche interdisciplinari.

6) Anche la collaborazione fra colleghi dello stesso dipartimento è disincentivata dai criteri del Bando in quanto ciascun“prodotto” può essere attribuito ad uno solo degli autori del dipartimento e non è pesato in modo da tener conto del contributo plurimo. Questi due effetti, risultano particolarmente penalizzanti per i dipartimenti multidisciplinari, in cui la ricerca spesso è confluenza di diverse competenze. Dovendo modificare i comportamenti per massimizzare i risultati in termini di valutazione, paradossalmente due colleghi della stessa struttura – per i quali la prossimità potrebbe costituire un vantaggio competitivo in termini di occasioni di scambio, anche informali, di idee ed esperienze, come accade negli “incubatori”, dove è utilizzata per promuovere l’innovazione e moltiplicare occasioni di innesco di serendipity – dovrebbero scegliersi due collaboratori in altri dipartimenti o atenei, piuttosto che collaborare fra loro. Non è chiaro quanto questo effetto sia voluto (se è così sarebbe interessante esplicitarne la logica sottostante) o sia un esito non intenzionale (e di cui quindi andrebbero corretti i potenziali effetti “perversi”).

7) Infine, una questione di metodo. Sebbene tutti riconoscano l’esigenza di una valutazione della ricerca scientifica (sarebbe meglio non parlare di “prodotti” della ricerca poiché il c.d. “prodotto” non esaurisce certo i risultati e le ricadute del lavoro di ricerca- non produciamo scarpe, ma promuoviamo il progresso scientifico, diffondiamo conoscenza, innalziamo il capitale sociale e culturale di persone e territori -), non vi è affatto unanimità di vedute sulla questione dell’uso a fini di valutazione degli indicatori bibliometrici (applicati implicitamente anche in settori non bibliometrici, allorchè si richiede ai referee di valutarne l’impatto reale e quello potenziale, anche facendo ricorso a indicatori bibliometrici). I documenti della scuola di Leiden (fra i fondatori della bibliometria) o del gruppo DORA dovrebbero essere noti all’ANVUR. In tutti questi documenti si pone l’enfasi su una valutazione della produzione scientifica basata sulla peer review e si chiede di abbandonare l’ossessione bibliometrica (che, per giunta non ha fatto altro che rinforzare alcune lobby editoriali mondiali, producendo dei veri e propri oligopoli scientifici). L’ossessione bibliometrica e l’oligopolio che crea sul fronte delle riviste generano un conformismo nelle attività di ricerca che non fa certo bene alla crescita della conoscenza. Sebbene sembri inutile sottolineare quanto sia pericolosa questa deriva, è bene ricordare alcuni dei meccanismi sociali che la producono: i ricercatori, nel tentativo di massimizzare i risultati, per l’istituzione cui appartengono e per se stessi (vedi abilitazione), con l’obiettivo di pubblicare su riviste classificate di fascia A, si adattano al mainstream, si inseriscono in filoni più consolidati in cui i risultati sono garantiti, piuttosto che arrischiarsi in territori di frontiera più innovativi, ma meno certi nei risultati e nella loro “pubblicabilità” sulle riviste ortodosse, modificando così in senso anti-innovativo la dinamica dei rispettivi campi di ricerca. Il risultato è che si lascia agli editor delle riviste e ai gruppi editoriali egemoni a livello internazionale decidere, di fatto, che direzione debba prendere la ricerca scientifica, rinunciando peraltro a una visione strategica che potrebbe invece agevolare la diversificazione dei campi scientifici e l’acquisizione di vantaggi competitivi in direzioni di ricerca meno frequentate, ma non per questo necessariamente meno promettenti dal punto di vista conoscitivo e delle possibili ricadute per i ricercatori italiani. Anche questa volta sarebbe interessante sapere se l’Anvur è consapevole di ciò, se è un effetto voluto o se invece è inatteso (e quindi o se ne spiega la ratio o vi si pongano dei correttivi).

Confidando nella volontà dell’ANVUR di dare ascolto a quanto emerge in risposta alla sollecitazione di commenti e proposte in relazione alla bozza di bando, attendiamo un riscontro a queste nostre osservazioni.

Scarica qui la versione in pdf

Lascia un commento