La Valutazione della Qualità della ricerca italiana: istruzioni per l’uso

24 luglio 2013 giovanni federico

Alcuni giorni fa, l’Agenzia per la Valutazione dell’Università e la Ricerca (ANVUR) ha pubblicato i risultati della valutazione della qualità della ricerca italiana (VQR), riferiti al periodo 2004-2010. E’ un lavoro monumentale, che merita un’analisi approfondita. I giornali ne hanno parlato relativamente poco per la concomitanza nel tempo dell’affaire Kazako, ma i dati sono disponibili in rete (www.anvur.org). In questo post, si forniscono le informazioni essenziali per far comprendere i meccanismi di valutazione ed i loro limiti a chiunque voglia andare oltre una lettura superficiale delle classifiche.

i)   Iniziamo dal quadro legislativo. Perché è stata fatta la VQR?  La legge Gelmini (legge 240/2010 art 5 comma 5) stabilisce che una “quota non superiore al 10 per cento del fondo di funzionamento ordinario (FFO)” sia allocata sulla base di una

“valutazione delle politiche di reclutamento degli atenei, elaborati da parte dell'ANVUR e fondati su: la produzione scientifica dei professori e dei ricercatori successiva alla loro presa di servizio ovvero al passaggio a diverso ruolo o fascia nell'ateneo; la percentuale di ricercatori a tempo determinato in servizio che non hanno trascorso l'intero percorso di dottorato e di post‐dottorato, o, nel caso delle facolta' di medicina e chirurgia, di scuola di specializzazione, nella medesima universita'; la percentuale dei professori reclutati da altri atenei; la percentuale dei professori e ricercatori in servizio responsabili scientifici di progetti di ricerca internazionali e comunitari; il grado di internazionalizzazione del corpo docente."

La legge si ferma alla distribuzione del FFO fra università: sarà poi loro compito riallocarlo fra i dipartimenti in base ai criteri definiti dagli organi interni. In apparenza la percentuale redistribuita è modesta, ma può avere un impatto molto notevole sul funzionamento delle università. Infatti, gli stipendi del personale  (docenti e personale amministrativo) assorbono oltre l’80%, con punte fino al 100% in alcuni casi, dell’ FFO. Quindi anche un aumento del  4-5% dell’FFO può essere essenziale per investire in nuovi laboratori, biblioteche, progetti di ricerca etc.   Per distribuire il premio  è  necessario disporre di una valutazione della ricerca che possa essere condensata in un solo numero: bisogna in sostanza  poter dire che la qualità ricerca dell’università di Pisa è superiore (o inferiore) del 20% a quella media italiana.  La VQR dovrebbe fornire tale parametro. La valutazione è stata poi estesa anche agli enti di ricerca non universitari, come il CNR anche se non esplicitamente citati nella legge.

ii)  Per ottemperare al suo compito, l’ANVUR , ha diviso l’intero universo della conoscenza  in 14 aree – ciascuna delle quali a sua volta composta da parecchi settori scientifico-disciplinari (SSD), talora  raggruppati in sub-aree. Per esempio, l’area 13 (Economia) è divisa in tre sub-aree (Economia, Statistica e Matematica, Economia Aziendale) e in diciotto settori, dall'Economia Politica ai Metodi Matematici per l'Economia. A ciascun “soggetto valutato” (professore universitario o ricercatore di enti di ricerca) in servizio è stato chiesto di indicare i suoi tre migliori lavori scientifici (sei per il personale degli enti di ricerca) pubblicati nel periodo 2004-2010.  Nel complesso, i GEV si sono trovati a dover valutare circa 185000 prodotti, di natura e dimensioni diverse, dall’articolo di matematica di poche pagine al pesante tomo di filosofia.  Ciascuno di essi è stato assegnato ad una di quattro classi di merito  così definite

Eccellente: la pubblicazione si colloca nel 20% superiore della scala di valore condivisa dalla comunità scientifica internazionale (peso 1);

Buono: la pubblicazione si colloca nel segmento 60% - 80% (peso 0.8);

Accettabile: la pubblicazione si colloca nel segmento 50% - 60% (peso 0.5);

Limitato: la pubblicazione si colloca nel 50% inferiore (peso 0);

L’ANVUR ha inoltre assegnato una penalizzazione di -0.5 per i prodotti non presentati. Quindi un docente può avere ricevuto da 3 punti (tre prodotti eccellenti) a -1.5 (nessun prodotto presentato).  L’ANVUR ha poi pubblicato i risultati per Area, Sub-Area (se presente), Dipartimento e settore disciplinare per l’intera università e per ciascun dipartimento (un settore può essere presente in più dipartimenti nella stessa università).  La misura più semplice della performance è il voto medio, assoluto e relativo all’area, ma l’ANVUR fornisce anche le percentuali delle singole classi di valutazione sul totale dei prodotti presentati (x% eccellenti, y% buoni etc.) ed una serie di altri indicatori secondari, derivati da quelli base

iii) Arriviamo al punto essenziale: come si  può valutare la qualità di un articolo di Giovanni Federico sulla storia del commercio mondiale? In sostanza, esiste solo un metodo: chiedere ad un altro esperto del tema, detto referee, cosa ne pensa (peer review).  Questo è il metodo adottato da tempo per la scelta degli articoli da pubblicare nelle riviste internazionali.   Il direttore della rivista interpella due o più referee e pubblica l’articolo quando i pareri sono positivi – un esito che si verifica quasi sempre solo dopo almeno una profonda revisione del testo originale. In genere, tanto più la rivista è prestigiosa, tanto più i referees sono severi e quindi tanto più è difficile pubblicare. Una versione più “democratica” dello stesso principio affida il giudizio sulla qualità del lavoro alla comunità scientifica piuttosto che a due referees. La qualità dell’articolo si misura dal numero di citazioni che ha ricevuto: tanto più è alto, tanto più l’articolo è importante.  I GEV hanno utilizzato questi due criteri per tutti gli articoli delle aree cosidette bibliometriche (la bibliometria è la disciplina che studia come misurare la qualità dei lavori scientifici) –  matematica, fisica, chimica, biologia, medicina. In pratica, per ciascun settore,  hanno ordinato le riviste presenti in due grandi banche-dati internazionali (ISI e Scopus) per numero di citazioni ricevute (impact factor) ed hanno calcolato quante volte gli articoli da valutare sono stati citati nelle riviste presenti nelle stesse banche dati.  Un articolo è stato definito eccellente se pubblicato in una rivista nel primo quintile (le 20% migliori per impact factor) e se ha avuto un numero di citazioni che lo pone nel primo quintile degli articoli. In economia è stato applicato un metodo semplificato – basandosi solo sul primo criterio, la qualità della rivista.

 Questo metodo di valutazione presuppone evidentemente la disponibilità di una banca-dati di articoli su rivista e relative citazioni. Quindi non è stato possibile applicarlo alle riviste non censite  nelle banche dati(p.es. quasi tutte le riviste italiane)  ed a tutti i prodotti diversi dagli articoli - libri, capitoli di libri collettivi, progetti architettonici, brevetti etc. In totale, si è trattato di quasi centomila prodotti da valutare, la quasi totalità di quelli delle  aree letterarie e giuridiche (fino al 99.2% per queste ultime), la maggioranza dei prodotti di ingegneria ed architettura (80%) e di economia (54%) ed anche di una significativa quota per le scienze (circa il 25% per fisica e chimica).  L’ANVUR,  con uno sforzo organizzativo veramente immane, ha chiesto a due esperti di valutare la qualità di ciascuno di questi prodotti, sulla base di tre criteri, rilevanza, originalità ed internazionalizzazione. La valutazione finale, in caso di disaccordo fra i due esperti, è stata affidata ai GEV, in alcuni casi con il ricorso ad un terzo esperto.

Per chi ha avuto la pazienza di seguire questa  lunga spiegazione, aggiungo alcune osservazioni personali su alcuni temi “caldi”

a)  La domanda più ovvia è quanto siano affidabili le valutazioni dei singoli prodotti. Il tema ha suscitato un vivace dibattito, e le critiche specifiche sono state riprese con gusto dagli avversari della valutazione.  Gran parte della discussione si è concentrata sulle valutazioni bibliometriche In questo esercizio di buttare interi asili infantili per evitare la contaminazione con l’acqua sporca, si è distinto il sito ROARS che ha passato al microscopio i metodi dell’ANVUR alla ricerca di ogni possibile difetto. In particolare, è stata criticata l’inferenza dalla qualità della rivista alla qualità del singolo articolo: una rivista ottima può pubblicare per sbaglio un articolo mediocre o, più raramente di questi tempi, un autore può pubblicare per sbaglio un ottimo articolo in una rivista di secondo piano. Proprio per questo l’ANVUR ha aggiunto il criterio delle citazioni: un articolo mediocre, anche se pubblicato in una rivista di altissimo livello, attrae pochi lettori e poche citazioni.  La valutazione bibliometrica dell’Area 13, che si basa solo sul criterio della rivista, è quindi più debole.  D’altra parte, i miei amici amerikani, che sono notoriamente cattivi ed elitari, mi fanno notare che i criteri di valutazione  del GEV sono relativamente generosi. La lista di riviste di classe A (che garantiscono i tre prodotti eccellenti) è molto lunga. In effetti, per la Storia Economica comprende ben otto riviste, contro le tre considerate nel recente lavoro di Kalaitzidakis et al (2010) sulla qualità delle riviste di economia. In base a tale criterio, avrebbe dovuto essere facile avere tre prodotti eccellenti. Probabilmente, alcune delle critiche di dettaglio sono corrette e si spera che l’ANVUR ne tenga conto per la prossima VQR. D’altra parte, appare difficile trovare il metodo bibliometrico perfetto, ed anche se lo si trovasse potrebbe avere conseguenze indesiderate. Infatti, dato qualsiasi criterio noto ex-ante, i valutati potrebbero orientare la propria strategia di pubblicazione per massimizzare i propri risultati.

In realtà la vera novità della VQR è l’uso massiccio della peer review per i prodotti non valutabili bibliometricamente.  E’ passata sotto silenzio o quasi, forse perché più consona alla tradizione dell’università italiana. Infatti,  tutte le promozioni, compresa l’abilitazione scientifica nazionale ora in corso, si basano sul giudizio individuale dei membri delle commissioni di concorso.  Anzi la peer review è implicitamente considerata da molti l’alternativa “corretta” alla valutazione bibliometrica.  Pur nell’ammirazione per l’enorme sforzo di raccolta dei pareri (quasi duecentomila da quasi 15000 referee diversi), vorrei sottolineare due problemi, uno “teorico” ed uno pratico.  I giudizi per l’ANVUR sono diversi dai “normali” rapporti per le riviste scientifiche. Questi ultimi sono in genere articolati, contengono consigli specifici per migliorare il lavoro e comunque hanno un impatto solo indiretto, in quanto la decisione finale spetta al direttore della rivista. Invece, i pareri per l’ANVUR dovevano essere compressi in un voto (eccellente/buono/accettabile/limitato) e, salvo discordanze fra esperti, erano definitivi.  La responsabilità era maggiore e corrispondentemente maggiore era il rischio di introdurre elementi soggettivi in una valutazione che avrebbe dovuto essere solo scientifica.   Detto brutalmente, maggiore era la tentazione di attribuire un voto più alto al lavoro di un amico o di un allievo, o magari di tutti i colleghi di settore, per migliorare la valutazione collettiva e quindi le prospettive del settore. L’ANVUR ha ovviamente tentato di minimizzare questo rischio – p.es. non chiedendo il parere di colleghi dello stesso dipartimento- ma è difficile dire in quale misura abbia avuto successo. Infatti il numero di esperti su un argomento specifico che siano anche in grado di leggere lavori in italiano, la stragrande maggioranza di quelli presentati in peer review, è molto spesso relativamente piccolo.  Il secondo  problema  nasce dall’interpretazione dei criteri per la valutazione. Non sempre è facile individuare una “scala di valori  condivisa dalla comunità scientifica internazionale”  Per esempio un sociologo marxista potrebbe giudicare male un lavoro di un autore di formazione liberale e vice-versa. Nel caso di giurisprudenza, materia strettamente legata alla legislazione nazionale, la stessa esistenza di una “comunità scientifica internazionale” è  discutibile. Inoltre i tre criteri per la valutazione del prodotto sono molto generali, ed il terzo, l’”internazionalizzazione”, è di interpretazione a dir poco controversa. Alcuni esperti lo hanno inteso in senso più ampio, come conoscenza della letteratura internazionale sul tema e capacità di utilizzare concetti e metodi in uso all’estero, altri come possibilità di diffusione del lavoro all’estero. In sostanza, quest’ultima dipende dalla sede di pubblicazione e dalla lingua. In una interpretazione molto rigida, un lavoro può essere veramente internazionale solo se scritto in inglese e pubblicato in una rivista di ampia diffusione (o da una casa editrice anglosassone di buon livello). Il combinato effetto di questi fattori può spiegare la percentuale abbastanza elevata, oltre il 50%, di giudizi discordanti  fra i due referees. In totale 3.5% dei casi (sembra poco, ma sono oltre 3500 prodotti fra tutte le aree) la divergenza è di tre classi – lo stesso prodotto è stato giudicato eccellente da un referee e limitato dall’altro. Personalmente, pur riconoscendo l’impossibilità di fare altrimenti in assenza di documentazione di supporto, preferisco la bibliometria, con tutti i suoi limiti, alla peer review. D’altro canto è possibile consolarsi notando che eventuali errori dovrebbero compensarsi nei grandi numeri e che quindi le conseguenze per la valutazione di università o di area potrebbero essere sopportabili. A livello individuale, o per un piccolo settore, però, ogni errore conta.

b)  Gran parte dell’attenzione si concentra e si concentrerà sul voto medio, ma la dispersione è altrettanto importante.  Un dipartimento con metà dei professori bravissimi (tutti E) e metà imbrattacarte (tutti L) otterrebbe 0.5, quanto un dipartimento di professori mediocri che presentano  prodotti accettabili (tutti A). Analogamente, un dipartimento di alta qualità potrebbe essere affossato da un piccolo numero di professori fannulloni: servono sette geni (tre E) per compensare tre fannulloni (zero prodotti) ed avere 0.55 di media.  In ambedue i casi, non è la stessa cosa, anche se non è chiaro se sia meglio la dispersione  o la mediocrità. Cosa dicono i dati? In primo luogo, è rassicurante notare che nell’Area 13  il numero di fannulloni totali– con zero lavori- è basso (solo il 3.5%, con una punta di quasi il 20% all’università telematica Roma Marconi), anche se sono abbastanza numerosi i fannulloni parziali, con meno di tre lavori, circa uno su dodici-tredici. E’ molto meno rassicurante considerare la distribuzione per qualità. In media, i prodotti degli economisti italiani (sub-area E dell'Area 13) sono stati giudicati di poco inferiore all’accettabile (voto medio 0.42).  Però, solo una minoranza di prodotti è stata valutata buono (608 su 4224) o eccellente (1113 su 4224). E soprattutto, la distribuzione di questi ultimi fra i docenti è fortemente squilibrata: 224 soggetti, 93 ordinari, 52 associati e 79 ricercatori, circa il 15%, hanno presentato tre prodotti eccellenti. Tutti gli altri 1250 si dividono i rimanenti 441 prodotti eccellenti (meno del 40% del totale): anche nell’ipotesi, alquanto improbabile, che nessuno ne abbia presentati due, si evince che il 54% dei docenti di economia italiani non è  stato in grado di scrivere almeno un lavoro eccellente in sette anni. In sostanza gli economisti italiani si dividono in una élite relativamente piccola di studiosi di valore ed una grande massa di persone abbastanza mediocri, ma comunque scientificamente operose. La situazione è simile per la sub-area statistica mentre solo l’8% dei professori di Scienze Aziendali ha ottenuto il massimo (tre E).

c) I voti medi sono sicuramente comparabili fra università nella stessa area e di dimensioni simili. Si può dire che – p.es.- Padova nell’Area 13 è meglio della Bocconi (oh yes – voto medio rispettivamente 0.59 e 0.55).  Il confronto è meno preciso fra università di dimensioni molto diverse fra loro: p.es. il voto medio dell’IMT di Lucca è altissimo (0.91), ma è calcolato solo su 13 prodotti contro i 390 di Padova. I voti non sono invece direttamente confrontabili fra aree: dire che la ricerca a Chimica (Area 3, voto medio 0.81)  è meglio di quella di Economia (0.32) è scorretto, anche se probabilmente l’affermazione è vera. Sarebbe come dire che uno studente della scuola media è meglio di un liceale perché ha la media del 9 mentre l’altro ha la media del 7. Come detto, i metodi di valutazione sono diversi, ma soprattutto le diverse discipline hanno modelli di trasmissione dei risultati della ricerca molto differenti frutto di un processo lungo e complesso. Gli scienziati pubblicano articoli brevi, spesso con molti co-autori, gli storici ed i filosofi (ancora) scrivono libri. Quindi, a parità di bravura ed impegno, uno scienziato può scegliere i tre migliori fra  60-70 prodotti, mentre uno storico solo fra 4 o 5. E’ chiaro che la probabilità di avere tre E è maggiore nel primo che nel secondo caso. Infatti l’ANVUR ha sconsigliato esplicitamente confronti fra aree, ma i giornali (ed alcuni professori) non hanno ascoltato. Il Sole 24 ore si è distinto in questa nobile gara: ha pubblicato una pagina intera con la classifica per aree ed ha anche sbagliato anche i nomi delle aree.

d)  Un ultimo punto, riguardante la comunicazione dei risultati. E’ ovvio diritto del singolo sapere come è stato giudicato ed infatti l’ANVUR ha promesso di comunicare in via riservata i risultati a ciascun soggetto valutato entro il 20 settembre.  I  giudizi individuali non sono invece pubblici, ed anzi l’ANVUR ha esplicitamente rinunciato a fornire i risultati aggregati basati sulla valutazione di meno di tre docenti, proprio per rendere impossibile inferire la performance di singoli docenti. La giustificazione è la legge sulla privacy: avrebbero dovuto avvertire in anticipo i soggetti valutati della possibilità che la valutazione fosse resa pubblica. Non so se legalmente questo argomento sia valido e se sia possibile aggirarlo. Nel merito, lo ritengo profondamente sbagliato.  I professori universitari sono pagati significativamente di più dei docenti di scuola ed insegnano per un numero di ore molto minore, proprio perché fanno ricerca.  Quindi è giusto che i contribuenti sappiano chi si è meritato lo stipendio e chi no. Più prosaicamente, le informazioni sui risultati per singolo docente sarebbero utili anche per le università, per decidere chi promuovere o chi assumere o per distribuire i fondi di ricerca. Sarebbe dunque opportuno che il ministero renda pubblici i dati individuali.

L’ultima osservazione porta alla domanda finale. Cosa succederà?  In teoria, il ministero dovrebbe applicare la legge ed annuciare, sperabilmente in tempo, il meccanismo di distribuzione dei fondi per il 2014, compredente i premi per le università virtuose.  In Italia, però, le cose non sono mai semplici. In primo luogo, la legge è abbastanza ambigua. Infatti, il ministro potrebbe ridurre la percentuale distribuita su base premiale (p.es. il 2% invece che il 10%) o utilizzare anche criteri diversi dalla VQR. L’ANVUR nella sua relazione finale ha introdotto anche altre misure di performance. I risultati non differiscono molto da quelli della valutazione della ricerca, ma probabilmente è possibile trovare una combinazione di criteri tale da ridurre l'impatto della VQR. Inoltre non è chiaro se l'aumento delle risorse per le università migliori debba essere pagato con un corrispondente taglio dei fondi alle altre o piuttosto da un aumento del FFO totale.

Il problema è politico. La legge è ispirata dal principio “amerikano” di premiare le università migliori. Personalmente ritengo che l’introduzione di questo meccanismo sia non solo giusta, ma anche un passo indispensabile per la riforma del sistema.  Nel lungo periodo, però, probabilmente determinerà una crescente divergenza fra università di élite ed università prevalentemente di insegnamento. Questa differenza è tipica del mondo anglosassone,  dove la ricerca si concentra nelle università migliori (quelle in testa a tutte le classifiche mondiali) ed i docenti dei colleges e delle università minori insegnano e basta (salvo, se vogliono e sono bravi, cambiare università).  E’ quindi possibile che una valutazione simile negli Stati Uniti dia una distribuzione della qualità della ricerca non dissimile da quella citata per economia. Invece in Italia formalmente le università sono tutte eguali e fino a due anni fa, ricevevano fondi in proporzione al numero di studenti.

La mia impressione personale è che i docenti universitari, come quasi tutti gli italiani, siano contrari al cambiamento. Probabilmente la maggioranza si trova bene nel sistema esistente, salvo auspicare un aumento generalizzato dei fondi e quindi preferirebbe che la VQR non venisse utilizzata. Alcuni obiettano al principio stesso dalla valutazione come attentato alla libera ricerca. I più estremi la dipingono come un bieco complotto (ameriKano) ai danni della università pubblica, libera e gratuita.  Alcuni suggeriscono una critica più sofisticata, che rovescia il principio della legge Gelmini. Si sostiene che sarebbe opportuno  finanziare di più le università peggiori, specie quelle delle regioni più povere, che sono meno in grado di attingere a risorse esterne (p.es. finanziamenti da banche o contratti di ricerca industriale). In effetti, le università migliori secondo la VQR si concentrano al Nord.  Quindi i fondi aggiuntivi affluirebbero prevalentemente al Nord e nel lungo periodo l’ eventuale divaricazione fra università di ricerca ed altre  assumerebbe quindi una dimensione geografica.  E' quindi possibile che l'opposizione all'attuazione dell'articolo 5 della riforma, trovi appoggi politici. D’altra parte, anche le università virtuose potrebbero cercare sponde politiche per veder riconosciuti i propri diritti.   Il ministro avrà il coraggio di applicare la legge – cioè di distribuire una percentuale significativa dell’FFO sulla base dei  risultati della VQR?  Se non lo facesse, sarebbe un’occasione sprecata. Si accettano scommesse.

Citazioni

Kalaitzidakis Pantelis, Theofanis P. Mamuneas and Thanasis Stengos (2010) An Updated Ranking of Academic Journals in Economics’ The Rimini Centre for Economic Analysis WP 15-10

Addendum (27 luglio)

Mi è stato fatto notare che la pubblicazione delle valutazioni sui prodotti presentati individualmente, da me auspicata, potrebbe penalizzare i soggetti valutati che avessero generosamente rinunciato a presentare i propri prodotti migliori per favorire i co-autori nello stesso dipartimento. E' una obiezione comune, ma a mio avviso facilmente superabile. Per comprendere il punto è necessaria una piccola spiegazione tecnica. Nella VQR era vietato presentare lo stesso prodotto a nome di più docenti della stessa università (mentre era permesso farlo se i docenti erano in servizio in università diverse). In tal modo l'Anvur ha inteso evitare che un dipartimento migliorasse i propri risultati semplicemente facendo firmare a i suoi membri poco produttivi lavori a cui non avessero contribuito. Molti dipartimenti hanno quindi allocato gli articoli con più autori in modo da massimizzare il voto totale. Consideriamo un esempio concreto: il geniale ricercatore Rossi ha scritto tre articoli su riviste di altissimo livello che sono citatissimi, e tre articoli meno importanti su riviste di secondo piano. Il suo barone fannullone prof Federico ha contribuito marginalmente al lavoro di Rossi e per il resto si è dedicato ai suoi sporchi giochi di potere. Nella nella sua infinita (ma preveggente) arroganza baronale, ha però costretto a suo tempo Rossi a co-firmare i tre articoli più importanti con la minaccia di rovinargli la carriera. Ovviamente, dal punto di vista del dipartimento era meglio far presentare i tre articoli migliori a Federico, che altrimenti sarebbe stato penalizzato per improduttività, visto che comunque Rossi aveva altri prodotti da presentare. Se venisse pubblicata solo la valutazione degli articoli presentati, Federico apparirebbe migliore di Rossi. La soluzione è semplice: pubblicare il giudizio su tutti i prodotti valutati, indipendentemente da chi li abbia presentati (comprendendo anche quelli presentati da co-autori in altre strutture). In questo caso, Rossi avrebbe tre prodotti eccellenti e tre accettabili, e Federico solo tre accettabili. In tal modo, si avrebbe una valutazione complessiva della produzione di tutti e due e Rossi avrebbe riconosciuto il suo merito.

18 commenti (espandi tutti)

"Quindi i fondi aggiuntivi affluirebbero prevalentemente al Nord e nel lungo periodo l’ eventuale divaricazione fra università di ricerca ed altre  assumerebbe quindi una dimensione geografica.  L’opposizione alla riforma potrebbe quindi trovare appoggi politici"

Anche se condivido buona parte del post, il virgolettato in alto non mi trova d'accordo. In molte aree, soprattutto tecnico-scientifiche, non ho riscontrato la correlazione geografica che dici.

Ad esempio nella mia Universita' (Salerno) sia Informatica (primo dipartimento) che Chimica (quinto dipartimento) sono in ottime posizioni. L'area umanistica-giuridico-economica presenta molte criticita'.

Questo risultato ribalta anche le considerazioni legate alla mancanza di finanziamenti nelle universita' del sud. Chi piu' dell'area tecnico-scientifica ne ha bisogno? Ti faccio presente che, a differenza dell'area umanistica, senza l'acquisto di strumenti, loro manutenzione, approvigionamento continuo dei laboratori queste aree sarebbero morte.

Ma invece sembra che proprio quelle meno esposte a questo tipo di problemi arranchino. Non so se queste considerazioni si possano estendere ad altri atenei del sud, ma da noi e' stato cosi'.

Dove c'e' impegno sia nel mantenere alta la qualita' della ricerca sia nel reperimento di risorse i risultati si vedono.

Il problema, oltre a quello di un eventuale passo indietro del Ministro nella ripartizione e' un altro.

Gli organi accademici delle singole Universita' come si regoleranno nella ripartizione faranno valere i criteri ANVUR a cascata oppure tenteranno operazioni di sussidio proprio di chi ha avuto le valutazioni peggiori?

 

Ovviamente la mai affermazione era  in generale. personalmente, essendo di lontana origine siciliana, sono felice che alcune università del Sud abbiano ottimi risultati.  Io sarei, ovviamente, per premiare i dipartimenti che hanno risultati migliori all'interno delle università, ma la mia opinione non conta nulla

 le informazioni sulla performance individuale sarebbero utili anche per le università, per le promozioni o la distribuzione dei fondi di ricerca. Sarebbe dunque opportuno che il ministero renda pubblici i dati individuali.

Quelle che vogliono possono gia' farlo (ad esempio, Bologna gia' lo fa da anni per la distribuzione dei fondi di ricerca interni) perche' i docenti devono (possono essere incentivati a) inserire le proprie pubblicazioni nel database del Cineca. Questo, per lo meno, se si utilizza il criterio bibliometrico. Quei dati, cioe', sono almeno in parte gia' pubblici, per le universita'. Il vero vincolo e' la volonta' di usarli agli scopi che indichi.

 Una università può al massimo riprodurre l'algoritmo dell'ANVUR per i settori bibliometrici (o usarne uno proprio), con notevole spreco di tempo e denaro, ma non può usare le valutazioni peer review. Per questi ultimi può distribuire i fondi di ricerca con un criterio bibliometrico assurdo (il numero di pagine, o di articoli etc) o sulla base della valutazione individuale dei membri della commissione preposta.  La valutazione ANVUR è sicuramente meglio

Lo troverei un criterio alquanto strano, visto che finirebbe inevitabilmente per portare una serie di persone con lo stesso cognome allo scranno di professore.

Se un'università non è in grado di attirare fondi, perchè attirare fondi pubblici? E' giusto che chiuda o si riorganizzi.

Gi Erre Emme ha condiviso un link. 16 ore fa
Nuova dimostrazione che a NfA non sono al corrente di dove va la comunità scientifica internazionale

Come dicevo su FB GRM quando si discute di valutazione e/o di economisti (specie se di nFA) diventa un troll - perde il lume della ragione. Non c'e' nulla da fare, su queste cose e soprattutto con noi, ha un problema serio [AB ho cancellato un riferimento offensivo a GRM che stava qui e di cui mi scuso con lui]. Peccato perche' e' altrimenti  uomo ovviamente intelligente. 

Sinceramente ho cercato di leggere questo GRM ma a parte il concetto che secondo lui a NFA non capiscono niente perchè sono econmisti e che quelli di ROARS hanno ragione non ho capito granchè.
Chi è questo GRM ?
Che fa per vivere ?
Di cosa è ESPERTO?

E' un professore di matematica con una buffa avversione per l'economia e per gli interlocutori "non allineati". Io l'ho incrociato su Facebook e sono stato bannato alla prima discussione. Non ho ancora capito, come in questo caso, (DC, ho cancellato un riferimento a GRM di cui mi scuso) se crede davvero a quello che dice.

Rosario Mingione (che non ho il piacere di conoscere direttamente) è uno dei vincitori del premio Caccioppoli. Basta guardare la lista dei vincitori per capire che è un premio di grandissimo prestigio. Si può essere in disaccordo con lui ma di certo fa ricerca ad un livello elevatissimo.

Ricerca

dario civalleri 25/7/2013 - 20:19

Non si parlava della sua ricerca e meno che mai del suo livello. Semmai, e' il nostro che sottovaluta la ricerca altrui, in particolare degli economisti. Narcisismo disciplinare? Un fenomeno buffo di ipertrofia dell'ego. 

scusate, ma cosa c'entrano le opinioni di Mingione su nfA o sugli economisti col post? Se Mingione ha qualcosa da dire sul post o sulla VQR saremo lieti di ospitare un suo commento e tentare umilmente di rispondergli nella nostra infinita ignoranza.

per giovanni, troppo fuoco e poco arrosto.

Mingione ha tutti i diritti di aver l'opinione che gli pare sugli economisti. saggia decisione: che Mingione scriva, non di equazioni - di cui ne sa piu' (piu' di me e di altri) ma su anvur (di cui so nulla) il resto e' polemica che piu' si abbandona e meglio e'.  

Sed ambitiosa illa et imperativa scientiae moralis, de bono et malo ... De nobis ipsissilemus : de re autem quae agitur petimus,

mi ero trollizzato a mia volta. In realtà avevo riportato il link allo sprezzante post di GRM su FB essenzialmente perché mi interessava conoscere la replica di Federico alla sua unica critica puntuale (vado a memoria perché da alcune ore non vedo più GRM su FB) secondo cui i criteri di valutazione dell’ANVUR si sono limitati, per tutti e non solo per l’Economia, alla qualità delle riviste.

non ho visto il post di GRM. In ogni caso, come chiaramente detto nei rapporti ANVUR, ed anche nel mio post, i GEV delle aree bibliometriche hanno usato un doppio criterio - qualità della rivista e numero di citazioni del singolo articolo. 

    Nel passato mi è capitato di polemizzare sui contenuti degli articoli su NfA riguardanti l'università, ma questa volta sono abbastanza in sintonia con quanto scrive Giovanni Federico a proposito della valutazione. Rappresenta un passo avanti, anche se si tratta forse di un passo un po' incerto, e non esente da possibili risvolti negativi - come giustamente evidenziato. Un secondo aspetto importante - sul quale concordo - deriva dalla possibilità che la valutazione dia inizio ad una differenziazione delle università, l'unica vera madre di ogni altra riforma.  Pensare che in Italia possano esservi più di novanta atenei orientati alla ricerca mi sembra una pericolosa utopia. Devo aggiungere che trovo  sia sbagliato credere in modo fideistico alla "valutazione": ad esempio, penso che il metodo bibliometrico possa essere in alcuni casi completamente fuorviante, e lo stesso può dirsi del metodo "peer review". Ancora peggio quando si vuole tradurre tutto in numeri, quantificando e creando così una scala di merito, largamente inficiata dalla arbitrarietà delle scelte numeriche. E quando si parla di valutazione da parte del referee  del singolo lavoro da parte di una rivista, va ricordato che non viene dato un voto, ma si decide se pubblicarlo o meno, magari con qualche revisione e correzione. Si tratta quindi di una valutazione ben diversa da quella che decide se un lavoro è "migliore" di un altro.  Ed a proposito della valutazione del singolo ricercatore, penso di dissentire da Federico; per un esempio illustrativo vorrei richiamare una mia lontana esperienza quale commissario di una "Libera Docenza". Svettava su tutti per numero e qualità di lavori presentati un candidato che alla lezione dimostrò di essere pressoché digiuno della materia. E la spiegazione era semplice: i lavori erano stati fatti in collaborazione, e come accade in molte discipline scientifiche, il contributo dato era stato estremamente settoriale, non investendo l'insieme della materia per la quale si presentava il candidato.  Poi, il problema delle collaborazioni, della molteplicità dei nomi su ciascun lavoro, pesa come un macigno (particolarmente in alcuni settori) nella valutazione e rende quanto mai incerto - in molti casi - il giudizio sul singolo ricercatore; problema per il quale non esiste soluzione.  Questo anche considerando le collaborazioni "vere", sorvolando quindi sulle cattive abitudini: quella di aggiungere nomi ai lavori per i più svariati motivi, come si accenna nel post.  Per non fare la figura di persona che critica, senza dare suggerimenti puntuali, penso che tutto il pregevole materiale raccolto dall'ANVUR - disponibile a chiunque abbia interesse -   dovrebbe dar luogo non ad una graduatoria ma ad una relazione nella quale sono evidenziati i punti di forza o di sofferenza delle varie università, tale da costituire una base per decisioni di tipo politico.  Queste ultime, che possono anche essere dolorose, non devono essere demandate a fantasiosi automatismi, con la pretesa che questi siano "obbiettivi": una classe politica degna di questo nome dovrebbe avere il coraggio di assumersi la responsabilità di decidere.   Vorrei concludere con le parole di De Nicolao, tratte da una intervista, e riportate su ROARS: "Valutare è difficile, valutare richiede competenze tecniche, valutare richiede consapevolezza dei margini di incertezza di quanto viene misurato e anche l’umiltà di comprendere che ci sono aspetti non valutabili quantitativamente che possono essere più importanti di quelli quantificabili. I crociati della valutazione, messi di fronte ad errori macroscopici e ad obiezioni circostanziate da evidenze scientifiche o confronti internazionali, si rifugiano in proverbio buoni per tutte le stagioni sul meglio che sarebbe nemico del bene e insinuano che chi critica finisce per fare il gioco dei miscredenti, ovvero dei “nemici della valutazione”. Ridurre il tutto ad un gioco di “buoni e cattivi” e di “premi e punizioni” è una semplificazione che ha molta presa, ma che porta fuori strada".

  NB Il post di Federico è stato ripreso dal sito di Fare; ho rilasciato lo stesso commento

caro nicoletti

quando leggo queste frasi

, penso che tutto il pregevole materiale raccolto dall'ANVUR - disponibile a chiunque abbia interesse -   dovrebbe dar luogo non ad una graduatoria ma ad una relazione nella quale sono evidenziati i punti di forza o di sofferenza delle varie università, tale da costituire una base per decisioni di tipo politico.  Queste ultime, che possono anche essere dolorose, non devono essere demandate a fantasiosi automatismi, con la pretesa che questi siano "obbiettivi": una classe politica degna di questo nome dovrebbe avere il coraggio di assumersi la responsabilità di decidere.

mi domando in quale mondo vivi. L'unico senso della valutazione è diversificare le università e permettere a quelle appena decenti (su parametri internazionali) di diventare buone e magari eccellenti in 40-50 anni.  Ma questo vuol dire che le altre rimarranno teaching universities - in italiano superlicei. L'Italia non può permettersi più di 4-5 università buone in ciascun settore (magari non sempre le stesse). E quale politico ammetterà mai che l'università della propria città, magari con illustri tradizioni possa ridursi a superliceo? O addirittura chiedere la chiusura di settori deboli?

  Caro Federico, premesso che sono perfettamente d'accordo sulla necessità di differenziare le università - lo ripeto da molti anni ove capita - sono altrettanto convinto che in molti settori in Italia si è rinunziato a decidere: ci si affida piuttosto a calcoli, numeri, ed automatismi di vario genere. Un brillante esempio è il "redditometro", parto felice di una burocrazia incapace di organizzare la caccia agli evasori. Ora fino a quando non vi sarà il coraggio di prendere le decisioni, ad esempio, tagliare certe spese, non si combinerà mai nulla. La "valutazione" delle università, ove si pretenda che sia un meccanismo automatico per risolvere un problema, farà più danni che benefici. E' la mia ferma convinzione: l'avvenire dirà se ho ragione. 

Inizia una nuova discussione

Login o registrati per inviare commenti