I professori perdono il pelo ma non il vizio

19 febbraio 2012 giovanni federico

Dopo il caso dell'Università del Piemonte Orientale un altro concorso da ricercatore in materie economiche contestato

Mi è arrivata la seguente segnalazione

Ai firmatari della Petizione SECS-P/01

Alla Società Italiana degli Economisti

Al MIUR

Al Ministro dell'Istruzione e della Ricerca 

Al Magnifico Rettore dell'Universita' degli Studi dell'Insubria

Il 24 gennaio scorso si è svolta la discussione dei titoli e delle pubblicazioni dei candidati, e il 16 febbraio il Rettore dell’ateneo, prof. Renzo Dionigi, ha approvato gli atti della commissione giudicatrice. Non disponiamo del materiale originale allegato dai candidati alla domanda di partecipazione. Tuttavia, la lettura dei verbali e un esame dei curricula e delle pubblicazioni dei candidati, accessibili online, ci portano a esprimere forti perplessità sull’esito della procedura.

Come nel caso del recente concorso da ricercatore in Economia Politica presso l’Università del Piemonte Orientale, emerge una evidente disparità tra la qualità media dei profili dei candidati non vincitori e quella del vincitore designato dalla Commissione giudicatrice. A nostro parere l’applicazione di ogni possibile, ragionevole e legittimo criterio alternativo di selezione avrebbe dovuto condurre all’esclusione dal novero dei possibili vincitori proprio del candidato giudicato idoneo dalla Commissione.

La tabella disponibile sul sito web della petizione (http://petizionesecsp01.wordpress.com/) all’url http://petizionesecsp01.files.wordpress.com/2012/02/concorso-insubria.pdf mostra una comparazione della produzione scientifica su riviste con referaggio e delle citazioni ricevute dal lavoro dei candidati.

Dai verbali si evince che il candidato vincitore ha una pubblicazione su rivista. A oggi è impossibile reperirne traccia sul web. Gli altri cinque lavori finora pubblicati consistono in altrettanti capitoli di un unico volume collettaneo in italiano curato dal presidente del commissione giudicatrice. Tre di tali capitoli sono coautorati proprio con il presidente della commissione. L’originalità e la rilevanza del contributo di molti degli altri candidati è invece comprovata sia dalla pubblicazione di articoli su riviste internazionali con consolidata – e in alcuni casi elevatissima – reputazione presso la comunità scientifica internazionale, sia dalla ricezione di un congruo numero di citazioni.

Il verbale della commissione giudicatrice è disponibile all’url http://www.uninsubria.it/uninsubria/allegati/pagine/12529/attiRuSecsp02.pdf.

Siamo consapevoli di quanto sia complessa la valutazione delle capacità di un giovane ricercatore, e dell’autonomia che spetta a ciascuna Commissione nella definizione dei criteri di valutazione e nello svolgimento delle proprie funzioni. Siamo inoltre convinti che ogni valutazione debba essere capace di assicurare il più ampio pluralismo di scuole di pensiero nella disciplina economica.

Tuttavia rinnoviamo l’auspicio, già espresso in occasione della procedura svoltasi presso l’Università del Piemonte Orientale, che si pongano dei limiti ragionevoli alla discrezionalità delle commissioni giudicatrici, sia riguardo alle numerose procedure concorsuali a tempo indeterminato ancora in corso, sia nelle procedure comparative che, con la nuova legge Gelmini, saranno alla base del reclutamento delle nuove leve di ricercatori a tempo determinato.

Vi ringraziamo di nuovo per il supporto e vi salutiamo cordialmente

Non credo siano necessari commenti. Ne faccio lo stesso un paio rapidi:

i) perlomeno gli economisti si agitano. In altri settori, silenzio di tomba, salvo che per esponenti del governo o loro familiari;

ii) la petizione esprime un giudizio sulla base di strumenti puramente bibliometrici su un concorso formalmente ineccepibile (tipo quelli che piacciono ad alcuni commentatori abituali del blog). Non so se il rettore abbia gli strumenti per riaprire il caso. Credo potrebbe farlo solo se la commissione avesse specificato ex ante, nella sua pirma riunione, come criterio di scelta gli strumenti bibliometrici.

Giovanni Federico è arrivato per primo col un post ma, come potete immaginare, l'intera redazione di NFA condivide i dubbi (a voler essere moderati) espressi nella lettera (riportata in questo post) che il gruppo Facebook Secs in the cities ha fatto circolare  riguardo al concorso. [Aggiunto il 20 Febbraio, 7.02]

48 commenti (espandi tutti)

Giovanni Federico è arrivato per primo ma, come potete immaginare, l'intera redazione di NFA condivide la petizione.

Ci sarebbero da sistemare i link della segnalazione

la petizione esprime un giudizio sulla base di strumenti puramente bibliometrici su un concorso formalmente ineccepibile (tipo quelli che piacciono ad alcuni commentatori abituali del blog)

Neanche per idea: da eccepire c'è molto. Esiste una metodologia per la valutazione, alla quale le Commissioni Giudicatrici devono attenersi. Basta dare un occhio al verbale per intendere che la Commissione non vi si è attenuta.

RR

Non scrivo per il sig. Renzino, che evidentemente non è interessato alla realtà, ma per i lettori che possono essere interessati a come si gestisce  un concorso per far vincere il candidato locale.  Il caso è scandaloso perchè il candidato locale è palesemente inferiore ad altri, ma il meccanismo è valido anche in casi meno eclatanti

Il testo del regolamento indica alcuni requisiti formali, che tutti i candidati avevano (dottorato di ricerca etc.)  e specifica che i criteri di valutazione delle pubblicazioni scientifiche (art 3)

Le commissioni giudicatrici di cui al comma 1 effettuano la valutazione comparativa delle pubblicazioni di cui al comma 1 sulla base dei seguenti criteri:

  1. originalità, innovatività e importanza di ciascuna pubblicazione scientifica;
  2. congruenza di ciascuna pubblicazione con il settore scientifico-disciplinare per il quale è bandita la procedura, ovvero con tematiche interdisciplinari ad esso correlate;
  3. rilevanza scientifica della collocazione editoriale di ciascuna pubblicazione e sua diffusione all'interno della comunità scientifica.
  4. determinazione analitica, anche sulla base di criteri riconosciuti nella comunità scientifica di riferimento, dell'apporto individuale del candidato nel caso di partecipazione del medesimo a lavori in collaborazione.

Piccolo inciso a proposito di regole assurde: l'ultimo criterio implicherebbe che in tutti i lavori si indicasse il contributo (X ha scritto il par 3, Y il par 1 e 2). Questo si fa (ancora) nei libri italiani, ma è impossibile nelle riviste internazionali. E' invalso l'uso di ignorare il problema, ma in teoria alcune pubblicazioni potrebbero non essere prese in considerazione - con risultati immaginabili (Tizio ha pubblicato 6 articoli su Nature ma non è possibile distinguere il suo contributo e quindi vince Caio).  In alcuni casi è successo in passato.

Nel suo lavoro,  la commissione può usare strumenti bibliografici (art 4)

  1. Nell'ambito dei settori scientifico-disciplinari in cui ne è riconosciuto l'uso a livello internazionale le Commissioni nel valutare le pubblicazioni si avvalgono anche dei seguenti indici:

    1. numero totale delle citazioni;
    2. numero medio di citazioni per pubblicazione;
    3. "impact factor" totale;
    4. "impact factor" medio per pubblicazione;
    5. combinazioni dei precedenti parametri atte a valorizzare l'impatto della produzione scientifica del candidato (indice di Hirsch o simili)

Il testo suggerisce l'uso gli strumenti bibliografici nei settori in cui sono di uso comune (e questo è il caso dell'economia) ma non impone alcun obbligo alla commissione, che "si avvale anche".  In genere le commissioni specificano l'intenzione di avvalersene nella loro prima riunione, indicando i criteri di valutazione.  In questo caso, però, non l'hanno

fatto - et pour cause, penso.  Se lo avessero fatto, non avrebbero potuto far vincere il candidato locale. Senza questi criteri, i commissari possono giudicare senza vincoli, come è avvenuto in questo caso.  Due membri su tre della commissione hanno semplicemente dichiarato  che Luraschi meritava di vincere perchè i suoi lavori, pur pubblicati in un libro edito da un membro della commissione,  facevano intravvedere enormi potenzialità e vero genio.  Si parva licet, una storia tipo la nipote di Mubarak.

Non sono espertissimo in legislazione universitaria, ma temo che gli atti siano formalmente ineccepibili. Infatti il rettore ha firmato. Il caso del Piemonte Orientale da questo punto di vista era diverso, in quanto il rettore, non avendo ancora firmato, ha potuto rinviare gli atti alla commissione.  Ora credo che l'unica strada sia un ricorso al TAR - come del resto suggerisce il post linkato da Alberto.

Ripeto quanto detto nel mio primo commento. E' un esempio da manuale della necessità di NON lasciare ai professori italiani (a QUESTI professori) libertà nei concorsi.

Anche io scrivo per i lettori, che possono essere interessati alle politiche pubbliche in materia di Università. E' curioso che il messaggio qui sopra cominci con la solita ouverture e si concluda con quella che è anche sostanzalmente la mia opinione, più volte ribadita

 

E' un esempio da manuale della necessità di NON lasciare ai professori italiani (a QUESTI professori) libertà nei concorsi.

Vi è una differenza nel fatto che io non vedo la possibilità, nè la bontà, di eliminare totalmente la libertà di giudizio dei Commissari, a causa degli effetti perniciosi di tale opzione. Vedo invece la necessità di dettare regole che, non annullando la discrezionalità, la guidino e la riportino a quella metodologia che, in condizioni etiche normali, un Commissario dovrebbe adottare. Stiamo parlando nè più nè meno che di deontologia professionale, quindi.

Anche il Ministro Gelmini e i suoi Dirigenti al Ministero (e pure i Deputati, voglio aggiungere) avevano finito per abbracciare questa opinione, se è vero che sono intervenuti con regole più o meno incisive e più o meno ben pensate su tutto un campo d'azione riguardante i doveri d'ufficio e istituzionali di docenti e Università. 

Ripeto quindi che è inutile sviare il discorso con una mistura di considerazioni sulle (attuali) regole e sul concreto (non) utilizzo da parte dei Commissari della metodologia prescritta: il Verbale mostra chiaramente che non vi si sono attenuti.

RR

Voce

fausto panunzi 20/2/2012 - 06:55

Grazie a Giovanni Federico e ai redattori di Noise. Ho chiesto alla Voce di occuparsi di questa vicenda, mettendo in evidenza la petizione con le relative tabelle. Vediamo se nell'uscita di domani faranno qualcosa. Mi sembra importante contrastare questi comportamenti inaccettabili, nei limiti in cui ciò è possibile. 

... ma almeno scrive poesie.

ibidem

molti si sono presentati e non sono attinenti

la visibilita' internazionale come l'impatto conta per tutti tranne che per uno

di quest'uno ci sono gia' le caratteristiche personali di grande team player

Mi sembra opportuno applicare ai commissari la valutazione bibliometrica auspicata per i candidati. Usando Harzing's Publish or Perish e le categorie di ricerca Business, Administration, Finance, Economics nonché Social Sciences, Arts, Humanities ho ottenuto i seguenti risultati:

Gioacchino Garofali, Università Insubria, presidente: pubblicazioni = 0, H-index = 0.

Antonello Eugenio Scorcu, Università di Bologna, pubblicazioni = 5 (di cui  2 working papers), citazioni = 0, H-Index = 0.

Giovanni Ancona, Università di Bari, pubblicazioni = 2, citazioni = 3, H-Index = 1.

Vale la pena ricordare che Antonello Scorcu ha votato per il candidato Fabio Berton, quello con il numero di citazioni piu' alto.

Si puo' disquisire sul suo contributo alla ricerca, ma da quanto ricordo (era ricercatore a Bologna quando ero studente)  e' persona degna e onesta.

provando a cercare in publish or perish "Antonello Scorcu" i risultati migliorano.....

Logica

Carlo Carminati 21/2/2012 - 09:07

Non credo siano necessari commenti. Ne faccio lo stesso un paio rapidi:

i) perlomeno gli economisti si agitano. In altri settori, silenzio di tomba, salvo che per esponenti del governo o loro familiari;

Qui mi sembra che la tua logica traballi. Per almeno un paio di motivi:

  • 1) una denuncia di questo tipo richiede che la commissione abbia davvero fatto una porcheria: magari in altri ambiti non avviene;

2) ovviamente la commissione puo' fare una porcheria, ma puo' essere che questa non sia rilevabile dagli indicatori bibliometrici: p.es. nei settori dove il malaffare dilaga, il boss pompa il proprio protetto facendogli firmare lavori fatti da altri. Oppure puo', piu' discretamente, 'consigliare ' gli altri concorrenti di non presentarsi. O magari puo' tirare in lungo il concorso, per aspettare che i concorrenti piu' titolati vincano altrove ... le vie del Signore sono infinite.

Comunque, in un paese dove uno con il pedigree di Martone se ne sta tranquillo al governo, temo che anche il potere salvifico degli indici bibliometrici possa far ben poco.

1) una denuncia di questo tipo richiede che la commissione abbia davvero fatto una porcheria: magari in altri ambiti non avviene;


 in un paese dove uno con il pedigree di Martone se ne sta tranquillo al governo, 


ebbene si', mi contraddico!  [Carlo Carminati] 

Hai ragione, mi son espresso male.

Non volevo certo dire che gli economisti son la feccia, ed il resto e' pulito. E, per accorgersene, non occor certo il Marton-gate (che e' piu' uno scandalo per il governo piuttosto che per l'universita' - dove ci son casi ben peggiori).

Anzi, ho appunto detto che nell'universita' ci sono zone grigie in cui il controllo baronale e' cosi' saldo che anche gli indicatori bibliometrici posson risultare inefficaci (penso a medicina).

Pero' ci sono anche ambiti dove le cose sono un pelo meglio: per esempio non mi risulta nessun concorso di Matematica nel quale la commissione sia cosi' scientificamente inconsistente. Insomma: per denunciare uno scandalo clamoroso, questo deve, prima di tutto, eser tale.

Off topic (ma neanche troppo): ma il metodo dell'elezione-sorteggio caldeggiato dal geniale Giavazzi non doveva sventare pericolosissime combine?

Francamente, trovo stucchevole la continua polemica sugli indici bibliometrici. Sono perfetti? NO. Eliminano tutte le porcate? NO (grazie alla capacità dei nostri baroni). Sarebbero inutili se i commissari giudicassero solo sulla base della qualità scientifica? SI

So what? Gli indici bibliometrici sono meglio delle alternative che io conosco e questo mi basta. Aspetto con interesse che qualcuno indichi un sistema alternativo  efficace.

Proprio il fallimento dell'elezione-sorteggio dimostra l'inutilità di cambiamenti che lasciano ai professori la possibilità di scelta arbitraria

io sarei per lasciare tutto libero, chiamata diretta, senza concorso, con un criterio standard. I dipartimenti votano con metodo democratico raccomandando al rettore o a qualcuno che abbia a cuore l'obiettivo dell'ateneo o della facoltà. Ci saranno abusi? Si',e sarà un altro incentivo a trasferire le risorse in base alla qualità. 

chiarimenti

ed.perez 22/2/2012 - 19:28

I dipartimenti votano con metodo democratico raccomandando al rettore o a qualcuno che abbia a cuore l'obiettivo dell'ateneo o della facoltà. Ci saranno abusi? Si',e sarà un altro incentivo a trasferire le risorse in base alla qualità. 

potresti spiegare meglio?

grazie

Edoardo

E' il sistema che vige ovunque: ognuno assume chi vuole. Poi le regole interne possono variare, ma in genere i deans mettono a disposizione delle risorse, i dipartimenti scelgono chi assumere in modo democratico (a maggioranza dei compoennti), ma e' il dean a decidere in ultima istanza. Chiaramente questo facilita l'assunzione del cugino o della cognata, ma tanto era facile anche con i concorsi, ci risparmiamo un bel po' di rimborsi spese ai commissari. Chi assume il cugino o la cognata ne paghera' le conseguenze quando il ministero trasferira' loro meno risorse e quando meno studenti si iscriveranno al proprio ateneo. 

mmmm

gian luca clementi 22/2/2012 - 21:01

Andrea, in linea di principio sono ovviamente d'accordo, pero':

Purtroppo le condizioni necessarie affinche' la liberta' di assumere produca guadagni di efficienza non sono verificate. Anche nel futuro prossimo, le risorse attribuite in base alla qualita' della ricerca sono limitate. In secondo luogo, le universita' Italiane hanno una clientela captive di studenti.

La mia richiesta di chiarimenti deriva dagli stessi dubbi di Gian Luca Clementi.

E' certo che a parità di risultati (assunzione del cugino o della cognata) è meglio il sistema meno costoso (ovvero privo di concorsi), così come è vero che per realizare il salto qualitativo (tanto auspicato su nfa) bisogna contestualmente attribuire le risorse sulla base della qualità, o (anche meglio) lasciare libertà agli atenei nella definizione di prezzi e offerta formativa (con buona pace per la pletora di giovani "fondamentalisti" del diritto allo studio).

Non avevo capito il senso dell'intervento.

certo

andrea moro 22/2/2012 - 21:32

ma io credo che il sistema non peggiorerebbe. Un minimo di accountabiliti ci sara' ,vuoi perche' gli studenti bisogna accontentarli, vuoi perche' la stampa ogni tanto fa il suo lavoro

Concordo con quanto dice Gianluca. Aggiungo che il problema non e' solamente che le risorse allocate sulla base della produttivita' scientifica sono insufficienti a costituire un incentivo, ma anche che alcuni parametri alla base di questa quota premiale sono manipolabili.

Per esempio: un indice che conta e' il numero di PRIN e FIRB dell'ateneo che vengono valutati positivamente. Ma le regole son fatte in modo che ogni universita' non possa presentare piu' di un certo numero di PRIN: questo  e' un ulteriore fattore che tende a livellare. 

io le risposte le vorrei dagli italiani - ed in particolare dai raffinatissimi, bravissimi, coltissimi amici di Roars (www.roars.it) che producono sofisticatissime analisi per dimostrare che gli indici bibliometrici fanno schifo e che sono divenuti il punto di riferimento teorico per tutti i contestatori dell'ANVUR

ma da dove arrivano?

Alcuni sono esperti di valutazione (bibliometri?).  E' un campo scientifico in notevole sviluppo, altamente tecnico. Io conosco bene uno di loro, A.baccini di Siena. E' un economista molto intelligente che si è scientificamente innamorato del field e pubblica articoli sofisticati con matematici sulla distribuzione degli errori nelle misure etc.   Sono sicuro che è in buona fede.  In parte si tratta anche di una posizione politica di "sinistra" (università pubblica vs università privatizzata etc. Ho provato a discutere con lui un paio di volte, ma non sente ragione.  Gli altri non li conosco.  Anche ammettendo che siano tutti in buona fede come Alberto, stanno dando munizioni intellettuali ai più biechi reazionari.

gli indici vanno guardati, ovviamente, ma quanto vadano guardati dipende. In certi casi, quando l'attenzione alla qualita' e' al nascere, ed il sistema sta sperimentando forme di concorrenzialita' fra istituti, vanno guardati piu' attentamente ed imposti in modo piu' rigoroso. Poi, man mano che il sistema si "abitua" e la qualita' aumenta, allora vanno progressivamente abbandonati in favore del giudizio personale, combinato con incentivi ovviamente. 

Quando sono i 'bad guys' a comandare e scegliere il personale, bisogna limitare severamente la discrezione, al costo di una qualche rigidita'. Gli indicatori bibliometrici servono proprio a questo.

 

Attraverso questo sistema il reclutamento migliorera' e con esso la frazione di good guys con facolta' di indirizzo. Eventualmente si potra' riconoscere piu' discrezione e diminuire la rigidita'.

 

L'evidenza anedottica negli Stati Uniti indica che le migliori universita' non hanno proprie liste di riviste accademiche, ordinate per qualita'. Universita' meno quotate (come quella per cui lavoro) continuano ad avere tali liste. Essenzialmente, le liste servono al Dean (Preside) per fornire base oggettiva alle decisioni con cui sega i candidati dei dipartimenti cazzoni.

Proprio per questo, in Italia ci vuole una rigidità al 100%.  I good guys sono una infima minoranza e ci vorranno anni per cambiare la mentalità

LA RIGIdità va imposta solo sulla metodologia, e quindi non al 100%. Altrimenti i bad guys troverebbero motivi per ampliare le porcate in materia di autoraggio, pubblicazione e citazione.

RR

si accettasse l'idea che questa forte opposizione all'uso automatico dei criteri bibliometrici si deve al fatto che in alcuni settori di ricerca ciò darebbe un risultato assai diverso alle attese?

Sono anni che vedo girare varie formule di calcolo della qualità scientifica di un ricercatore, e tutte le volte che le applico vedo che premiano persone che nessuno considera, nel mio campo, le migliori. Inoltre premiano alcune tra le peggiori abitudini nel campo delle pubblicazioni accademiche (cordate per la conquista dei comitati editoriali, procedure di referaggio a geometria variabile, creazione di riviste e di citazioni dal nulla). Io non metto in dubbio che forse nel campo dell'economia la regola potrebbe funzionare. Ma so che nel mio campo, la matematica, darebbe pessimi risultati: ho visto premiare da questi numeri persone di qualità veramente discutibile.

Questo non mi riesce di farlo capire a molti colleghi che sostengono, con quello che a me pare eccesso di fanatismo, un uso non "moderato da umani" delle statistiche di citazione. Le abitudini relative alle citazioni variano in maniera incredibile da un settore all'altro. Perchè meravigliarsi del fatto che le statistiche relative alle citazioni misurino, in campi diversi, qualità diverse?

@Carlo Carminati. Mi dispiace deluderti, ma anche nel campo della matematica ho visto commissioni scientificamente inconsistenti. Neanche poche.

 (e i fisici o magari i chimici) la piantassero di guardarsi l'ombelico?  E magari tentassero di capire che nella stragrande maggioranza dei settori disciplinari vige l'arbitrio baronale? Resto sempre in attesa di una proposta alternativa agli strumenti bibliometrici per risolvere il problema

e se magari non esistesse una ricetta unica, che possa funzionare in tutti i casi?

E' normale, credo, che da una comunità in cui molti vedono come una applicazione acritica dei criteri bibliometrici potrebbe portare addirittura ad un peggioramento delle cose, si levino voci critiche. Se le stigmatizziamo e basta otteniamo l'effetto di saldare le vere resistenze conservatrici con delle giuste istanze di cautela. Qui non è che si vuole il meglio: ma certo non andare nella direzione sbagliata.

In questo momento, in matematica, tra una applicazione indifferenziata dei criteri bibliometrici e l'estrazione a sorte del vincitore di concorso credo sarebbe più efficace il secondo metodo (almeno fa strame delle logiche di potere).

Se per risolvere gli incidenti di auto si propone di applicare le regole del traffico aereo a tutti gli spostamenti è facile che i pedoni protestino. Considerarli corporativi o ombelicali non cambia le cose.

Io le ricette le potrei proporre solo per la matematica non per l'ingegneria, la giurisprudenza, la medicina (dove bisogna tener conto di un tipo di pressioni economiche da noi inesistenti), non per le scienze sociali.

Da noi una qualche istituzione scientifica (UMI, IndaM altri?) potrebbe proporre una classificazione delle riviste scientifiche in fasce (eccellenti, ottime, buone, discrete, mediocri) e dire: da qui in poi, per i prossimi 5 anni, si verrà valutati su questa base. Poi tra 5 anni rivedremo questa classificazione. Molto meglio di h-index o statistiche che ragionano su articoli che, nel 80% dei casi, non ricevono neanche una citazione nei primi 5 anni dopo la loro pubblicazione neanche quando sono di buona qualità. E' evidente che le logiche corporative interne (divisione in sottogruppi), baronali, di potere influenzerebbero questa classificazione. Ma non la stravolgerebbero. Meglio ancora sarebbe se questa classificazione la facesse, ad esempio, la Società Matematica Europea.

Servirebbe poi un bel sistema umano di valutazione a posteriori. Quello che si fa in Francia a me sembra funzionare assai meglio del RAE inglese.

Forse non ci siamo capiti o forse lei ignora la legislazione vigente. Quest'ultima impone che le regole dei concorsi siano equali per tutte le discipline. Quindi non è possibile avere regole diverse per l'isola felice di matematica.

Io sostengo che sia necessario usare strumenti bibliometrici per evitare che i baroni continuino a decidere arbitrariamente.  Ho sempre affermato (si rilegga i miei vari interventi) che gli strumenti bibliometrici possano essere diversi a seconda delle discipline. Lei sostiene che a Matematica sarebbe sufficiente una lista di riviste, determinata dalla Società Matematica Italiana e non è necessario usare l'H-index o altri indici basati sulle citazioni. E' esattamente quello che l'ANVUR pensa di fare a Lettere e quello che si fa ad economia. In altre discipline si possono trovare altre soluzioni. Basta che limitino al massimo le valutazioni personali dei baroni.

I Roars (scrivevo soprattutto in risposta ad un certo tono derisorio nei loro confronti) sottolineano alcuni problemi degli indicatori bibliometrici e li sostengo visto che, attorno a me, vedo forte pressioni, in questo momento, per un uso improprio di questi criteri.

Mi si dice che saranno fondamentali nella VQR (anche nella matematica) tant'è che gli uffici della mia università mi fanno pressione per sottomettere alla VQR non i lavori migliori ma quelli con più alto IF.

Mi si dice che saranno fondamentali nella valutazione PRIN tanto che i miei responsabili di unità di ricerca si raccomandano di mettere nella domanda... (non ripeto).

Nelle valutazioni interne che fa il NVA si fa continuo riferimento alla necessità di massimizzare l'IF.

C'è quindi, intanto, il problema dell'uso diffuso di uno specifico indicatore che in alcuni settori ha pochissimo significato. Lo vogliamo considerare un problema di tutti oppure chissenefrega se in qualche settore avrà effetti negativi?

Quel "limitare al massimo", con cui di regola sono d'accordo (immagino se no non scriverei qui) è pericolosamente vicino a "limitare del tutto" (con cui non sono d'accordo per nulla). O pensiamo che ci sia solo tutto o nulla? La differenza tra un indice specifico come h o if e un indice grossolano è proprio quella tra stabilire un ordine totale nel mio insieme o solo (di fatto) un ordine parziale che lascia un margine di manovra alla valutazione umana. Sull'ampiezza di questo margine si può lavorare, e non necessariamente solo modificando leggi (nulla osta, ad es, che all'interno della legislazione vigente, si regolino anche in maniera diversa da settore e settore l'interpretazione da dare ad alcune fomulazioni legali volutamente ambigue). Il margine di manovra umano va accoppiato alla responsabilizzazione. Quest'articolo su noisefromAmerika è esattamente il tipo di strumento con cui in larga parte del mondo accademico internazionale ci si difende dagli abusi. Stigmatizzando i responsabili degli abusi. Campo in cui si può fare ancora molto con poco (mentre parliamo di massimi sistemi ci sono Università che non mettono online i giudizi delle valutazioni comparative con la scusa della privacy). Il fatto che ne compaiano due in pochi mesi (e che uno dei commissari risponda) mi sembra un buon segno.

Non riesco a trovare dove ho detto che la matematica è un'isola felice. E' un area in cui le cose vanno appena appena meglio della media e che con un passo falso peggiorerebbe facilmente.

Resto sempre in attesa di una proposta alternativa agli strumenti bibliometrici per risolvere il problema

Il problema è che certi economisti di lingua italiana, in questi anni, si sono guardati l'ombelico.

La "soluzione" migliore è regolare la metodologia di valutazione (quindi porsi ad un meta-livello, dal punto di vista giuridico), e nel frattempo attivare tutti i sistemi di valutazione che, localmente (per ogni tema), possono costruire la relativa cultura della qualità nelle singole persone.

RR

 

La "soluzione" migliore è regolare la metodologia di valutazione (quindi porsi ad un meta-livello, dal punto di vista giuridico), e nel frattempo attivare tutti i sistemi di valutazione che, localmente (per ogni tema), possono costruire la relativa cultura della qualità nelle singole persone.

 

 Cosa vuol dire?

 

 

Cosa vuol dire?

Regolare la metodologia di valutazione significa porre regole che guidino i Commissari, e quindi tutta la Commissione giudicatrice, nella procedura di valutazione comparativa. Che sia una cosa del tutto realistica, e non campata in aria, lo dimostra il fatto che è proprio quello che fanno gli Inglesi con il loro esercizio di valutazione della ricerca (REF). In linea di principio, è anche quello che si è iniziato a fare nel nostro sistema, in primis con il già citato D.M. per i concorsi da ricercatore e che in futuro si farà anche per le abilitazioni e le conferme in sede locale, solo che (1) qualcosa da dire su come sono scritte queste regole, mi riservo di averla, e (2) io propongo il Segretario di commissione "esterno", dipendente dall'ANVUR, per la cura e il rispetto della metodologia. Un Commissario in meno e un Vigile esterno in più fa pari e patta, e serve allo scopo.

Attivare tutti i sistemi di valutazione significa che c'è molto di più da mettere in piedi, in termini di valutazione, della singola revisione della metodologia dei concorsi. Quindi il rinnovamento viene da un complesso di azioni e non da un solo colpo che fa strike. Ci sono le valutazioni triennali dei singoli, ci sono le valutazioni dei progetti di ricerca da finanziare, ci sono le valutazioni istituzionali delle Università e dei corsi di studio, ci sono le valutazioni ex-post della ricerca, ci sono le commissioni per l'integrità e l'etica nella ricerca, ecc.

Tutto questo, ça va sans dire, non ha niente a che vedere con le agognate classifiche propagandate da alcuni economisti di lingua italiana, ma è quello che serve, e che in effetti si fa altrove e qui non si è mai fatto.

RR

QED?

Carlo Carminati 22/2/2012 - 22:16

Proprio il fallimento dell'elezione-sorteggio dimostra l'inutilità di cambiamenti che lasciano ai professori la possibilità di scelta arbitraria. 

Temo che a volte tu faccia passaggi logici eccessivamente spericolati. A mio avviso il fallimento dell'elezione-sorteggio dimostra una cosa sola: era una cagata pazzesca.

Se si voleva agire velocemente, e senza far disastri, una soluzione decorosa (peraltro anche proposta) sarebbe stata quella di selezionare i commissari non in base alla fascia di appartenenza, ma piuttosto in base ad una soglia minima di produttivita' scientifica (e qui si poteva anche usare i famosi indicatori, possibilmente cum grano salis).

 

L'idea che i migliori studiosi scelgano necessariamente, in assenza di incentivi, i migliori candidati è un wishful thinking. Il 90% dei professori preferirà il proprio allievo. Può darsi che l'allievo di un grande studioso sia bravo, ma non è detto. Ricordati il detto: "a mettere in cattedra uno bravo sono buoni tutti. Il vero potere è mettere in cattedra un cretino"

 

 

 

L'idea di Giavazzi era duplice - togliere i non ordinari (più ricattabili) dalle commissioni e sorteggiarli per eliminare le cordate. E' fallita perchè le cordate si sono riformate immediatamente ex-post (nelle commissioni) invece che ex-ante (nelle elezioni). Da questo punto di vista,  una ingenuità più che una cagata pazzesca.

L'esclusione di associati e ricercatori non ha fatto particolari danni (salvo che all'ego degli esclusi) ma non ha portato neppure grandi vantaggi.

 

 La tua "soluzione decorosa" è esattamente quello che ha proposto l'ANVUR. Io ho scritto un post di elogi-  non mi ricordo la tua posizione ma non ho l'impressione tu fossi del tutto d'accordo

 

 

 

in assenza di incentivi

Che cavolo se ne fanno i nostri baroni dei vostri "incentivi"? Ce magnano loro? No. E allora??

Anzichè fare: uno a me, uno a te, uno bravo. uno a me, uno a te, uno bravo. uno a me, uno a te, uno bravo. uno a me, uno a te, uno bravo.

Farebbero solo: uno a me, uno a te, uno bravo. uno a me, uno a te, uno bravo.

Cosa cambia?

L'idea che i migliori studiosi scelgano necessariamente, in assenza di incentivi, i migliori candidati è un wishful thinking. Il 90% dei professori preferirà il proprio allievo.

Sono parzialmente d'accordo: so bene che non necessariamente i migliori scelgono i migliori ma quel 90% mi sembra un po' pessimista. E' comunque sicuro che i peggiori sceglieranno peggio (come il caso in questione mostra bene).

 

L'idea di Giavazzi era duplice - togliere i non ordinari (più ricattabili) dalle commissioni e sorteggiarli per eliminare le cordate.

Togliere i ricattati per metterci i ricattatori? Che idea geniale!

 

 

E' fallita perchè le cordate si sono riformate immediatamente ex-post (nelle commissioni) invece che ex-ante (nelle elezioni).

Ma dai! Chi l'avrebbe mai detto!

 

Da questo punto di vista, una ingenuità più che una cagata pazzesca.

 

Chiamala pure come preferisci, la sostanza non cambia.

 

L'esclusione di associati e ricercatori non ha fatto particolari danni (salvo che all'ego degli esclusi) ma non ha portato neppure grandi vantaggi.

In compenso sembra aver giovato molto all'ego degli inclusi, che con zero pubblicazioni possono fare il bello ed il cattivo tempo.

 

La tua "soluzione decorosa" è esattamente quello che ha proposto l'ANVUR. Io ho scritto un post di elogi- non mi ricordo la tua posizione ma non ho l'impressione tu fossi del tutto d'accordo.

L'ANVUR ha proposto tante cose. Sull'esclusione dei commissari "scientificamente irrilevanti" sono in totale accordo, come puoi ben capire.

Non ero pero' d'accordo su tutto: ritengo infatti che l'utilizzo dei criteri bibliometrici possano essere utili per valutazioni delle strutture, o per stabilire soglie ***minime***, ma sono assolutamente contrario al fatto che finiscano per sostituirsi ad una valutazione nel merito nel caso dei concorsi.

L'idea che i migliori studiosi scelgano necessariamente, in assenza di incentivi, i migliori candidati è un wishful thinking. Il 90% dei professori preferirà il proprio allievo.

Sono parzialmente d'accordo: so bene che non necessariamente i migliori scelgono i migliori ma quel 90% mi sembra un po' pessimista. E' comunque sicuro che i peggiori sceglieranno peggio (come il caso in questione mostra bene).

 

 

Quanti casi conosci di professori che spontaneamente hanno preferito un candidato "altro" ad un proprio allievo solo in quanto bravo - non perchè sponsorizzato da altri commissari e/o da potentati esterni?

 

In compenso sembra aver giovato molto all'ego degli inclusi, che con zero pubblicazioni possono fare il bello ed il cattivo tempo.

 

Perchè tu sei veramente convinto che associati e ricercatori in commissione impedirebbero agli ordinari (con o senza pubblicazioni) di "fare il bello ed il cattivo tempo"?

 

Infine, le soglie minime. O sono basse, ed allora non servono a nulla, o sono medio-alte, come quelle proposte dall'ANVUR (non ho ancora capito con quale esito). Nel secondo caso, annullano la discrezionalità della commissione. Come si fa a negare l'idoneità ad ordinario ad uno che ha pubblicato più della mediana degli ordinari?

Soglie

Carlo Carminati 25/2/2012 - 11:06

Quanti casi conosci di professori che spontaneamente hanno preferito un candidato "altro" ad un proprio allievo solo in quanto bravo - non perchè sponsorizzato da altri commissari e/o da potentati esterni? 

Diversi. Il problema e' un altro: spesso chi sceglie il migliore e' messo fuori gioco dalle "teste di legno" che stanno in commissione per far combine. Si tratta spesso di nullita' scientifiche che verrebbero messe fuorigioco se fosse richiesta una soglia di ingresso (vedi il caso del concorso di cui stiam parlando); tra l'altro sarebbe molto ragionevole richiedere a chi va a giudicare altri di avere una produzione scientifica buona, e non semplicemente decorosa.

Perchè tu sei veramente convinto che associati e ricercatori in commissione impedirebbero agli ordinari (con o senza pubblicazioni) di "fare il bello ed il cattivo tempo"? 

Penso che una commissione di persone competenti avrebbe fatto meglio. Le nullita' scientifiche sono i soggetti piu' facilmente ricattabili.

Infine, le soglie minime. O sono basse, ed allora non servono a nulla, [...]

non e' vero: con una soglia anche infima Martone non sarebbe nemmen ricercatore

[...] o sono medio-alte, come quelle proposte dall'ANVUR (non ho ancora capito con quale esito). Nel secondo caso, annullano la discrezionalità della commissione.

Non credo che annullare la discrezionalita' della commissione sia una buona idea.

Penso che una commissione di persone competenti avrebbe fatto meglio. Le nullita' scientifiche sono i soggetti piu' facilmente ricattabili.

 

Presumo che questa affermazione rifletta la tua esperienza relativa ai concorsi nella tua disciplina (e nelle altre  scienze hard ?). Purtroppo nel resto dell'accademia non funziona così. Spesso è il contrario.  Molto spesso, se non quasi sempre, i baroni più potenti sono delle nullità scientifiche e non a caso. Infatti

i)   Per accumulare potere accademico bisogna dedicare molto tempo - specie nei settori dove i rapporti con l'esterno (ditte ed enti locali) sono fonti di soldi e potere  (p.es. medicina, ma non solo. Tutto tempo "rubato" alla ricerca

ii) Uno studioso di alto livello ha, in genere, forti soddisfazioni personali dalla ricerca ed è relativamente meno sensibile all'adulazione. Una nullità si circonda di allievi mediocri, ma abili a solleticare la sua vanità. Quindi spesso cerca nel potere, ed in particolare nella possibilità di piazzare i propri allievi, quelle soddisfazioni che non  può trovare nella ricerca.

link

Carlo Carminati 22/2/2012 - 08:55

Mi sembra che il primo link nell'articolo sia difettoso: punta  a

http://noisefromamerika.org/articolo/(http://petizionesecsp01.wordpress.com/

(mal di poco: c'e' sempre il vecchio taglia-e-incolla)

grazie della segnalazione

Inizia una nuova discussione

Login o registrati per inviare commenti