Titolo

Due idee per Mariastella e chi verrà dopo di lei

51 commenti (espandi tutti)

Criterio di Ammissibilità. Un indice di qualità è ammissibile se Q(A) ≤ Q(B) ogni qual volta l'insieme A è incluso in B.

Dubito che questo sia un criterio intuitivamente accettabile, a meno che non si voglia imporre che il funzionale Q(.) debba essere del tipo "max", "min", "sum of absolute values" .... insomma misuri valori estremi o totali, che sono pessimi indicatori della qualità di un insieme perché non tengono in conto l'effetto size, la varianza, le code della distribuzione, eccetera.

In generale tale assioma produce risultati assurdi perché esclude gli indici più ovvi di qualità, come la media, per esempio.

Infatti: Sia Q(A) la media aritmetica dei valori degli elementi di A, idem per Q(B). Se A è quel sottoinsieme di B che contiene i due elementi di B con i valori più alti dell'indice in questione, e B ha più di due elementi, allora per certo Q(B) ≤ Q(A). Infatti, l'insieme A è, in media, composto di elementi migliori dell'insieme B (nel caso di specie questo vale "pointwise", ma questo è perché ho costruito un esempio particolarmente semplice).

In termini banali: il criterio che GdeN suggerisce (e che utilizza per far classifiche oltre che per squalificare le analisi di Roberto Perotti) è assurdo. E, come ci insegnarono, ex absurdum sequitur quod libet.

P.S. Non ho tempo in rete per controllare i dettagli dei dati ... per cui mi soffermo al momento sulla logica. Che mi sembra faulty, quando diventa precisa ed estremamente imprecisa otherwise.

In un concorso universitario ho due candidati. Il candidato A ha un solo lavoro con 100 citazioni. Il candidato B è coautore di A  e ha scritto un secondo lavoro che ha ricevuto 80 citazioni. Risulta che le citazioni medie sono

 

A: 100/1=100 citazioni/paper

B: 180/2= 90 citazioni/paper

 

Se uso la media come criterio di ranking faccio vincere il candidato A che ha prodotto meno (1 solo paper contro 2) ottenendo anche meno riconoscimenti internazionali (100 citazioni contro 180).

Paradossalmente, il candidato B dovrebbe occultare il suo secondo paper in modo da essere almeno alla pari con A. Non ha senso usare criteri di ranking secondo i quali posso salire in classifica occultando parte del mio output valutabile. Il Criterio di ammissibilità impedisce che si verifichi questo paradosso: essere superato da qualcuno che ha un sottoinsieme delle mie pubblicazioni. Un criterio di ranking che rende possibile questo sorpasso appare inconsistente.

Ovviamente, la media (e altri indicatori) sono utilissimi per caratterizzare la tipologia di produzione ma non per fare classifiche. L'H-index nasce proprio dalla volontà di introdurre un ranking che non fosse solo quantitativo (citazioni totali) ma che tenesse conto anche della qualità (si premia chi pubblica lavori ad alta visibilità). Non dico che l'H-index sia la bacchetta magica della valutazione bibliometrica, ma almeno non è soggetto a inconsistenze logiche.

Cordialmente

GDN

A me non pare giusto che le citazioni di pubblicazioni con più autori siano accreditate ad ogni coautore come se il paper fosse suo al 100%.

Nel tuo esempio fossero divise equamente fra i due coautori vincerebbe B.

Più intelligente sarebbe dare un peso decrescente e predeterminato agli autori secondo l'ordine di firma.

Ho visto lavori di medicina con più di dieci autori e sempre con la firma del "capo".

In ogni caso il sistema si presta ad un interessato scambio delle citazioni che in qualche modo lo snatura.

Ho lavorato per anni nel privato e la cosidetta "valutazione oggettiva" ha sempre prodotto il solo risultato di arricchire gli studi di consulenza che l'avevano ideata e proposta.

Io penso che la cosa migliore sia valutare i risultati di tutta la struttura ; risultati negativi dovrebbero comportare la rimozione dei vertici e questo dovrebbe garantire che questi valutino in modo corretto e meritocratico i collaboratori.

Ho lavorato per anni nel privato e la cosidetta "valutazione oggettiva" ha sempre prodotto il solo risultato di arricchire gli studi di consulenza che l'avevano ideata e proposta.

that's very interesting

qualche dettaglio in piu`? (se possibile)

 

 

un esempio : il Management By Objectives ( M.B.O.) annuale.

se lo applichi ad un capo divisione funziona

come scendi ai livelli funzionali nascono i conflitti 

produttività ( Operation Manager ) vs qualità ( Q.A. Manager )

puntualità di consegne ( Production Control Manager ) vs volume vendite ( tramite lead times attraenti - Sales Manager )

Volume di vendite ( Sales Manager ) vs Sales Margin ( Business Manager )

ecc.

Senza contare che azioni e risultati non sono quasi mai sincroni : un nuovo Manager bravo può pagare errori di chi lo ha preceduto , uno mediocre godere di azioni del suo predecessore.

Per porre un obiettivo proprio ad ognuna di queste funzioni , affinché non venga massimizzato a scapito di obiettivi di altri , devi fare un trattato pieno di "purché" ed il tutto diviene praticamente ingestibile. 

La cosa più ragionevole è fissare gli obiettivi al capo divisione che avrà il compito di bilanciare correttamente gli ingredienti del successo e l'interesse a giudicare in modo meritocratico i managers che a lui riportano.

grazie, interessante, si direbbe ``o pesce fete d'a capa''

ti segnalo la relazione ``Citation Statistics'' (A report from the International Mathematical Union (IMU) in cooperation with the International Council of Industrial and Applied Mathematics (ICIAM) and the Institute of Mathematical Statistics (IMS) ) e anche la discussione svolta su questo sito a commento dell'articolo ``perche' la riforma Gelmini non era (e`) tutta da buttare''

Sembra esserci una difficoltà ad intendere l'argomento altrui. Ci riprovo.

1) Io  NON ho proposto la media come unico criterio di valutazione. Io ho solo provato che il criterio suggerito da GdeN porta a conclusioni assurde perché esclude la media, che mi sembra una statistica da prendere in considerazione quando si cerca di valutare performances, o no?

2) Fosse per me, sia chiaro, le valutazioni le lascerei fare al mercato che, come l'evidenza mostra, le fa meglio di tutti i sistemini burocratici che vi andate inventando. Ma questo è un altro discorso.

3) Nel caso specifico dell'esempio considerato nel commento precedente è OVVIO che si sta applicando in modo distorto il funzionale "media". La pubblicazione con 100 citazioni ha due autori. Quindi la media di A è 50, quella di B è 65, vince giustamente B.

Morale 1: il criterio suggerito da GdeN rimane assurdo e le sue implicazioni vuote di senso.

Morale 2: gli indici occorre capirli prima di usarli.

marcomariotti (http://www.noisefromamerika.org/index.php?module=comments&func=display&cid=59301&objectid=2111&modid=151&itemtype=1&thread=1#d59301) ha afferrato perfettamente il ragionamento:

Sul punto specifico, personalmente la proprieta' proposta da Denicolao mi sembra piu' che accettabile, mentre la media mi sembra inaccettabile (intesa come indice di qualita').

Pensaci Michele: sei Francis Crick e hai scritto due dei papers piu' fondamentali della storia della scienza, sulla struttura del DNA (oppure sei proprio Michele Boldrin e hai scritto due noti lavori sull'accumulazione del capitale). A questo punto scrivi altri papers, sempre fantastici, citatissimi e ben sopra alla media nazionale, ma non al livello quasi irraggiungibile degli altri due: se un moloch valutativo usa la media come criterio per giudicarti, devi immolare quegli altri tuoi pur bellissimi lavori per non 'abbassare la tua qualita'!

 

 

Per quanto riguarda l'osservazione sul numero degli autori dei papers, non basta dividere le citazioni per il numero di coautori per evitare il paradosso. Nell'esempio specifico, basta ipotizzare che  il secondo paper di B sia in collaborazione con un terzo studioso C. Pur di introdurre i cambiamenti in grassetto, il paradosso rimane tale e quale:

 

In un concorso universitario ho due candidati. Il candidato A ha un solo lavoro con 100 citazioni. Il candidato B è coautore di A  e ha scritto un secondo lavoro (insieme ad un altro autore C diverso da A) che ha ricevuto 80 citazioni. Risulta che le citazioni pro capite medie sono

 

A: 100/2/1=50 citazioni/persona/paper

B: 180/2/2= 45 citazioni/persona/paper

 

Se uso la media come criterio di ranking faccio vincere il candidato A che ha prodotto meno (1 solo paper contro 2) ottenendo anche meno riconoscimenti internazionali (50 citazioni pro capite contro 90 citazioni pro capite).

Paradossalmente, il candidato B dovrebbe occultare il suo secondo paper in modo da essere almeno alla pari con A. Non ha senso usare criteri di ranking secondo i quali posso salire in classifica occultando parte del mio output valutabile. Il Criterio di ammissibilità impedisce che si verifichi questo paradosso: essere superato da qualcuno che ha un sottoinsieme delle mie pubblicazioni. Un criterio di ranking che rende possibile questo sorpasso appare inconsistente.

 

 

 

Per quanto riguarda l'osservazione sul numero degli autori dei papers .........

a me pare che il baco sia considerare la media delle citazioni invece del numero assoluto

autore A 1 pubblicazione 100 citazioni : media 100 ; valore assoluto 100

autore B 10 pubblicazioni 8 con100 citazioni , 2 con 50 : media 90 ; valore assoluto 900

e qui non ci sono dubbi che , accettato il criterio delle citazioni , con la media B soccomberebbe pur essendo il più valido.

Così nell'esempio :

A : con la media 50 ; valore assoluto 50

B : con la media 45 ; valore assoluto 90

ciò detto io non credo che se una istituzione è marcia possa essere bonificata applicando algoritmi automatici

è come credere che il tanto sbandierato federalismo possa "smarcire" la società italiana.

Auguri

Avete mai pensato alla dipendenza del numero di citazioni dal numero degli articoli pubblicati sullo stesso argomento? Leggo ora un articolo su Notices of the American Mathematical Society, Dicembre 2010, pag. 1421, che non parla di citazioni, ma che riferisce, ad esempio, che nell'ambito della "group theory" sono usciti nell'ultimo decennio un numero di articoli pari al 2,63 % di tutti gli articoli pubblicati (e recensiti da MathSciNet) di matematica. Per contro, ad esempio, si deduce da un grafico che sono classificati come "partial differential equations" l'8,8% degli articoli pubblicati nello stesso periodo. Ci si dovrebbe aspettare la stessa proporzione per le citazioni. Anche qui dovremmo "normalizzare"? Aggiungo che non basterebbe normalizzare per "settore scientifico disciplinare" perché, ad esempio "partial differential equations" e "abstract harmonic analysis" appartengono allo stesso settore scientifico-disciplinare italiano (MAT05 Analisi matematica), ma la sproporzione tra numero di articoli pubblicati è ancora maggiore: (approssimativamente lo 0,5% dei lavori di matematica pubblicati è classificato come "abstract harmonic analysis").

Mi sembra ragionevole, ma non facile da implementare.

Lo stesso fenomeno si osserva considerando la lista dei matematici "top", come ho osservato qui

Non facile da implementare, ma nemmeno troppo difficile per la matematica. E' facile contare gli articoli pubblicati in ognuno dei settori associati alle prime due cifre della classificazione di MathReviews, mettiamo per un certo numero di anni, ad esempio pubblicati in un triennio non troppo vicino al 2011 e posteriore al 2001. Più difficile è contare le citazioni di questi articoli. Ma per una stima del numero di citazioni si potrebbe considerare, invece dell'universo dei lavori recensiti da MathReviews, un campione aleatorio stratificato per settore. All'interno di questo campione aleatorio, molto più ridotto,  si potrebbero contare direttamente le citazioni di tutti gli articoli.  La mia congettura è che il numero di citazioni medio in ciascuno dei settori determinati dalle prime due cifre della classificazione, sia proporzionale al numero degli articoli pubblicati nello stesso settore. Se questa congettura fosse verificata in questo contesto, aiuterebbe a comprendere il significato che possiamo dare al numero di citazioni come misura della qualità, anche in altri campi dove non abbiamo banche dati complete come quella di MathReviews. Naturalmente il numero delle citazioni influenza tutti gli altri indici "bibliometrici" dall'indice H allo Impact Factor. Infine è bene osservare che è anche possibile sostenere che gli articoli di migliore qualità sono quelli che si occupano di problemi ai quali si interessa il maggior numero di studiosi. Non è una opinione da scartare a priori. Si può anche ritenere però che chi segue le mode o le grandi scuole finisca per rinunciare ad essere particolarmente originale. La mia opinione è più orientata su quest'ultimo versante e temo che l'enfasi sul numero delle citazioni abbia conseguenze negative sule scelte dei giovani (matematici) che, quando sono bravi, dovrebbero cercare di arrivare a risultati veramente nuovi ed originali, invece di svolgere esercizi di ricerca al seguito delle grandi scuole.

Avete mai pensato alla dipendenza del numero di citazioni dal numero degli articoli pubblicati sullo stesso argomento?

Assai. È fenomeno noto. In economia, per esempio, i migliori papers di teoria hanno un numero miserrimo di citazioni rispetto anche (mediocri) papers di cose "applicate", specialmente microeconometria dell'area cosidetta di "labor" ...

Un'altra ragione per cui indicatori monotoni lasciano molto a desiderare.

Valutare un ricercatore sulla base del numero medio di citazioni lo indurrebbe a pubblicare solo quando ritenesse di fare meglio che in passato: non mi sembra il migliore incentivo possibile. Se invece il ricercatore può scegliere quali pubblicazioni mettere in gioco, allora lo si sta valutando sulla base del numero di citazioni ricevute dal suo articolo migliore: mi sembra più utile ad assegnare un posto nella storia che ad attribuire uno stipendio. All'altro estremo c'è il semplice conteggio delle pubblicazioni (che tiene conto solo della quantità e ignora completamente la qualità). In medio stat virtus? Con tutti i limiti, si intende, che l'uso delle citazioni per misurare l'importanza di un articolo porta con sé.

marcomariotti (http://www.noisefromamerika.org/index.php?module=comments&func=display&cid=59301&objectid=2111&modid=151&itemtype=1&thread=1#d59301) ha afferrato perfettamente il ragionamento:

[...]

Mi dispiace, siete in due ora a non capire. Comincio ad avere dubbi ...

Ci provo, per l'ultima volta.

Il criterio che suggerite ha svariati difetti perché, ripeto, è un criterio MONOTONO rispetto alla dimensione dell'insieme. Questo implica che è un criterio che valuta la QUALITA' di un ricercatore (o, ancor meglio, gruppo di ricercatori) concentrandosi sui valori massimi raggiunti da questi e tralasciando tutte le bad performances. Questo è platealmente assurdo. Si considerino due casi, frequenti.

- Una persona ha un random hit, con tantissimi citazioni e tutto il resto, e poi scrive solo cazzate il resto della sua vita. Anzi, scrive cose sbagliate, non lavora più, ha idee assurde, rovina gli studenti, e via dicendo. Esempi del genere abbondano. Secondo il vostro criterio questo soggetto dovrebbe essere valutato solo perché, per un qualche caso, un giorno ha scritto una cosa buona. Assurdo: scrivere puttanate è socialmente negativo e va "punito" da un criterio di valutazione appropriato.

- Lo stesso vale per un gruppo. Il vostro criterio nemmeno controlla per la dimensione dell'insieme: chi scrive tanto ha per definizione tanti punti, assurdo. Dipartimenti o gruppi grandi hanno indici più alti semplicemente perché mettendo assieme tanta gente aumenta la probabilità di avere un qualche paper che ha avuto successo. Gli incentivi che questo criterio induce, per la selezione del personale, sono estremamente distorti. Direi pessimi. Induce a costruire centri enormi i cui membri, dopo aver fatto un lavoro decente, hanno tutto l'interesse a non fare mai niente.

- Soprattutto, non sembrate cogliere l'aspetto "incentivi": ogni meccanismo di valutazione induce incentivi di un certo tipo. Quello che suggerite induce, a livello di gruppo, l'incentivo che ho appena descritto. Ossia alla creazione di gruppi pletorici alla ricerca del colpo di genio casuale, senza alcuna penalizzazione all'inattività o, peggio ancora, alla produzione di cazzate! Se avessi seguito questo criterio non avrei mai scritto più nulla dopo la mia tesi di PhD: un paper contenuto in essa è di gran lunga la cosa, dal punto di vista strettamente teorico, più importante che abbia mai scritto! Bell'incentivo del menga avrei avuto.

Infine, ripeto per l'ennesima volta, io NON ho detto che le valutazioni si fanno SOLO in base alla media. Ho solo detto che il criterio suggerito da GdeN è assurdo (e lo ribadisco) e che ANCHE la perfomance media deve far parte di un criterio socialmente ammissibile di valutazione.

OVVIAMENTE un funzionale di valutazione della qualità non può non essere composto di svariati indici, con differenti pesi (e qui sta la complicazione oltre che la ragione per cui sono a favore del mercato). Infatti, personalmente lo trovo un problema molto complicato e, per questa ragione, rifuggo dalle soluzioni semplici e chiaramente incongrue come quella che ci e' stata qui suggerita.

Sul mercato sono d'accordo con te (proprio perche' i criteri 'oggetivi' sono soggettivi, come questa discussione ben dimostra).

Sul punto in questione continuo ad essere d'accordo con Denicolao. Se X scrive un top paper e poi cose leggere, e Y un top paper e poi niente, la proprieta' non vieta di dare lo stesso punteggio ad entrambi (sto identificando i due top papers come lo stesso oggetto per evitare discussioni sul coautoraggio, che e' yet another issue). La tua obiezione e' che tu vuoi che X sia attivamente punito, non semplicemente che la sua pubblicazione leggera non conti nulla. Boh, cosa vuoi che ti dica, a me questo sembra francamente assurdo, ma let's agree to disagree.

Sugli incentivi, non vedo come

Induce a costruire centri enormi i cui membri, dopo aver fatto un lavoro decente, hanno tutto l'interesse a non fare mai niente.

o

Se avessi seguito questo criterio non avrei mai scritto più nulla dopo la mia tesi di PhD:

risulti dalla Denicolao-monotonicity. Mi sembra che ti dia la zappa sui piedi con questi esempi perche' (come sottolineato da un altro lettore) e' proprio la media ad avere questo effetto di incentivo: una volta fatto lo hit, ogni cosa abbassa la media.

Secondo me nella foga della discussione stai forse dando una rappresentazione un po' caricaturale di come funziona la ricerca e i gruppi di ricerca, e stai trascurando le motivazioni intrinseche. In Italia c'e' ogni tipo di perversione perche' nel sistema si e' infiltrato un numero enorme di persone che sono motivate da cose che non sono la ricerca, e per eliminarle puoi pescare un indice a caso, media, moda, massimo, che tanto va bene, tanto sono scarsi.

Secondo me nella foga della discussione stai forse dando una rappresentazione un po' caricaturale di come funziona la ricerca e i gruppi di ricerca, e stai trascurando le motivazioni intrinseche. In Italia c'e' ogni tipo di perversione perche' nel sistema si e' infiltrato un numero enorme di persone che sono motivate da cose che non sono la ricerca, e per eliminarle puoi pescare un indice a caso, media, moda, massimo, che tanto va bene: tanto sono scarsi.

Ecco, questo mi sembra il punto chiave.

Incaponirsi a cercare il metodo perfetto rischia di generare discussioni interminabili, finendo per portare acqua al mulino di chi, temendo la valutazione, vuole spostarla oltre la linea dell'orizzonte: questa strategia dilatoria ricorda l'astuzia di Bertoldo, il quale riusci' ad ottenere di scegliere la pianta alla quale venir impiccato... :)

Marco, rispondo per l'ultima volta perché mi sembra che "nella foga della discussione" anche tu abbia preso l'abitudine di non leggere quello che uno scrive. Rileggiti (sulla media e sui criteri di valutazione) il mio commento a cui rispondi. Non so che farci se né tu, né "l'altro lettore", non riuscite a capire la differenza fra

(A) Usare un criterio che ESCLUDE la media come indice di qualità (la negazione di questa proposizione è usare criteri che AMMETTONO la media come uno degli indici di qualità.)

(B) Usare un criterio che IMPONE la media come indice di qualità (la negazione di questa proposizione è usare un criterio che NON IMPONE la media come indice di qualità).

Il dibattito è (A), mentre sia tu che il lettore continuate a far finta che sia (B).

Sul resto, sembri non ricordare cose che credevo chiare e limpide fra chi si occupa di questi argomenti. Le riassumo brevemente:

- Un mostrare che un assioma è "cattivo" basta mostrare che porta a risultati assurdi in istanze ragionevoli. Il fatto che in altre istanze funziona, prova nulla.

- L'idea che la qualità di un insieme sia funzione crescente della sua dimensione è platealmente assurda sul piano intuitivo. Confonde, banalmente, quantità e qualità!

- Se tu leggessi quanto ho scritto capiresti che le mie affermazioni sugli incentivi "distorti" sono una critica al TUO esempio, ossia al caso del signore che scrive una cosa geniale e poi valanghe di minchiate e che, secondo te, dovrebbe essere valutato in base alla cosa geniale. In generale, il criterio del max, che sembra piacerti, induce la seguente stopping rule: once you hit a home run do not write anything anymore. Non so come tu non possa cogliere questa banale implicazione

Infine, nota che gli esempi del genio che scrive un grande paper e poi una sequenza di mediocrità soddisfano solo "debolmente" il criterio di GdeN. Infatti, di per se, il criterio che GdeN si è inventato, con l'unico e plateale scopo di poter così evitare di confrontarsi con i risultati del lavoro di Roberto Perotti, è un criterio utile per definire un indice di QUANTITA', non di QUALITA'!

Non so ragazzi, mi sembrate davvero partiti per la tangente ideologica. Siete, apparentemente, dell'opinione che il sottoinsieme dei 10 migliori giocatori di scacchi del paese debba avere una qualità inferiore (nel gioco degli scacchi) dell'insieme di tutti i cittadini del paese X!

Caro Michele, al contrario, leggo con molta attenzione quel che scrivi. Riassumendo:

DeNicolao cercava un indice di valutazione individuale (i tuoi esempi sui gruppi, scacchisti, eccetera fanno solo confusione in una discussione gia' difficile, perche' l'aggregazione delle valutazioni individuali e' un problema ulteriore), e ha proposto una proprieta' per questo indice.

Tu hai detto che la proprieta' e' assurda perche' 'esclude la media'.

Io e altri abbiamo detto che la media e' un cattivo indice e che la proprieta' e' sensata.

Tu hai a questo punto hai specificato che non hai mai proposto SOLO la media, ma che la media deve far parte di un (fantomatico) insieme di criteri. (Non hai perso l'occasione per accusarmi di non capire la logica elementare ne' cosa significa un assioma).

Rassegnati: io continuo serenamente a pensare che, per la ricerca individuale, la media sia un indice cattivo e vada escluso.  Per il semplice motivo che se (nel periodo di valutazione) scrivo un paper con 100 citazioni non mi sembra giusto che il mio indice cada se ne scrivo un altro con 50 citazioni, e che starei meglio se non facessi nulla. Non mi sembra un concetto difficile da capire ne' un'idea strampalata.

Tre chiarimenti finali:

1) La 'tangente ideologica' per cui sarei/emmo partiti esiste, per quel che mi riguarda, solo nella tua testa perche', non inizio neanche a capire di quale ideologia stai parlando: sto parlando di monotonicita', punto.

2) Tu dici che a me piace il max, cosa che non e' vera. Di nuovo, se scrivo un paper con 100 citazioni e uno con 50 secondo me e' meglio che se ne scrivo solo uno con 100, e se ne scrivo due da 100 e' meglio che se ne scrivo uno solo. Mi cadono le braccia a dover chiarire queste cose.

3) Per me e' una discussione puramente teorica: non sono un fan degli indici; non sono un fan delle citazioni; credo come Fausto e gli altri matematici che gli indici siano soggettivi e che solo chi e' abbagliato dai numeri possa considerarli oggettivi; credo infine che per quanto riguarda l'Italia, come ho gia' detto piu' volte, la discussione sia ancora piu' irrilevante, per i motivi spiegati da GF.

 

E' una discussione astratta anche per il semplice motivo che assume che io possa prevedere a priori il numero di citazioni che un paper può ricevere. Ovviamente questo è impossibile. E' già difficile prevedere in quale rivista sarà accettato e dopo quanto tempo e quante faticose revisioni.

Son d'accordo - ma a me le discussioni astratte, anche se portano poche citazioni, piacciono :)

A rischio di dire stupidaggini, e denigratemi senza pietà se lo sto facendo, a me sembra che l'incentivo a scrivere un paper in più sia più forte per la media che per il max. Ammesso che ci sia un costo marginale positivo, un ricercatore scrive un paper solo se aumenta il ritorno in termini di valutazione (aumenta l'indice di valutazione). Nel caso della media, il ritorno aumenta se si aspetta di ottenere più citazioni dal paper della sua media attuale, nel caso del max se si aspetta di ottenere più citazioni del miglior paper. Tutti i papers che si scrivono col criterio del max si scrivono col criterio della media, mentre non è vero il contrario. O no?

Yup. Grazie Luigi.

Caro Luigi, quello che scrivi e' vero anche se purtroppo non ci vincerai il Nobel....

Chiarisco che io non ho proposto il max come criterio: quello era solo l'uso da parte di Michele di un noto artificio retorico (attribuire all'interlocutore  una cosa X che non ha detto e poi attaccare X per denigrare l'interlocutore). Comunque, nel contesto di esempi estremi (parti con una cosa geniale e poi solo minchiate), ogni articolo successivo a quello geniale abbassa la media.

anche se purtroppo non ci vincerai il Nobel....

c'ho rinunciato da tempo, punto sullo scudetto del Napoli come soddisfazione personale.

Nel caso della media (e non in quello del max) il ritorno può essere negativo.

Direi dunque che la validità della tua affermazione dipende dalla maggiore o minore propensione al rischio del ricercatore.

È vero l'opposto visto che mean(A) ≤ max(A) ... se il payoff è positivo rispetto a max, lo sarà di certo rispetto a mean

Nel caso della media, se il ritorno è incerto e la prospettiva di abbassarla mi spaventa più di quanto mi lusinghi la prospettiva di aumentarla, sceglierò di non pubblicare; con il massimo, invece, pubblicando non corro alcun rischio (pago solo il costo di pubblicare).

Credo che possiamo concordare sia sull'incertezza del ritorno che sul ragionamento (eventualmente formalizzandolo) così come credo concordiamo sul fatto che le motivazioni importanti per scrivere o non scrivere sono altre (e altre devono rimanere).

Ai fini pratici, poi, ma lo scrivo solo perché ho voglia di scriverlo, mi pare ci voglia poco per mettere le cose a posto: si può considerare la media delle migliori 10 pubblicazioni, dove 10 è un arbitrario numero scritto in base se stesso e proporzionale alla durata dell'attività di ricerca... usiamo una sorta di media, abbiamo la proprietà di monotonia, bilanciamo quantità e qualità (con un po' di clemenza nei confronti delle fesserie "a margine") e non permettiamo ad alcuno di sedersi sugli allori; certo, non lo nego, abbiamo bisogno di un'opinione esperta per stabilire quanto vale 10... ma davvero se ne può fare a meno?

accettando le citazioni come misura della preparazione di una persona le varianti fin qui proposte non mi rislvono un dubbio

immaginiamo A e B attivi da 15 anni

citazioni di A primo quinquennio 100 secondo 50 terzo 20

citazioni di B primo quinquennio 20 secondo 50 terzo 100

dovendo promuovere , assumere o quanto altro A o B tutti gli indici fin qui elaborati direbbero che sono pari

io invece , integrando l'automatismo con un mio giudizio soggettivo , preferirei B

sbaglio? Oppure gli indici automatici da soli non funzionano ( sempre ammesso che siano costruiti su misure valide : e penso sempre alle pubblicazioni di medicina con 10 coautori fra i quali sempre il "capo").

Caro Lallo, dipende per cosa usi gli indicatori bibliometrici, e come li usi. Ti faccio un esempio pratico.

Attualmente  da noi (ogni anno, per la ripartizione dei fondi d'ateneo) ciascuno viene giudicato  considerando la produzione scientifica che cade nella finestra degli ultimi 5 anni (ovvero l'attivita' recente): questo dovrebbe mitigare l'inconveniente che segnali.

Tra l'altro, il fatto di lavorare con una "finestra mobile" garantisce  che non basti fare un lavoro ottimo per vivere poi di rendita.

Certo: se questo criterio dovesse essere l'unico strumento di un'ipotetica valutazione che deve decidere se e' meglio A o B,  l'inconveniente che segnali (e molti altri) non potrebbero essere trascurati.

l'incertezza non la stavo proprio considerando a dire il vero, assumevo che il ricercatore sa esattamente quante citazioni ottiene dall'articolo in più.

E' bellissimo che nella ricerca dei chimerici indici 'oggettivi' di qualita' questa discussione sottolinei cosi' bene la loro totale soggetivita': due persone ragionevoli non sono d'accordo nemmeno sulle proprieta' fondamentali che un indice di qualita' deve possedere! 

Sul punto specifico, personalmente la proprieta' proposta da Denicolao mi sembra piu' che accettabile, mentre la media mi sembra inaccettabile (intesa come indice di qualita').

Pensaci Michele: sei Francis Crick e hai scritto due dei papers piu' fondamentali della storia della scienza, sulla struttura del DNA (oppure sei proprio Michele Boldrin e hai scritto due noti lavori sull'accumulazione del capitale). A questo punto scrivi altri papers, sempre fantastici, citatissimi e ben sopra alla media nazionale, ma non al livello quasi irraggiungibile degli altri due: se un moloch valutativo usa la media come criterio per giudicarti, devi immolare quegli altri tuoi pur bellissimi lavori per non 'abbassare la tua qualita'! 

Sulla questione di base della valutazione della ricerca in Italia, poi, concordo con la filosofia espressa mi sembra da Giovanni Federico: la situazione e' talmente patetica che anche mettendo paletti bassissimi, e usando criteri/indici qualsivoglia, si farebbe comunque una selezione mostruosa (stiamo parlando di gente che ha zero papers nell'universo di riviste che hanno, con qualsiasi possibile e soggettivo ma sensato criterio, un minimo di credibilita' internazionale).

 

 

[...] Sulla questione di base della valutazione della ricerca in Italia, poi, concordo con la filosofia espressa mi sembra da Giovanni Federico: la situazione e' talmente patetica che anche mettendo paletti bassissimi, e usando criteri/indici qualsivoglia, si farebbe comunque una selezione mostruosa (stiamo parlando di gente che ha zero papers nell'universo di riviste che hanno, con qualsiasi possibile e soggettivo ma sensato criterio, un minimo di credibilita' internazionale).

Cio' che dici mi sembra abbastanza saggio. Del resto non ha molto senso rincorrere l'indicatore perfetto: meglio usare indicatori sensati ma imperfetti, tarati con un po' di tolleranza.

Puoi usare il metodo automatico  quando c'e' da prendere una decisione binaria (tipo: scatto di stipendio meritocratico, eleggibilita' come commissario, etc.), o per valutazioni aggregate (anche se qui le cose diventano piu' delicate).

Se invece devi decidere chi vince un concorso, puoi usare il metodo automatico al massimo per fare una scrematura, non per determinare il vincitore.

Puoi usare il metodo automatico  quando c'e' da prendere una decisione binaria (tipo: scatto di stipendio meritocratico, eleggibilita' come commissario, etc.), o per valutazioni aggregate (anche se qui le cose diventano piu' delicate).

Quindi siamo d'accordo. Ho sempre parlato di indicatori  automatici per la distribuzione dei fondi fra Università o  Università + settori disciplinari (la soluzione da me preferita) o per la valutazione di produttivtà scientifica indivuale (la legge Gelmini, che è una soluzione inferiore ma comunque meglio dell'arbitrio)- mai per i concorsi.

Se invece devi decidere chi vince un concorso, puoi usare il metodo automatico al massimo per fare una scrematura, non per determinare il vincitore.

Guardi che il concorso  è stato abolito dalla legge Gelmini. RIP. Devo dire che non provo alcuna nostalgia. Ho visto  troppe porcate (non a Matematica, ovviamente, e neppure a Fisica Teorica) in nome della valutazione personale da parte dei commissari Ora si parla di abilitazione nazionale (scrematura) più selezione locale.

RIP

Carlo Carminati 4/1/2011 - 18:52

Guardi che il concorso  è stato abolito dalla legge Gelmini. RIP.

Hai perfettamente ragione, mi sono espresso male (e chi parla male, pensa male :).

Io stavo pensando al cosiddetto "concorsone" o, meglio, alla idoneità nazionale aperta.

Devo dire che non provo alcuna nostalgia. Ho visto  troppe porcate (non a Matematica, ovviamente, e neppure a Fisica Teorica) in nome della valutazione personale da parte dei commissari Ora si parla di abilitazione nazionale (scrematura) più selezione locale.

Scrematura? Mi sembri molto ottimista.

Non mi è poi chiaro che le selezioni locali non saranno ancora peggio degli attuali concorsi locali, ma a questo punto, concordo con te, è tutto nelle mani del Ministro. Il che, forse, è parte del problema.

Guardi che il concorso  è stato abolito dalla legge Gelmini.

Veramente?  Non ho letto l'ultima versione del DDLD Gelmini, ma a me tornava che:

  1. rimane il concorso per ricercatore, che sara' ancora piu' importante di quelli esistenti perche' mediante abilitazione nazionale dopo 6 anni dovrebbe garantire il posto permanente al livello di associato
  2. rimane il concorso per passare da associato ad ordinario, e il concorso per trasferimento da un Ateneo all'altro
  3. rimangono i concorsi locali per associato, per i ricercatori in esaurimento, anche se abilitati nazionalimente

No il concorso tradizionale, con commissari rappresentanti la disciplina a livello nazionale (eletti o estratti) è stato abolito. E' stato sostituito da una abilitazione nazionale a numero aperto (giudizio di idoneità). A regime, ci sarà una valutazione comparativa puramente locale, con membri interni, riservata agli idonei. Sono meccanismi totalmente diversi.

??

Carlo Carminati 4/1/2011 - 23:31

Comincio ad essere confuso.

Due domande:

1) I famosi concorsi da associato (if any :) che dovrebbero svolgersi in attesa che vada a regime il meccanismo della tenure come si svolgeranno?

2) Seconda domanda   (che, personalmente, mi interessa ancor di piu'): si sa gia' quale sara' il meccanismo di ricostruzione della cariera?

Con il nuovo metodo (art 29): abilitazione e chiamata

"A valere sulle risorse previste dalla
legge di stabilita` per il 2011 per il fondo
per il finanziamento ordinario delle universita`,
e` riservata una quota non superiore
a 13 milioni di euro per l’anno 2011,
93 milioni di euro per l’anno 2012 e 173
milioni di euro annui a decorrere dall’anno
2013, per la chiamata di professori di seconda
fascia, secondo le procedure di cui
agli articoli 18 e 24, comma 6, della presente
legge"

Per la ricostruzione della carriera, studiati la legge. Io sono gà ricostruito da tempo. Anzi fra poco me ne vado in pensione :-)

 

[...] secondo le procedure di cui agli articoli 18 e 24, comma 6, della presente legge

quindi ci dovrebbero essere concorsoni nazionali di abilitazione all'associatura, e poi ciascuna sede chiama gli idonei che preferisce, vero?

Per la ricostruzione della carriera, studiati la legge. Io sono gà ricostruito da tempo. Anzi fra poco me ne vado in pensione :-)

L'ultima volta che avevo letto la legge mi sembrava che la cosa non fosse cosi' chiara (forse rimandava a qualche regolamento futuro). Ad ogni modo non c'e' fretta: prima del prossimo concorsone passeranno moltio mesi.

Comunque, anche al di la' dell'interesse personale, penso sia una questione non secondaria per valutare gli effetti del provvedimento nel suo complesso.

Se i regolamenti si conformeranno alle intenzioni d chi ha proposto l'abolizione della ricostruzione di carriera, il salario di ingresso nel ruolo dovrebbe essere quello che si ottiene ora con il massimo della ricostruzione della carriera. Questo eliminerebbe l'attuale discriminazione tra chi entra in ruolo forte di una carriera pregressa e chi "viene da fuori". Sarebbe allora forse più facile reclutare esterni al sistema. Il costo di questa operazione sarebbe minimo perché attualmente la stragrande maggioranza di chi entra in ruolo (di prima o seconda fascia) ricostruisce al massimo la carriera (i matematici sono un'eccezione trascurabile). Lo scopo quindi di questa abolizione è di eliminare una discrminazione e favorire il reclutamento di esterni al sistema universitario

Grazie della notizia. Anzi, delle notizie, una buona, una cattiva.

La buona e' evidente, la cattiva e' che i regolamenti ancora non ci sono.

Qualcuno ha idea dei tempi necessari all'emanazione?

Se i regolamenti si conformeranno alle intenzioni d chi ha proposto l'abolizione della ricostruzione di carriera, il salario di ingresso nel ruolo dovrebbe essere quello che si ottiene ora con il massimo della ricostruzione della carriera. Questo eliminerebbe l'attuale discriminazione tra chi entra in ruolo forte di una carriera pregressa e chi "viene da fuori". Sarebbe allora forse più facile reclutare esterni al sistema.

Non vorrei fare l'ucccello del malaugurio ma la discriminazione (sbagliata e provinciale) contro "chi viene da fuori" viene eliminata anche inquadrando tutti i nuovi assunti ad anzianita' zero. Per l'inquadramento alla massima anzianita' ricostruibile la vera giustificazione sarebbe rendere decentemente comparabile con l'estero il compenso dei candidati provenienti da Paesi avanzati fuori dall'Italia. Spero che ci sia questa sensibilita' nei legislatori, ma non ci scommetterei troppo.

Non vorrei fare l'ucccello del malaugurio ma la discriminazione (sbagliata e provinciale) contro "chi viene da fuori" viene eliminata anche inquadrando tutti i nuovi assunti ad anzianita' zero. Per l'inquadramento alla massima anzianita' ricostruibile la vera giustificazione sarebbe rendere decentemente comparabile con l'estero il compenso dei candidati provenienti da Paesi avanzati fuori dall'Italia. Spero che ci sia questa sensibilita' nei legislatori, ma non ci scommetterei troppo.

Caro Alberto, circa un mese fa ne avevo parlato col nostro direttore di dipartimento (Marco Abate, persona estremamente preparata e meticolosa) il quale mi aveva detto che la ratio del provvedimento era quello di diminuire la pendenza della curva della progressione salariale (come peraltro da te auspicato).

Ma, ovviamente, stiamo facendo il processo alle intenzioni: se il governo finisce a carnevale, dubito che MSG riesca a combinar alcunche' (e il successore avra' buon gioco a scaricar tutte le responsabilita' su di lei in caso di eventuali inadempienze o pasticci).

P.S. [precisazione successiva al commento di Alberto]
qui sopra intendevo dire:
"la ratio del provvedimento era quello di diminuire la pendenza della curva della progressione salariale mantenendo pero' invariata la remunerazione complessiva lungo la carriera lavorativa media" (la parte in grassetto  sopra mancava).

 

Caro Alberto, circa un mese fa ne avevo parlato col nostro direttore di dipartimento (Marco Abate, persona estremamente preparata e meticolosa) il quale mi aveva detto che la ratio del provvedimento era quello di diminuire la pendenza della curva della progressione salariale (come peraltro da te auspicato).

Bene, ottima premessa. Peraltro, scusandomi per essere monotono, osservo che la pendenza si riduce diminuendo gli scatti di anzianita', non alzando il salario di prima assunzione...

Il salario di prima assunzione puo' essere alzato per due ragioni: 1) per mantenere invariata la remunerazione complessiva lungo la carriera lavorativa media, compensando la riduzione della progressione economica di anzianita' e 2) per rendere i compensi italiani piu' simili ed appetibili rispetto a quelli degli altri Paesi avanzati nel reclutamento dei giovani. La struttura dei salari italiani e' tale che solo accademici stranieri vicini alla pensione hanno interesse alle posizioni italiane, almeno dai Paesi avanzati. Un incentivo ridicolo e nocivo, come spesso accade in Italia. AFT scrive che attrarre stranieri ed esterni era motivazione sentita da chi ha scritto l'articolato: bene, adesso speriamo che alle intenzioni corrispondano i fatti.

Non ho dubbi che chi ha scritto la norma pensasse proprio al reclutamento di personale all'estero. La norma si trova nel DDL originale e chi l'ha scritta è un consigliere della ministra con una ampia esperienza di insegnamento universitario all'estero.

Interessante. Avete appena finito di argomentare che, su un paio di questioni importanti, qualcosa di buono ed utile, nella legge appena approvata, c'è ...

Certo: su molte questioni importanti (anzi, essenziali) ci sono amplissimi margini di manovra.

Il problema e' il seguente: chi manovra e' ora solo MSG, e quel che abbiam visto finora non induce all'ottimismo.

(BTW: qualcuno ha notizie del "PRIN 2009"? :)

 

Caro Michele, mi semba che "ex" regga l'ablativo e non l'accusativo. Comunque "ex falso quodlibet sequitur" come prescritto dalle tavole di verità della implicazione.

Sandro, hai ragione. La memoria ha fatto un brutto scherzo!