Titolo

La produttività scientifica dell'Italia

8 commenti (espandi tutti)

Segnalo un'elaborazione del Gruppo di Genetica Molecolare del Dipartimento di Biologia dell’ Università di Roma “Tor Vergata” che ha svolto una serie di studi relativi alla valutazione del sistema universitario, pubblicata su pubblico ergo sum. Sono interessanti i risultati  in cui i risultati del CIVR sono confrontati con analoghe analisi effettuate usando Google Scholar, ottenendo una eccellente correlazione (ad un costo enormemente inferiore!).

Aggiungo che ritengo che Google Scholar sia in realta' piu' attendibile del CIVR, perche' (con approssimazione) cattura la produzione scientifica totale e non una piccola selezione che nel caso del CIVR e' stata effettuata con criteri disomogenei dai singoli Atenei, anche perche' in assenza di criteri chiari e trasparenti su come i titoli sarebbero stati valutati.

 

Domanda per gli addetti ai lavori:

Quanto sono affidabili i software come Google Scholar, Publish or Perish ed altri nell'evitare double counting nel caso di pubblicazioni piu' o meno identiche? Il problema mi sembra rilevante, soprattutto (ma non solo!) quando si includono nella lista i working paper (anche quelli "di alto profilo" tipo CEPR o NBER per intenderci, non solo quelli di dipartimento) e non ci si limita a giornali veri e propri con peer review.

 

Non sono un esperto della materia, ma mi sembra che contando le citazioni, le pubblicazioni identiche sono fortemente soppresse.  Se devo citare qualcosa, cito solo una delle possibilmente molteplici pubblicazioni equivalenti. Una correzione necessaria per evitare distorsioni e' comunque quella delle auto-citazioni, i lavori sul ranking che ho sbirciato la considerano esplicitamente.

 

Luigi, IF o H number sono un po' come il numero di gol in serie A. Per vincere il pallone d'oro fa una grossa differenza avere uno score di 40 o di 2 gol. Ma tra 40 e 35 c'e' ben poca differenza. Per questo il margine d'errore che deriva dal numerino non e' poi cosi' importante. Nessuno e' stato o sara' mai assunto o pagato soltanto sulla base di un numero messo vicino al curriculum. 

Per uno del campo che deve confrontare due persone che hanno gia' un buon numero di pubblicazioni (diciamo >10) basta scorrere il cv velocmente per capire se i due giocano nella stessa league o no, senza bisogno di conoscere nessun numero. Il numero serve soltanto nel momento in cui devi tirare le somme e non hai il tempo o le conoscenze di guardare il lavoro del singolo (come nel lavoro del CIVR o in quello citato oggi da Alberto).

L'italia vive in un mondo tutto suo: se dovessimo mai iniziare a parlare di finanziamenti basati su IF salteranno su le voci di quelli che dicono che non e' giusto dare a chi ha 15.3 di piu' piu' che non a chi ha 15.2; tutto questo mentre Brunetta e' candidato al nobel, la carfagna ministra e lapo guida la fiat.

 

Non ti seguo piu' di tanto.

Se due "giocano nella stessa league" ma puoi dare l'aumento/promuovere solo uno di questi cosa fai?  Guardi al numerino, decimali compresi? Lo calcoli tu o lo fai calcolare dal programma? Se lo fai calcolare dal programma: quanto e' "robusto" questo calcolo? Per esempio: il sistema filtra eventuali pubblicazioni multiple?

La frase "Nessuno e' stato o sara' mai assunto o pagato soltanto sulla base di un numero messo vicino al curriculum" promette bene ma spiega poco! :)

Infine:  sono discorsi / curiosita' abbastanza astratte le mie, certo non voglio mettermi a parlare della situazione italiana.

Grazie

 

Se due "giocano nella stessa league" ma puoi dare l'aumento/promuovere
solo uno di questi cosa fai?  Guardi al numerino, decimali compresi? Lo
calcoli tu o lo fai calcolare dal programma? Se lo fai calcolare dal
programma: quanto e' "robusto" questo calcolo? Per esempio: il sistema
filtra eventuali pubblicazioni multiple?

Eh, sono stato un po' troppo criptico. Il punto e' che il numerino non ti permette di farti un giudizio sulla persona perche' il margine di errore e' molto alto, per motivi anche ben piu' radicati di quelli che osservi tu. Ti faccio un esempio: il H number calcolato con i sistemi tradizionali prende in considerazione tutti gli articoli che portano il nome di un autore e da' loro lo stesso peso nel calcolo.

Questo nel campo medico e' semplicemente sbagliato perche' di solito il nome degli autori e' disposto in ordine di contributo. Tra cio' che ha fatto colui che figura come primo nome e cio' che ha fatto colui che figura come penultimo c'e' un abisso. In fisica e in matematica i nomi degli autori sono disposti in ordine alfabetico e quindi e' ancora piu' complicato identificare chi ha dato il contributo maggiore ad un lavoro. Per questo motivo, quando si tratta di assumere o pagare una persona il numero non viene mai preso in considerazione: semplicemente ti siedi li' e ti guardi cosa, come e quando ha pubblicato tizio, leggendoti i lavori sperabilmente. E poi ti fidi sulle lettere di referenza (che sono referenze vere, non referenze all'italiana). Questo e' quello che avviene regolarmente fuori dall'Italia al momento dell'assunzione, o quello che fanno i cossiddetti peer reviewers per i finanziamenti.

L'utilizzo del numerino in Italia servirebbe non a valutare il singolo individuo ma al limite il dipartimento o l'universita'. Sarebbe utile quando cioe' non hai il tempo materiale o le conoscenze per analizzare i singoli CV - anche perche' in quel caso il margine di errore diventa meno pesante.  

il numero non viene mai preso in considerazione

Rilancio, giusto per parlare.

Il mio coinquilino insegna ingegneria/scienza dei materiali fra UK (Imperial) e Australia. Domenica mattina chiaccherando davanti al caffe' ha ripetuto piu' volte frasi come "alla fine dell'anno io mi siedo davanti al capo del mio dipartimento e lui guarda l'impact factor". Seguivano aneddoti divertenti:

1) sullo stato della disciplina in Cina, dove pare che la concorrenza sfrenata ed un utilizzo scriteriato di criteri numerici stiano portando i ricercatori a "play the measure" nei modi piu' bizzarri e scorretti possibili.

2) sulle riviste, che spesso spingono,  in maniera piu' o meno palese e "corretta", ad inserire citazioni "gradite" prima della pubblicazione dei pezzi.

Insomma, a sentire lui nel suo campo "il numero" e' la prima cosa che si guarda, anche a livello "micro"...

L'h-index ed i suoi derivati (come il w-index o il g-index) valutano, per costruzione, le citazioni e non le pubblicazioni. Quindi un articolo con poche o nessuna citazione non conterà nulla e quindi mi sembra ragionevole sostenere che evitano il problema delle pubblicazioni doppione. Immagino che si possano presentare dei controesempi ma sarebbero casi patologici che, in una discussione generale come questa, interessano poco.

Detto questo gli indicatori bibliometrici hanno un sacco di problemi ma sono pur sempre meglio di nulla almeno per dare una valutazione grossolana (il mio h-index è 6, quello di P.W. Anderson è 40, direi che non ci vuole un gran genio a concludere che lui ha vinto il nobel mentre io faccio il post-doc).