Brunetta, LaVoce.info e l'importanza di andare alla fonte

I fatti.

Il ministro Brunetta, insediato nel maggio 2008, inizia subito una campagna contro l'assenteismo nella Pubblica Amministrazione. È un'ottima idea. Una riforma del funzionamento della PA italiana, in modo da renderla efficiente, utile e soprattutto responsabile davanti ai cittadini, ci pare fondamentale per il paese. Non abbiamo alcun dubbio che questo sia anche ciò che desidera ed auspica la grande maggioranza del popolo italiano.

Quali sono i risultati di questa campagna? Cosa è stato fatto? Ci sono stati risultati oggettivi e misurabili? Secondo i colleghi de LaVoce Brunetta ha fatto "parecchio", secondo il ministro medesimo ha fatto più che parecchio, ha fatto quasi dei miracoli. Proviamo a rispondere seriamente a queste domande. Da economisti e non da politici. Fonderemo le risposte in gran parte sull'analisi dei dati che Giulio Zanella ha fatto per nFA.

Effetto Annuncio: Brunetta, pochissime settimane dopo aver annunciato le proprie intenzioni, afferma anche di aver raggiunto risultati mirabolanti, persino prima del passaggio di qualunque provvedimento legislativo. A quel punto, Giulio Zanella pubblica un articolo in cui si rilevano un paio di cose. Riassumiamo brevemente:

1) I dati rivelano che l'assenteismo ha cominciato a calare dal 2004. Un eventuale calo dal Maggio 2008 non potrà essere applicato totalmente all'effetto annuncio del ministro, senza prima separare statisticamene l'impatto dovuto alla continuazione del trend.

2) Il campione usato dal ministro per documentare il calo dell'assenteismo da Maggio 2008 non è un campione casuale. Il ministro ha chiesto agli enti pubblici di riportare volontariamente i dati sull'assenteismo. Le sue valutazioni si basano sulle risposte pervenute. In gergo, il campione è "autoselezionato", e come tale, non è valido per fare alcuna inferenza statistica. Inoltre, è plausibile ipotizzare che siano state proprio le amministrazioni più efficienti a rispondere al ministro; se fosse così, si avrebbe comunque (anche dopo aver aggiustato per il trend) una sovrastima dell'"effetto Brunetta".

A giorni dal post, il ministro Brunetta ha avuto modo di rispondere ai commenti di Giulio, per giunta nel suo milieau prefereito, la televisione: Enrico Mentana aveva invitato uno di noi a Matrix per parlarne. Il ministro però si è limitato a ripetere di saperne più di noi, "perché lui è professore e ministro, mentre noi solo professori"; la citazione è quasi letterale - vedere per credere.

Effetto Provvedimenti. Nel frattempo alcuni provvedimenti vengono adottati ed il ministero che Renato Brunetta dirige continua ad accumulare dati (con la stessa procedura di prima, ossia chi vuole riporta) sull'assenteismo in vari comparti della PA. Mano a mano che i trimestri passano (III del 2008, IV del 2008, ...) il ministro continua a dichiarare che il suo lavoro ha avuto effetti mirabolanti: l'assenteismo è calato del 30, 40 anche 50% in certi casi, con una media attorno al 40%.

Ad ogni buon conto, Giulio torna sul tema nel dicembre 2008 analizzando nuovamente i dati forniti dal ministero. Raggiunge le medesime conclusioni di sei mesi prima: nei dati che il Ministero della PA rende pubblici c'è una diminuzione dell'assenteismo, ma da questi dati non si può trarre alcuna conclusione certa rispetto al ruolo che i provvedimenti (pochi, come i fatti dimostrano) e le dichiarazioni ai media (tante, come le registrazioni provano) di Brunetta possano aver sortito. Questo per le medesimissime ragioni di sei mesi prima: il campione è autoselezionato e nessuno sembra aver fatto lo sforzo di separare l'effetto dei provvedimenti da quello del trend, in corso da anni, di riduzione dell'assenteismo. In sostanza: allo stato attuale delle cose non è possibile concludere alcunché sugli effetti dei provvedimenti presi da Brunetta, né su quelli delle sue frequenti apparizioni mediatiche.

Giulio ha poi continuato ad analizzare i dati forniti dal ministero anche durante il 2009, alla ricerca di evidenza per l'effetto in questione, ed ha anche discusso molto attentamente altri provvedimenti emessi dal ministro Brunetta. Altri lettori hanno contribuito altri dati ed analisi, rintracciabili nei commenti e che ci prenderebbe troppo spazio riassumere. Allo stato attuale delle cose non ci sembra di poter concludere con ragionevole sicurezza che vi sia stato un chiaro effetto della lotta all'assenteismo, pur constatando una riduzione dello stesso.

Non ci resta che concludere che dopo 17 mesi di governo, Brunetta non è in grado di produrre dati affidabili sull'efficacia delle sue misure. Notasi che avrebbe avuto, se lo avesse voluto, tutto il tempo per farlo: bastava che chiedesse all'Istat di costruire un campione casuale appropriatamente bilanciato e di effettuare gli appositi rilevamenti sui dati passati e correnti, sulle caratteristiche dei dipendenti assenti e dei presenti, eccetera. Diciassette mesi sono ben sufficienti, se si lavora invece di assentarsi per andare in TV. Non lo ha fatto, ed è stata una sua scelta. Ma c'è di peggio (come ha notato ancora Giulio): analisi più complete del fenomeno dell'assenteismo sarebbero possibili se il ministro rendesse pubblici tutti i dati che ha a disposizione. Perché non li rende pubblici? Questa reticenza e mancanza di trasparenza solleva sospetti inutili, che andrebbero invece fugati.

È importante infine notare che una riduzione dell'assenteismo non implica necessariamente un recupero d'efficienza della PA. Il problema vero è che la qualità del servizio migliori, non che la gente vada in ufficio con la febbre. Ma questo banalissimo argomento di senso comune in Italia sembrano ignorarlo tutti. Compreso il ministro che, sulla questione qualità del servizio sa proporre solo le "faccine", poi apparentemente dimenticate. Un piano per la misurazione dell'efficienza e della qualità del servizio della PA si sarebbe potuto almeno imbastire in 17 mesi. Non è stato fatto.

L'articolo dell'Espresso e la risposta del ministro.

La questione è ripresa recentemente quando l'Espresso ha pubblicato un brutto articolo. Ha affermato che gli assenteisti ''non sono diminuiti'', cosa che non discende affatto dai dati che l'articolo stesso riporta. Il contenuto dell'articolo è generalmente distorto e poco obiettivo.

Chiaramente, l'obiettivo dell'Espresso, nel pubblicare l'articolo, è di far politica, non informazione. D'altra parte, quando Brunetta iniziò a dare i suoi numeri quasi tutta la stampa li riprese in modo completamente acritico, senza chiedersi da dove venissero, quanto fossero affidabili, cosa veramente dimostrassero etc. etc. Guardate per esempio questo articolo del Corriere: l'autore non sembra nemmeno rendersi conto che nelle assenze per malattie c'è un forte andamento stagionale: perché, vedete, qualcuno si ammala per davvero, persino nella PA!

Ad ogni modo, nei mesi seguenti il Giugno 2008, Brunetta venne sbrigativamente dichiarato santo sul campo, l'eroe sul destriero bianco che solo aprendo la bocca aveva duramente colpito i fannulloni della PA. Ora l'Espresso ha fatto un simile lavoro (ossia, cattivo giornalismo) con il segno politico contrario. Questo ha fatto comprensibilmente arrabbiare il ministro. Meno comprensibilmente, lo ha convinto a continuare a non rispondere alle obiezioni serie, non quelle inventate o insensate.

In particolare, Renato Brunetta ha fatto dichiarazioni che sono assolutamente straordinarie. Ne ha già parlato Giulio, ma val la pena di ripetere. Dunque, signor ministro, nella sua risposta scritta lei afferma

 

Si tratterebbe del fenomeno che in termini tecnici viene definito “autoselezione del campione”. Dell'autoselezione soffrono per definizione tutte le rilevazioni statistiche campionarie, senza esclusione alcuna, ma esistono tecniche consolidate di correzione di questo effetto che garantiscono la qualità dei risultati e noi le usiamo.

 

No, signor ministro. Costruire campioni casuali è perfettamente possibile. Il ministero doveva scegliere a caso un certo numero di amministrazioni e andare a controllare cosa stesse succedendo. Invece, chiedere alle amministrazioni di riportare volontariamente i dati è esattamente la cosa da non fare se si vuole costruire un campione non distorto. Pensiamo veramente che le amministrazioni meno virtuose siano così impazienti di rispondere?

Ci permettiamo di chiederlo perché la sua affermazione successiva:

 

Un campione che comprende un numero di amministrazioni rispondenti pari a poco meno della metà del totale delle amministrazioni pubbliche (è questo il caso del monitoraggio delle assenze) è un campione decisamente ampio e di gran lunga più numeroso rispetto a quanto la teoria statistica e la prassi consolidata ritiene sufficiente per condurre un’indagine campionaria.

 

non mostra una grande comprensione del fenomeno dell'autoselezione. Di nuovo, vediamo di essere il più didattici possibile, visto che sembra essercene bisogno. Se il campione è casuale allora il 50% è non solo sufficiente ma decisamente esagerato. Basta solitamente molto, molto meno per avere un quadro affidabile del fenomeno. Ma se il campione è autoselezionato allora accrescerne l'ampiezza ha utilità limitata.

Facciamo un esempio. Consideriamo un pianeta in cui ci sono 1000 persone. Di queste, 600 vanno al lavoro e fanno il loro dovere, mentre 400 preferiscono andare al mare. Qual è l'assenteismo medio? È del 40%. Ma supponiamo di non saperlo, e di doverlo scoprire mediante indagine campionaria. Potremmo pescare 100 persone a caso e andare a verificare se sono presenti al lavoro o se sono al mare. Questo è il modo giusto di far le cose, e la risposta si approssimerà al 40% che è il numero vero. Oppure potremmo dire ''chi vuole ci dica se oggi ha lavorato''. Ora, supponiamo che chi non lavora se ne vergogni, o abbia paura di ripercussioni, o semplicemente, proprio perché "fannullone" (per usare una parola cara al ministro), non abbia il tempo per rispondere perché è in spiaggia con la morosa. Quindi, quelli al mare tenderanno a non rispondere. Risponderanno solo quelli che lavorano e in tal modo raggiungeremo la conclusione che l'assenteismo è dello 0% [grazie GG!]. Notare che questo effetto distorsivo ci sarà anche se il campione è del 60% della popolazione. Ossia, è meglio (nel senso che darà risposte più vicine al vero) un campione casuale del 10% che un campione autoselezionato del 60%.È più chiaro adesso? Certo, avessimo un campione del 90% dei nostri enti pubblici ci avvicineremmo alla risposta corretta. Ma non possiamo averlo, un campione del 90%, perché gli enti pubblici fannulloni (per usare una parola cara al ministro) non rispondono.

L'articolo de La Voce

Non ci aspettiamo molto dalla stampa italiana, e ci dispiace. Abbiamo imparato a non aspettarci molto dal ministro Brunetta, ed anche questo non ci rallegra. Ci aspettiamo invece qualcosa di meglio dalla redazione de LaVoce. Se non altro perché composta, nella grande maggioranza, da economisti veri che sanno cos'è l'autoselezione e cosa sono i trends. Ma l'altro giorno alcuni di noi hanno ricevuto la newsletter de LaVoce, che iniziava così (grassetto nostro):

 

È o non è diminuito l'assenteismo nella pubblica amministrazione? La risposta è sì. Chi contesta i dati vantati dal ministro Brunetta lo fa con argomenti deboli.

 

Certo, l'assenteismo è diminuito, come abbiamo detto sopra e come ha riportato chiaramente Giulio. Ma questo non significa che i "dati vantati da Brunetta" siano corretti. Dove mai sarebbe la debolezza degli argomenti di chi li contesta? Se i colleghi fossero andati agli articoli originali di Zanella, si sarebbero facilmente accorti che gli argomenti sono tutt'altro che deboli, e sono facilmente comprensibili anche ai non addetti ai lavori. L'intera redazione de LaVoce, poi, pubblica una nota, in cui si afferma

 

Anzi, ha ragione il ministero a ritenere, al contrario, eccezionale che le assenze continuino ancora a diminuire in misura così forte un anno dopo l'emanazione del decreto legge 112 del giugno 2008.

 

E perché mai? Sono oramai cinque anni che, in media annuale e stagione su stagione, l'assentesimo cala sia nel pubblico che nel privato. Questo, almeno, dicono i dati disponibili e che Giulio ha riportato qui su nFA. Sono sbagliati/incompleti/falsi/eccetera quei dati? Possibile, ma qualcuno dovrebbe dirlo, provarlo e ritirarli dalla circolazione. Altrimenti i dati restano ed implicano quanto detto: che un trend di diminuzione dell'assenteismo sembra esistere da 5 anni. Qualche causa ci sarà, ovviamente: sarebbe il caso di cercarla e di intendere le radici del fenomeno, ma quale ragionamento e quale evidenza statistica può possibilmente stabilire il nesso causale che la redazione de LaVoce chiaramente sottende? E se è eccezionale ora, non lo era forse anche prima dei provvedimenti? O forse i colleghi de LaVoce fanno solo della sottile ironia ed intendono dire che l'eccezionalità deriva dal fatto che il supposto "effetto" si osserva nei dati anche DOPO tre mesi dal RITIRO del più significativo, e meno sensato, fra i detti provvedimenti? Misteri della logica, quando l'economia, la statistica e la politica vengono inappropriatamente mischiate.

La nota redazionale de LaVoce si basa su un articolo pubblicato da un loro collaboratore, Giuseppe Pisauro. L'articolo è scritto con una prosa alquanto complicata. Ma non è sullo stile che vogliamo soffermarci, quanto piuttosto sui contenuti.

Nell'introduzione dell'articolo di Pisauro si afferma (grassetto nostro):

La riduzione dell'assenteismo dei dipendenti pubblici ottenuta dal ministero della Pubblica amministrazione è un risultato positivo

Questo è il punto che la nota redazionale discussa sopra riprende ed espande. Ma quali argomenti o dati ha l'autore per sostenere il nesso causale tra i provvedimenti del ministero e l'osservata riduzione dell'assenteismo nella PA? Non ci viene detto.

L'articolo si sofferma su vari distinguo, fra i quali il problema dell'auto-selezione sollevato da Zanella (nessun accenno, invece, al trend storico di diminuzione dell'assenteismo). A questo proposito Pisauro cita e discute un articolo di Giulio su LaVoce, pubblicato 9 mesi fa, in cui si riassumevano senza entrare nei dettagli, il contenuto degli articoli pubblicati su nFA. Citando solo l'articolo su LaVoce Pisauro da un lato soddisfa la ferrea politica redazionale de LaVoce di non citare mai nFA a nessun costo, ma dall'altro perde l'occasione di valutare accuratamente gli argomenti sostanziali dell'analisi di Giulio e di dire se gli sembrano corretti o erronei.

Cosa evince Pisauro dall'articolo di Giulio? Che si vedrà quando arrivano i dati finali. Poi, nel paragrafo intitolato "Una riflessione più seria", che fa? Fa tre operazioni: ripete le osservazioni di Giulio senza criticarle, il che suggerisce che le condivide; sottilmente trasforma l'affermazione centrale di Giulio in una previsione sul risultato finale (cosa che Giulio non ha mai fatto); ignora allegramente il problema statistico ed economico più importante, ossia che il trend c'era già prima e per misurare l'effetto dei provvedimenti occorre saper estrarre e spiegare il trend!

Il risultato è una analisi imprecisa, ripetitiva e soprattutto contraddittoria all'affermazione principale dell'articolo, ripresa poi con enfasi dalla nota redazionale: che siano stati gli interventi del ministero a ridurre l'assenteismo della PA.

A onor del vero, Pisauro menziona "altri lavori" che giungono a conclusioni favorevoli al ministro. Non li discute però e ne cita solo uno, quello di un consigliere del Ministro, Leonello Tronti, non esattamente una fonte imparziale. Invece di "contare" gli interventi pro e contro il ministro, è buona cosa "pesarli", cioé leggerli e valutarne la solidità delle argomentazioni. Lo facciamo noi. Nei giorni scorsi Tronti stesso ci aveva inviato un email con link ad alcuni suoi lucidi in formato pdf, sottotitolati "risultati molto preliminari", dai quali possiamo dedurre la metodologia adottata e le conclusioni raggiunte. La regressione si basa su solamente 20 osservazioni per due variabili. Tronti calcola la correlazione fra assenteismo pubblico e privato in 17 trimestri dell'era pre-Brunetta, e li confronta con l'assenteismo nei tre trimestri del 2008 in cui Brunetta è stato in carica. Dai dati che lui fornisce si evince che l'assenteismo nel pubblico e nel privato sono altamente stagionali e si muovono in tandem. Si evince anche che la differenza fra assenteismo pubblico e privato è anormalmente bassa, rispetto alla media degli ultimi cinque anni, nell'ultimo trimestre del 2008 [C'è anche una contraddizione fra quanto affermato alle pagine 7, 9 e 10 ed il grafico di pagina 4, ma la sostanza probabilmente non cambia]. Questa differenza anormalmente bassa viene definita, da Tronti stesso nelle slides in questione, "Effetto Brunetta". Sulla base di questi calcoli, l'"Effetto Brunetta" appare dell'ordine del 20% (solo per il quarto trimestre 2008).

Questi calcoli probabilmente sovrastimano l'Effetto Brunetta perche' la differenza tra assenteismo pubblico e privato era anomalmente bassa, rispetto alla media, anche in 2 trimestri pre-Brunetta, il primo del 2004 e il terzo del 2005, per i quali ovviamente non si può addurre alcun "Effetto Brunetta". Essendo i dati tratti dall'indagine Istat sulle forze di lavoro, lo studio di Tronti invece non soffre del problema di auto-selezione (ringraziamo Giulio per averci corretto su questo punto).

Naturalmente c'è anche un altro aspetto della questione, chiamiamolo "deontologico" che ci ha stuzzicato: la questione della mancata citazione dei post di Giulio su nFA. Ma chessaramai. Quello che ci lascia basiti in questa vicenda, ci spiace dirlo, é che i colleghi de LaVoce (questo ci pare di comprendere dalla vicenda, ma saremo lieti di essere contraddetti) fanno politica sotto mentite spoglie (quelle di economisti). Perché oggi stiano con Brunetta - alla faccia dei fatti, della statistisca e della logica - non ci interessa affatto. Avranno le loro ragioni, ci auguriamo siano buone. Ma l'econometria la conoscono anche loro, avrebbero fatto bene a distinguere la politica dall'econometria, per serietà nei confronti dei loro lettori.

Il danno è grave perché dopo questa presa di posizione, il ministro potrà vantarsi di aver ricevuto un supporto tecnico da parte dell'accademia italiana, supporto che non ha alcun fondamento empirico. È supporto "politico".

Conclusioni: svariate riflessioni più serie son necessarie.

Cerchiamo quindi di riassumere quello che sappiamo sull'"Effetto Brunetta".

1. La riduzione dell'assenteismo nei due trimestri finali del 2008 c’è. NEI DATI DISPONIBILI, e nel calcolo più ottimista consiste all’ incirca di una riduzione di un 20 per cento dell’assenteismo nel pubblico in eccesso su quello del privato. Questo è esattamente il numero che Giulio ha buttato lì, scherzosamente e scomettendoci i proverbiali due centesimi, sin dal primo articolo, chiarendo che, comunque, di "wild guess" si trattava ... bisognerà chiedergli di fare altre wild guesses per la lotteria di Capodanno, in futuro.

2. Se si tiene conto dell’effetto della selezione del campione, questo effetto si potrebbe ridurre in modo considerevole. Se il ministro ha dati per analizzare meglio la questione dovrebbe renderli disponibili. Se non li ha, male perché avrebbe dovuto pensare che è una questione essenziale ed attrezzarsi.

3. I costi per realizzare questo programma non si conoscono. Se il ministro ha dati per analizzare meglio la questione dovrebbe renderli disponibili. Se non li ha, male per le ragioni di cui sopra.

4. Gli effetti sulla qualità del servizio sono ignoti. Se il ministro ha dati per analizzare meglio la questione dovrebbe renderli disponibili. Se non li ha, male.

La conclusione è che provvedimenti tesi a ridurre l’ assenteismo nella pubblica amministrazione possono funzionare, e questo è un merito di Brunetta, ma sono probabilmente di portata limitata. Non si sa quanto siano potenzialmente transitori (come la patente a punti), costosi, e quanto si tramutino nell'incremento della qualità dei servizi. Questi punti sono già nell'articolo di nFA di Giulio Zanella, scritto circa un anno fa.