Titolo

I bambini so' piezz'e core...

2 commenti (espandi tutti)

Ma l'aggiustamento statistico si fa sempre in questo tipo di indagini.....Non e' mica una novita'. Si puo' discutere sul metodo usato come abbiamo cercato di fare qui, ma non e' certo una novita' il tentativo di correggere errori sistematici con la statistica.

Tutte le tecniche statistiche avanzate, quelle che si usano in tutti i campi della scienza, servono per correggere errori sistematici quando non e' possibile o e' troppo costoso fare un'esperimento controllato.

Si sostiene che e' stato deciso a posteriori di fare analisi aggiuntive perche' si e' visto che i dati presentavano delle regolarita' interessanti e che questo invalidi i risultati presentati. Non vi e' alcuna prova di questo se non un'ambigua frase nel rapporto INVALSI che JB ha citato (magari i ricercatori dell'INVALSI potranno dir qualcosa a proposito). Ma anche se fosse vero, ce ne passa dal dire che i ricercatori abbiano magheggiato per far venire i numeri che volevano loro (che e' tutta un'altra faccenda).

Magari non capisco, ma mi si spiega cosa comporta il decidere a posteriori delle analisi secondarie quando i dati lo richiedono? Questa cosa si fa normalmente in altri campi. Perche' qui la cosa sarebbe cosi' perniciosa?

D'altronde Ricolfi, con un altro algoritmo e su un altro campione (i test delle elementari) ha ottenuto fattori di correzione addirittura maggiori (qualcuno ha gia' postato il suo articolo uscito su La Stampa).

 

Magari non capisco, ma mi si spiega cosa comporta il decidere a posteriori delle analisi secondarie quando i dati lo richiedono? Questa cosa si fa normalmente in altri campi. Perche' qui la cosa sarebbe cosi' perniciosa?

Non sono in grado di parlare riguardo "gli altri campi" in cui le analisi da fare si decidono a posteriori. Le mie competenze iniziano e finiscono in un campo molto limitato che è quello della fisica sperimentale e non ho l'ambizione di conoscere o capire a fondo i metodi delle scienze sociali. D'altra parte sono stato io a tirar fuori il discorso e quindi cerco di chiarire il mio pensiero.

Mettiti nei panni di un ricercatore che possa ripetere infinite volte il suo test/esperimento. Lo fa una volta, vede quali sono i risultati, stabilisce una procedura per l'analisi degli stessi, butta via i dati e ripete n-mila volte l'esperimento per accumulare una quantità significativa di dati a cui applica le metodologie decise prima. Il passaggio di buttare via il set di dati con cui si è deciso quali metodi statistici usare è fondamentale per evitare di introdurre bias (da noi si impara abbastanza presto che, scegliendo un metodo di analisi piuttosto che un altro si può ottenere il risultato che più si preferisce).

Se poi l'esperimento può essere fatto una volta sola (caso tipico in medicina, sociologia, economia ed altre discipline) le metodologie devono essere decise a priori o sulla base di un sub-set dei dati che poi non verrà utilizzato per l'analisi finale, pena (ancora una volta) l'introduzione di un bias nei risultati.

Ora, io non voglio dire che quelli dell'Invalsi abbiano coscientemente alterato i risultati; quello che voglio dire è che, dato che i metodi usati sono cose abbastanza standard (a me l'uso dell'indice di etereogenità lascia perplesso ma son disquisizioni tecniche), rigore scientifico avrebbe voluto che questi venissero decisi "prima" di vedere i dati. Che lo abbiano fatto prima o dopo dal rapporto non è chiarissimo ma ci sono alcune frasi in qua e in là che lasciano temere una decisione a posteriori. Su questo punto (metodologicamente a mio parere importante) sarebbe carino che qualcuno dell'Invalsi facesse chiarezza. Anche perché, se venisse chiarito che le tecniche d'analisi erano state decise a priori, questo taglierebbe la testa al toro e metterebbe a tacere tutte le critiche sul fatto che i risultati siano stati "aggiustati ad hoc".