Titolo

I bambini so' piezz'e core...

1 commento (espandi tutti)

Magari non capisco, ma mi si spiega cosa comporta il decidere a posteriori delle analisi secondarie quando i dati lo richiedono? Questa cosa si fa normalmente in altri campi. Perche' qui la cosa sarebbe cosi' perniciosa?

Non sono in grado di parlare riguardo "gli altri campi" in cui le analisi da fare si decidono a posteriori. Le mie competenze iniziano e finiscono in un campo molto limitato che è quello della fisica sperimentale e non ho l'ambizione di conoscere o capire a fondo i metodi delle scienze sociali. D'altra parte sono stato io a tirar fuori il discorso e quindi cerco di chiarire il mio pensiero.

Mettiti nei panni di un ricercatore che possa ripetere infinite volte il suo test/esperimento. Lo fa una volta, vede quali sono i risultati, stabilisce una procedura per l'analisi degli stessi, butta via i dati e ripete n-mila volte l'esperimento per accumulare una quantità significativa di dati a cui applica le metodologie decise prima. Il passaggio di buttare via il set di dati con cui si è deciso quali metodi statistici usare è fondamentale per evitare di introdurre bias (da noi si impara abbastanza presto che, scegliendo un metodo di analisi piuttosto che un altro si può ottenere il risultato che più si preferisce).

Se poi l'esperimento può essere fatto una volta sola (caso tipico in medicina, sociologia, economia ed altre discipline) le metodologie devono essere decise a priori o sulla base di un sub-set dei dati che poi non verrà utilizzato per l'analisi finale, pena (ancora una volta) l'introduzione di un bias nei risultati.

Ora, io non voglio dire che quelli dell'Invalsi abbiano coscientemente alterato i risultati; quello che voglio dire è che, dato che i metodi usati sono cose abbastanza standard (a me l'uso dell'indice di etereogenità lascia perplesso ma son disquisizioni tecniche), rigore scientifico avrebbe voluto che questi venissero decisi "prima" di vedere i dati. Che lo abbiano fatto prima o dopo dal rapporto non è chiarissimo ma ci sono alcune frasi in qua e in là che lasciano temere una decisione a posteriori. Su questo punto (metodologicamente a mio parere importante) sarebbe carino che qualcuno dell'Invalsi facesse chiarezza. Anche perché, se venisse chiarito che le tecniche d'analisi erano state decise a priori, questo taglierebbe la testa al toro e metterebbe a tacere tutte le critiche sul fatto che i risultati siano stati "aggiustati ad hoc".