Titolo

I bambini so' piezz'e core...

6 commenti (espandi tutti)

Anche io ho letto l'articolo (di Repubblica) sui test INVALSI e, per la seconda volta in poco tempo, sono rimasto stupito dell'uso “disinvolto” dei test di validazione.

All'epoca non sono entrato nel dibattito sulla valutazione delle Università, non mi interessa, ma notai una cosa, sfuggita ai più: la Gelmini nel presentare i dati disse testualmente “stranamente fra le prime ce ne sono anche alcune del Sud”.

Quello “stranamente” a me ha detto molto di più dei test: si voleva un quadro XZY e tutto quello che non rientrava in quel quadro è compreso in quel “stranamente”. Altrimenti avrebbe detto: ci sono nell' università eccellenze al Nord e al Sud, queste eccellenze sono prevalenti al Nord. No, non bastava, ci voleva “stranamente”..

Adesso i test INVALSI che “stranamente” dicono che al Sud gli studenti (non le scuole) sono migliori che al Nord. Quindi che si fa ? Si cambiano i risultati.

Io, rovescio completamente l'analisi di bisin, che si domanda se ci siano i presupposti penali per procedere contro gi insegnanti che avrebbero suggerito le risposte. Io mi domando: è possibile aver speso dei soldi (nostri !!) per avere un risultato inaffidabile ? E' competente la struttura che ha ideato dei test simili ? Ha agito in maniera tale da evitare problemi del tipo di quelli poi da loro evidenziati ? E perchè hanno corretto “statisticamente” i risultati, a mio avviso invalidandoli del tutto ? Non era opportuno ripetere, a sorpresa, il test in quelle classi dal comportamento anomalo ? Quante erano ?

 

Insomma, i miei soldi, gestiti da questi dell'INVALSI sono stati spesi bene, o è meglio licenziarli tutti, di modo che i prossimi trovino un sistema ( ne ho letti alcuni anche qui su nfa) per evitare imbrogli (visto che, tra l'altro, hanno dichiarato che anche alcune classi del nord avrebbero barato ?)

 

Chiudo con una nota: siamo sicuri che gli insegnanti abbiano suggerito le risposte, o non ci siano stati casi di “scopiazzamento” generale, dovuti a un lassismo degli insegnanti, che anziché sorvegliare sono andati a leggere il giornale ? Tutto sommato anche il nostro PdC ha cominciato vendendo i compiti di italiano ai compagni di classe, non è che poi così rischiamo di inibire il formarsi di una nuova classe imprenditoriale ?

 

Concordo. Ma soprattutto tornerei al principio: l'Invalsi ha fatto fare un test, poi ha giudicato i risultati inattendibili e li ha manipolati con "procedure statistiche" finche' i risultati non sono sembrati piu' verosimili.

Non e' cosi' che si fanno i test. Non e' cosi' che un "istituto di ricerca" dovrebbe presentare i suoi report. Se i risultati "attendibili" li sapevi da principio, non dovevi sprecare tempo e risorse per fare i test. Il mio giudizio e' totalmente negativo.

Ma l'aggiustamento statistico si fa sempre in questo tipo di indagini.....Non e' mica una novita'. Si puo' discutere sul metodo usato come abbiamo cercato di fare qui, ma non e' certo una novita' il tentativo di correggere errori sistematici con la statistica.

Tutte le tecniche statistiche avanzate, quelle che si usano in tutti i campi della scienza, servono per correggere errori sistematici quando non e' possibile o e' troppo costoso fare un'esperimento controllato.

Si sostiene che e' stato deciso a posteriori di fare analisi aggiuntive perche' si e' visto che i dati presentavano delle regolarita' interessanti e che questo invalidi i risultati presentati. Non vi e' alcuna prova di questo se non un'ambigua frase nel rapporto INVALSI che JB ha citato (magari i ricercatori dell'INVALSI potranno dir qualcosa a proposito). Ma anche se fosse vero, ce ne passa dal dire che i ricercatori abbiano magheggiato per far venire i numeri che volevano loro (che e' tutta un'altra faccenda).

Magari non capisco, ma mi si spiega cosa comporta il decidere a posteriori delle analisi secondarie quando i dati lo richiedono? Questa cosa si fa normalmente in altri campi. Perche' qui la cosa sarebbe cosi' perniciosa?

D'altronde Ricolfi, con un altro algoritmo e su un altro campione (i test delle elementari) ha ottenuto fattori di correzione addirittura maggiori (qualcuno ha gia' postato il suo articolo uscito su La Stampa).

 

Magari non capisco, ma mi si spiega cosa comporta il decidere a posteriori delle analisi secondarie quando i dati lo richiedono? Questa cosa si fa normalmente in altri campi. Perche' qui la cosa sarebbe cosi' perniciosa?

Non sono in grado di parlare riguardo "gli altri campi" in cui le analisi da fare si decidono a posteriori. Le mie competenze iniziano e finiscono in un campo molto limitato che è quello della fisica sperimentale e non ho l'ambizione di conoscere o capire a fondo i metodi delle scienze sociali. D'altra parte sono stato io a tirar fuori il discorso e quindi cerco di chiarire il mio pensiero.

Mettiti nei panni di un ricercatore che possa ripetere infinite volte il suo test/esperimento. Lo fa una volta, vede quali sono i risultati, stabilisce una procedura per l'analisi degli stessi, butta via i dati e ripete n-mila volte l'esperimento per accumulare una quantità significativa di dati a cui applica le metodologie decise prima. Il passaggio di buttare via il set di dati con cui si è deciso quali metodi statistici usare è fondamentale per evitare di introdurre bias (da noi si impara abbastanza presto che, scegliendo un metodo di analisi piuttosto che un altro si può ottenere il risultato che più si preferisce).

Se poi l'esperimento può essere fatto una volta sola (caso tipico in medicina, sociologia, economia ed altre discipline) le metodologie devono essere decise a priori o sulla base di un sub-set dei dati che poi non verrà utilizzato per l'analisi finale, pena (ancora una volta) l'introduzione di un bias nei risultati.

Ora, io non voglio dire che quelli dell'Invalsi abbiano coscientemente alterato i risultati; quello che voglio dire è che, dato che i metodi usati sono cose abbastanza standard (a me l'uso dell'indice di etereogenità lascia perplesso ma son disquisizioni tecniche), rigore scientifico avrebbe voluto che questi venissero decisi "prima" di vedere i dati. Che lo abbiano fatto prima o dopo dal rapporto non è chiarissimo ma ci sono alcune frasi in qua e in là che lasciano temere una decisione a posteriori. Su questo punto (metodologicamente a mio parere importante) sarebbe carino che qualcuno dell'Invalsi facesse chiarezza. Anche perché, se venisse chiarito che le tecniche d'analisi erano state decise a priori, questo taglierebbe la testa al toro e metterebbe a tacere tutte le critiche sul fatto che i risultati siano stati "aggiustati ad hoc".

Marco, sullo "stranamente" hai tutte le ragioni, io avrei trovato strano il contrario.

Sull' Invalsi non ti seguo: credi ahe abbiano uomini da mandare in ogni scuola? O che ci mandino i carabinieri? Come pensi sia possibile altrimenti evitare che barino se studenti e professori sono collusi?

Ovvio che bari ce ne sono anche al nord, il contrario farebbe il paio con lo "stranamente" di sopra.

Che differenza fa poi se i prof hanno collaborato coi bari attivamente o passivamente?

Bellissima quella sul PDC, speriamo proprio di liberarci da quel genere di classe imprenditoriale :)

Ovviamente stranamente. Certo che il ministro potrebbe imparare a dire le cose altrimenti...
Comunque ormai sembra abbastanza chiaro: hanno fatto copiare a tutti per difendersi da eventuali premi, da assegnare ai singoli docenti od alle scuole, parametrati esclusivamente sui risultati del test.
Sbagliato ma comprensibile visto la campagna pregiudizialmente anti meridionalista in corso a Roma e visto i presenti intenti del ministero.