Titolo

PISA 2012: c'è davvero qualcosa di nuovo?

15 commenti (espandi tutti)

Il fatto che i test PISA-OCSE abbiano registrato un miglioramento per gli studenti italiani, senza che nulla sia cambiato nella scuola, dovrebbe far riflettere sull'affidabilità dei test come misura delle competenze e misura indiretta della qualità dell'insegnamento. I miglioramenti ed ancor più le differenze tra nord e sud d'Italia (con identici programmi scolastici ed insegnanti di pari competenza) sono probabilmente causati, in gran parte, dalla diversa importanza che studenti ed insegnanti davano e danno ai test stessi. Si misura cioè la cosiddetta "compliance" e non la competenza.

Alessandro Figà Talamanca

Il professor FT non e' l'unico matematico ad avere qualche dubbio sulla validita dei test PISA. Secondo David Spiegelhalter The Problems With PISA statistical methods, l'intervallo di incertezza intorno ai risultati e' maggiore di quanto si pensi, e percio' i confronti tra un paese ed un'altro che si discosta poco, o tra un paese e lo stesso paese qualche anno dopo non sono validi: "the rankings are less reliable than claimed".

Magari mi piacciono le soluzioni semplici, ma se gli alunni cambiano i professori rimangono gli stessi, e vista la crescente importanza attribuita ai PISA ci sta che si stia diffondendo il concetto di preparare gli studenti ai test.

Come ho scritto nel post, magari preparassero per questi test!

Andrea non parlo di programma sull'anno, parlo di qualche simulazione. Ti posso confermare che almeno due adolescenti che conosco hanno fatto nelle settimane precedenti delle prove propedeutiche, ed era la prima volta che sentivo qualcosa di simile. Poi ci sta che sia semplice noise.

non ci vedo nulla di male a provare a fare test simili, che poi non mi pare siano tanto diversi dai compiti in classe, salvo la varieta' di domande e la standardizzazione

Mi sa che non ci capiamo! Non dico ci sia niente di male, tutt'altro! Dico solo che parte del miglioramento e' imputabile al fatto che all'inizio i test PISA erano snobbati dagli insegnanti che si limitavano alla normale routine scolastica; mi risulta invece che da qualche anno ci siano insegnanti che cercano di preparare gli studenti al tipo di domande che troveranno nei test (un minimo di preparazione specifica aiuta anche su domande banli) quindi la mia tesi e' che parte del miglioramento dipenda da quello. Del resto l'ho visto preparando certificazioni di matrice amerikana: prima volta segato per averle preparate all' "italiana", volte successive sempre promosso per aver dato piu' attenzione a casi pratici, comprensione della domanda e eventuali opzioni a trabocchetto.

si e' possibile

L'invalsi usa tecniche sofisticate per rilevare casi di cheating ed eventualmente segnalare e correggere i risultati anomali, ma sospetto che non si parli di questo. Se non capisco male le differenze nord-sud sarebbero originate da un presunto maggiore impegno che gli studenti del nord darebbero nel superare il test. Se cosi' fosse sarebbe perlomeno indicatore del senso di responsabilita' degli studenti, ma certamente e' un'ipotesi da approfondire. 

Ma in realta' l'assunto e' deficitario: non e' vero che ci siano sti gran miglioramenti, e non e' nemmeno vero che non stia cambiando niente nella scuola. Un po' di attenzione al risultato credo ci sia. Lo vedo, a macchia di leopardo, fra molti insegnanti con cui parlo (nella mia zona, che e' nel Nord-Est). Qualcosa si muove, ma certamente mancano incentivi e la disorganizzazione e' endemica. 

Non è il solo caso di maggiore indisciplina tra i giovani meridionali. Basta contare quanti ragazzi girano senza casco in motorino in una città meridionale.

Se cosi' fosse, basterebbe mettere in palio alcuni punti del punteggio dell'esame di stato e del test di ammissione all'universita' e legarli ai risultati degli esami invalsi. 

E un altro paio di punti toglierli se ti trovano in motorino senza casco. 

Però a quel punto non mi spiegherei perché i risultati " geograficamente orizzontali"nei vari tipi di scuole di una macroregione (Nord, Sud, Centro) siano coerenti negli anni: tutti i vari tipi di scuole del Sud hanno lo stesso livello di compliance uniformemente più basso di quelle del Nord, tale per cui i dati sono uniformemente più bassi anche senza testimoniare un livello più basso (o così più basso) di competenze?
Quand'anche fosse, in ogni caso, i dati a bassa compliance dovrebbero rimanere validi, almeno in senso relativo, in tutte le zone omogenee per compliance. Dico bene?
E poi la cosa si ripresenta anche nelle rilevazioni Invalsi, dove la compliance dovrebbe essere abbastanza alta, visto che le prove INVALSI, ora, influiscono sui voti finali degli esami.

 

D'altra parte, mi sembra invece di ricordare che a livello di nazioni un po' di ottovolante tra un'edizione e l'altra ci fosse, con Francia e Germania in netto recupero in tre soli anni di differenza, cosa che mi fa davvero pensare che si siano dati una svegliata con la compliance.

La verità, cmq, è che, per quanto mi riguarda, non ho la competenza per avere delle idee precise. 

Purtroppo nessuno ha le competenze per avere idee precise.

Spiritoso. Mi riferivo alla scienza statistica in particolare...

Il fatto che i test PISA-OCSE abbiano registrato un miglioramento per gli studenti italiani, senza che nulla sia cambiato nella scuola, dovrebbe far riflettere sull'affidabilità dei test come misura delle competenze e misura indiretta della qualità dell'insegnamento.

è vero che negli ultimi dieci anni non è cambiato nulla nell'insegnamento, ma sono cambiate le condizioni culturali dei genitori. Secondo i dati Istat, dal 2003 al 2012 la quota di popolazione adulta con un diploma è cresciuta di almeno 5 punti percentuali, sopratutto tra le donne, e di altrettanto la quota di popolazione adulta con laurea, anche qui in particolare tra le donne.  E' notoria la relazione causale tra condizioni culturali dei genitori e performance scolastica dei figli. Se continua così, e al netto della inevitabile variabilità statistica di simili rilevazioni, ci dovrebbero essere incrementi nella performance dei quindicenni italiani anche nei prossimi dieci anni senza muovere un gessetto.