Le pagelle INVALSI delle scuole: guida alla lettura per genitori

24 gennaio 2012 andrea moro

Ricevo da un amico una richiesta di commento sui risultati forniti dall'INVALSI sulla scuola frequentata dai propri figli.  L'INVALSI compie verifiche e periodiche sulle abilità e conoscenze degli studenti allo scopo di verificare la qualità dell'offerta didattica e formativa delle istituzioni. I risultati, comunicati a genitori e docenti tramite circolare del dirigente scolastico, sono disponibili sul sito dell'istituto comprensivo (elementari+medie). La circolare indica che lo stesso ministro Profumo ha invitato a pubblicizzare i dati. Assumo che queste comunicazioni stiano diventanto pratica comune in diverse scuole italiane, quindi credo la mia risposta sia di interesse generale.

Uno dei meriti del ministro Gelmini è stato certamente quello di potenziare l'INVALSI. La raccolta di dati, effettuata in modo sistematico e continuativo, non può che essere utile, anzi, è una delle poche strade che possono consentire ai genitori e ai dirigenti scolastici di valutare l'operato di scuole ed insegnanti. Come questi dati debbano essere usati è un altro paio di maniche. È giusto che questi dati siano diffusi, ma occorre aiutare genitori e contribuenti a valutarli.

Il dirigente scolastico, nel commentare nella circolare i dati che riprenderò in seguito, avverte che:

molte sono le variabili che concorrono a definire i risultati illustrati dalle tabelle, i cosiddetti dati di contesto che l’INVALSI cerca di raccogliere e controllare, ma che ancora non ha restituito ai singoli Istituti per un’analisi scientificamente rigorosa delle prestazioni. Possiamo quindi dire con certezza che  il contesto familiare ed ambientale in cui la scuola opera sostiene e favorisce il lavoro di istruzione ed apprendimento organizzato a scuola.

Il contesto socio-economico della scuola (un quartiere periferico ma mediamente agiato di una media città veneta) è favorevole,  ma nonostante l'avvertenza di cui sopra il dirigente si lascia scappare la seguente conclusione:

I nostri risultati di eccellenza ci permettono di dire con sicurezza che il lavoro nella nostra scuola persegue gli obiettivi istituzionali che la Repubblica affida ai propri insegnanti, mentre alcuni risultati al di sotto della media nazionale ci portano a riflettere sulle aree in cui bisogna maggiormente lavorare

Direi che le cautele espresse nel precedente paragrafo erano più che opportune e che sarebbe stato meglio astenersi da qualsiasi valutazione. Certe tabelle in mano alle persone sbagliate (a naso, il 99% dei genitori) si prestano ad interpretazioni sbagliate. 

image image
Risultati elementari (cliccare per ingrandire) Risultati medie (cliccare per ingrandire)

Le tabelle (vedi figura) contengono risultati ottenuti dagli alunni di seconda e quinta elementare, e prima e terza media. Vengono riportati i punteggi medi ottenuti nelle principali materie di studio. Ho segnato con in rosso i numeri sui quali mi soffermerò nei miei commenti. Per ciascuna prova, veniamo informati  della media ottenuta dagli studenti della scuola in questione, e delle medie ottenute da tutti gli studenti del Veneto, del Nord-Est, e della media italiana. Oltre alla media, vengono riportati il "limite inferiore"e il "limite superiore", che immagino corrispondano in termini statistici ad un intervallo di confidenza. 

1. Un confronto difficile

La prima cosa che fa un ricercatore di fronte a dati di questo tipo è depurarli delle condizioni socio-economiche dell'area in cui si trova la scuola, che è il PRIMO fattore determinante per il successo scolastico. Questo è un fatto abbastanza assodato in letteratura. Un 20% di genitori laureati in più fa aumentare la media molto più che la presenza di un bravo insegnante, o altre risorse di varia natura. Bastano 5 bambini stranieri in più per fare abbassare la media in modo significativo. Per esempio: 5 stranieri su 25 fanno il 20%. Se questi 5 prendono 20 punti in meno degli altri, la media si abbassa di 4 punti. Questo ovviamente non significa che i bravi insegnanti non servano (per usare una famosa metafora, il fatto che le cause della miopia sono genetiche non significa che gli occhiali non servano ai miopi). Però come commenta il dirigente, il "contesto familiare ed ambientale" è importante, e, aggiungo io, senza un'adeguata considerazione di tale contesto è piuttosto difficile poter capire quanto bene la scuola stia facendo. La tabella invita per sua natura a confrontare i risultati degli alunni di questa scuola con le medie regionali e nazionali, ma questo confronto si presta ad interpretazioni azzardate.

2. Il significato dei numeri

La circolare non fornisce una comprensione adeguata di come state poste e valutate le domande. Quanto significativa è la differenza fra un risultato di 65 ed uno di 61 (i numeri evidenziati nella tabella dei risultati della III media)? Non sto parlando di significatività statistica, ma di significatività "economica" (ossia che porta a conseguenze rilevanti sul futuro economico-sociale dell'alunno): quali conoscenze sono necessarie per ricevere 65 piuttosto che 61? Magari la differenza è minima, o magari per ricevere 65 occorre saper risolvere equazioni differenziali. Andrebbero perlomeno informati i genitori di quale sia il risultato ritenuto soddisfacente per ciascuna classe di alunni considerata. Sarebbe anche interessante sapere, piuttosto che la media ottenuta, quale percentuale di alunni ottiene questo risultato minimo.

3. Il valore aggiunto

Immaginiamo che la differenza fra 65 e 61 dell'ultima tabella (III media) sia "economicamente significativa", e che quella fra 46 e 51 (I media) lo sia pure, in segno contrario. Questo ci permette (in teoria) di calcolare il cosiddetto "valore aggiunto" della scuola (in realtà occorrerebbe prima depurare i dati dalle condizioni socio-economiche, ma assumiamo che questo sia stato fatto). Oramai questo è il criterio "standard" di valutazione - mi riprometto di parlarne in dettaglio maggiore in un prossimo post. Il confronto rivela che alla prima media sono arrivati alunni scarsi e sono usciti bravi nel giro di due anni. Per essere certi di questa valutazione sarebbe meglio avere i dati rilevati *sugli stessi alunni*, e cioé avere i dati della I media di 2 anni fa per confrontarli con la III di quest'anno. Magari la terza contiene 3 stranieri, e la prima di quest'anno ne contiene 8 perché gli stranieri stanno aumentando. Magari gli stranieri erano 8 sia in prima che in terza, ma in prima non sanno l'italiano, in terza si e tutto ad un tratto sanno fare i conti (e li sapevano fare anche prima solo che non capivano il problema loro assegnatogli). 

4. La volatilità dei dati

Ignorando queste critiche, e assumendo invece una certa " stabilità " demo-economico-sociale delle famiglie nel tempo, come si spiega che gli alunni sono sulla media in V elementare e scarsini in prima media? Succede qualcosa durante le vacanze dopo la V? Il confronto fra i dati di matematica della V elementare e quelli della III media fa sospettare che alla fine questi dati siano abbastanza volatili. 

5. Alcuni consigli per l'INVALSI

Dati comunicati in questo modo possono essere utili ma rischiano anche di creare confusione e fraintendimento. Confesso di non averci pensato molto, ma io spingerei per definire chiaramente quali sono i livelli minimi di apprendimento ritenuti accettabili, e riportare la percentuale di alunni che hanno superato questi livelli, piuttosto che il risultato medio. Sarebbe inoltre utile riportare altre informazioni sulla distribuzione dei risultati: qual è per esempio il valore minimo ottenuto dal 20% di studenti più bravi nell'intera nazione? Quanti studenti di questa scuola ottengono quel risultato? Servirebbe a capire se la scuola consente agli studenti bravi di ottenere un apprendimento eccellente.  

Andrebbero anche aiutati i genitori a capire quali sono i livelli di apprendimento ritenuti "buono" e "ottimo" dagli esperti pedagogisti (e perché). Nelle rilevazioni dell'OCSE (TIMMS e PIRLS per le elementari e medie, PISA per le superiori) le linee guida indicano un certo numero di livelli, descrivendo quale tipo di abilità cognitiva ed intellettuale sono necessarie ad ottenerli, e a quale punteggio corrispondono nei test (si veda per esempio la descrizione di due diversi livelli di lettura che ho riportato in questo post sui PISA). L'INVALSI cura le indagini OCSE per l'Italia, e usa simili criteri. Ho scorso brevemente il rapporto completo del 2010 (nel sito dell'invalsi sono disponibili anche le appendici tecniche con informazioni sulle domande fatte agli studenti - ringrazio il lettore Carriero per avere segnalato il rapporto in un commento). Esiste un notevole sforzo effettuato perché le rilevazioni siano informative. Occorre uno sforzo ulteriore per divulgare le informazioni in maniera utile e comprensibile. Il confronto fra media della scuole e medie regionali e nazionali è informativo, ma si può fare meglio.

Consiglio agli interessati la lettura del rapporto linkato.  Credo basti chiunque a fugare eventuali dubbi sul rischio che gli inseganti smettano di insegnare le cose che contano per passare il tempo ad insegnare a "fare i test". Se i test sono congegnati bene, non c'è questo rischio. Non sono un esperto di questo, ma a giudicare dalle domande che ho letto, non riesco a capire come si possa insegnare a passare il test se non si insegnano le conoscenze fondamentali della lettura, della comprensione del testo, dell'uso degli strumenti della matematica. 

6. Appendice tecnica: il significato degli intervalli di confidenza

Questo è un punto importante ma un po'  tecnico, che anche molti esperti fanno fatica a capire. Cito dalla circolare il seguente passaggio:

[i dati della scuola]  vanno confrontati con i relativi risultati delle diverse aree facendo attenzione se rientrano o meno nell’intervallo di confidenza indicato dai limiti inferiore e superiore di ogni dato di confronto (i limiti inferiore e superiore stanno a dimostrare come differenze di mezzo punto non siano statisticamente significative, e a volte non sono significative nemmeno differenze di 2 punti).

[testo corretto il 25/1] I dati contengono l'intervallo di confidenza perché anziché riportare le medie non sono calcolate sull'intera popolazione, ma su un campione rappresentativo (per poterle riportare più velocemente, presumo). Rimane il fatto che sarebbe più opportuno focalizzare l'attenzione di genitori e dirigenti scolastici su un concetto di significatività diverso da quella statistica, come ribadito sopra. Sapere che un +2 punti pone la scuola su una posizione statisticamente migliore che rispetto alla media italiana può non significare, concretamente, granché. 

Concludo osservando che i dati vanno certamente diffusi per dare modo ai genitori di operare la scelta scolastica in modo informato. Occorre però adoperarsi perché il significato di questi dati sia compreso nel modo meno distorto possibile. 

Modificate in parte le sezioni 5 e 6 in data 25/1.

57 commenti (espandi tutti)

Da fonte di prima mano (moglie docente in ITA)  posso chiarire che si tratta di un campione, nel senso che non tutte le scuole fanno la prova INVALSI ma che nelle scuole in cui vengono fatte, tutti gli studenti vengono testati.

con anche solo 100 scuole (5 per regione, meno di 1 per provincia) e 50 studenti ciascuna fanno 5mila studenti. Per avere un intervallo di confidenza di +/0 2 la varianza campionaria deve essere 5000, il che corrisponde ad uno scarto quadratico di 70, poco credibile. E sono stato molto parco con le assunzioni sul campionamento. 50 studenti per scuola sono pochi, e 1 sola scuola campionata per provincia mi sembra poco pure. 

Un documento, che spero di riuscire ad allegare, trovato tempo fa sul sito Invalsi, spiega che la rilevazione è censuaria, ma per accelerare la restituzione dei risultati si utilizza un campione (infatti i dati devono essere puliti e validati prima di essere diffusi). Quindi il discorso della differenza significativa ha senso perché il confronto tra media nazionale e regioni o province è fatto su dati campionari.

Il documento spiega anche qualche dettaglio su come sono fatte le prove. Gli item che compongono una prova sono suddivisi in livelli di difficoltà, secondo criteri basati su tecniche psicometriche (scala di Rasch).

Qui trovate il documento a cui mi riferisco:

http://www.invalsi.it/download/rapporti/snv2010/Rapporto_SNV_2009_2010_P...

Ve ne sono anche di più aggiornati, relativi alle ultime rilevazioni, ma non li ho letti

http://www.invalsi.it/snv1011/documenti/prove_invalsi_2011_prime_valutaz...

Grazie

andrea moro 25/1/2012 - 14:23

Molto interessanti, il primo documento chiarisce  molti dubbi. 

Ma in generale, direi che la lettura del rapporto linkato  basti chiunque a fugare eventuali dubbi sul rischio che gli inseganti smettano di insegnare le cose che contano per passare il tempo ad insegnare a "fare i test". Se i test sono congegnati bene, non c'e' questo rischio. Non sono un esperto di questo, ma a giudicare dalle domande che ho letto, non riesco a capire come si possa insegnare a passare il test se non si insegnano le conoscenze fondamentali della lettura, della comprensione del testo, dell'uso degli strumenti della matematica. 

Pienamente d'accordo. Purtroppo molti (insegnanti, genitori, dirigenti scolastici, opinionisti) non hanno idea di che cosa effettivamente misurino i test invalsi. Pensano che sia un quiz nozionistico, mentre invece misura le competenze, cioè le abilità che bisogna possedere e sviluppare per risolvere piccoli e grandi problemi attraverso l'applicazione di strumenti matematici o di capacità di decodifica linguistica.

La gazzarra che si è sollevato intorno ai test invalsi mi pare una cosa indegna. Poi questo non toglie che, se si individuano delle defaillance nella struttura dei test, queste non vadano corrette. Ma è tutto un altro discorso.

PS: attenzione che c'è un refuso nella seconda correzione (forse è rimasta parte del vecchio testo)

I miei due cents.

50 studenti per scuola sono pochi, e 1 sola scuola campionata per provincia mi sembra poco pure

La perplessita' potrebbe essere fuori luogo. I campioni utilizzati in questa indagine (e in indagini simili come PISA) non possono essere analizzati con gli strumenti standard dell'inferenza, quelli che per intenderci assumono la presenza di un campione casuale semplice. 

Il campionamento avviene su piu' livelli ed il numero di studenti campionati per scuola selezionata dipende dagli obiettivi dell'indagine. Se sono pochi o tanti dipende solo da questo.

Mi pare di capire che l'obiettivo dell'indagine campionaria (non dell'indagine censuaria) Invalsi sia di avere informazioni rilevanti sui livelli di apprendimento dell'intera popolazione studentesca italiana eleggibile. Data la struttura a due livelli del campione l'ideale sarebbe selezionare non piu' di uno studente per scuola ed aumentare al massimo il numero delle scuole selezionate. 

Questo architettura aumenterebbe decisamente i costi della rilevazione e impedirebbe di valutare una serie di fattori contestuali legati alla scuola frequentata ed alla sua organizzazione.

Il numero di studenti definito in fase di disegno dell'indagine é frutto di un triplice trade off tra costi,  interesse per la popolazione generale, interesse per le singole scuole.

L'indagine Pisa 2009, per fare un esempio noto, ha campionato 35 studenti per scuola, in linea con l'obiettivo di indagare i livelli di apprendimento dei 15enni di ciascun paese partecipante. 

mah

andrea moro 24/1/2012 - 23:41

che i sindacati si oppongano a queste cose non c'e' da stupirsi, ma lo fanno in malissima fede. Opporsi a qualsiasi sistema di valutazione e' folle. Vanno dati strumenti ai dirigenti per valutare, e ai genitori per scegliere. I genitori vanno aiutati a capire. Comunque, tornero' sul tema. Sono d'accordo che decisioni affrettate in base a dati incompleti sono da evitare 

Sono un docente, credo che verifiche e valutazioni siano parte integrante della didattica, ma la prova Invalsi, seppur positiva negli obiettivi, è assolutamente carente nel metodo e quindi inutile se non dannosa. La prova è inficiata dal fatto stesso che sono gli stessi docenti a somministrarla: già adesso si notano risultati anomali, che cresceranno. Se utilizzate come metro per valutare l'efficacia formativa delle scuole, i docenti - spontaneamente, dietro pressione dei dirigenti, per una distorta visione della competizione tra sezioni e istituti - faranno il possibile per i migliorare i risultati dei propri alunni. Allo stato attuale, sarebbe almeno interessante disaggregare i dati in altro modo: verificare non solo la media per classe, ma  anche per quantili. Ma soprattuto bisogna cambiare modalità di somministrazione, oppure, in maniera più radicale e meno ipocrita, rivolgere direttamente il test agli insegnanti (e magari anche ai dirigenti).

rivolgere direttamente il test agli insegnanti (e magari anche ai dirigenti)

Esatto, a ognuno il suo.

 

voti

 

 

 

 

 

 

 

attenzione

andrea moro 25/1/2012 - 02:08

i docenti - spontaneamente, dietro pressione dei dirigenti, per una distorta visione della competizione tra sezioni e istituti - faranno il possibile per i migliorare i risultati dei propri alunni

Okkio che  non c'e' niente di male nel cercare di "migliorare il risultato dei propri alunni". C'e' il problema che a volte insegnare a far passare i test non e' un obiettivo educativo primario, ma questo si risolve congegnando i test in modo appropriato. Per lettura, e matematica direi che questo non e' un problema. Il problema e' piu' in altre materie, ma non e' detto che non sia risolvibile. 

Il problema e' fuggire da una cultura in cui il maestro/professore sia invalutabile e intoccabile ad una in cui esistano strumenti per intervenire dove si verificano casi anomali, usando magari un insieme di criteri valutativi, che non possono limitarsi a questi test. 

Non mi sono spiegato: con "migliorare il risultato dei propri alunni" intendevo suggerire le risposte corrette ai test. Anche dal mio commento credo che si possa ricavare che sono favorevole a una valutazione della scuola, discenti docenti e dirigenti compresi. Sarebbe opportuno, però, che oltre a rivedere le modalità e criteri di valutazione, fossero resi chiari, all'inizio di ogni percorso di apprendimento, gli obiettivi da valutare.

il problema esiste, ma si potrebbe ridurre facendo sorvegliare gli  studenti da personale esterno alla scuola - magari insegnanti di altri istituti scolastici in modo tale di minimizzare gli effetti negativi del patriottismo di istitutio

Riporto dal testo

Anche per la rilevazione 2009-2010 nelle classi campione la somministrazione è avvenuta alla presenza di un osservatore esterno. Il compito dell’osservatore esterno è stato quello di monitorare la somministrazione ad ulteriore garanzia del rispetto delle procedure e di riportare le risposte fornite dagli allievi su apposite schede predisposte dall’INVALSI. 

Quindi almeno nelle classi usate per il campione esiste un controllo. L'INVALSI inoltre usa alcune tecniche statistiche oramai d'uso comune (e piuttosto efficaci) per rilevare anomalie nelle risposte. 

Competizione

MTk 25/1/2012 - 16:59

La competizione tra sezioni di solito non è attuabile perché la somministrazione avviene in maniera incrociata. Esiste invece il rischio di docenti che cercano di avvantaggiare l'istituto.

non capisco perche' non si cominci ad adottare il modello "americano" in cui gli insegnanti si specializzano su una classe, piuttosto che seguire gli alunni tutti gli anni del ciclo. Ci sono numerosi vantaggi, uno solo dei quali e' ridurre la varianza della qualita' degli insegnanti durante il corso studi. 

Non sono esperto del sistema americano, ma da quel che mi risulta, in America non c'è proprio il concetto di classe: gli studenti non sono raggruppati stabilmente in un gruppo, con i prof. che girano di classe in classe, bensì scelgono i corsi da seguire, che sono tenuti da un professore che ha una sua propria aula.

Non saprei ben dire, in questo senso, come sono organizzate le propedeuticità, però, in generale, dovrebbe essere un sistema molto più individualistico (e quindi responsabilizzante).

Ma, ribadisco, l'America non la conosco bene come vorrei.

mia figlia è in una classe ben definita, di 16 alunni, con una maestra per le materie principali, che occupano quasi il 90% del tempo, coadiuvata da maestri specializzati per le materie meno accademiche (ginnastica, musica, arte,  ...), per le quali tutti gli alunni si muovono in un'aula apposita.

Non chiamano le sezioni  A B C come da noi, ma molto più politically correct "blue door", "green door", etc... Questo certamente per tutte le elementari, e credo anche alle medie. Alle superiori vige il sistema che descrivi. 

In effetti, per deformazione personale, tendo a pensare sempre alle superiori. Per le elementari, le mie fonti concordano con quanto dici, ma le mie fonti sono i Simpson...

Coorti

MTk 25/1/2012 - 17:05

L'esigenza di valutare le coorti invece di fotografare un particolare anno scolastico è ancora più complicato di quanto evidenziato nel post.

Gli insegnanti che hanno fatto un lavoro fantastico ed hanno fatto fiorire i loro allievi, nel momento in cui vedo i dati e vorrei iscrivere mia figlia stanno già portanto avanti un'altra coorte (fortunata). Servirebbero valutazioni su un intervallo di tempo molto ampio, peccato che in tale periodo varia anche l'organico...

Legato allo stesso problema c'è il fatto che manca è la varianza all'interno dello stesso istituto: quanto variano le prestazioni delle varie sezioni parallele di una singola coorte?

Premesso che non lavorando per l'invalsi non conosco nel dettaglio la loro metodologia.

Tuttavia da un punto di vista statistico i risultati della prova Invalsi sono affetti da un errore di misura (il cheating ad esempio) che è indipendente dal fatto che tali score siano costruiti a partire da un test somministrato sull'intera popolazione di riferimento.

La formula per il calcolo dell'errore standard riportata da Andrea è  non è applicabile in questo caso in quanto l'errore sottostante non è i.i.d.. Tale errore è per natura eteroschedastico (le scuole della provincia X "barano" di più rispetto a quelle della provincia Y) e la sua importanza dipende dall'abilità del modello statistico usato per la correzione degli "score grezzi" per il cheating.

Ringrazio comunque Andrea per l'ottimo articolo

magari l'INVALSI corregge per questa eteroschedasticita', cosi' come corregge le eventuali anomalie (che pero' risultano abbastanza rare se non inesistenti, a quanto leggo dal rapporto). 

Questo è un fatto abbastanza assodato in letteratura. Un 20% di genitori laureati in più fa aumentare la media molto più che la presenza di un bravo insegnante, o altre risorse di varia natura. Bastano 5 bambini stranieri in più per fare abbassare la media in modo significativo.

Posso capire che avere genitori non madrelingua puo' ostacolare un bambino straniero nell'italiano, ma perche' dovrebbe essere un problema in matematica?

Specie alle medie, esistono dati per dire che il livello di istruzione dei genitori o la loro provenienza incide significativamente a parita' di contesto sociale?
Cioe' in una stessa classe i figli di genitori africani (per dire) che lavorano nelle concerie, sono svantaggiati mediamente rispetto ai figli dei lavoratori italiani delle stesse concerie?

Posso capire che avere genitori non madrelingua puo' ostacolare un bambino straniero nell'italiano, ma perche' dovrebbe essere un problema in matematica?

Sarà correlato al tipo di immigrati che attira il sistema paese Repubblica Italiana?

uno e' che le domande, anche quelle di matematica, sono scritte in italiano. Un altro e' che in genere, come evidenziato anche in altro commento, l'italia attira stranieri a basso capitale umano. Il livello di istruzione dei genitori incide certamente anche a parita' di tutto il resto. 

Si ma questi stranieri "a basso capitale umano" direi che vivono insieme ad altri italiani dello stesso tipo. Non credo che il figlio del bracciante africano vada a scuola in classe col figlio del latifondista, ma con i figli degli altri braccianti.

Specie alle medie, esistono dati per dire che il livello di istruzione dei genitori o la loro provenienza incide significativamente a parita' di contesto sociale?

Esiste una montagna di evidenza, cioè quel "abbastanza assodato in letteratura", che mostra che il livello culturale ed economico della famiglia incide sulla performance scolastica dei figli. Questo è un fattore che in parte spiega la differenza di risultati dei sistemi scolastici, ad esempio tra tra Nord Europa e Italia, tra Nord e Sud Italia, tra scuole in quartieri chic e periferie degradate delle grandi città. E questo vale a prescindere dalla materia ed è ovviamente in media. Non esclude che ci siano, anche frequenti, underachiever tra i well off e viceversa. La lingua degli immigrati è quasi ininfluente se in tenera età se non per brevi periodi, dopo di che riprende il soppravvento la cultura di famiglia. Gli ispanici e gli asiatici parlano lingue straniere, anzi i primi sarebbero avvantaggiati con l'italiano, ma hanno performance diverse a favore degli asiatici. Un conciatore immigrato che ha studiato o considera lo studio importante ha buone chance di avere figli con un performance migliore di quelli di un conciatore italiano che non ha studiato.

Esattamente, la differenza e' tra classi diverse, ma all'interno di una stessa classe dove gli studenti tendono ad arrivare da uno stesso livello culturale e economico (visto il costo di affitti della zona) il fatto che i genitori siano stranieri non dovrebbe c'entrare per nulla.

Dovrebbe?

andrea moro 26/1/2012 - 19:48

Dovrebbe in base a quale evidenza? Stai dicendo che se tutti sono uguali, allora non ci sono differenze. L'evidenza empirica e' che gli stranieri non sono uguali agli italiani, in media, e dunque i risultati sono diversi. Poi ci sara' anche chi ha il figlio einstein  anche se viene dal campo profughi. Comunque, discussione inutile. Il punto era che esistono vari fattori che causano diversita' nelle medie locali rispetto a quelle regionali/nazionali, e che occorre tenerne conto. Se poi tra questi fattori non c'e' il numero di stranieri in classe, tanto meglio per gli stranieri. 

Gli esami di profitto dovrebbero essere univoci, non promuovere un biforcazione fra "Scuola" e "INVALSI": siamo alla ridicolaggine.

 

Quelli che ragionano in questo modo non possono che essere o buffoni  o economisti (tipicamente anglosassoni).

 

RR

Fra tutti i commenti più o meno strampalati che ho letto da quando ho iniziato a seguire questo blog (e ormai è passato qualche anno) questo balza prepotentemente nella top ten.

Award

Renzino l'Europeo 26/1/2012 - 20:15

Anche il tuo l'ho prenotato per un award.

 

RR

Dai, proviamo a tornare un attimo seri.

Gli economisti sarebbero "buffoni" perchè "promuoverebbero una biforcazione fra i voti scolastici e i giudizi degli invalsi". Ma cosa cavolo vuol dire?

Il divario fra voti scolastici e i risultati di un test standardizzato e uguale per tutti sono un DATO DI FATTO, non sono un "auspicio". Trovami degli argomenti decenti per cui dovremmo preferire i primi ai secondi.

ed inutile. Il post non promuoveva nessuna "biforcazione", lasciamo ai pedagogisti decidere se occorrano test diversi quando si vuole valutare le conoscenze dell'alunno piuttosto che capire se un insegnante o scuola sta facendo il suo dovere. Quel che si voleva promuovere era l'uso del secondo di tipo di test, oltre che la comunicazione del significato dei relativi risultati a chi di dovere. Chiudo il thread alle risposte.  

Premesso che il commento di Renzino l'Europeo è veramente inqualificabile (secondo me siamo in una Top 3 almeno), ci sono differenze  -tra i voti scolastici e i dati Invalsi- sia nei modi che nei fini.

Il dato Invalsi è una fotografia: tizio sa fare tot e ha competenze tot in un dato momento della sua vita educativa. L'Invalsi non dice se questo valore è alto o basso -se non in senso relativo- né ti dice come si sia arrivati a questo valore, né come andrà in futuro (anche se il dato in sé è assai importante, anzi, fondamentale).

Un ragazzo che fino ad un anno fa era quasi analfabeta ma oggi riesce ad avere risultati INVALSI non troppo più bassi della media è un ragazzo che ha lavorato come un mulo, serio, con ottime prospettive: il mio volto sarebbe un bell'8, o un 9. Starebbe a significare che quel ragazzo forse in quel momento non sarebbe competitivo sul mercato del lavoro (se rimanesse a quei livelli), ma che vale assolutamente la pena di dedicargli tempo e risorse, ché a quel livello non ci rimane, se gli si dà la possibilità di crescere.

Ovviamente ho fatto un esempio semplice, tendenziale, ma spero illuminante.

Al di là di questo, la valutazione scolastica è erratica, arbitraria, casuale, superficiale, distorta e arcaica. Andrebbe tolta di mezzo e sostituita con prove di verifica da svolgere con regolarità alla fine dei cicli di lavoro (quadrimestri, trimestri, bimestri che dir si voglia), in modo che gli studenti ne siano responsabilizzati, e che i professori non siano più legati agli avvilenti riti dell'interrogazione e del compitino in classe.

E' inqualificabile ritenere che la società paghi lo stipendio ai docenti, e ad essi demandi la responsabilità della gestione del circuito insegnamento-valutazione-apprendimento, e poi si esca fuori con l'idea che questo lavoro non vale niente. Anzichè guidarlo, e sorvegliarne gli standard, lo si annulla.

 

Bella scuola.

 

RR

sorvegliarne gli standard

Non e' per questo che si fa una valutazione?

Intendo che la valutazione del profitto (dello studente) non può essere una e bina. Facciamo in modo che sia la scuola (i.e. il docente) a continuare ad essere responsabile della didattica, ma creiamo le strutture di indirizzo e controllo esterno perchè i docenti effettuino valutazioni/esami conformi a certi standard, per quanto rigurda tipologie, contenuti, livelli di apprendimento richiesti. A questo fine si potranno/dovranno eseguire controlli a campione e.g. su come vengono corretti i compiti scritti e su come vengono fatte le interrogazioni orali.

 

Facciamo invece degli esami centralizzati ("Esami di Stato") nei momenti topici (e.g. maturità) rendendo totalmente esterne, con regole uniformi e sotto controllo le commissioni di esame.

E non ti sembra che il lavoro portato avanti dall'invalsi vada esattamente nella direzione da te auspicata?

I test delle competenze a livello nazionale, confrontati con le valutazioni date dagli insegnanti, hanno finalmente quantificato (in modo certo imperfetto e migliorabile) la discrepanza fra le valutazioni "interne" e quelle "esterne". Il prossimo passo dovrà necessariamente essere quello di pensare a meccanismi in grado di valutare la bontà del lavoro degli insegnanti - ma attenzione, non solo su come vengono corretti i compiti o fatte le interrogazioni, ma anche su cosa e come insegnano!

Auspichi esami "centralizzati"? Bene, l'Invalsi ha inserito all'esame di terza media un quesito comune per tutti e corretto in modo uniforme a livello nazionale, e credo si appresti a fare altrettanto all'esame di maturità.

Adesso spiegami qual è la logica che lega questo tuo ultimo post ("valutazione esterna") con il primo intitolato "Buffoneria"

No. Sto dicendo che non è possibile che un sistema formativo affermi che gli esami fatti dalla scuola valutino le competenze C1, C2, ..., Cn in un certo modo, con certi giudizi e i voti, e il giorno dopo arrivi l'INVALSI e dica di avere valutato le stesse competenze C1, C2, ..., Cn con diversi giudizi e voti. Perché dovrebbe avere ragione l'INVALSI anziche il Professore titolare? Chi l'ha detto? Dio?

Io sto dicendo che NON bisogna costruire il sistema in questo modo, non torna bene nè ai docenti ma neanche agli studenti.

RR

Non serve scomodare Dio, basta la logica.

Da una parte abbiamo valutazioni basate su test uguali per tutti, corretti in modo omogeneo, trasparenti, di cui conosciamo l'esatto contenuto.

Dall'altro abbiamo valutazioni basate su test diversi da classe a classe, da insegnante a insegnante, di cui non conosciamo con precisione il contenuto nè i metodi di correzione.

E' chiaro che i due sistemi di valutazioni svolgono ruoli diversi e  in parte complementari.

E' anche abbastanza chiaro a chi ha un minimo di buon senso quali risultati siano più affidabili per confrontare il livello di competenze (e non la qualità degli insegnanti, ovviamente, almeno se ci limitiamo ai dati grezzi) mediamente raggiunto dagli studenti di un territorio piuttosto che di un altro, di una scuola piuttosto che di un'altra.

Se poi uno vuole continuare a ritenere ch,e siccome a Reggio Calabria ci sono più 100 e lode che a Milano, gli studenti di Reggio Calabria siano mediamente più preparati di quelli di Milano, è naturalmente affar suo.

Non serve scomodare Dio, basta la logica.

 

La logica? La logica dice che un test con le crocette consente di valutare le competenze meglio di tutta quella serie di prove scritte ed orali che in ogni epoca, al di fuori di questa nostra, decadente, sono stati ideate e messe in campo per verificare gli apprendimenti degli studenti (contribuendo in tal guisa a dare forma e dirigere la stessa esperienza formativa) ? 

Amico mio, possiamo discutere a lungo. E comunque la logica non dice questo: ho seguito molti corsi di logica nella mia vita.

RR

In questa diatriba sono sostanzialmente d'accordo con Marco Paccagnella. Vorrei sottolineare che la valutazione delle competenze acquisite da parte dell'Invalsi con test standardizzati puo' essere meno approfondita e personalizzata della valutazione in classe da parte dell'insegnante, ma e' sicuramente molto, molto piu' valida quando si aggregano e fanno medie di studenti per scuola, per insegnante, per provincia e cosi' via.  Il vantaggio della valutazione Invalsi e' che e' la stessa per ogni studente e che il punteggio assegnato non e' discrezionale. Questi vantaggi sono grandissimi specie in Italia dove gli insegnanti non hanno (per mia esperienza almeno) alcuna cultura "scientifica" della valutazione e in ogni caso dove lo Stato, prima che entrasse in azione l'Invalsi, non faceva alcuna valutazione sulla equivalenza delle competenze acquisite in diverse scuole, e nemmeno metteva in atto alcuna politica di incentivi o controlli a campione per spingere gli insegnanti ad adottare le migliori pratiche per ottenere come risultato l'apprendimento di competenze utili e di buon livello.

Uno studente ha il DIRITTO di essere valutato in merito al grado di raggiungimento degli obiettivi formativi richiesti.

Tutti gli altri discorsi su aggregati, ecc. li lascio ai polli, alle pecore e alle mandrie.

 

RR

meglio tardi

andrea moro 28/1/2012 - 05:40

che mai :-) 

non vale la pena

A quando i nuovi governi si presenteranno al parlamento per il voto di confidenza?

[Scusate, lo so che non ne vale la pena, ma non riesco a resistere...]

Uno studente ha il DIRITTO di essere valutato in merito al grado di raggiungimento degli obiettivi formativi richiesti.

Per curiosità, Renzino, richiesti....da chi?

p.s. io vorrei che, come io ho il diritto di non comprare un auto che reputo di bassa qualità, uno studente avesse il diritto di non acquistare lezioni di matematica che reputa di bassa qualità...

Richiesti dalla scuola, stiamo parlando di studenti che vanno a scuola, e che ci vanno per apprendere. Ci sono degli obiettivi formativi, e l'autorità scolastica valuta il profitto di ciascuno studente. Non c'è nessuna gara di studenti in corso, è una sfida dello studente con gli obiettivi formativi richiesti, per ottenere il titolo di studio.

ottenere il titolo di studio

Il quale, en passant, è il certificato che attesta - per l'appunto - il raggiungimento degli obiettivi formativi previsti per quel determinato profilo della qualifica scolastica (o accademica) a cui si aspira.

Se la scuola o i docenti non sono capaci di fare le verifiche appropriate, il problema non si risolve eliminando la validità dei titoli, ma licenziando quei docenti incapaci. Nè più nè meno come si farebbe per quei medici che rilasciassero certificati medici fasulli : o che si pensa che le visite mediche le può fare allo stesso modo il ragiunatt della ditta che si mette lo stetoscopio?

RR

Ci sono degli obiettivi formativi, e l'autorità scolastica valuta il profitto di ciascuno studente.

E cosa intendi per "autorità scolastica"?

Se intendi la singola scuola, allora stai sostanzialmente prefigurando un sistema di scuole private, totalmente autonome, che si autoregolano, che hanno libertà di assumere e licenziare insegnanti a piacimento, senza alcun intervento statale per quanto riguarda accreditamenti o assegnazione di valore legale al titolo di studio.

Se invece l'autorità scolastica è il Ministero dell'Istruzione (che mi sembra la descrizione più corretta del sistema oggi vigente in Italia)...beh, quello che fa l'Invalsi lo fa in quanto incaricato dal Ministero. Quindi l'Invalsi, in quanto emanazione dell'autorità scolastica, ha il diritto di somministrare tutti i test e le prove che ritiene opportune. Se il problema è che tali prove non concorrono a determinare promozioni o bocciature a fine anno...beh, a parte che anche gli insegnanti "normalmente" fanno verifiche e danno voti che poi a fine anno non "contano"...e in ogni caso se il problema è questo lo si supera facilmente: facciamo contare i test invalsi ai fini di promozioni e bocciature.

A me sembra che quello che vogliono i sindacati che si oppongono ai test invalsi sia sostanzialmente un mix dei due sistemi sopra prefigurati, della serie "la botte piena e la moglie ubriaca". Ovvero, una scuola a servizio degli insegnanti piuttosto che degli studenti.

E cosa intendi per "autorità scolastica"?

Autorità scolastica è una locuzione generica che si suole usare per diversi attori dell'impresa formativa. Il singolo docente è un'autorità scolastica, una scuola è un'autorità scolastica, il Ministero dell'Istruzione è un'autorità scolastica, come lo sono altri Enti o istituzioni ai quali sono assegnate prerogative e poteri in un certo sistema (nazionale, regionale o sovranazionale) di istruzione e formazione.

Il concetto di "autorità" viene evocato per chiarire che abbiamo a che fare con una persona fisica o giuridica investità in modo più o meno formale di quel ruolo asimmetrico della relazione formativa che è quello di "chi insegna". Dall'altra parte c'è "chi impara". Non ci si scampa.

In questo momento non ho tempo per proseguire, ma siccome questa sera spero di avere voglia di scrivere per il mio blog un pezzo in merito ai "titoli di studio" (con riferimento, peraltro, all'istruzione di livello universitario), torno sulla questione generale. Per ora, al fine di elucidare i concetti agli interessati, mi affido al Governo di Sua Maestà e rimando a tutti gli iperstesti rinvenibili da qua

http://www.ofqual.gov.uk/

e qua

http://www.direct.gov.uk/en/EducationAndLearning/QualificationsExplained/DG_10039017

RR

 

Re:

Marco Paccagnella 30/1/2012 - 11:38

Fantastico.

Siccome non hai tempo per rispondere, hai perso lo stesso tempo che avresti perso per rispondere alla mia domanda....senza però  rispondere.

invalsi

stefanodelbene 31/1/2012 - 02:12

Io penso che, nella foga con la quale ciascuno sostiene la propria posizione, ci si dimentichi l'esistenza di almeno due sistemi di valori differenti (qualcuno, ideologo dell'anti-ideologia, li definirebbe due ideologie). Il primo che vede nell'introduzione di sistemi più o meno statisticamente “esatti”, la realizzazione di un modello di scuola molto simile al “mercato”: in uno degli interventi Marco Paccagnella dice:

io vorrei che, come io ho il diritto di non comprare un auto che reputo di bassa qualità, uno studente avesse il diritto di non acquistare lezioni di matematica che reputa di bassa qualità...

Quindi si “comprano” gli studi come si comprano le automobili.

C'è invece chi pensa che l'istruzione non sia una merce come tutte le altre, anche perchè esistono scuole laiche o confessionali che consentono di comprare l'istruzione, con risultati generalmente tut'altro che, come si usa dire, “di eccellenza” (scuole che peraltro chiedono a gran voce finanziamenti da parte dello Stato, spesso ottenendoli).

Ma cosa c'entra questo con le prove INVALSI?

Le prove INVALSI nella loro (perfettibile) matematica razionalità vedono l'apprendimento come l'acquisizione di un certo ammontare di nozioni e competenze che garantirebbero allo studente, futura forza lavoro, la capacità di svolgere delle mansioni, più o meno elevate a seconda del livello di istruzione raggiunto. In realtà c'è una parte di apprendimento che sfugge da questo calcolo razionale, è il capitale umane che viene generato dalle relazioni, dalleesperienze, dall'empatia. Bourdieu ne ha tratto un fondamentale volume “ela distinzione”, al quale rimando chi volesse approfondire.

Ma è dalla scuola che deve giungere questo apprendimento?

Beh, se non si vuole una società statica ed incrostata in stratificazioni millenarie, direi proprio di si. La scuola elementare dove vanno i miei figli è un po' particolare, si trova in una zona del centro storico caratterizzata da una composizione sociale eterogenea, dove si trova il bambino “immigrato” (ma la smettiamo di chiamare così dei bambini che, persino un moderato come l'attuale Presidente della Repubblica, definisce italiani?) ma anche il bambino dell'alta borghesia. Nessun test INVALSI potrà misurare questo tipo di apprendimento, che ne farà i cittadini della società aperta e meticcia che sta prendendo vita, con alcuni decenni di ritardo, anche nel nostro paese; o preferiamo una società ignorante, provinciale e paurosa?

La corporazione degli insegnanti è nemica di questa prova?

Il corpo insegnante della scuola italiana, per quel che ho potuto vedere, non mi soddisfa pienamente. E' corporativo, mediamente poco preparato, poco aggiornato e soprattutto vive il proprio lavoro con scarsa motivazione. E allora che si fa? Una bella gara con ricchi premi finali: ovviamente ogni insegnante potrà contare su un certo numero di cavalli-studenti, sarà quindi suo compito allenare bene i quadrupedi, magari con un po' di doping, e vedrai che ci uscirà qualche bella sommetta per i più meritevoli. Così invece di premiare quelli che fanno sperimentazione, che portano i ragazzi a vedere i musei ed in gita di classe, o che gli fanno fare attività che sviluppino tutte le capacità di apprendimento, premiamo quelli che li addestrano, appunto, come animali da circo.

Insomma, tutti mi direte, ma come si fa a capire se questi benedetti studenti imparano qualcosa?

Io penso che gli strumenti ci siano: prove di ingresso e finali, dove si può cogliere, in questo caso in maniera oggettiva, lo sviluppo e la progressione nell'apprendimento. Strumenti esperienziali, dove si ricevono ben altri feed back che un numero. La supervisione sugli insegnanti e l'orientamento agli studenti, ma fatti seriamente.

Questi sono gli strumenti che a mio parere potranno cambiare qualcosa nella scuola italiana.

Mi scuso di essere stato un po' lungo ed off-topic.

Nel mission statement della scuola di mia figlia sta scritto che il  "curriculum sociale" e' tanto importante quanto il "curriculum accademico". Sono quindi ben consapevole dell'importanza di criteri di valutazione diversi da quelli facilmente quantificabili con un test. Comincerei col dire che questo tipo di scuola l'abbiamo scelta,  scelta che per molti versi in Italia nemmeno e' possibile, per vari motivi, ma non e' questo il punto. Il fatto  che esistano criteri di valutazione non quantificabili non significa che dobbiamo ignorare o nemmeno misurare quelli quantificabili. Anzi. Sull'importanza dei test e su come debbano essere usati tornero' in  seguito. Certo, non bastano a scoprire le scuole eccellenti, ma credo siano fondamentali ad indicare le anomalie piu' gravi. Come ho detto, tornero' sul  tema. 

quindi, perchè non ragionare con un respiro più ampio, liberandoci da certi feticci che ci portimao dietro e che non servono a capire un accidente del problema. Le prove INVALSI sono, a mio parere, un feticcio sia per chi le sostiene che per chi le avversa, e servono ad evitare di affrontare veramente il problema dell'istruzione. Il vero problema, che secondo me non è neanche la mancanza di risorse, ma il cattivo uso che se ne fa nella scuola pubblica (e per il  quale la scuola privata gode di invidiabili rendite di posizione). L'autonomia scolastica, che avrebbe potuto creare le basi dell'innovazione, ha spesso creato delle mostruose figure di burocrati capaci solo di (ab)usare con maggiore discrezione del loro potere. La partecipazione resta limitata a poche isole felici, con insegnanti assulutamenti privi  della capacità di svolgere un ruolo di attivatore di risorse. Aggiungiamo che questo si aggiunge alla decadenza economica e tecnologica dell'Italia, che rende inutile l'acquisizione di un titolo di studio (cosa serve l'abolizione del valore legale, quando è già stato azzerato il valore "tout court"). A questo punto i test INVALSI assomigliano molto al dito che indica la Luna.

Inizia una nuova discussione

Login o registrati per inviare commenti