I bambini so' piezz'e core...

CARRIARMATIINPIAZZACECCHINISUITETTI. 

Ho letto anch'io l'articolo. Io manderei l'esercito - punto. Al pedagogista, poi, chiederei quanto è pedagogico che gli insegnanti favoriscano la scopiazzatura dei loro allievi per evitare di venire puniti/valutati. Che lezione di vita: non farti il mazzo, tanto qualcuno dall'alto ti proteggerà sempre il posteriore. WOW.

Forse è perchè vengo da quella zona eletta del Paese che con forza e arroganza ha unificato il Paese, ma mi chiedo se, davvero, in questi casi, democrazia, diritti umani, stato di diritto non vadano "sospesi" per risolvere velocemente queste sacche di criminalità e ignoranza che affliggono il Paese...

Questa e' una delle tante "risposte" della societa' meridionale al sistema degli incentivi vigenti nello Stato italiano (organizzato e diretto da una Casta con significativa partecipazione della societa' meridionale stessa). Quando non si fanno valutazioni nazionali omogenee e serie ma si da' l'aiutino sottobanco e si procede per espedienti, trucchi e imbrogli basati al massimo sul "pezzo di carta", si ottiene quanto documentato nel rapporto Invalsi.  Suggerisco di rimpiazzare il link indiretto su lastampa.it con quello diretto: http://www.invalsi.it/download/rapporto/Rapporto_PN_prime_analisi.pdf.

Sembra, quasi, di sparare alla Croce Rossa.

I comportamenti in ispregio di correttezza e legalità, in alcune parti del Paese, sono talmente diffusi ed evidenti, che ci si chiede persino se ancora sia utile rimarcarli. Sì, perché le considerazioni che non possono che derivarne - e che mettono inevitabilmente sul banco degli imputati la cultura dominante in interi territori, e le locali classi dirigenti che ne sono portatrici e corresponsabili - si scontrano immediatamente con levate di scudi ed accuse di razzismo: ho dato un'occhiata, per curiosità, al sito de "Il Mattino" di Napoli, dove la notizia vien data correttamente ma, nei commenti dei lettori, accanto ad un'indignata accettazione della realtà, si erge per la sua involontaria e tragica comicità un'opinione frutto di una paradigmatica chiusura mentale.

Eppure, bisogna insistere. E rifiutarsi di accettare la logica secondo la quale i problemi son minori di quanto appaia, la colpa è sempre d'altri e, comunque, per uscire dalla quotidiana valle di lacrime basta destinare più fondi: ma come, (dis)onorevole Micciché e relativi "compagni di merende" d'ogni colore, ancora?

Premesso che non ho letto le 180 e passa pagine del rapporto dell'Invalsi (e che quindi mi baso sugli articoli di Repubblica e del Corriere) vorrei spendere due parole sull'analisi statistica dei dati.

Ipotizziamo che sia vero e che gli insegnanti al sud abbiano barato nei test per far aumentare il punteggio dei propri allievi. Era una cosa prevedibile? Bhè, che ci potessero essere casi del genere chi preparava un test di questo tipo se lo poteva aspettare e, aspettandoselo, poteva prevedere controlli da fare sul momento o controlli da fare a posteriori. Questo è stato fatto? Forse ma negli articoli comparsi sui quotidiani non ve ne è traccia. L'impressione che passa è che quelli dell'Invalsi si siano trovati davanti a dati che cozzavano brutalmente con le proprie aspettative ed abbiano quindi cercato di applicare metodologie statistiche varie in modo da ottenere un risultato in linea con le previsioni.

Anche nell'ipotesi (plausibile o almeno possibile) che alla fine abbiano ottenuto il risultato giusto la metodologia è assolutamente scorretta e a-scientifica. Se sospetto che possano esserci dei brogli decido prima di fare il test che applicherò una data metodologia di analisi e poi, una volta che ho i dati in mano, la uso senza cambiarla. Se la mia metodologia prevedeva la scelta di parametri arbitrari (threshold e cose simili) anche questi parametri vanno scelti senza aver ancora visto i dati. Altrimenti, consciamente o meno, si finirà sempre per ottenere il risultato atteso. Se poi viene fuori che i risultati del test sono inattendibili l'unica cosa onesta da fare è dichiararli tali e, se possibile, ripetere l'esperimento.

Mettere in campo millemila tecniche statistiche per "dimostrare" che, nonostante i dati dicano altro, la mia ipotesi iniziale era giusta è barare.

Non sarebbe stato più facile mandare gli ispettori piuttosto che raffrontare i dati dei test con le medie dell'anno scolastico e da quello calcolare il "tasso di cheating"? Ah certo, in italia ci sono 150 ispettori...

 

la "prova" statistica è sufficiente per incriminarlo?

 

Spero, con tutto il cuore, di no.

Chiaramente non si possono mandare in galera gli insegnanti con prove ``statistiche''. Ci mancherebbe altro che questo. Sono un po' perplesso da queste .

Il rimedio al problema nel test e' piu' semplice: introdurre 3-4 test diversi, ognuno dato nella stessa classe. Il costo aggiuntivo e' minimo, e si evita il problema. A questo hanno gia' pensato nei paesi piu' ``avanzati'' (il che fra l'altro dimostra che la natura umana e' generale, e che questi non sono solo problemi di Posillipo).

Invece, per la stampa italiana non c'e' rimedio, quella andra' sostitutita con personale nuovo e fresco.

Alberto,

Il tuo post mi sembra che diua per scontato che la procedura statistica utilizzata per "correggere"i dati sia valida, tanto e' vero che addirittura ti chiedi se possa essere usata come "prova" legale. Immagino tu abbia letto il rapporto ed in particolare l'appendice 5, che riporta il metodo usato. Leggendo a me qualche dubbio mi e' venuto. In particolare il rapporto usa 4 indicatori per individuare le classi "opportunistiche", media delle risposte giuste per classe, variabilita' introno alla media, un indice di risposte mancate e un indice di risposte "comuni" (incluse le corrette). Almeno tre degli indici, i primi due e il quarto, sono ovviamente correlati alla performance della classe. 

Infatti, riporto dall'appendice 5:

Ciò permette di interpretare la prima componente (asse orizzontale) come l’asse che identifica le classi anomale, ovvero caratterizzate da un punteggio medio prossimo al 100% del punteggio massimo conseguibile ed una variabilità quasi nulla rispetto a j p , mentre le scuole che si proiettano sulla parte positiva della prima componente saranno caratterizzate da valori medi più contenuti e valori degli indici di variabilità nella norma.

Il secondo asse (asse verticale) è caratterizzato principalmente dall’indicatore e può, quindi, essere interpretato come un indicatore del grado di adesione (propensione a rispondere) della scuola presa in considerazione.

In sostanza il rapporto individua automaticamente le classi con migliori risultati come quelle che hanno una probabilita' maggiore di aver copiato. Con questa metologia e' ovvio che i risultati siano stati ribaltati, non poteva essere altrimenti. Non trovi?

Metodi statistici si usano correntemente per scovare cheaters nei compiti a risposte multiple, ma questi si basano soprattutto sulle risposte uguali non corrette, un indicatore curiosamente tralasciato dal rapporto.

Non ho letto i servizi del Corriere e di Repubblica (da dove sono non riesco sempre a trovare giornali italani). Tuttavia ero al corrente dei sospetti che nei test INVALSI gli scolari potessero essere aiutati dagli insegnanti, perché se ne è discusso tra matematici. Del resto è risaputo che spesso questo avviene anche nelle prove di matematica della maturità. Credo che lo INVALSI stia mettendo a punto metodologie che evitino almeno l'interesse diretto degli insegnanti che sorvegliano le prove ad un esito positivo delle prove stesse.  L'ideale sarebbe che fossero in conflitto di interesse, cioè che i risultati dei loro studenti fossero giudicati in base al confronto con i risultati degli studenti da loro sorvegliati. Mi fa ridere l'idea che il comportamento "misericordioso" degli insegnanti possa costituire reato. Noi italiani siamo abituati dalla scuola a considerare lecito "copiare" i compiti del compagno più bravo e vergognoso ed arrogante per uno studente bravo il rifiuto di passare il compito al compagno meno bravo. Andando a studiare negli SU si impara che cosa vuol dire lo "honour system". Su questo la citazione più interessante è quella del libretto di Gaetano Salvemini "Memorie di un fuoruscito". Tuttavia, debbo aggiungere che sospetto che anche i risultati dei test PISA di altri paesi possano essere truccati, come erano truccati i risultati degli atleti dei paesi dell'est europeo. Infatti una delle concause del basso endimento degli studenti italiani ai test PISA è (o meglio era) la  scarsa importanza data al test da studenti e insegnanti.

JB, sono complessivamente in disaccordo con il tuo commento. Mi sono letto le note metodologiche (appendice 5) del testo INVALSI e mi sembra che siano analisi corrette pur con tutti i  limiti degli studi osservazionali.

Devi tenere presente che gli errori sistematici non sono sempre eliminabili tramite il disegno dell'indagine. Che tipo di controlli a priori e posteriori proponi? In questo caso la distribuzione di questionari differenti come propone Aldo Rustichini puo' essere utile per ridurre gli scopiazzamenti tra studenti, ma non ha nessun effetto se l'insegnante suggerisce le risposte corrette agli studenti. Evitare questo secondo errore sistematico avrebbe richiesto l'invio di commissari in ogni classe e probabilmente l'allontamento degli insegnanti di ruolo dall'aula durante il test.

Riassumo per i lettori qui di seguito i passaggi metodologici adottati da INVALSI

1- Hanno presentato i risultati grezzi

2- Hanno proposto 4 indicatori che gli autori ritengono siano correlati con la probabilita' di comportamenti opportunistici (media, scarto quadratico medio, Indice di Gini di eterogeneita', e indice di partecipazione) e li hanno stimati classe per classe.

3- Inoltre, poiche' gli autori sembrano consapevoli che nessuno di questi indicatori e' sufficientemente sensibile e specifico, nessuno di loro e' usato isolatamente ma assieme agli altri. Gli autori hanno "creato" quindi un indicatore sintetico di "cheating": gli autori ipotizzano infatti che ognuno di questi indicatori concorra, da diversi punti di vista, a definire la variabile latente a cui sono interessati, la probabilita' che i professori o gli studenti o entrambi barino al test.  L'analisi delle componenti principali che hanno eseguito e' coerente con questa ipotesi (mi chiedo perche' abbiano estratto 2 componenti invece che 1 quando i dati empirici puntavano abbastanza chiaramente per una soluzione mono-fattoriale). Hanno quindi costruito 2 punteggi che indicano la propensione a barare usando i coeffcienti prodotti da questa analisi.

4- Successivamente hanno usato un algoritmo di clustering per raggruppare le classi in base al valore che ogni classe aveva nei punteggi calcolati come descritto al punto 3 e usato questo coefficiente finale per correggere i risultati del test. 

Non mi pare esista quindi alcun tentativo di barare di INVALSI per far tornare i conti secondo le ipotesi iniziali. INVALSI infatti non usa alcuna ipotesi a priori iniziale sulla propensione a barare delle diverse regioni. La misura empiricamente, classe per classe, tramite degli indicatori, questi si' decisi a priori. Il metodo proposto da JB mi e' invece oscuro. Come pensa di assegnare i coefficienti a priori? Come si puo dire che la regione X bara Y volte di piu' della regione Z se non tramite qualche metodo empirico diretto o indietto?

E' chiaro pero' che anche l'analisi INVALSI non e' priva di limiti. 

1- Come hanno scelto i 4 indicatori selezionati? Anche se ragionevolmente sembra che gli indicatori selezionati siano correlati alla propensione a barare, non vi e' alcuna prova empirica che sia in effetti questo il caso. Dovrebbe essere presentato uno studio di validazione per confermare questa ipotesi. Questa incertezza si riflette anche sull'interpretazione dei fattori estratti dalla PCA e sul coefficiente di correzione finale.

2- I coefficienti di correzione potrebbero non essere stabili. Sarebbe necessario cross-validarli e aggiungere appropriate analisi secondarie per verificare la robustezza dei risultati.

Io ho una domanda leggermente diversa per i giuristi: la prova statistica e' sufficiente per iniziare indagini piu' approfondite su eventuali illeciti compiuti dagli insegnanti nella conduzione delle prove? 

Credo che il dibattito sulla validità delle procedure statistiche di correzione faccia perdere di vista il punto di fondo: nelle quattro regioni "incriminate" si è copiato alla grande. Purtroppo il linguaggio arido del rapporto non lo evidenzia, ma le parole di Roberto Ricci, responsabile del rapporto, sono più chiare (cito dalla Stampa di oggi):

Nelle quattro regioni incriminate le anomalie erano macroscopiche: nella stessa classe risposte identiche a tutte le domande; tassi di risposta corretta alle domande più difficili molto più alti rispetto alla media nazionale; punteggi uniformi e livellati verso l’alto tra gli allievi della stessa classe, compresi i «somari». «L’anomalia, sia chiaro, deriva dalla presenza contemporanea di alcuni di questi fattori nella stessa classe», precisa Ricci. «Uno solo dei parametri “opportunistici” non basta». Ma quando ce ne sono diversi scatta il «coefficiente di correzione», e cioè un aggiustamento, «una depurazione tramite un sofisticato meccanismo statistico: si applica un coefficiente tanto più alto quanto più forte è l’indicazione di comportamenti anomali». 

Il punto non è tanto l'individuazione di una tecnica statistica adeguata, ma la denuncia di una situazione assolutamente folle, che non consente di effettuare rilevazioni adeguate sulla qualità dell'insegnamento. Mi chiedo davvero se non ci siano elementi sufficienti per un'indagine da parte delle autorita' giudiziarie. 

Che ne dite di quella tabella? Al sud gli indigeni si avvicinano pericolosamente agli standard, chiaramente più bassi, dei non italiani?

Desta inoltre notevole preoccupazione il fatto che il risultato
conseguito nella prova di matematica dagli allievi italiani delle scuole meridionali è sostanzialmente
analogo a quello conseguito dagli studenti stranieri che frequentano le scuole del Centro-nord.

In puglia i non nati in Italia totalizzano 10.7 punti nella comprensione del testo narratico contro i 10.6 degli italiani. Ancora meglio fanno nella comprensione del testo espositivo. Boh...

Premesso che di statistica so molto poco, non mi sembra scontato che in test del genere sia una buona idea decidere a priori la metodologia di analisi.

Nulla da ridire quando hai a che fare con dei fotoni, ma i professori che hanno barato potrebbero benissimo prenderne atto e suggerire risposte errate quanto basta per non farsi classificare come outliers.

Direi che il momento migliore è dopo i test ma prima di iniziare l'analisi.

Trovo svariate parti di questo dibattito affascinanti. È proprio vero che gli dei, quando vogliono dannare qualcuno, sanno come farlo ...

Mentre CGIL, CISL, UIL e Confindustria presentano un fronte unito contro le gabbie salariali (che sono una cretinata peronista) non perché intendano schierarsi a favore del libero mercato del lavoro, ma in nome dell'uniformità salariale, qui si disquisisce sul fatto che - forse forse - le assurde anomalie rilevate dall'INVALSI si devono ad altro che la corruzione pura e dura.

Poi, da 15 anni a questa parte, qualche anima beata continua a chiedersi come sia possibile che degli squallidi populisti come Bossi&Co raccolgano sempre più consensi!

ma quante sono le scuola meridionali che hanno imbrogliato? non l'ho capito, ma mi pare che leggendo questa appendice 5, nelle conclusioni si suggerisce una quota superiore alla meta' delle scuole meridionali (mancando un gruppo di controllo, l'individuazione e' stata fatta sulla base della media, quindi il cheating e' scoperto solo se e' superiore al cheating medio).  Mi pare troppo, pero' se questo fosse confermato allora tutti i risultati sarebbero da buttare. Infatti, sarebbe bastato un gruppo di controllo con ispettori ninja che somministrano il test a questi adolescenti sia al nord che al sud.

Negli USA e' reato imbrogliare ai test (alcuni stati hanno arrestato dei principal che hanno manomesso le schede) ma li' il test e' obbligatorio e poi c'e' la legge  no child left behind. Sistemi statistici sono stati utilizzati per scovare i cheaters, e in alcuni casi hanno portato al licenziamento dei casi piu' evidenti (Jacob e Levitt si sono cimentati a Chicago su richiesta di Arne Duncan, oggi ministro dell'istruzione...su freakonomics c'e' una sientesi). Le prove statistiche possono essere utilizzate nei tribunali, ma servono piu' a dimostrare l'innocenza che la colpevolezza, essendo lo standard quello del "ragionevole dubbio", cio' 99% sicuri (quindi molto difficile, visto che anche test super potenti applicati a fenomeni rari porta piu' falsi positivi che veri positivi). Va meglio nelle cause civili dove lo standard e' "preponderance of evidence". 

A little Italy, questo test, da quello che ho capito, era una prova sperimentale, volontaria e anonima (almeno cosi alcuni insegnanti l'hanno capita), quindi senza farla lunga, difficile che possa esserci una sanzione. Comunque un magistrato di bologna mi pare abbia ritenuto di non procedere su un insegnante che si era rifiutato di somministrare il test invalsi lo scorso anno.

Ma Anxia che fine ha fatto?

Anche io ho letto l'articolo (di Repubblica) sui test INVALSI e, per la seconda volta in poco tempo, sono rimasto stupito dell'uso “disinvolto” dei test di validazione.

All'epoca non sono entrato nel dibattito sulla valutazione delle Università, non mi interessa, ma notai una cosa, sfuggita ai più: la Gelmini nel presentare i dati disse testualmente “stranamente fra le prime ce ne sono anche alcune del Sud”.

Quello “stranamente” a me ha detto molto di più dei test: si voleva un quadro XZY e tutto quello che non rientrava in quel quadro è compreso in quel “stranamente”. Altrimenti avrebbe detto: ci sono nell' università eccellenze al Nord e al Sud, queste eccellenze sono prevalenti al Nord. No, non bastava, ci voleva “stranamente”..

Adesso i test INVALSI che “stranamente” dicono che al Sud gli studenti (non le scuole) sono migliori che al Nord. Quindi che si fa ? Si cambiano i risultati.

Io, rovescio completamente l'analisi di bisin, che si domanda se ci siano i presupposti penali per procedere contro gi insegnanti che avrebbero suggerito le risposte. Io mi domando: è possibile aver speso dei soldi (nostri !!) per avere un risultato inaffidabile ? E' competente la struttura che ha ideato dei test simili ? Ha agito in maniera tale da evitare problemi del tipo di quelli poi da loro evidenziati ? E perchè hanno corretto “statisticamente” i risultati, a mio avviso invalidandoli del tutto ? Non era opportuno ripetere, a sorpresa, il test in quelle classi dal comportamento anomalo ? Quante erano ?

Insomma, i miei soldi, gestiti da questi dell'INVALSI sono stati spesi bene, o è meglio licenziarli tutti, di modo che i prossimi trovino un sistema ( ne ho letti alcuni anche qui su nfa) per evitare imbrogli (visto che, tra l'altro, hanno dichiarato che anche alcune classi del nord avrebbero barato ?)

Chiudo con una nota: siamo sicuri che gli insegnanti abbiano suggerito le risposte, o non ci siano stati casi di “scopiazzamento” generale, dovuti a un lassismo degli insegnanti, che anziché sorvegliare sono andati a leggere il giornale ? Tutto sommato anche il nostro PdC ha cominciato vendendo i compiti di italiano ai compagni di classe, non è che poi così rischiamo di inibire il formarsi di una nuova classe imprenditoriale ?

C'è qualcosa nei rapporti Sud-Nord che si va delineando: siamo tutti una bella nazione, siamo tutti per l'unità nazionale, ma in fondo in fondo sono sempre gli altri (nel senso di italiani altri, quelli abitano dall'altra parte dello stivale) ad essere i peggiori.

Tuttoscuola ha le idee chiare: i peggiori sono gli altri (del Nord). 

PS: interessante come l'autore dell'articolo (un insegnante, almeno dovrebbe esserlo) descrive gli strumenti di analisi utilizzati per la validazione dei dati. Speriamo solo non insegni matematica o inglese...

Nei giorni in cui gli italiani si appellano al cielo, sperando di scorgervi striscie luminose alle quali affidare le più intime speranze, a viale Trastevere precipita sempre più in basso la Stella Gelmini...al suo passaggio non si esprimono desideri, anzi si manifestano paure.

Tifiamo la Gelmini quando propone seppure timidamente la ripartizione dei fondi universitari con criteri appena meritocratici; nn la tifiamo più quando invece  contesta la sentenza del TAR intesa a limitare il peso di mitra e tiare nelle scuole...

Ma io dico: ma questi luminari di Trastevere (ner mezzo der core der core de Roma Bella) ma nn lo capiscono che potrebbero diventare tutti più credibili se le giuste battaglie per la meritocrazia (invise a parte del mondo sindacale e della sinistra in genere) si accompagnassaro a battaglie per la laicità nella scuola? Sarebbe un bel modo di sparigliare le carte, per dimostrare, sopratutto a quegli eunuchi politici del PD ormai allo sbando, che la destra c'è e cambia le cose anche contro i preti!! Ma nn potrebbero avere un guizzo di riformismo vero...non questo gioco di bocce scontato dove la sinistra attacca sulla meritocrazia e la destra sul laicismo..ma nn ha fantasia questa destra al potere? Non dico la fantasia al potere ma il potere con un po' di fantasi si, dai! Ma perchè nn ci stupisce piacevolmente, anche noi così ottusamente non elettori di destra? Perchè nn diventa destra vera, laica e libertaria? In quale emisfero devo guardare? Ditemi, a quale stella cadente devo votarmi?