Titolo

I bambini so' piezz'e core...

2 commenti (espandi tutti)

Vincenzo, non avevo letto il tuo post precedente. La tua mi sembra una critica corretta. Chi ha ottenuto punteggi alti ha anche piu' probabilita' di finire classificato come cheater anche se la correlazione tra punteggi medi e fattore di correzione e' piuttosto debole (r=0.4). Questo indica che altri fattori sono piu' importanti nello spiegare il coefficiente di correzione che non la performance. Come avevo fatto notare penso che sia necessario che validino il loro indicatore sintetico. Cosi' com'e' non puo' certo essere usato per, ad esempio, stanziare fondi...

Avrebbero dovuto depurare questo indicatore dalle risposte corrette o usare anche il numero di risposte concordanti e sbagliate. Anche se in questo caso non si elimina la distorsione causata dal fatto che i professori suggeriscono le risposte corrette per migliorare i risultati della loro classe.

E' anche vero pero' che questi test (e immagino anche questo) sono spesso tarati per ridurre i ceiling effect che riducono il potere discriminante del test stesso anche attraverso la differenziazione dei punteggi dati alle domande "facili" e alle domande "difficili". Se la proporzione di punteggi al top e' estremamente fuori dalla norma per le domande difficili e' lecito pensare che ci sia qualcosa di storto. Cioe' ho l'impressione (che andrebbe sostanziata da uno studio di validazione) che l'indicatore in questione abbia fatto il suo mestiere di individuare gli outliers (e quindi i sospetti). Se guardi i coeffficienti in effetti in genere la correzione non e' cosi' forte tranne che per qualche regione (calabria e campania in testa). Plottando i coefficienti di correzione e le medie si vede proprio che ci sono 3 clusters distinti per quanto riguarda i coefficienti di correzione (1: calabria e campania; 2: Abruzzo Basilicata, Sicilia e Puglia; 3: tutti gli altri) a fronte di una sostanziale omogeneita' della distribuzione delle medie.

Penso che esistano certamente degli algoritmi migliori di quello usato ma questo mi pare una approssimazione migliore che lasciare solo i dati grezzi.

Per JB: ho capito, ma non ho avuto l'impressione che il metodo usato sia stato implementato solo a posteriori, anzi. Tu da dove deduci che questi si sono guardati risultati che non piacevano e dopo abbiano magheggiato per aggiustarli?

Da pagina 2 del rapporto:

Dal campione emergono evidenti indicazioni di comportamenti opportunistici in alcune scuole.
Questo fenomeno ha richiesto una procedura di correzione dei dati (editing statistico) per eliminare
l’effetto distorsivo prodotto dai suddetti comportamenti anomali.

Magari son io che amo pensar male ma quel che leggo è che "dal campione emergono evidenti indicazioni di comportamenti opportunistici" e che quindi sono state adottate procedure di correzione dei dati. Non che era stata predisposta una procedura d'analisi che tenesse conto di questi (prevedibili) comportamenti opportunistici.