Ho sempre un po’ di sospetto per chi si sente stocazzo al punto di esprimere critiche sull’operato altrui senza essere esperto del relativo settore. Tra quelli che esprimono opinioni infondate, quelli che contestualmente si sentono stocazzo sono sicuramente i più irritanti. Tecnicamente si definisce “effetto Dunning-Kruger”, ovvero la propensione a sovrastimare le proprie competenze. Ci sono varie fenomenologie che portano a questo tipo di situazione: la pura e semplice mitomania, la presunzione di apprendere solo sbirciando Wikipedia, la mancanza di fiducia nel genere umano, e così via.
Una particolare fattispecie ricorrente di questa circostanza riguarda alcuni degli insegnanti che contestano le metodologie di INVALSI, come ad esempio Leonardo Tondelli in questo post. In parte la ragione dev’essere legata al fatto che l’altrui misura ciascun dal proprio core: i dipendenti di INVALSI sono parimenti stipendiati dal MIUR e questo forse spinge Tondelli a ritenerli dei mentecatti ad avere un certo pregiudizio nei loro confronti.
Sta di fatto che Tondelli è solo l’ultimo in ordine temporale ad esprimere un giudizio sull’inadeguatezza dei risultati INVALSI come fonte per eventuali valutazioni sull’operato degli insegnanti. A me non interessa in questo frangente provare a dimostrare che il dataset di INVALSI sia fonte adeguata per produrre un’analisi di questo tipo (anticipo: non lo è). Non è la critica ad INVALSI in sé il problema. Mi interessa invece evidenziare che ogni volta che insegnanti e loro relative forme collettive esprimono una critica sull’uso di INVALSI per fini valutativi, descrivono tale ipotetico processo di valutazione come un sistema talmente semplicistico che non sarebbe realistico nemmeno se lo staff di INVALSI fosse composto interamente da foche ammaestrate.
Nell’articolo Tondelli suggerisce che siano gli insegnanti delle regioni più povere a dover temere di perdere il posto qualora si palesasse un intento valutativo da parte del governo. È una critica che ho letto da svariate fonti, in alcuni casi espressa in modo più esplicito, anche se i più furbi, come Tondelli, si guardano bene dal mettere nero su bianco i termini della minaccia, giacché il governo non ha mai ufficialmente dichiarato un intento punitivo del singolo insegnante. In altri casi si parla più genericamente di non considerare il fatto che alcuni insegnanti lavorano in “condizioni difficili”, indipendentemente dalla latitudine. Il senso generale comunque è: INVALSI, che come valutatore agirebbe su mandato del governo, attuerebbe la scelta demenziale di valutare gli insegnanti sulla base del rendimento in termini assoluti dei relativi allievi.
Non è chiaro se il motivo di tale presunzione è che gli insegnanti mediamente non hanno competenze nell’ambito dell’analisi dei dati o se ritengono che sia naturale che persone assunte come data scientist non sappiano fare il proprio lavoro. Delle due, non so quale sia peggio, considerando che sono le stesse persone che quotidianamente dovrebbero infondere l’educazione alle prossime generazioni.
Non ho alcuna ambizione di lavorare per INVALSI, quantomeno per un fattore economico, tuttavia se volessi fare un esperimento mentale quick and dirty, mettendo a frutto le mie conoscenze sul data mining, potrei supporre che utilizzando dei test opportunamente costruiti, da eseguire ad inizio e fine di ciascun ciclo di studi, per tutte le materie, ed escludendo tutta una serie di casi fuorvianti (ad es. corsi nei quali l’assenza del docente di ruolo è stata superiore ad un tot di giornate, studenti che sono stati seguiti da un insegnante di sostegno, studenti che hanno cambiato istituto in corso d’anno, etc.) e confrontando la variazione di rendimento all’interno di gruppi omogenei di studenti, adjusted for un sacco di elementi potenzialmente caratterizzanti secondo i criteri già usati ad es. dallo staff che redige i report su PISA, su un periodo di alcuni anni scolastici, potrei forse ricavare delle segnalazioni. Non delle lettere di licenziamento, al massimo un faro puntato su alcune situazioni da controllare, dall’occhio umano allenato di un ispettore. Sarebbe un modo per fare delle indagini più selettive anziché mandare gli ispettori a caso o quando il danno è già fatto. Considerando il numero esiguo di ispettori e l’esercito di docenti da controllare, sarebbe un bell’aiuto.
Quello che conterebbe, in una siffatta analisi, non è il rendimento assoluto degli studenti, ma la variazione del loro rendimento nel corso di un ciclo di studi, rispetto alla variazione di altri studenti che hanno un comportamento complessivo analogo, ovviamente depurata di outliers e condizioni che rendano non pienamente confrontabili i dati presi in esame. Accumulando gli indicatori su una base sufficientemente ampia, si potrebbe fare un approfondimento sulle anomalie persistenti. Una volta messo in piedi un sistema del genere potrebbe avere anche scopi diversi dalla valutazione degli insegnanti: potrebbe ad esempio individuare le scuole in cui l’abbinamento degli studenti alle varie classi è stato fatto secondo criteri inadeguati. In generale, una volta che la riforma del “preside-manager” avrà avuto completa attuazione, potrebbe essere un ulteriore strumento di allarme circa scelte manageriali non proprio oculate.
Ovviamente sarebbe una cosa diversa da quello che INVALSI è oggi, che è un motivo sufficiente per tranquillizzare quelli che temono che l’INVALSI attuale possa essere ragionevolmente usato per valutare i docenti. E d’altro canto, finché un sistema di valutazione sistematico non sarà usato come base per individuare i soggetti palesemente inadeguati, sarà legittimata la vulgata secondo cui la scuola è sommersa di cazzari e come tale irriformabile.
A me basterebbe, più modestamente, che il dibattito sulla valutazione non dovesse ascoltare ancora le opinioni di chi, nonostante il titolo di “professore”, dileggia la data analysis come se fosse l’estrazione dei numeri della tombola.
Mi dispiace che tu abbia scritto un attacco così pesante senza leggere il mio post.
Non c’è scritto ovviamente che io consideri i dipendenti Invalsi dei mentecatti (facevo semplicemente rimbalzare un appello della presidente Ajello, che si lamentava del fatto che molti siano ancora a tempo determinato).
Non c’è scritto che ritengo inadeguate le rilevazioni Invalsi “come fonte per eventuali valutazioni sull’operato degli insegnanti”: semplicemente i risultati (che ho letto) sembrano dipendere più dal reddito e dalla qualità della vita che non dall’operato degli insegnanti.
Non ho paragonato il lavoro dell’Invalsi a quello di un team di foche ammaestrate: anzi c’è scritto nero su bianco che prendo per buoni i criteri con cui individuano il cheating, e rimando alle pagine del report in cui li descrivono.
Non ho suggerito “che siano gli insegnanti delle regioni più povere a dover temere di perdere il posto qualora si palesasse un intento valutativo da parte del governo”, perché l’intento valutativo il governo (i governi) l’ha palesato da un pezzo, ma con l’invalsi non ci azzecca molto. Ma siccome il cheating si concentra nelle regioni più povere, magari può anche essere interessante domandarsi qual è la situazione in cui si trova un insegnante in un contesto del genere, e le pressioni che riceve (dai dirigenti, dai genitori, e aggiungi il costante flatus vocis per cui il “Governo” un giorno licenzierà gli incapaci).
A me sembrava abbastanza chiaro.
Mi piacerebbe che tu lo leggessi e poi, se ti va, scrivessi cosa ne pensi.
Era chiaro, giuro. Io, almeno, l’avevo capito.
A me basterebbe che di certe cose parlasse chi davvero le ha capite. P.S. Non sono contraria alle prove Invalsi, ma qui c’è un bel mucchio di “impertinenze”, nel senso di interpretazioni fuori luogo.