PavoneRisorse

I problemi della valutazione dopo la legge 169

31.12.2013

Tra cefalea e decapitazione
Il futuro (!?) della valutazione di sistema (o del sistema di valutazione?!)       
di Franco De Anna

Da diversi commentatori, di diverse vicende nazionali, si sottolinea la “vocazione all’emergenza” che sembra segno distintivo della nostra politica-politicata.
Un carattere che viene da lontano e che rimescola cause diverse con medesimo effetto: una politica pubblica inerte e in ritardo, incapace di cogliere l’innovazione e di governarla; ma anche eterne e irrisolte transizioni che muovono da riforme apprezzabili (a volte guizzi innovativi dei legislatori, pochi) affidate però per la realizzazione a esecutivi amministrativi (tanti e nascosti) che, non condividendole, procurano di rallentarne, complicarne, annullarne gli effetti innovativi.
Tra ritardi inerziali e transizioni mai risolte, quando i problemi si presentano con la loro densità non aggirabile, scatta l’emergenza. E, questa porta con sé, inevitabilmente, approssimazioni, sprechi, inefficienze: quando occorre fare in fretta cose non fatte per tempo, non c’è spazio per approfondimenti, scelta misurata tra alternative, confronti esaustivi tra ipotesi diverse. Insomma il cuore della politica.
La sostituzione del Presidente INVALSI sembra in certo modo afflitta da tale inclinazione della politica pubblica nazionale.

In una situazione “normale” e non emergenziale, tale avvicendamento dovrebbe ubbidire a procedure sensate e consolidate. Semmai accompagnarsi a riflessioni critiche sul “già fatto e sul da farsi”, sulle qualità espresse e sui difetti da correggere.
La norma (dlgs 213/2010) prevede bensì che le proposte giungano al Ministro da parte un “Comitato di esperti” che istruisce la procedura selettiva e che dovrebbe fornire al decisore una rosa di candidati entro la quale il Ministro decide. E così si è fatto.
E tuttavia la medesima norma prevede che l’Istituto (tutti gli Istituti di ricerca) elaborino un Documento di Visione Strategica (DVS) di cadenza  decennale ed una sua traduzione in Piani Triennali di Attività (PTA), aggiornati annualmente e oggetto di rendicontazione.
Tra le tante cose discutibili di quella norma, il fatto che un Istituto di Ricerca si dia un orizzonte programmatico almeno decennale appare assolutamente sensato.
Ma la procedura di selezione adottata dal gruppo di “esperti” nominato dal Ministro sembra chiedere, ai candidati stessi, una sorta di “programma personale” (non più di 12000 battute da consegnarsi entro il 7 Gennaio…).
Il messaggio indiretto è stato dunque che, per l’occasione, si mettessero in discussione gli orientamenti, i programmi, i caratteri, le esperienze fin qui condotte ed il loro sviluppo futuro non solo dell’Istituto ma dello stesso sistema di valutazione nazionale.

Da tale interpretazione vengono probabilmente le prese di posizione, petizioni, raccomandazioni, rivendicazioni… (si veda in rete in vari siti, e il mio commento “Pulpiti, prediche e chierici” su questo stesso sito).
Si badi: la procedura singolare dei “selezionatori” si innesta su un retroterra costituito dagli assetti dell’INVALSI segnato da una lunghissima ed irrisolta transizione, con anni di gestione commissariale, incertezza di strutture e norme. Basti pensare che l’autonomia statutaria riconosciuta all’Istituto è surrogata da uno statuto adottato dal Ministero “vigilante” in assenza di elaborazione propria. L’autonomia statutaria non ha trovato autonoma interpretazione…
Un cortocircuito che rischia di rendere evanescente l’affermazione dell’autonomia scientifica, organizzativa, regolamentare, amministrativa, finanziaria, contabile e patrimoniale, assegnata all’INVALSI e dunque la sua effettiva “terzietà” (sempre nei limiti che essa può assumere per un Ente Pubblico per il quale istituti, organi, strutture, finanziamenti, vigilanza dipendono in modo quasi totale dall’Esecutivo). Non meraviglia dunque che si chieda una sorta di programma personale ad un aspirante Presidente di un Istituto di Ricerca che dovrebbe avere un Documento di Visione Strategica decennale ed anche un Piano Triennale di Attività….

Ormai siamo a compimento dell’itinerario ed è possibile riassumere almeno tre “categorie” di prese di posizione (gruppi di pressione?) tendenti ad assicurarsi certi caratteri della “successione” alla Presidenza, come se si trattasse di “riscrivere” il ruolo dell’INVALSI.

Mi permetto, per ciascuna, di metterne in rilievo quelle che considero significative parzialità

1.      Il primo gruppo si esprime, con motivazioni ed argomentazioni certo diverse ma convergenti, nel richiedere e rinforzare le esperienze di rilevazione e valutazione standard degli apprendimenti consolidate in questi anni, nonché le prospettive di valutazione delle Istituzioni scolastiche, dei Dirigenti scolastici e, perché no?,  del personale scolastico.
Sotto il profilo delle “scuole di pensiero” nel gruppo di opinione sono aggregati gli “economisti”, gli “statistici”, i “quantitativi”, i cultori della valutazione come strumento di selezione, di merito, di premialità, di razionalizzazione di sistema.
Ho sempre sostenuto la distinzione tra la “ricerca pedagogica”, che ha per oggetto la relazione educativa, e la “ricerca educativa” che ha come oggetto il “sistema” di istruzione. A quest’ultima appartiene la ricerca valutativa messa in capo all’INVALSI e che si è espressa in questi anni (soprattutto) attraverso le rilevazioni dei livelli di apprendimento.
In questo senso ho sempre sostenuto che gli strumenti della “ricerca sociale” sono appropriati al compito e non rappresentano invece, come sostiene un’altra impostazione, una “deviazione” rispetto alla pedagogia.
Vorrei però segnalare in estrema sintesi due notazioni che mi pare vengano sorvolate nelle prese di posizione di questo “gruppo” di opinione.

a.       Un buon economista è colui che non si limita a “calcolare”.
Manipolare in modo raffinato e rigoroso numeri e dati non esenta dal percorso inferenziale necessario a interpretare la realtà: i dati sono “regole vuote”, se non vengono aggregati a costruire “informazioni” e se queste ultime non vengono a loro volta correlate a costituire “sintomi” e se questi ultimi non vengono sensatamente interpolati a costruire “ipotesi diagnostiche” e se queste ultime non vengono sottoposte a opportune falsificazioni… Insomma il procedere scientifico alla valutazione deve portare sempre dai dati e misure alla “elaborazione del giudizio”. Cattivo economista chi si limita a “calcolare” (ne abbiamo purtroppo esempi in altri ambiti). Del resto il percorso inferenziale descritto è quello proprio di ogni “impresa scientifica”. (E’ il metodo)

b.      Nella ricerca sociale il paradigma della “variabile indipendente” non è applicabile come invece avviene in un laboratorio di scienze naturali. La ricerca sociale ha sempre come oggetto sistemi multivariabili complessi che sfuggono ad ipotesi di causalità lineare.
Per le medesime ragioni, impostazioni valutative di tipo “controfattuale” sono sempre a rischio di semplificazioni inaccettabili. Non è, per intenderci, un problema di “quantitativo” versus “qualitativo”, ma di metodologia scientifica di ricerca
Per fare solo un esempio: in questi anni si sono sviluppati progetti di rapporto valutazione-miglioramento-premialità economica (VSQ, Qualità e merito, ecc..) contrassegnati da ipotesi di automatismo tra miglioramento e premialità.  Chi vi ha partecipato ha verificato strada facendo i limiti di tale riduzionismo deterministico. Ma quei progetti attendono (forse non per caso..) di essere oggetto di una vera valutazione/falsificazione.

A questo raggruppamento di opinioni vorrei solamente ricordare che non c’è miglior alleato degli avversari della valutazione di chi ne proponga una immagine meccanicistica e riduzionista.

2.      Il secondo raggruppamento, esattamente opposto al primo, è quello rappresentato da tante prese di posizione che rivendicano la natura pedagogica della funzione valutativa, la sua irriducibilità allo standard, allo strumento impersonale dei test (e rivendicano un Presidente INVALSI che provenga dalla cultura pedagogica).
Anche in tale caso siamo in presenza di “parti” di verità che, utilizzate come “interi” producono esattamente il contrario di quanto vorrebbero sostenere. (E lasciano trasparire altre più autentiche pulsioni)
La valutazione, nella sua dimensione clinica, personalistica, promozionale, differenziale che anima (lo dovrebbe…) gran parte della relazione educativa (la valutazione espressa dai docenti nel loro rapporto con i discenti) è cosa affatto diversa dalla rilevazione dei livelli di apprendimento realizzata dall’INVALSI. “Deve” essere cosa diversa. Interpreta valori, metodi, approcci diversi e ”produce” esiti diversi.
Il confine è nettissimo e separa in modo inequivocabile i due campi. E tuttavia il confine non è solo linea di separazione ma anche “frontiera” di scambio. Scambi di “cultura”, di competenze, di metodologie, di strumenti che si adattano reciprocamente a funzioni diverse.
La valutazione dei docenti si misura con i soggetti, la loro evoluzione, i loro percorsi. Ha come riferimento la “molecolarità” della relazione educativa. La rilevazione dei livelli di apprendimento rielabora, invece, “indicatori”, cioè “segnali” di fenomeni complessivi, di “sistema”, di aggregati macro, impersonali.
Purtroppo l’attenzione di molti (senz’altro i media, ma purtroppo anche molti appartenenti al mondo della scuola) è sempre catturata dai valori medi, da confronti e graduatorie per grandi aggregati. (Così non legge e spreca gli esiti stessi della rilevazioni, ma rimprovera i suoi limiti all’INVALSI. Anche questo è un curioso costrutto)
Ma chi è autenticamente sensibile alla dimensione educativa della valutazione entro la processualità e molecolarità della relazione educativa dovrebbe soprattutto interrogarsi sulla variabilità degli esiti della rilevazione, non sulle medie e tanto meno su ipotetici “standard”.
La variabilità dei dati complessivi, la variabilità interna ai diversi aggregati territoriali, la variabilità tra scuole, la variabilità all’interno della stessa scuola tra le classi, ci presentano un preoccupante panorama di disomogeneità e di non-equità interna del sistema. Ciò pone problemi fondamentali di politica pubblica dell’istruzione, ma anche di significazione sociale che non può che coinvolgere un intero ceto professionale. Per quale scuola stiamo lavorando?
La domanda che proviene da questi “dati” ha un riflesso inequivocabilmente “pedagogico”, interroga la professionalità dei docenti e l’appropriatezza delle metodologie usate dagli stessi docenti (prima ancora o non solo di quelle dell’INVALSI) . Ha una fondamentale funzione di “rispecchiamento”. Certo il rispecchiamento, si sa, a volte è doloroso, ma è la precondizione per un effettivo miglioramento.
Si paventa l’opportunismo dei fenomeni di teaching to test connesso a certe metodologie di rilevazione; ne siamo tutti avvertiti… Ma la realtà non narra forse di tanti e diversi “opportunismi valutativi” (teaching to compito-in-classe, teaching to-interrogazione-quadrimestrale) che nulla hanno a che fare con la “superiorità pedagogica” che si rivendica?
Mi importa poco delle “graduatorie”: di quelle internazionali, ma anche di quelle regionali o di quelle tra istituti scolastici e francamente trovo ridicolo agitare tale spauracchio a fronte della realtà ineguale e ingista del nostro sistema: la sua dis-equità interna tra regione e regione, tra scuola e scuola, tra classe e classe rappresenta una pericolosa smentita al ruolo sociale che vorremmo assegnare all’istruzione pubblica come leva di promozione, eguaglianza, sviluppo. Questo è il problema; il resto è autodifesa di ceto professionale (non censuro ovviamente e anzi comprendo: ma occorre “dare il nome alle cose”)
Voglio solo ricordare che la grande variabilità dei dati relativi alle rilevazioni dei livelli degli apprendimenti non è cosa di oggi e non è particolarmente legata a questa stagione storica di limitazione delle risorse dedicate alla scuola.(Non è colpa della Gelmini… per intenderci, alla quale si può imputare ben altro..). Oggi è posta in rilievo dalle rilevazioni sistematiche dell’INVALSI; ma è cosa antica.
Le ricerche IEA ci raccontano da decenni (circa tre) una situazione nazionale per la quale a valori medi molto bassi nel confronto internazionale (penso all’istruzione secondaria) corrispondevano valori più alti confrontabili con i migliori, per esempio nel primo quartile… Per anni e anni ci siamo accontentati di considerare che i nostri migliori erano “migliori come i migliori degli altri”. Abbiamo sorvolato sui dati di diseguaglianza e lasciato che la situazione progressivamente peggiorasse..
Non posso fare a meno di richiamare il fatto che, in quegli anni, l’Istituto nazionale che si occupava di tali rilevazioni (allora era il CEDE, il “padre” dell’INVALSI) era saldamente diretto da autorevoli esponenti della cultura pedagogica…La politica “sorvolava”.

3.      C’è un terzo gruppo che sembra mediare tra i due  estremi, proponendo una “ragionevole” composizione di approcci. In sostanza: manteniamo l’impegno faticosamente costruito in questi anni con le rilevazioni, ma ricollochiamo il tutto entro una “cultura valutativa” capace di coinvolgere le scuole, i docenti, la cultura diffusa nella scuola.
Come potrei non essere d’accordo, soprattutto se fossero chiare le distinzioni di fondo precisate nei punti precedenti? Ma temo che tale “irenismo della ragione” si scontri duramente con un possibile “ottimismo della volontà”. Per molte ragioni, ma sottolineo solo le due principali

a.       Il fronteggiamento delle posizioni opposte richiamate in precedenza non è solo “confronto di opinioni” tra le quali rintracciare mediazioni “ragionevoli”.
Si tratta invece di un intreccio di “scuole di pensiero”, culture, ma anche “interessi” diversi. Il pensiero sulla “valutazione” è in realtà solo l’emersione di ipotesi e significati diversi assegnati alla scuola, al lavoro dei docenti, alla “politica scolastica” e, non ultimo, di corporazioni accademiche e non.
Lo stesso atteggiamento verso le rilevazioni INVALSI è profondamente differenziato e diversamente distribuito tra i diversi ordini di scuola e le “culture” corrispondenti. Nessun docente è felice di affrontare il carico aggiuntivo del lavoro che le rilevazioni comportano, ma i docenti della scuola elementare (che hanno iniziato per primi) in questi anni si sono non solo adattati, ma hanno anche imparato a guardare con qualche attenzione ai risultati. Il livello di sopportazione/partecipazione/ condivisione decresce drasticamente nel passaggio alla secondaria. L’opposizione aperta fino a fenomeni di luddismo è concentrata nella secondaria superiore e in particolare nei Licei..
La posizione di mediazione proposta vorrebbe fare leva su una “cultura della valutazione” espressa dal mondo della scuola, da potenziare, favorire, promuovere.
La realtà ci racconta invece che proprio tale fattore è un “fattore di debolezza”, un “problema” non la sua “soluzione”.
Alla disomogeneità dei dati relativi agli esiti delle rilevazioni (la dis-equità sistemica); alle fenomenologie di cui sarebbe bello tacere e che riguardano direttamente non le rilevazioni INVALSI, ma proprio la valutazione dei docenti, corrisponde invece una “cultura della valutazione” attraversata da dislocazioni e faglie professionali tra i diversi ordini di scuola.
Che dire del livello di selezione nei primi anni della superiore? Dei programmi di recpero che si limitano spesso ad abbassare l’asticella, del gradiente della  distribuzione territoriale dei voti di maturità esattamente opposto al gradiente della distribuzione territoriale dei test di ingresso all’università?
Non una ricchezza cui riferirsi ma una debolezza da superare.
Affermare che in tale modo si porrebbe rimedio alla forzatura di una valutazione “omologante” rispetto alla qualità “singolare” delle esperienze della scuola appare francamente in contraddizione palese con la frammentazione della realtà.

b.      Pur stigmatizzando l’approccio “emergenziale” che si finisce per dare ad una occasione che dovrebbe essere “normale”, come argomentato in apertura, è un fatto che il cambio di presidenza sembra riaprire i termini e problemi di una lunga e contraddittoria transizione nella organizzazione del sistema della Ricerca Educativa in generale, ed in particolare dell’INVALSI. Il confronto politico sotteso è dunque “duro” e non credo risolvibile dalla mediazione proposta, né credo che la dimensione “irenica” della proposta aiuti nella battaglia politico culturale necessaria.
Nel confronto politico non ci si può infatti esimere dall’affrontare almeno gli elementi salienti di quella problematica: l’INVALSI è davvero una struttura “incompiuta”.

Provo, in estrema sintesi ad elencare quelli che ritengo gli elementi salienti di quella incompiutezza

1. L’assetto istituzionale dell’INVALSI mantiene elementi problematici: Ente pubblico con rapporto strumentale con il MIUR, il quale  esercita vigilanza, ma fornisce anche linee guida, le risorse prevalenti, le regole di funzionamento assimilate alla gestione della Pubblica Amministrazione…
Contemporaneamente una definizione formale di autonomia che sembra configurare un rapporto ausiliario con il Ministero (quindi con margini di definizioni finalistiche “proprie”).
Non voglio riaprire una questione “di principio”; ma la consapevolezza anche di tale dimensione problematica va assunta come stimolo a curare la costruzione di una “costituzione materiale” capace di dare risposte anche a tali aspetti (esercizi di interpretazione dell’autonomia.. Della definizione statutaria “in deroga”, p. es. si è detto..)

2. Il sistema della Ricerca Educativa è oggi “presidiato” dai due Istituti nazionali (INVALSI e INDIRE). E’ possibile delineare un quadro di collaborazione (personalmente giocherei la carta della unificazione, ma non è il caso al momento..) che non sia semplicemente rinvio a buone volontà, creando per esempio strutture miste?
Il problema (transizione incompiuta) è quello del come costruire un sistema di “services” (formazione, ricerca, consulenza, assistenza, valutazione) che sappia sostituire il tradizionale modello di “comando amministrativo” in un sistema che l’autonomia scolastica ha comunque reso policentrico (ovviamente il problema irrisolto spinge per “tornare indietro” rispetto all’autonomia. Ma qui sta una scelta “politica” vera, sottostante a tanti strumentali dibattiti sulla valutazione..)

3. Gli Istituti della Ricerca Educativa dovrebbero configurarsi come “tecnostruttura” del sistema di governance del sistema di istruzione (Ministero, Regioni, Istituzioni Scolastiche autonome. Come superare l’immagine e la condizione convalidata di strutture al servizio esclusivo di “un” soggetto della governance (il MIUR)? Servizi, commesse, finanziamenti, assetti…
Un confronto con il Servizio Sanitario Nazionale con le sue tecnostrutture (Istituto Superiore di Sanità, AGENAS ecc..) in rapporto agli altri soggetti di governance potrebbe fornire qualche suggerimento utile criticamente anche per l’istruzione.
la stessa esigenza di “terzietà”, potrebbe trovare qualche sensata risposta proprio nella pluralità dei soggetti di riferimento e di committenza.

4. Lo sviluppo del “sistema di valutazione di sistema” (sviluppo e diffusione della cultura della valutazione, rilevazioni dei livelli di apprendimento, sistema di valutazione/autovalutazione delle scuole, valutazione dei Dirigenti Scolastici…) non può reggere un modello fondato su un “Quartier generale” che si rapporta con un sistema policentrico e diffuso sul territorio. Il “centro” deve dotarsi di “terminali intelligenti” se vuole rapportarsi con tale dimensione. La ricerca valutativa deve configurarsi come “service”, come consulenza, come “interlocutore e promotore dell’innovazione”, capace di “fidelizzare” le scuole.
La cosiddetta “terza gamba” del sistema (gli ispettori) è, per ora, una semplice “affermazione” cui non corrisponde… nulla. A parte lo stato dell’arte del numero di ispettori attualmente in servizio, se si considera l’impostazione del concorso, per altro ancora inevaso, la valutazione è tutt’altro che un fulcro del profilo professionale.
Il reclutamento, la formazione, la selezione del personale esperto che operi in rapporto con le scuole è un problema apertissimo e che chiede intervento immediato. E’ però operazione necessariamente lenta e mirata: si tratta di figure professionali inedite e che vanno costruite sul campo e attraverso attenta selezione. Ma più tardi si comincia (o si ri-comincia) più lontana è la soluzione.

Insomma, al di là degli “schieramenti” è necessario un robusto input di pensiero, e superare le schematizzazioni di comodo.
Pensare ha sempre una dimensione di stretching: ti trascina fuori da dove stazioni con comodità. Come lo stretching provoca qualche doloretto, ma poi stai meglio.
Anche se c’è sempre qualcuno che pensa che il rimedio alla cefalea sia la decapitazione.