Con il nuovo anno, diventano pienamente operative le scadenze previste nel triennio 2016-2019 per l’avvio a regime del Sistema Nazionale di Valutazione nelle sue componenti fondamentali: autovalutazione e valutazione esterna delle scuole, programmi e piani di miglioramento, valutazione dei Dirigenti Scolastici.
L’altro segmento fondamentale (le “prove strutturate” INVALSI) in parte prosegue la sua storia cominciando ad ampliare significativamente i dati che produce e offre (per esempio con novità importanti nelle serie storiche e nella possibilità di seguire l’andamento del “successo scolastico”); congiuntamente si assestano sia le cadenze delle somministrazioni delle prove standard (speriamo in via definitiva) sia la definizione delle differenze fondamentali tra “rilevazioni” (di significato “sistemico”) e prove il cui esito ha riferimento nella valutazione individuale (fine ciclo).

Mi si perdonerà l’accenno biografico: ho vissuto questi anni di impianto via via consolidantesi del Sistema come “uomo di officina”. Indipendentemente dalle opinioni, dalle ipotesi ed elaborazioni personali, ho partecipato dall’interno dei processi, sia come valutatore che come tutor di valutatori, sia nelle fasi sperimentali che hanno preceduto l’impianto SNV (Vales, Valutazione e Miglioramento, Valsis, VSQ…) sia come parte dei NEV, cercando di guardare ai processi reali, ai risultati, ai pregi e ai limiti di quanto si andava sperimentando, piuttosto che alle pregiudiziali “sedicenti di principio”. Di questa partecipazione diretta ed attenzione materiale ai processi si sono nutriti molti (e forse noiosi..) interventi, anche fortemente critici, che si trovano facilmente on line e su qualche rivista cartacea.
A conforto di tale lavoro di officina ho potuto usufruire della partecipazione ad una esperienza pluriennale significativa della Rete di scuole della mia Regione, che in assoluto anticipo dei tempi aveva cominciato oltre dieci anni fa  a sperimentare modelli e protocolli di autovalutazione e miglioramento, autonomamente definiti, la cui ispirazione è almeno in parte confrontabile con quella del SNV (e i confronti con INVASLSI sono stati anche espliciti e reciproci nella fase di progettazione dell’Istituto). La rete AUMIRE di oltre 150 scuole (Autovalutazione, Miglioramento, Rendicontazione sociale www.aumi.it ).
Oggi, scadute le precedenti incompatibilità che, come valutatore esterno INVALSI, avevo maturato nei confronti delle scuole della rete marchigiana (non faccio più parte dei valutatori scelti da INVALSI) sto esaminando analiticamente i progetti di miglioramento formulati da esse, entro un progetto generale che, più o meno appropriatamente, abbiamo chiamato “consulenza”. In sostanza una disponibilità organizzata per offrire alle scuole, rigorosamente sulla base della loro domanda, un aiuto nella definizione e programmazione dell’intera partita autovalutazione-miglioramento. ([1])

Il panorama generale evidenzia alcune emergenze che, sia pure tenendo conto della parzialità dello sguardo regionale, propongono riflessioni e interrogativi di carattere generale.

L’assioma autovalutazione-miglioramento nel modello SNV-RAV

Ho già evidenziato altrove ([2]) che nel modello SNV si compie una “semplificazione funzionale” ( e semantica) nel rapporto tra autovalutazione e miglioramento. In realtà non si “valuta per migliorare” ma si valuta “per decidere” e il miglioramento è una (anche se spesso la prevalente) delle decisioni possibili: schematicamente potrebbero essere “il mantenimento” (specie in condizioni di risorse limitate il mantenimento dei risultati raggiunti costituisce un impegno di primaria grandezza), oppure “l’innovazione” :la valutazione può fare mergere la necessità di un cambiamento radicale dell’organizzazione (di processo come di prodotto), più che un miglioramento. Le ragioni di tale semplificazione semantica sono molte, alcune anche “politiche” e comprensibili: la finalità del miglioramento sembra rendere più accettabili le tensioni che i processi di valutazione inevitabilmente generano. Ma, proprio per ciò, occorre grande attenzione critica alle conseguenze.
Nel modello RAV, si aggiunge un ulteriore “automatismo”.
Si assume come “campo” della definizione di traguardi di miglioramento a lungo termine (triennali) quello degli “Esiti” (esiti scolastici, esiti nelle prove standardizzate delle rilevazioni INVALSI, esiti sulle competenze di cittadinanza, esiti a distanza); e i “progetti” di miglioramento devono investire i “Processi” considerati nel RAV e cioè : 1) Curricolo, progettazione e valutazione; 2) Ambiente di apprendimento; 3) Inclusione e differenziazione; 4) Continuità e orientamento; 5) Orientamento strategico e organizzazione della scuola; 6) Sviluppo e valorizzazione delle risorse umane; 7) Integrazione con il territorio e rapporti con le famiglie.

Si disegna e delimita così, con qualche rigidità, il campo entro il quale si può esercitare, da parte della organizzazione che procede nella autovalutazione, la definizione (e conseguente gestione) dei processi di miglioramento.

In altre parole, gli interventi di miglioramento vanno individuati sui processi esplicitati nel RAV (e sui quali la scuola si è autoassegnata una valutazione) e sono finalizzati a produrre effetti positivi su uno o più aspetti relativi agli “esiti degli alunni”.

Tale connessione Esiti-Processi viene evidenziata (o lo dovrebbe…) dalla scuola stessa nell’ultima parte del RAV. Su tale connessione la scuola deve definire un “Piano di Miglioramento” (triennale con scadenze in itinere) per la redazione del quale l’INDIRE ha messo a punto uno schema formalizzato (non vincolante, ma tendenzialmente unico per tutte le scuole) desunto da un modello PDCA (Plan, Do, Check, Act). Il “Piano di miglioramento” entra a fare parte del Piano Triennale dell’Offerta Formativa.

Uno sguardo alla realtà: gli esiti dell’apprendimento come target del miglioramento

L’applicazione del modello RAV – Miglioramento ha consentito di estendere all’universo delle scuole l’impegno all’autovalutazione, ma, ovviamente, tale positiva estensione si accompagna con l’inevitabile rischio di applicazione formale e convenzionale di modelli, griglie, parametri, indicatori, che non sono individuati nel corso della esperienza diretta della scuola e della sua attenzione clinica al proprio operare e ai propri risultati, ma desunta dall’esterno come prodotto di un gruppo di ricerca (INVALSI) e come adempimento prescritto dal “superiore” Ministero.
Il rischio di  schematismo, riduzionismo conformistico che si genera è evidente guardando da vicino e analiticamente i RAV prodotti dalle scuole e i Piani di Miglioramento definiti su quella base.

1.      Il vincolo di definire i traguardi a lungo termine nell’area dei “risultati dell’apprendimento” è ovviamente rispettato, anche se le valutazioni delle scuole (auto) sono distribuite variamente.
In generale le scuole si attribuiscono un punteggio alto rispetto agli esiti scolastici (a livello nazionale il 67% si dà punteggio superiore tra 5 e 7, cioè tra buono e eccellente) ([3])
Questo dato scende al 37% se riferito agli esiti delle prove standardizzate, che dunque si presentano come una area “critica”, campo di possibile miglioramento.
Tuttavia gli “esiti scolastici” rappresentano l’oggetto di miglioramento più diffuso tra le scuole (scelto da 6448, sempre a livello nazionale), seguito da “esiti delle prove standardizzate (6368). A maggiore distanza (5983) la scelta delle “competenze chiave e di cittadinanza” (come noto in assenza di indicatori nazionali e dunque una autovalutazione totalmente a carico della scuola e senza comparazioni disponibili).  Gli “esiti a distanza” sono scelti come impegno di miglioramento da una minoranza di scuole (3492) e con una distribuzione assai diversificata tra primo ciclo e secondaria superiore (dove acquistano una dimensione critica) .

2.      I dati relativi alla Regione Marche sono in linea con quanto sopra, anche se le scuole della Regione, nella comparazione nazionale presentano valori medi di risultati dell’apprendimento, sia quelli “scolastici” sia quelli delle prove standardizzate, significativamente più alti di quelli nazionali e di quelli dell’area geografica del centro.
E’ interessante qui notare che la scelta di identificare l’area degli esiti delle prove standardizzate come impegno di miglioramento è condizionata negativamente proprio dalla comparazione che la scuola, in fase di lettura dei dati INVALSI, conduce con il dato nazionale. Essendo in generale la media dei risultati più elevata di quella nazionale non si ritiene di dover “migliorare”. Un effetto curioso della “comparazione” e di una applicazione rudimentale di concetti come standard o benchmark, letti in chiave semplicemente statistica e non connessa a considerazioni di qualità. Occorrerebbe sempre ricordare che una considerazione come “dati in linea con quelli nazionali”, se riferiti a esiti di apprendimento, dovrebbe essere tutt’altro che confortante, posti gli esiti delle ricerche internazionali che collocano il nostro Paese in posizioni nettamente critiche. Essere in linea con il dato nazionale è “accontentarsi” di una criticità.

3.      L’esame di molti RAV delle scuole della regione in rapporto ai Piani di Miglioramento presentati, lascia trasparire una lettura superficiale dei dati delle prove standardizzate, delle varianze interne, delle connessioni/sconnessioni tra esiti delle prove standardizzate e esiti scolastici. Spesso una lettura che si ferma alle medie, ai totali, ai dati complessivi, e non si esercita nelle analisi dettagliate (per esempio dell’andamento delle prove in relazione ai diversi item, che disegnerebbe un terreno di analisi didattica specifica per aree e processi specifici: dalla lettura e comprensione del testo, alla geometria o alla padronanza di elementi di statistica o di rappresentazione dei dati).

4.      Per altro verso ciò vale anche per gli “esiti scolastici” direttamente legati all’esercizio valutativo dei docenti, che mostrano, con tutta evidenza negli Istituti Comprensivi; le differenze di cultura valutativa (sensibilità, significati della valutazione, valori, padronanza di strumenti) tra scuola primaria e secondaria. La sensibilità rispetto a tale rilevanza critica è ampiamente diffusa, anche se la definizione di effettivi programmi di miglioramento incontra la difficoltà di misurarsi non (o non solo) con singoli “progetti”, ma, appunto, con differenze di modelli culturali e professionali (antropologie professionali?) consolidate tra i diversi ordini di scuola, pur compresenti istituzionalmente nel primo ciclo.

Difficile non risalire, a fronte della distribuzione di tali caratteristiche dei RAV analizzati, a considerazioni più sopra ricordate: “l’importazione” dall’esterno di un modello di autovalutazione eterodeterminato, mentre rappresenta una condizione positiva di generalizzazione di processi, rischia di sottrarre ai processi reali l’apporto fondamentale della auto analisi e  dell’impegno di ricerca che solo può dare alla singola scuola la profondità interpretativa dei “dati” e delle possibili comparazioni. Sarebbe necessario che i diversi soggetti cui fa riferimento il SNV (dagli Istituti Nazionali come INVALSI e INDIRE, all’azione degli ispettori e dei valutatori, all’impegno dell’Amministrazione, alle scuole stesse) assumessero nella propria responsabilità operativa tutte le misure in grado di porre rimedio a tale criticità (per esempio con un approccio e con strumenti di carattere “consulenziale” appena accennati a livello di sistema ma senza, per ora, risvolti operativi) In Regione Marche ci stiamo provando, ancora una volta in dimensione di rete ([4])

La connessione tra “esiti di apprendimento” e Piani di Miglioramento.

L’automatismo funzionale (assiomatico?) tra Valutazione (RAV) e Miglioramento (PDM) pre-visto nel modello-guida assunto nel Sistema Nazionale di Valutazione per la valutazione delle istituzioni scolastiche (auto e etero) mostra nella realtà molti elementi critici proprio nel rapporto  “funzionale” tra il target di miglioramento individuato (in modo vincolato) tra gli esiti dell’apprendimento, e i “processi” (anch’essi pre-definiti nel protocollo) che enumerano e “repertorizzano” l’operatività concreta della scuola.
A conferma di tale “campo critico” la assoluta maggioranza delle scuole che hanno avanzato domanda di consulenza alla rete AUMIRE (oltre 80 scuole) e alla quale stiamo organizzando la risposta, ha formulato come oggetto problematico “la coerenza tra RAV e PDM, con eventuali necessità di semplificazione/verifica”. ([5])
A partire dalla analisi dei diversi RAV e dei conseguenti PDM, gli elementi critici più rilevanti sono i seguenti

1.      Gran parte delle scuole analizzate hanno individuato un numero troppo elevato di “processi” da investire con un programma di miglioramento. Ciò oltre che costituire una oggettiva difficoltà nell’individuare i singoli progetti di miglioramento ha spesso reso opaco il nesso funzionale tra esiti e processi. (Vincolo del modello)

2.      Le esigenze di impegno di miglioramento su alcuni processi (segnatamente quelli relativi alla progettazione didattica) sembrano riferirsi ad una sorta di impegno generale di “innovazione”, non necessariamente connesso causalmente agli esiti di apprendimento (come vorrebbe il modello)
Per esempio l’obbiettivo di “abbassare del 10% la varianza dei risultati delle prove standardizzate di italiano”, si può trovare abbinato ad un progetto di miglioramento che “reclama” la necessità di elaborare “curricolo verticale”. E contemporaneamente di dotarsi di “prove comuni” di valutazione degli studenti, o di “incrementare le dotazioni digitali nelle classi”. A parte la coerenza causale discutibile è evidente che se ciascuna di queste direttrici deve essere tradotta in “progetti” con cadenze, misure, verifiche annuali-triennali, l’impegno della scuola diventa di difficile gestione, a meno di annacquarne e conformizzarne i significati.

3.      In tale modo non solo di opacizza il nesso tra processi e esiti, ma si va oltre la semantica stessa di “miglioramento”. L’individuazione di un “curricolo verticale” (qualunque cosa ciò significhi…) andrebbe “classificato” nella categoria dell’innovazione, non del miglioramento. (i due concetti non coincidono).
E non si tratta solo di semantica ma di “realismo e realizzabilità” del PDM: costruire “prove di verifica comuni” con tempi, strumenti, cadenze e verifiche, è cosa assai diversa che riconvertire e riunificare la cultura professionale di docenti di gradi diversi di scuola.
Mi si permetterà di rilevare, in tal caso, una sorta di “conformismo innovativo” che recupera impropriamente in sede di valutazione alcune suggestioni esortative del confronto pedagogico-didattico “istituzionalizzato”. (Le “geometrie” del curricolo: verticale, trasversale, continuo…)

Si potrebbe moltiplicare l’esemplificazione alimentandola direttamente dall’osservazione sul campo. Ma occorre qui evitare di cadere nella stessa “trappola concettuale” del citato “determinismo” valutazione-miglioramento: le scuole, nella loro autonomia autoanalitica, sia pure con approssimazioni, hanno individuato anche “aree complesse” di miglioramento (un programma, non un progetto..) con nessi non necessariamente immediatamente causali con gli esiti. Hanno elaborato idee sul come “potremmo lavorare meglio e con migliori risultati”.
A parte eventuali errori effettivi (ve ne sono, per esempio nella lettura/interpretazione dei dati…) quelle scelte vanno comunque rispettate, e quei “programmi” apprezzati per il loro significato.
Dunque sarebbe bene “articolare” concettualmente con maggiore complessità il nesso tra RAV e PDM, pur mantenendo l’esigenza di un rigoroso “progetto di miglioramento”

I vincoli del modello di miglioramento PDCA

Come è noto a completamento del RAV, alle scuole è stato proposto un “modello” di individuazione e gestione del progetto di miglioramento da parte dell’INDIRE. L’Istituto ha di fatto assunto un modello PDCA e ne ha proposto una versione fedele e completa come “guida” alla progettazione scolastica. A tale proposta affiancò anche quella di un intervento consulenziale a supporto. Di quest’ultimo impegno per la verità non vi è traccia operativa significativa.
Quanto al “modello” esso è senz’altro “fedele”, propone una “organizzazione” del progetto, formalizzandone procedure e sequenze.
Come noto la struttura del modello PDCA è riassumibile come di seguito

PLAN

1. Definire il gruppo di miglioramento
2. Descrivere e comprendere il fenomeno
3. Ipotizzare le cause
4. Identificare la causa radice
5. Identificare le possibili soluzioni
6. Valutare il rapporto Costi/Benefici per ogni soluzione
7. Definire gli obiettivi (realizzabili con le risorse disponibili)
8. Pianificare le azioni di miglioramento (soluzioni)

DO

9.       Implementare le soluzioni

CHECK

10. Verificare e monitorare le soluzioni

ACT

11. Standardizzare le soluzioni (far diventare standard il nuovo metodo di lavoro)
12. Estendere le soluzioni a tutte le aree simili dell’Organizzazione

Naturalmente il modello PDCA non è l’unico, e neppure la sua proposta è “vincolante” (non sono esclusi altri modelli), anche se alle scuole è parso come un “modello” da generalizzare.
Ma, assunto come “modello”, si trova a interagire contraddittoriamente con i processi critici descritti sommariamente in precedenza. Per esempio nella contraddizione concettuale e operativa tra “Piano di Miglioramento” e “Progetto di Miglioramento”.
L’ampiezza che nella maggior parte dei casi le scuole hanno dato alle loro scelte di miglioramento (vedi sopra: pluralità ampia di obiettivi), configurandole come “Piani” a volte complessi ed articolati, male si adatta alla formalizzazione del “modello” che è tanto più efficace quanto applicata a “Progetti” con obiettivi ben identificati.

Basti considerare il fatto che in una applicazione “scientifica” e coerente del modello, l’identificazione degli obiettivi è esito di una sequenza di azioni preliminari essenziali (vedi nello schema precedente). Nella connessione RAV-PDM pre-vista nel modello RAV, i passi essenziali che vanno da 1 a 5 dello schema precedente (lo studio del problema, l’analisi delle cause, l’identificazione della causa-radice, ed anche l’individuazione del gruppo di miglioramento) sono di fatto sussunti entro la fase di compilazione del RAV, e non trovano invece collocazione esplicita nel processo autoanalitico che dovrebbe impegnare le scuole.

Nelle richieste di consulenza che abbiamo ricevuto come rete, spesso la carenza più rilevante che rende problematico il rapporto RAV-PDM è per esempio una approfondita e collettiva analisi delle “cause” e individuazione della “causa radice” che è preliminare alla individuazione degli obiettivi. Se tale lavoro non viene affrontato e risolto, anche le procedure per “validare” gli obiettivi (analisi costi/benefici, alternative, analisi delle risorse ecc. previste dal modello INDIRE) rischiano di essere un puro esercizio formale, per di più defatigante a fronte delle scelte plurime delle scuole.
L’analisi della cause, per esempio, può giovarsi di strumenti e modelli formalizzati (dal diagramma di Ishikawa, ai “cinque perché”…) ma proprio tale esercizio, nella tradizione “collegiale” della scuola non è del tutto agevole: richiede un impegno non solo di tempo e risorse, ma anche di “ristrutturazione culturale”. (Si pensi p. es. ad un gruppo di docenti che si misuri con la ricerca della “causa” della alta variabilità dei risultati nelle prove standardizzate… o comunque degli esiti di apprendimento. E’ evidente la problematicità della gestione della “ricerca delle cause” di risultati non soddisfacenti in una scuola, anche a fronte della conclamata e predicata collegialità)

L’invito precedente ad “articolare” concettualmente con maggiore complessità il nesso tra RAV e PDM trova qui ulteriore fondamento.
Ciò si può fare anche mantenendo la “coerenza del modello”, semplicemente ricordando che un “modello” è sempre una “ricostruzione approssimata e ridotta” della realtà, che si ottiene “trascurando” alcune variabili. Tale consapevolezza consente sempre di “ricalibrare” la significatività e la rilevanza dei dati ricavati da un “modello” e di correggerne le parzialità.
Con una esplicita condizione: il coordinamento di ruolo e di operatività dei due Istituti di ricerca nazionali (INVALSI e INDIRE) ed il loro rapporto con le scuole, è essenziale proprio per non consegnare l’intero processo che ormai investe la totalità delle scuole alle rispettive formalizzazioni di “modellistiche” cui le scuole devono attenersi. La ricerca educativa (la valutazione ne fa parte costitutiva e fondamentale…) non può configurarsi riduttivamente come attività di centri nazionali che forniscono schede, griglie, modelli…
Se si comprende la necessità “sistemica” di tali “mappe”, occorre sempre tenere presente che ad esse non può ridursi l’esigenza “clinica” che invece è essenziale sia per comprendere che per far “operare meglio” la singola scuola. La mappa, per utile che sia, non è la città. I due “utilizzatori” dei processi di valutazione dell’organizzazione scolastica– il decisore politico e amministrativo a livello di sistema, e la singola organizzazione in chiave “formativa” – necessitano di una gamma estesa di strumenti: dalle “griglie” alla “clinica”. INDIRE e INVALSI non possono interpretare solamente il ruolo di interpreti del “quartier generale”.

Estensioni del significato dei PDM

L’avvertenza precedente, e la cautela critica con la quale osservare “gli strumenti e gli osservatori” più volte richiamata più sopra, ricevono una sottolineatura ancora più marcata dal fatto che il nesso RAV-PDM con il suo travaso mediato entro il PTOF, sembra estendere il suo significato oltre gli oggetti di valutazione di cui si occupa originalmente ed esplicitamente: gli esiti dei processi di apprendimento e l’operatività e le caratteristiche della organizzazione scolastica che producono tali esiti.

Quel nesso pare infatti riproporsi come ancoraggio e riferimento per il “terzo oggetto” che completerebbe la matrice della valutazione: valutazione dei “prodotti”, valutazione delle “organizzazioni”; valutazione delle persone nella organizzazione.
Si tratta del segmento mancante ( e non da ora) nella storia del nostro sistema di istruzione, e che dovrebbe completare il disegno del Sistema Nazionale di Valutazione (sullo sfondo rimane ancora la Rendicontazione Sociale, ma se ne parlerà più avanti).
Inutile ricordare la accidentata e contraddittoria storia della valutazione del personale nella scuola italiana: richiederebbe una ricostruzione che esorbita queste note.
E’ certo però che l’insieme delle informazioni, dei “dati”, dei risultati della prima applicazione degli strumenti e dei componenti del SNV sembra ispirare un percorso apparentemente semplificato verso l’esplorazione della valutazione del personale, a partire dai Dirigenti Scolastici. Rischio da scongiurare.
Sulle ipotesi di modelli e protocolli sono già intervenuto più ampiamente altrove. ([6])

Qui basti ricordare che la “valutazione delle persone nella organizzazione” è campo di ricerca permanente e di miglioramento continuo. Un aforisma molto diffuso in campo aziendale recita così: “non c’è impresa evoluta che non riconosca come necessario un sistema di valutazione del personale; ma non c’è impresa evoluta che si dichiari soddisfatta di quello che utilizza”.
La consapevolezza della complessità intrinseca della valutazione delle persone, specie in organizzazioni che sono fondate sulla prevalenza del “lavoro vivo”, sulla natura culturale ed intellettuale del lavoro stesso e sul suo consistere in un “rapporto” (nella scuola, come in altri lavori di cura alla persona, per altro..) deve costituire misura e attenzione critica alla effettiva esaustività di repertori, griglie, indicatori, questionari, causalità funzionali.
In questo campo il percorso inferenziale che conduce dai dati alle informazioni, dalle informazioni ai sintomi, dai sintomi alla diagnosi e dunque alla elaborazione del giudizio, è un percorso “clinico” per antonomasia e non è riducibile a causalità funzionalistiche e monovariabili.
Da aggiungere solamente che il pericolo paventato di tale riduzionismo (il dirigente scolastico valutato sul PDM…) retroagisce inevitabilmente come elemento di deformazione potenziale della stesso percorso RAV-PDM. La cura con la quale definire protocolli e strumenti è perciò bivalente: non si può correre il rischio, per semplificare il modello di valutazione dei DS, di destabilizzare a ritroso anche quelle parti di Sistema di Valutazione che faticosamente si vanno consolidando.
Io sono più che convinto della necessità strategica di costruire un sistema di valutazione del personale. Ma proprio per questa convinzione non vorrei se ne sprecasse l’occasione (ancora una volta…) per opportunismi/semplificazioni amministrativo-burocratici, o per convenienze corporative, per miope ricerca di consensi politici. O per la somma “funzionale” di tali istanze contraddittorie, unificate dalla approssimazione scientifica.