PavoneRisorse

I problemi della valutazione dopo la legge 169

23.03.2014

Lo specchio senza Narciso: a proposito di autovalutazione
di Franco De Anna

Il contadino sembra aggrappato alle redini che tira verso di sé con tutta forza e si sbilancia all’indietro con tutto il corpo per dare potenza alla presa, mentre il mulo inarca la testa in direzione contraria, resistendo alla volontà del contadino di trascinarlo in avanti. Il mulo pianta le zampe e inarca la testa in verso esattamente contrario all’inarcarsi e piantarsi del contadino. Nell’iconografia classica: “testardo come un mulo…”.
Ma, con le medesime ragioni ed argomenti “scientifici” si potrebbe dire “testardo come un contadino…”.
In fondo la “scienza” (ammesso sia possibile usare il termine) dell’autovalutazione potrebbe essere tutta riassunta qui. La capacità di decentrare il proprio sguardo, anzi: di “guardare l’uomo che guarda”. La “bisociazione” (che, tra l’altro, è la chiave dell’umorismo. Per il concetto di bisociazione si vedano le opere di Mariannella Sclavi)

Molti anni fa, in una stagione in cui parole come “autonomia” e “qualità”, riferite alla scuola,  alimentavano convegni, seminari, discussioni, qualche sperimentazione, un piccolo gruppo di scuole marchigiane si chiese come dare sostanza a tali suggestioni, sfuggendo al rischio del Narciso e contemporaneamente declinando quella capacità di “osservare l’osservatore” che solamente la dimensione collettiva dell’esperienza poteva garantire.

Da lì prese vita una rete AUMI (AUtovalutazione-MIglioramento) via via cresciuta e che oggi organizza circa una ottantina di scuole della Regione e che rappresenta la rete di autovalutazione di gran lunga più estesa tra le diverse presenti sul territorio nazionale, anche se, per ragioni che non voglio qui approfondire, riceve la minore attenzione da parte dell’amministrazione scolastica centrale e dagli strumenti mediatici del mondo della cultura e editoria scolastica.
La rete AUMI, in questi anni si è sviluppata ed è cresciuta grazie ad un protocollo di intesa con USR e con la Regione Marche e con il loro contributo.
Poiché come noto, il Regolamento del Sistema Nazionale di Valutazione, sia pure in tratti essenziali (e ovviamente discutibili) colloca l’autovalutazione di scuola come una componente essenziale del protocollo valutativo, e poiché si sta chiudendo la fase di sperimentazione (VALES e Valutazione-Miglioramento) posta in essere dall’INVALSI e, avendovi partecipato direttamente come valutatore, ho maturato alcune rilevanze in proposito che emergono dall’esperienza sul campo, vorrei qui riassumere le tappe e i tratti essenziali di quella esperienza marchigiana, invitando il lettore interessato ad una analisi più estesa ed approfondita ad esplorare il sito della rete di atovalutazione .

L’impianto

Il primo impegno dei “fondatori” fu quello di definire un  quadro di riferimento (che cosa è una “buona scuola”) capace di interpretare la doppia esigenza richiamata: uno specchio senza Narciso e superare il rischio della doppia rappresentazione del mulo e del contadino.
Si è adottato uno schema di riferimento analitico nel cosiddetto modello CIPP (Contesto, Input, Processo, Prodotto).
Si tratta di uno “schema concettuale” utile per costruire un “protocollo”; non di un “modello di autovalutazione” da adottare e applicare.
La fondamentale ricerca comune e l’impegno certo non semplice furono di definire, per ciascuna delle quattro aree del CIPP,  i fattori essenziali e per ciascuno una “batteria” di indicatori capaci di essere congiuntamente descrittori della realtà e “misura” di essa.
Fu così elaborata una “mappa della qualità” ricercando per tale lavoro, sia la condivisone collettiva interna alla rete, sia l’apporto scientifico di esperti esterni capaci di misurarsi con tale lavoro, di sostenerlo e qualificarlo, ma in una rigorosa distinzione dei ruoli. La “rete” è patrimonio della “rete”, non degli esperti (e forse questa è una delle ragioni del relativo “silenzio mediatico” accennato).

Il monitoraggio e la raccolta dati

Sulla base di tale mappa, le scuole aderenti, ogni anno, procedono alla raccolta sistematica di dati e informazioni relative alla loro realtà (articolate per l’appunto secondo le quattro aree della mappa: contesto, input, processi, prodotti).
E’ un vincolo e impegno fondamentale: l’autovalutazione procede sulla base di “dati e informazioni” il cui trattamento consente la misura e il calcolo di indicatori che costituiscono la base “oggettiva” (nel senso di significativa, pertinente e comune), del confronto autovalutativo.
Il monitoraggio, l’impegno che richiede, i compiti che in relazione ad esso sono distribuiti e condivisi all’interno dell’organizzazione scolastica, rappresenta un elemento fondamentale per “valutare l’autovaltazione”. Qui non si tratta di riempire un questionario, o di “crocettare” un report acquisito dall’esterno. Il monitoraggio mi impegna a rilevare e misurare la “mia realtà” con un impegno ed una fatica che danno senso all’impresa valutativa e a ciò che da essa può conseguire.

La rete ed i servizi di trattamento dei dati

I dati così raccolti nell’attività annuale di monitoraggio sono inviati dalle scuole al sito della rete (www.aumi.it), e qui sono oggetto di trattamento complesso e poi”restituiti” attraverso strumenti che vanno ben oltre  la “statistica descrittiva” ma consentono analisi approfondite e differenziate, multivariabili.
Gli strumenti di restituzione, oltre alla qualità intrinseca di consultazione (tabelle, grafici, analisi statistica) offrono la dimensione fondamentale della “comparazione”.
Per ciascun indicatore e/o descrittore viene presentata infatti la comparazione tra tutte le scuole, sia sincronica che diacronica. Per ciascuna di esse è possibile rintracciare, e per ciascun indicatore, il proprio “posizionamento” e la serie storica relativa.
Si costruisce così la possibilità non tanto della “graduatoria” ma della rielaborazione “fondata e assennata” del possibile e/o necessario miglioramento (individuazione del benchmark e proprio posizionamento).
Il sito offre così una strumentazione analitico-statistica, e la possibilità di determinare le condizioni per la rielaborazione degli obiettivi e delle scelte proprie di ciascuna scuola, sulla base di una informazione pertinente ed estesa.
Tra le attività in sviluppo anche quella di intervenire per qualificare scientificamente strumenti come i “questionari di gradimento” (molto utilizzati nelle scuole) ma che spesso non consentono analisi significative: se non si è in grado di ricostruire “la cultura del prodotto” detenuta dal “consumatore” la sua minore o maggiore soddisfazione ma dà poche informazioni utili (anzi, a volte la customer satisfaction misurata sulla base di “asimmetrie informative” tra produttore e consumatore, promuove i “bidoni”).

I processi di miglioramento

La fase del miglioramento è in integrale padronanza della singola scuola. E’ preparata dall’impegno nel monitoraggio; supportata dalla elaborazione raffinata dei dati e delle informazioni provenienti dal sito della rete; validata dalla comparazione collettiva dei dati e dalla individuazione di punti di riferimento (benchmark); ma è posta in totale padronanza e responsabilità dei processi decisionali della singola scuola.
Nel sito della rete si sono andati cumulando, in  questi anni, diversi progetti di miglioramento, che costituiscono una “banca dati” di pratiche migliorative disponibili alla consultazione di tutti i membri della rete, per accostarsi, copiare, modificare, adattare…(anche per questo si veda www.aumi.it )

La rendicontazione sociale

Si tratta dell’attività più recente, in ordine di tempo, sviluppata nella rete, anche se sensibilità al tema erano già presenti ben prima che esso diventasse oggetto di linee guida, esortazioni, indicazioni ministeriali.
E’ stato rielaborato un protocollo per la redazione del Bilancio Sociale, e, anche in tale caso, si è trattato non dell’assunzione di un modello pre-determinato, ma della elaborazione attraverso un processo biennale di ricerca/azione compiuto tra un gruppo di scuole della rete e la Facoltà di Economia dell’Università Politecnica delle Marche.
Alla fine di tale percorso di ricerca azione comune si è giunti alla elaborazione di un protocollo che oggi sta sperimentando circa una trentina di scuole impegnate nella redazione del proprio Bilancio Sociale secondo quelle linee guida comuni (anche in tale caso si tratta probabilmente dell’aggregato più significativo sul piano nazionale). Anche di tale aspetto vi è ricca documentazione sul sito www.aumi.it

L’esperienza di AUMI e il Sistema Nazionale di Valutazione: affinità e differenze.

Dei quattro “ingredienti” fondamentali del Regolamento del Sistema Nazionale di Valutazione (autovalutazione, valutazione esterna, miglioramento, rendicontazione sociale) tre sono comuni alla esperienza AUMI: manca ovviamente la valutazione esterna.
Vi sono anche tratti comuni intrinseci, per esempio lo schema CIPP che è stato seguito anche per VALES e Valutazione e Miglioramento da parte dell’INVALSI. E, d’altra parte, vi fu, agli inizi della stessa elaborazione  dei modelli INVALSI, occasione esplicita di confronto tecnico scientifico nel merito di indicatori, descrittori ecc.. tra AUMI e INVALSI.
Ma la condivisone di elementi comuni qui indicati non configura “sovrapponibilità”. Anzi, alcune sostanziali differenze possono essere oggetto di riflessione, e tornare utili proprio nella fase di verifica della prima sperimentazione estesa sul campo dei protocolli di traduzione del Regolamento di Valutazione. Una riflessione che consenta di misurarsi con la problematica valutativa sulla base di risultanze sperimentali e non di “opinioni e/o pregiudizi”.
Cerco di indicarli sommariamente, anche tenendo conto di risultanze (queste necessariamente soggettive) che mi provengono dal lavoro di valutatore effettuato nell’ambito della sperimentazione sul campo. Gli spunti critici contenuti nelle note seguenti hanno la dimensione dell’indicazione di “problemi” dei quali essere avvertiti, e non della sottolineatura di difetti. Problematiche che possono trovare diverse soluzioni e che interrogano innanzi tutto le scelte di politica pubblica, e non solo quelle di determinazione dei protocolli tecnico-scientifici.

Il significato dell’autovalutazione.

L’assunzione, costruzione, partecipazione da parte di una scuola ad un progetto di autovalutazione configurano in esso un buon indicatore della sua “propensione al miglioramento”. Ma il valore di tale indicatore è, appunto, determinato dalla intensità, condivisione, partecipazione, responsabilità di strutturazione, del modello di autovalutazione adottato.
Occorre tenere conto dunque di un ventaglio di tipologie: dalla assunzione di modelli “chiavi in mano”, standardizzati “altrove”; alla compilazione di report e questionari dove l’impegno si esprime nel rispondere appropriatamente a domande chiave; alla costruzione di protocolli assemblati attraverso una comune e faticosa “ricerca azione” (come AUMI). Si tratta di esperienze non equivalenti e dunque indicatori della propensione al miglioramente di valore molto diverso.
Il limite del “modello nazionale” per ora sperimentato è proprio quello di essere rappresentato da un “protocollo chiavi in mano” e sostanzialmente nella redazione autonoma di un report valutativo.
La sua potenzialità “predittiva” sulla propensione al miglioramento di una scuola è assai ridotta e, dato il carattere dello strumento, anche di particolare permeabilità a derive di opportunismo o di “narcisismo”.
Si tenga conto inoltre che il rischio connesso ad un “modello preconfezionato” da assumere e a cui rispondere appropriatamente, con bassissimi livelli di coinvolgimento organizzative effettivo,  è in opera anche a proposito dell’impegno alla “Rendicontazione Sociale”, per ora non ancora esplorato.
Naturalmente la dimensione nazionale del Sistema contiene problematiche che non sono risolvibili con approcci tipo AUMI (la dimensione di rete autonoma). Ma mi pare vi sia (e vi debba essere) un impegno per superare tali limiti, pur tenendo conto dei vincoli del contesto nazionale. Il come e il quanto potrebbero essere oggetto di un coraggiosa riflessione comune.
 

La raccolta dati

Il monitoraggio nella esperienza AUMI rappresenta l’impegno sostanziale che testimonia il valore della scelta autovalutativa. Non solo per la fatica della raccolta dati periodica, ma anche perché implica la disponibilità al “guardarsi”, al misurarsi con la propria realtà e non solo con le sue “rappresentazioni”. (Il mulo e il contadino… lo specchio e Narciso..)
Nel progetto nazionale si rinvia invece alla “restituzione” di dati conoscitivi della realtà scolastica effettuata attraverso lo strumento di “Scuola in Chiaro”.
Lo strumento ha grandi difetti immediatamente misurabili oggettivamente: informazioni parziali, rielaborazioni sommative e non analitiche, in taluni casi fonte di opacità invece che di chiarezza (per tutti valga l’esempio dei dati contabili…Ne ho già scritto in altro contributo su questo sito).
Ma sopratutto è intrinsecamente deresponsabilizzante: sia perché esenta la scuola da tale fatica di raccolta appropriata, sia perché, pur provenendo i dati in definitiva dalla stessa gestione della scuola, è “il superiore Ministero” che se ne incarica. Una sorta di “limitazione simbolica” (ma i simboli contano) dell’autonomia.
Rimane il fatto che se si vuole procedere ad una autentica valutazione (sia auto che etero) quei dati non sono esaurienti e significativi. Lo stesso regolamento richiama ad “ogni altra informazione che la scuola renda disponibile…”. Ma mi pare evidente che il problema non sia (solamente) nella tipologia e quantità dei dati, ma nella responsabilità messa in campo per la loro stessa raccolta.
Anche in tale caso la dimensione nazionale costituisce, rispetto alla esperienza AUMI, una serie di vincoli di cui tenere conto; ma forse se invece di “produrre in proprio “ la restituzione attraverso “Scuole in Chiaro” il Ministero avesse concentrato le sue risorse nel definire un protocollo di informazioni che la singola scuola “non può non dare” e mettere sul suo sito, sarebbe stato più significativo (rispetto ai fini valutativi) e sicuramente meno “costoso” per l’amministrazione centrale.

Il confronto e la comparabilità dei dati

La dimensione di rete locale (per ampia che sia) dà a AUMI la possibilità di un confronto, comparazione, individuazione di benchmark, nella condivisione dei dati rielaborati dalla rete, che supera sia molte pruderie dovute a francamente discutibili problematiche di riservatezza, sia i rischi delle graduatorie e delle classifiche. Il confronto, in tale dimensione, si riempie di significati operativi; coniuga la dimensione dell’analisi statistica con quella dello “scambio operativo di esperienze”.
Oggettivamente difficile, evidentemente, recuperare tale dimensione nella “struttura” nazionale, anche se si forniscono i dati statistici di confronto regionale e nazionale.
Tuttavia il problema resta: è possibile immaginare una struttura operativa che, garantendo la significatività dei dati di sistema (necessari al decisore amministrativo e politico), non assuma necessariamente la configurazione di un “quartier generale” collegato a stella con una moltitudine di scuole separate tra loro e confrontabili solo attraverso “parametri statistici”?
Tale architettura si presenta come “disintermediante” e quindi con l’apparente realismo della comunicazione diretta tra singolo operatore e il quartier generale. Ma produce anonimato e riduce il confronto tra realtà organizzative a comparazione di parametri statistici
Anche in tale caso si tratta di un problema tecnico e politico insieme; ma implica necessariamente la definizione di modalità operative dell’INVALSI nel rapporto con le scuole: E dal carattere di tali modalità dipende molto del successo di un protocollo valutativo. Come tenere insieme dimensione sistemica (indispensabile per la valutazione) e specificità operative (indispensabile per il benchmark e il miglioramento)? Con quali livelli di possibile “intermediazione”?

Valutazione e miglioramento.

Comprendo che il ribadire il nesso tra valutazione e miglioramento, indicando in quest’ultimo la vera e autentica ragione dell’impegno valutativo, abbia un significato politico evidente: si tratta di smontare in partenza derive che abbiamo conosciuto e sempre in agguato, che legano la valutazione ad effetti premiali o punitivi. Dunque avvalorando e alimentando da un lato i fantasmi della valutazione che sono sempre (e inevitabilmente) in agguato; e dall’altro, quasi in termini isomorfi, le derive opportuniste per le quali la valutazione può rappresentare un “prezzo da pagare” per ottenere vantaggi (l’effetto è quello di mandare fuori bersaglio qualsiasi protocollo valutativo, anche il più severo).
Ma l’esperienza di AUMI mi ha confermato in un principio che spesso ho ribadito: non si valuta per migliorare. Si valuta per decidere. Per migliorare la razionalità decisoria del decisore.
Il miglioramento può essere “una” o “la” decisione che si assume in base alla valutazione. Ma non vi è automatismo e occorre scongiurare una sorta di riduzionismo che sembra animare molto del dibattito attorno a tale questione.
Non c’è automatismo funzionale tra valutazione e miglioramento.
Per almeno due ragioni: la prima, fondamentale, consiste nel fatto che una organizzazione potrebbe avere proprie priorità interne che richiedono, per esempio, di rendere essenziale il “mantenimento” degli standard raggiunti, piuttosto che il miglioramento dei punti deboli, rinviando quest’ultimo nel tempo..A risorse limitate, la complessità del processo decisionale non consente “riduzionismi”.
La seconda ragione è che comunque la decisione di miglioramento non può che coinvolgere (sempre che non sia “cosmesi”) il complesso del processo decisionale di una organizzazione. Quanto a dire l’elemento più delicato e meno “deterministico” che mette in campo i significati scambiati all’interno dell’organizzazione stessa, le sue rappresentazioni, i giochi di ruolo e gli scambi, i processi di leadership informali, le “convenienze” dei singoli, la distribuzione dei compiti e delle convenienze. Quanto a dire in sintesi “la cultura organizzativa” disponibile a “quella” organizzazione. (non c’è, per fortuna, una cultura organizzativa omologata).
Ricordo i rischi connessi ad una concezione riduzionista e determinista del rapporto tra valutazione e miglioramento rispetto a due questioni ancora aperte nel protocollo del Sistema Nazionale di Valutazione.
La prima è una sorta di “automatismo” con il quale si può pensare di trasferire la dimensione dei progetti di miglioramento nella dimensione di valutazione dei Dirigenti Scolastici. Vale l’estensione dell’esempio fatto in precedenza: potrebbe essere miglior dirigente colui che è capace di rinviare l’impegno al miglioramento di una performance insoddisfacente rispetto alla priorita del mantenimento dei buoni risultati in altra performance. Il miglioramento, come l’intendenza, seguirà….
La seconda questione sta proprio nel rimando al rapporto tra miglioramento e complessità dei processi decisionali che coinvolgono la cultura organizzativa di una organizzazione come la scuola.
Il Regolamento richiama (giustamente) attività di tutoraggio, di consulenza, di assistenza ecc… Ebbene deve essere appropriata la consapevolezza della portata del compito; e anche in tale caso la domanda circa l’architettura della struttura consulenziale: ti mando un tutor da Roma o da Firenze? E lo paga l’INDIRE o l’INVALSI… (il counselling a spese di altri è un inedito di cultura organizzativa. Richiede di riassestare le categorie e le definizioni. Per un freudiano ortodosso pagare l’analista è una condizione per il successo della terapia…)

Mi rendo conto delle differenze: AUMI ha una struttura di tutor di rete operativi in termini prossimali alle diverse realtà. Ha un nucleo scientifico (dalla gestione statistica a quella web) che coinvolge operatori “a portata di mano” (docenti, tecnici). Ha la consulenza del responsabile della qualità di una industria locale che della qualità dei suoi prodotti fa la sua carta vincente…
Ha, finchè riesce, costi ridotti facendo leva proprio sui significati assegnati collettivamente all’impresa autovalutativa, e da conto di essi nella convenzione con Regione e USR.
Non si può pensare di trasferire esperienze locali sul piano sistemico, ovviamente.
Ma ci acconteremmo di sapere che alcuni dei problemi qui sollevati possano contribuire ad aprire senza pregiudizi una riflessione critica che sappia mettere in valore l’esperienza di questi mesi (INVALSI, VALES, Valutazione Miglioramento) e quella consolidata di molti anni di impegno come AUMI.