PavoneRisorse

I problemi della valutazione dopo la legge 169

24.02.2013

La valutazione delle scuole e lo sterco del diavolo.
Risorse economiche e “risultato”
di Franco De Anna

In altri interventi sul tema della valutazione delle scuole (su questo ed altri siti on line) ho cercato di dipanare una riflessione critica che si misurasse con il problema, e non con le reazioni più o meno polemiche che alcune prospettive di soluzione di esso proponevano al dibattito sulla e nella scuola, scontando inevitabili semplificazioni e riduzionismi.
In un mio recente contributo (“La valutazione delle scuole: una voce di agenda o un impegno?”, www.educationduepuntozero.it) ho proposto  un approccio critico ad una di queste semplificazioni contenuta nella legge di stabilità che connette meccanicisticamente finanziamento alle scuole e loro “risultati”. Provo ora, a sviluppare ulteriormente, anche al di là del contesto polemico verso la legge citata.

Il nesso “deterministico” risorse-risultati ha una forza argomentativa che proviene interamente dalla semplicità del costrutto, fino ad alimentare una rudimentalità del ragionamento che, come sempre accade, costituisce il terreno comune che abilita tesi anche diametralmente opposte (l’assenza di pensiero è purtroppo spesso un elemento unificante).
Sulla base di tale semplificato assunto, infatti, si riesce ad affermare da un lato “basta finanziamenti a pioggia… incentiviamo i migliori” e dall’altro ”bisogna investire (spendere) di più nell’istruzione se si vogliono ottenere risultati”.
L’apparente forza argomentativa del costrutto risorse-risultati è in realtà fondato sul criterio della “scatola nera”. Risorse in ingresso, risultati in uscita, e semmai un (problematico) meccanismo di sensato feed-back tra input e output.
L’approccio meccanico (funzionalismo) sembra esentare tutti (vedi le posizioni contrapposte citate) dal chiedersi (e a misurarsi con la fatica scientifica di tale interrogazione) cosa ci sia nella black box, quale sistema di variabili interagiscano nel produrre i risultati, e quale dinamica di sviluppo presieda a quella combinazione di variabili.
Commentando la bozza di regolamento per il sistema nazionale di valutazione (vedi qui) proponevo un approccio alla valutazione di sistema per la scuola, che tenesse conto della sua “complessità” e esplorasse i cinque livelli gerarchicamente (concettualmente e operativamente) connessi per valutare una “politica pubblica”. Rimando a quel contributo.

Ma facciamo una sorta di esperimento ideale.  Poniamoci dal punto di vista di un  finanziatore pubblico che distribuisce le risorse necessarie ad un “produttore autonomo” per produrre un servizio “universale” come la fruizione di un diritto fondamentale di cittadinanza come l’istruzione. Collegare finanziamento a risultati è un “dovere” del finanziatore pubblico: le risorse provengono dai cittadini stessi (fiscalità) e il loro rendimento costituisce (dovrebbe costituire) un criterio di valutazione differenziale nei confronti del decisore pubblico e della sua capacità di rispondere del bene pubblico (esercizio fondamentale della deliberazione di cittadinanza: il feed back democratico).
Ma, proprio per questo, il protocollo di valutazione che il decisore pubblico applica (dovrebbe), deve misurarsi con la “composizione specifica” che l’input di risorse realizza con l’insieme delle variabili che operano nella black box. Insomma il protocollo valutativo “ deve” aprire la scatola se vuole misurare davvero i rapporto tra risorse e risultati. Non sono ammessi, proprio per le responsabilità della politica pubblica, semplicismi, approssimazioni rudimentali, o al peggio, opportunismi e indebite connivenze, rispetto alla complessità delle variabili che presiedono alla “combinazione” specifica delle risorse e dunque ai risultati.

Nel nostro “esperimento ideale” prescindiamo qui da altre importanti considerazioni problematiche (prima tra tutte: come misurare e valutare i risultati; ma anche: quale padronanza dei fattori di produzione come il personale, lo sviluppo organizzativo, le regole di funzionamento, ha il produttore). Potremmo tornarci in altri contributi, se la pazienza ci sorregge. Qui ci esercitiamo sulla variabile “risorse” finanziarie. (Da qui il titolo provocatorio).

Una scuola è una organizzazione complessa. E’ certo descrivibile in termini di organigrammi, distribuzione di incarichi, ruoli assegnati, progetti formalizzati e dichiarati. Ma anche (o sopratutto secondo alcune scuole di pensiero) in termini di significati comuni scambiati nel collettivo, attese speranze e ansie comuni, linguaggi e forme della comunicazione, leadership formali e informali, riconosciute e non.
Non sono gli organigrammi (le forme esterne di un architettura) a reggere l’edificio organizzativo; sono gli impliciti, le latenze (lateres… mattoni). Guai se la valutazione si fermasse al livello della forma dell’edificio: darebbe esiti assolutamente inconsistenti. Deve al contrario misurarsi con quell’insieme di variabili che, per sintetizzare, indico con il termine “cultura organizzativa” (l’insieme dei significati assegnati e scambiati collettivamente)

La complessità reale, esplicita e latente, di una organizzazione si “rivela” in particolare sulla superficie di separazione con il mondo (il contesto) esterno. La composizione specifica delle variabili che presiedono alla vita reale di una organizzazione (quelle evidenti e quelle latenti) influisce direttamente sulla “permeabilità specifica” della membrana di confine interno/esterno.

Le risorse economiche (lo sterco del diavolo) sono uno degli oggetti (essenziali) di tale scambio attraverso la membrana.
Il significato che ad esse viene assegnato dalla “cultura organizzativa” della singola e specifica scuola ne determina grandemente sia l’uso che i risultati del loro uso.
Per esemplificare ricorro a due (tra le tante) esperienze sul campo.

Primo esempio.
Progetto cl@ssi 2.0 nella scuola Media. Il finanziatore pubblico eroga 30mila euro a scuola da destinarsi all’investimento in strumentazione digitale in una classe selezionata. Le risorse sono distribuite secondo specifiche esplicite per selezionare le scuole candidate. La distribuzione reale è affidata alle strutture territoriali dell’amministrazione (USR).
Ho monitorato  un campione di scuole (40 dal Friuli alla Sicilia) visitandole direttamente, osservando le attività in classe e interloquendo con i protagonisti. L’esito dell’osservazione mi consente di individuare almeno tre gruppi di significati diversi assegnati al finanziamento ottenuto e impegnato: per alcune scuole si tratta di uno “start up” (l’innesco di un progetto innovativo); per un altro gruppo si tratta di un contributo in termini di “ricerca e sviluppo” di quanto già hanno autonomamente sperimentato da tempo con autonome scelte di investimento; per un terzo gruppo si tratta di “remunerazione” di uno “stereotipo progettale” (lo sviluppo di una  “retorica progettuale” è stato un sottoprodotto, certo non desiderato in partenza, di alcune interpretazioni dell’autonomia).
Non cito la distribuzione tra i tre gruppi, ma sono sostanzialmente equivalenti. Si tratta evidentemente di una “valutazione” qualitativa (esito dell’osservazione diretta e della interpretazione dell’osservatore) ma ha riscontri quantitativi. Nel campione osservato quel finanziamento uguale (30mila euro) corrispondeva per alcune scuole a meno del 5% delle entrate, per altre arrivava a rappresentare oltre il 20%. (qui il dato è desunto direttamente dalla analisi del Bilancio effettuata dall’osservatore). Non occorre grande fantasia interpretativa per considerare che il “significato” assegnato a quelle risorse finanziarie sia non solo soggettivamente diverso, ma che tale diversità abbia anche un fondamento “oggettivo”.
Il riflesso di tali differenze sulle interpretazioni reali assegnate all’uso di quelle risorse e sui risultati perseguiti e raggiunti è altrettanto evidente: dai livelli di coinvolgimento del collettivo attorno al progetto, al rapporto dentro/fuori con il territorio e l’utenza, al livello di “saturazione” raggiunto rispetto alle attrezzature tecniche, fino alle condizioni di “riproducibilità” dell’innovazione a regime. Come sostenuto in termini generali: il rapporto tra investimento e sua redditività è profondamente condizionato dalla cultura organizzativa e dai significati assegnati alle risorse economiche fruite.

Secondo esempio. Scuola Media di una regione PON. Con finanziamento europeo un docente di grande professionalità ed inventiva progettuale ha acquistato una piccola fresa a controllo numerico (di quelle usate da odontotecnici o da orafi). In laboratorio di informatica gli studenti (scuola media!) progettano “pezzi”, geometrie, ma anche sculture, bassorilievi, utilizzando applicazioni software. Esercitano capacità di calcolo, disegno, fantasia creativa. Comandano da PC la fresa che trasforma i loro progetti in oggetti. Bellissimo.
Ma il docente è l’unico che sappia fare tutto ciò con la sua classe. Il laboratorio è una sorta di sanctasantorum cui si accede attraverso cancelli di ferro scrupolosamente controllati. La scuola è al confine tra un quartiere di ceto medio ed un quartiere di sottoproletariato presidiato da famiglie mafiose. Poche settimane prima della mia visita, alla scuola (edificio nuovo) sono stati rubati gli infissi. Operazione notturna ma avvenuta evidentemente sotto gli occhi di tutti (entrambi i quartieri di riferimento): ci vuole un camion per trasferire gli infissi e qualche lavoro non silenzioso e non rapido per estrarli dai loro alloggiamenti senza deteriorarli.
L’investimento di risorse europee (che altre scuole invidierebbero), aggiunto a quello del MIUR per lo sviluppo digitale, è servito in questo caso per costruire “una cattedrale nel deserto”. Il risultato immediato è di altissima qualità. La sua redditività “di sistema” e la riproducibilità del risultato sono quasi nulle. Come dovrei valutare, secondo il paradigma semplificato del rapporto meccanico tra risorse e risultati?

Ho scelto volutamente esempi di impiego delle risorse in strumentazione tecnica. Ma anni di impegno nella valutazione di progetti PON hanno messo gli osservatori (almeno chi si è misurato con l’analisi delle risorse economiche in un protocollo valutativo dell’INVALSI che su questo è particolarmente debole e insufficiente. E il motivo è istruttivo: il Ministero arrogò a sé questo oggetto di analisi) di fronte a destinazioni di risorse prevalentemente indirizzate a remunerare lavoro, quello interno dei docenti e quello esterno di consulenti e figure specialistiche.
Nulla di riprovevole, ovviamente. Ma un evidente rischio di autoreferenzialità tra chi progetta, il motivo per cui lo fa, la distribuzione delle risorse ed i risultati. Autoreferenzialità (e qualche tentazione di opportunismo) che deformano sia le strategie di investimento (la scelta tra diverse alternative) sia gli esiti, sia la pertinenza di protocolli valutativi “esterni”. Qui davvero “lo sterco del diavolo”.

Naturalmente vi è una sorta di “retropensiero” che giustifica, sul fronte ministeriale, il paradigma della black box. Non si pensa necessario ”aprire la scatola” perchè  si ritiene, o si auspica, che il suo contenuto sia sempre il medesimo e corrisponda al  “modello ministeriale” presidiato da circolari, regolamenti, direttive e quant’altro animi (?!) la linea di comando che parte da Viale Trastevere.
L’autonomia non è mai stata (tranne che a parole e per scaricare responsabilità) un must per il Ministero. A ciascuno le sue ipotesi politiche; ma il problema è, in questo caso, la perdita di realtà  (grave difetto per un valutatore).

Al di là dei due esempi concreti, come utilizzarli per estrarne argomentazioni di carattere generale, circa la determinazione di sensati protocolli di valutazione di sistema, sia pure sull’oggetto parziale assunto nel nostro “esperimento ideale”, come il nesso risorse-risultati?

Un assennato protocollo di valutazione che sappia rintracciare il senso del rapporto risorse-risultati, non accontentandosi del paradigma della black box, guardando cioè “dentro” la scatola, dovrebbe prima di tutto misurarsi con l’apprezzamento della autonoma “propensione all’investimento” della organizzazione specifica sottoposta a valutazione.
La domanda è semplicissima “Cosa farebbe l’organizzazione se avesse a disposizione 30mila euro (ma la quantità potrebbe essere diversa) da impiegare senza vincoli?” (si diverta il lettore a qualificare meglio la domanda arricchendola di specificazioni, ma senza esagerare. Ci importa l’interpretazione “autonoma” dell’organizzazione).
Le risposte, la loro distribuzione, unità, diversificazione, costituirebbero un repertorio sintomatico rivelatore sia della “cultura organizzativa” specifica, sia dei modelli interpretativi delle strategie, delle priorità, sia delle consapevolezze dei ruoli, della missione, delle funzioni pubbliche esercitate.
Ma tale esplorazione preliminare della “propensione all’investimento” dovrebbe esercitarsi sia sul “dichiarato” (le significazioni esplicite che corredano la cultura organizzativa) sia sulla struttura.
E dunque dovrebbe accompagnarsi anche  con una  analisi (questa tutta quantitativa) condotta su una indicizzazione opportuna dei Bilanci delle scuole. La destinazione e composizione della spesa, sia sui grandi aggregati, sia sulle singole attività.
Ma anche tale compito quantitativo non è risolto dalla semplice compilazione di tabelle o questionari. E’ sempre necessaria la lettura analitica  dell’ osservatore ed la sua responsabilità interpretativa e diagnostica per affrontare  il compito di ricostruire le correlazioni sensate tra il livello delle dichiarazioni e la struttura delle politiche di spesa.

La considerazione della funzione di “mediazione” che la cultura organizzativa elaborata da una organizzazione esercita sul rapporto risorse-risultati è particolarmente rilevante (decisiva per la valutazione e per i suoi effetti) quando si eserciti sulla “membrana” di confine tra l’organizzazione stessa ed il contesto di azione.
Sul confine dentro-fuori si determinano infatti le condizioni di redditività nel tempo degli investimenti e di riproducibilità dei risultati (la possibilità di evitare le “cattedrali nel deserto” dell’esempio riportato).
La ricerca in altri campi (per esempio la salute) dimostra ampiamente che la correlazione tra investimenti intensivi e risultati è tutt’altro che lineare. L’indice medio di salute di una popolazione cresce, per esempio, al crescere di risorse impegnate in dispositivi diagnostici o in farmaci. Ma oltre un certo limite la curva si appiattisce (potete moltiplicare le apparecchiature di risonanza magnetica, ma l’indice di salute non muta). Diviene più “redditizio” l’investimento diffuso e a bassa intensità in “cultura della salute”, per esempio in cultura della prevenzione. I risultati non sono immediati e immediatamente misurabili, la correlazione si fa più lasca, ma gli effetti si rivelano e consolidano nel tempo.
In una “impresa” ad alta intensità di lavoro e a mercato diffuso (il “mercato” di riferimento è l’intero contesto sociale), come è la scuola, la “composizione” delle risorse investite è fondamentale per determinarne la redditività e dunque i risultati. Occorre cioè calibrare un doppio obiettivo: aumentare la “composizione tecnica” dell’offerta (strumentazioni, impianti) e fare leva sulla composizione della domanda (cultura, professionalità, domanda sociale). Vedi il secondo esempio commentato più sopra.

L’appropriatezza della “cultura organizzativa” dell’organizzazione scolastica che si vorrebbe valutare, nel determinare il rapporto risorse risultati, è a sua volta correlata ad alcune variabili di inevitabile portata “soggettiva”.
Innanzi tutto le caratteristiche della direzione. Sotto il duplice (e distinto) profilo del management e della leadership (troppo semplicisticamente rese “sinonimi” in molte elaborazioni, spesso “di comodo”). Un dirigente, se è un buon organizzatore, potrebbe non avere nulla da fare materialmente lungo la sua giornata (è ovviamente un paradosso) se non “presiedere” con accuratezza e costanza alla costruzione ed allo scambio di significati collettivi che formano la “cultura organizzativa”, non “determinandone” i contenuti, ma presidiando discretamente gli scambi e gli incroci comunicativi. La “conversazione” organizzativa, in altre parole.
Sia detto per inciso, sotto tale profilo, molte elaborazioni su “leadership pedagogica”, leadership diffusa, “collegialità” ecc… meriterebbero qualche falsificazione critica (fino alla “giustizia sommaria”. Ma questa è una impertinenza personale).
Sul fronte della docenza la mediazione operativa tra esperienza, motivazioni, professionalità individuali nel determinare il rapporto risorse-risultati è più che evidente.
L’aggregato complesso che ho chiamato “cultura organizzativa” sembra essere il fattore determinante nel produrre la variabilità inaccettabile che caratterizza le condizioni operative (e i risultati nelle rilevazioni sui livelli di apprendimento) del nostro sistema di istruzione nelle diverse aree del Paese. (A meno di ipotizzare improponibili differenze antropologiche).
Il suo effetto è ancora più significativo di quello dei differenziali di risorse economiche messi in campo per superare le differenze di contesto sociale (la storia delle risorse dei PON ma anche quella degli impegni per lo sviluppo del Meridione lo sta a dimostrare).
Dunque le “risorse umane” (orribile allocuzione) e la loro assennata combinazione sono un fattore determinante di risultato.
E la “cultura organizzativa” elaborata e messa in opera costituisce un insieme di variabili che, in correlazione complessa, operano la diversificazione dei risultati a parità di ogni altra misura amministrativa, compresa la politica di spesa, quali sono misurabili nel confronto tra le diverse arre del Paese.
Investire in “risorse umane” (lo stereotipo usuale della “formazione”)? Certo.
Ma perché non incentivarne lo scambio e la mobilità? Favorire una “migrazione” di dirigenti e docenti in senso opposto. O una migrazione ed un ritorno finalizzato? Perché non “copiare” nella scuola  il progetto “Angels” del Ministro Barca destinato all’Università? (Migrazione incentivata  di giovani ricercatori in prestigiosi centri di ricerca internazionali con l’impegno al ritorno ed al trasferimento in patria dei modelli organizzativi appresi..) Investimento a bassa intensità come quelli ricordati in campo sanitario.. Che poco si sia discusso di quel progetto, è tristemente significativo della rudimentalità del confronto sull’investimento in istruzione, anche quando venga invocato come salvifico del nostro futuro.

Se occorre aprire la black box e guardarci dentro, un protocollo valutativo che si basi su strumentazione “a distanza” come report, questionari, fascicoli rielaborati dal Ministero, interrogazioni e risposte date dal valutato al valutatore sono del tutto insufficienti.
Sono strumenti di ricerca da utilizzare appropriatamente, ma tutt’altro che esaurienti e esaustivi. Anzi contengono sempre un doppio rischio.
In primo luogo la “stereotipia” delle risposte e la deformazione del materiale diagnostico. In secondo luogo l’effetto della tentazione di moltiplicare gli strumenti di rilevazione formale, i report richiesti, i questionari da compilare. Una vera e propria “molestia documentaria” che le scuole già conoscono, e che cercano di neutralizzare.
Può sembrare che fondare un protocollo valutativo su tali strumenti garantisca “oggettività” e comparabilità della rilevazione. E anche semplificazione e minori costi. Ma a prezzo della insignificanza diagnostica.
Nulla di tutto ciò sostituisce l’osservazione diretta sul campo (neppure nell’analisi di un bilancio) e l’assunzione critica di tutti i rischi che ciò comporta (i difetti intrinseci dell’osservazione, la clinica della elaborazione del rapporto asimmetrico tra valutato e valutatore).
Ma, delle tre colonne che dovrebbero fondare il sistema nazionale di valutazione (autovalutazione, miglioramento, valutazione esterna), quest’ultima è lasciata in completa assenza di sperimentazione. (e l’andamento dell’ultimo concorso ispettivo sembra convalidare tale insignificanza).
Le proposte in gioco (vedi anche VALES) sembrano esentare dall’impegno in ricerca e formazione dei valutatori che sarebbero ancor più necessari per un protocollo di osservazione sul campo.
E invece proprio il sistema della ricerca educativa è stato smontato. (Vedi l’ormai decennale processo di “riorganizzazione”, in realtà destrutturazione, del sistema della ricerca educativa )
Ma allora, meno enfasi innovativa, per favore.