Misurare e comprendere:
verso nuovi modelli di valutazione della formazione
di Silvia Broglia, esperta di processi formativi.

La valutazione della formazione è e sarà sempre più un tema cruciale in ogni contesto organizzativo, scolastico e non.
In Italia sono ancora poche le occasioni per riflettere seriamente sull’argomento, anche se da qualche tempo sul sito poolweb.it, gestito dall’Istituto di studi direzionali di Stresa (Istud), è attivato un forum di discussione.
Sempre l’Istud ha promosso una ricerca condotta su un campione particolarmente rappresentativo di aziende, organizzationi pubbliche e private, università e scuole di formazione (per chi fosse interessato, l’elenco completo delle organizzazioni costituenti il campione è visibile nei files allegati, insieme alle slides proiettate per presentare i risultati della ricerca).

Milano, 11 ottobre 2000, sala Falck dell’Assolombarda: alle ore 15 ha inizio il Workshop organizzato dall’Istud, con la presentazione dei risultati emersi dalla survey condotta dai professori Gagliardi e Caramazza su un campione di una novantina di organizzazioni nazionali e multinazionali, pubbliche e private, profit e non-profit. I dati, raccolti mediante un questionario, si riferiscono ai seguenti temi:

•	Frequenza delle attività di valutazione
•	Oggetti della valutazione
•	Strumenti per la valutazione
•	Uso dei dati raccolti
•	Grado di soddisfazione
•	Motivi di insoddisfazione

Le domande sottoposte alle organizzazioni e le rispettive risposte sono le seguenti:

•	Nella sua organizzazione con quale frequenza vengono condotte attività di valutazione della formazione?

61% regolarmente
39% occasionalmente

•	Su quali oggetti viene condotta la valutazione della formazione?

70% sui singoli interventi
2% su politiche e investimenti
28% su entrambi

•	Cosa è generalmente finalizzata a valutare la valutazione della formazione?

78% il gradimento dei partecipanti
67% la qualità dei docenti
53% l’apprendimento dei partecipanti
53% la qualità dei metodi formativi
48% la qualità dell’istituto/ufficio/team che ha erogato l’intervento di formazione
41% i risultati per l’organizzazione

•	Quali strumenti vengono usati prevalentemente nella valutazione?

91% questionari ai partecipanti
17% questionari ai capi diretti dei partecipanti
17% questionari ai docenti/progettisti
53% interviste ai partecipanti
36% interviste ai capi diretti dei partecipanti
20% interviste ai committenti
19% test di apprendimento ai partecipanti

•	Che utilizzo viene fatto dei dati raccolti?

45% per programmare interventi futuri
16% per analisi statistiche/comparative/previsionali
11% per report ai dirigenti
6% per aggiornamento dei profili professionali
11% per valutazione dei fornitori
3% per valutazione dei docenti
9% non risponde

•	Qual è il livello di soddisfazione rispetto alla valutazione?

36% poco soddisfatti
33% mediamente soddisfatti
18% molto soddisfatti
11% per niente soddisfatti
2% del tutto soddisfatti

•	Quali sono i principali motivi di insoddisfazione?

27% superficialità
14% soggettività/disomogeneità
9% scarso impatto sull’operatività/organizzazione
8% non si valuta l’apprendimento dei partecipanti
5% non si valuta il ROI (return of investment) della formazione
11% generico desiderio di miglioramento
27% non risponde
Come coniugare misurazione e comprensione? 
verso un nuovo modello di audit della formazione

Nell'ambito del workshop Gagliardi presenta brevemente il testo “L’impatto della formazione”, scritto con Quarantino per le edizioni Guerrini Associati di Milano. In esso si descrive il tentativo di capire quali siano le pratiche correnti della formazione e quali siano le teorie sottostanti ad esse. L’approccio utilizzato è quello etnografico, volto a comprendere come il problema  della valutazione della formazione venga comunemente affrontato nel suo ambiente naturale. Gli autori hanno rilevato:

•	un generale riferimento alla teoria della gerarchia 
(gradimento/apprendimento/comportamento/risultati)

•	l’ambizione ad una misurazione scientifica dell’impatto

•	la dominanza di un approccio positivista, una ridotta consapevolezza epistemologica, la marginalizzazione di un approccio “naturalistico” (chi-cosa-come-quando-dove v/s come-perché).

Secondo Gagliardi occorre utilizzare un approccio interpretativo o prossimale, contrapposto ad un approccio distale.
Quando si studia un fenomeno, infatti, lo si può valutare come risultato, effetto (approccio distale) o si può valutare come quel fenomeno si è determinato e perché (approccio prossimale). 

distale		    	prossimale
						(approccio		   	(approccio
						 positivista)		   	 interpretativo)

Concezione della				L’impatto è un		La realtà è una
realtà e della				“fatto”, governato		costruzione 
conoscenza					da leggi			sociale (processi,
universali che		contesto, significato)
						possono essere
						“scoperte”

concezione del				Il cambiamento è		Il cambiamento è 
cambiamento				programmabile		traslazione 
(soggettività,  casualità, eterogeneità)

concezione					L’apprendimento è		L’apprendimento è
dell’						un fenomeno			un fenomeno socio- 
apprendimento				cognitivo-funzionale	culturale
						(“problem-driven”)

E’ importante capire quali siano le teorie sottostanti alla valutazione della formazione. Infatti, esiste sempre un modello teorico relativo al cambiamento, uno all’ apprendimento, ed uno relativo alla realtà e alla conoscenza. Tali teorie giudano e determinano qualsiasi processo di valutazione.

•	realtà e conoscenza: per l’approccio prossimale sono una costruzione sociale (processi, contesto, significato), mentre per l’approccio distale l’impatto è un “fatto”, governato da leggi universali che possono essere “scoperte”.

•	cambiamento: l’approccio prossimale lo vede come una traslazione (soggettività, casualità, eterogeneità), mentre l’approccio distale lo considera programmabile.

•	apprendimento: l’approccio prossimale lo considera un fenomeno socio-culturale, mentre l’approccio distale lo considera un fenomeno cognitivo-funzionale (problem-driven).

L’approccio distale diviene fondamentale, in quanto abbiamo bisogno di strumenti che ci permettano di catturare sia ciò che era prevedibile di trovare sia ciò che non ci aspettavamo (aspetti simbolici dell’organizzazione).
Si tratta quindi di utilizzare un approccio tendenzialmente qualitativo, inerente ad un fenomeno che si realizza in uno specifico contesto, non generalizzabile. 
L’impatto dell’intervento può allora essere rappresentato con l’ausilio di una matrice come questa:

impatto dell’intervento

             atteso			inatteso

sostanziale

simbolico

		

		

La valutazione costituisce un fenomeno relativo e politico.
Si deve rinunciare a cercare sia uno strumento universalmente valido per valutare, sia una realtà assolutamente valutabile.
Esiste una relativa povertà di strumenti per la valutazione della formazione; ciò che abbiamo ci permette di cogliere frequenze, quantità, ma non ci permette di capire la logica di processo ed il significato che l’esperienza ha avuto per il partecipante. Per comprendere entrambi gli aspetti, è quindi necessaria un’integrazione degli approcci distali con approcci prossimali.

Le aree di lavoro su cui è opportuno focalizzare l’attenzione divengono:

1.	Valutazione “spessa” di interventi specifici che possano essere considerati “cruciali”.
Prendere, cioè, interventi che possano essere considerati cruciali per un organizzazione e su questi attuare uno studio in profondità. Ogni contesto è a sé, in ogni contesto l’intervento formativo segue proprie strade. Il periodico studio di caso in profondità permette di conoscere meglio la logica dell’impatto formativo nello specifico contesto.
(…la logica del movimento dell’acqua nella falda freatica…)

2.	Scomposizione del ruolo manageriale in competenze e messa a punto di   strumenti di valutazione puntuale del loro apprendimento (il bagaglio professionale specifico del manager).
Si devono identificare le competenze e progettare strumenti ed interventi ad hoc, in base a ciò che si è trovato.
(…muoversi nella terra incognita tra “mi è piaciuto” e “quanto ha reso…)

2.	audit complessivo, valutazione globale di sistemi e di politiche di formazione.
Esiste infatti un blocco di attività (contenuti, entità, destinatari, ecc.)che possiamo, in qualche modo, classificare. Esse hanno delle forme (on the job, interaziendale, a distanza, in house, ecc.) che si svolgono in strutture (ruoli della formazione, specializzazioni, posizioni del decision-making, legittimazione).
Si deve inoltre comprendere quale costo  venga ad assumere tutto ciò.
Nell’attuazione dell’audit è necessario adottare sia la logica delle relazioni  causa-effetto (analizzando i risultati fattuali e simbolici, utilizzando sia macroindicatori tipo il Return Of Investment che mesoindicatori), sia la logica del confronto con standard di eccellenza, analizzando le pratiche migliori. Tutto ciò all’interno di una logica della coerenza con le strategie aziendali. Queste tre logiche permettono di condurre un audit completo.

Lo schema seguente esemplifica quanto descritto:

L’AUDIT DEL SISTEMA FORMATIVO

Le strategie aziendali

logica della
         coerenza

Attività

•	contenuti
•	entità
•	destinatari
•	ecc.
	
Forme

•	on the job
•	interaziendale
•	a distanza
•	in house
•	ecc.
	
Strutture

•	ruoli della formazione
•	specializzazioni
•	posizione nel decision-making
•	legittimazione

COSTO

	

logica del confronto								  logica delle relazioni
con  standard 									  causa-effetto		
di eccellenza

le pratiche									   i risultati
(migliori)									  (fattuali* e simbolici)
										 *macroindicatori (ROI) o mesoindicatori?

Nell’ambito del workshop sono stati descritti tre casi di valutazione della formazione, in cui sono stati adottati, rispettivamente, l’approccio etnografico, quello partecipato e quello narrativo.

approccio etnografico

L’approccio etnografico si è sviluppato negli USA. Esso ha come scopo la ricostruzione dei codici culturali propri di un contesto e la comprensione dei motivi per cui determinati fenomeni sono avvenuti. Prevede l’utilizzo di osservatori esterni all’organizzazione, in modo da acquisire un’ottica di distanziamento e neutralità.
 L’approccio etnografico permette di:
•	rilevare una serie di informazioni e di vissuti delle persone, che non potrebbero essere colti attraverso un questionario;
•	comprendere il perché dei fenomeni (es. perché un corso sia andato bene o male).

Il caso descritto ha riguardato la richiesta da parte di un’amministrazione regionale di integrare i suoi tradizionali metodi di valutazione con metodi diversi.
E’ stato condotto uno studio, con la raccolta di dati tratti da documenti aziendali e da osservazioni sul campo, attraverso “chiacchierate” con i dipendenti su temi predefiniti. Il tentativo attuato dai ricercatori è stato quello di divenire parte dell’organizzazione che stavano studiando.
In tal modo è stato messo a punto uno strumento adattabile anche ad altri contesti.

approccio partecipato

L’ approccio partecipato consiste nel tentativo di adottare un’ottica realistica della formazione e della sua valutazione, attraverso la ricostruzione e la comprensione di ciò che sta accadendo proprio mentre accade. In tal modo è possibile ricostruire e riflettere sul fenomeno in itinere, provando ad affrontare in anticipo la valutazione della formazione attraverso un monitoraggio continuo.
Ciò è possibile perché formazione e valutazione sono considerate come un unico processo, non divisibile in momenti diversi.
L’ approccio partecipato permette di:
•	raccogliere pareri ed opinioni dei partecipanti;
•	supportare l’attività formativa nel corso della sua realizzazione.

L’esperienza di valutazione descritta si è realizzata su centocinquanta interventi per non occupati. Il metodo ha previsto una visita (durata quattro-sei ore) con avvio, ricostruzione guidata da una traccia, visione diretta dell’attività formativa, contatto diretto con i partecipanti e relazione finale. 

approccio narrativo

L’approccio narrativo consiste nella descrizione delle organizzazioni attraverso il romanzo, la narrazione, il racconto. In esso la soggettività riveste un ruolo cruciale.
Questo approccio consente:
•	l’emergere di fatti che nei documenti non sono visibili;
•	l’emergere, nel racconto, non solo del dover essere, ma anche del piacer essere (viene fuori la storia della persona anche al di là dell’ambito lavorativo).

L’esperienza descritta ha riguardato la richiesta di descrizione di un progetto ADAPT, intitolato “Development Lombardia” e condotto dall’ISTUD nel 1998.