Approfondiamo con un caso concreto cosa vuol dire disegnare e realizzare un sistema di valutazione in un progetto europeo.
Questo articolo è realizzato nell’ambito della collaborazione della nostra Guida con ASVAPP, Associazione per lo Sviluppo della Valutazione e l’Analisi delle Politiche Pubbliche. L’articolo è a cura di Lisa Zaquini e Francesco Tarantino.
Family STAR: un esempio di valutazione sperimentale di un progetto europeo
Dopo l’articolo introduttivo pubblicato qualche mese fa, nel quale abbiamo affrontato il tema del perché sia utile valutare e come o quando sia possibile farlo, approfondiamo oggi l’applicabilità di alcune delle logiche valutative presentate a un caso concreto: il progetto europeo Family STAR.
Presenteremo brevemente l’intervento, il contesto in cui è stato realizzato e il modo in cui è stato disegnato e realizzato il suo sistema di valutazione. Ripercorrendo queste attività, forniremo un esempio per comprendere le scelte da fare, gli strumenti disponibili, le sfide e i vantaggi legati alla costruzione e alla realizzazione di un disegno valutativo.
Il progetto Family ST.A.R. (Family Group Conferences and Student at Risk) è stato realizzato tra il 2016 e il 2018 nell’ambito del Programma EaSI (Employment and Social Innovation), che è oggi una delle componenti del Fondo Sociale Europeo. La call riguardava la sperimentazione di innovazioni di politica sociale a sostegno delle riforme nei servizi sociali e richiedeva specificamente una valutazione rigorosa degli effetti del progetto. Il progetto, dotato di un budget di oltre un milione di euro, era volto a sperimentare l’efficacia delle Riunioni di Famiglia nella promozione del benessere e nella prevenzione dell’abbandono scolastico per gli studenti vulnerabili della scuola secondaria di primo grado.
Quello delle Riunioni di Famiglia (RdF) è un modello nato in Nuova Zelanda negli anni ’80 nell’ambito della protezione minorile. Prevede una serie organizzata di incontri finalizzati ad aiutare la famiglia (intesa in senso ampio: bambini e genitori, ma anche parenti, amici e vicini) a prendere decisioni condivise per la sicurezza e il benessere del bambino. Questo approccio è utilizzato in diversi ambiti. Con Family STAR le RdF sono state applicate all’ambito scolastico, relativamente nuovo e poco testato in precedenza: da cui l’importanza di provarne l’efficacia.
In risposta a questo bando si è formato un partenariato capace di raccogliere una duplice sfida: sperimentare in diverse scuole il modello delle RdF come intervento preventivo del disagio e abbandono scolastico, e al tempo stesso raccogliere in maniera rigorosa evidenze empiriche sull’efficacia del modello proposto. Ha dunque coinvolto enti deputati all’erogazione di servizi educativi e sociali e centri di ricerca con una solida esperienza nella conduzione di esperimenti e analisi in ambito educativo e sociale.
Family STAR è stato implementato in cinque località, sia urbane che rurali, nel Nord e nel Sud Italia, coinvolgendo nella sperimentazione 55 scuole secondarie di primo grado, per un totale di 540 studenti candidati per una RdF. Ha avuto una durata di tre anni: il primo deputato alla realizzazione delle attività propedeutiche (coinvolgimento delle scuole, formazione degli operatori, sviluppo degli strumenti di raccolta dati), il secondo e il terzo alla realizzazione degli interventi nelle scuole e alla raccolta e analisi dei dati.
L’intervento come “un farmaco”: la scelta dell’approccio controfattuale
Il progetto ha previsto l’adozione di due diverse logiche valutative, la valutazione degli effetti e l’analisi di implementazione, che (come vedremo) hanno avuto un ruolo complementare nel descrivere gli esiti del progetto.
La valutazione degli effetti aveva l’obiettivo di rispondere alla seguente domanda: “Che livello di benessere e quali risultati avrebbero avuto gli studenti che hanno partecipato alle RdF nel caso in cui non avessero avuto la possibilità di prendere parte alle stesse?”.
Ha quindi voluto stimare l’impatto dell’intervento secondo la logica controfattuale, che definisce l’effetto (o l’impatto) come differenza tra le condizioni degli studenti oggetto di intervento (situazione fattuale) e le condizioni che si sarebbero verificare in assenza dell’intervento (situazione controfattuale). Si tratta di un approccio particolarmente rigoroso, che comporta la sfida di ricostruire artificialmente una situazione ipotetica: uno stesso studente non può essere contemporaneamente sia un partecipante (fattuale) che un non partecipante (controfattuale).
La soluzione è costruire un gruppo di controllo credibile, ovvero composto da studenti mediamente simili in tutto a quelli oggetto dell’intervento: sia nelle variabili “osservabili” (età, genere, voti…), sia nelle variabili non osservabili, ovvero in grado di influenzare il percorso e le condizioni in uscita dal progetto, ma non direttamente rilevabili. Un gruppo di controllo è credibile se si verificano due condizioni: un processo di assegnazione casuale (ovvero mediante sorteggio) e la presenza di un numero elevato di studenti da assegnare ai due gruppi. Tale metodo è chiamato in letteratura un esperimento controllato randomizzato (o randomized controlled trial, RCT) ed è lo stesso metodo utilizzato in ambito clinico per verificare l’efficacia di farmaci e protocolli.
Al “gruppo dei trattati” di Family STAR è stato proposto di partecipare alla RdF, mentre il “gruppo di controllo” è stato osservato per descrivere la situazione in cui si sarebbero trovati i trattati se non avessero avuto accesso all’intervento. Dal confronto tra le condizioni dei trattati e dei controlli è stato possibile ottenere una stima dell’effetto medio della partecipazione ad un percorso di RdF sul benessere e su diverse altre dimensioni di interesse.
Si tratta di un metodo rigoroso e a volte osteggiato, in quanto implica una scelta casuale tra chi beneficerà o non beneficerà di un intervento potenzialmente benefico. Tuttavia, le stime che si ottengono sono solide, vale a dire che a seguito di una valutazione controfattuale si può effettivamente sostenere che i benefici osservati sono stati raggiunti grazie all’intervento, e non sono frutto – ad esempio – di dinamiche spontanee.
L’adozione di tale approccio ha richiesto di definire un calendario rigido per diverse fasi dell’esperimento:
- la candidatura di studenti che avrebbero potuto potenzialmente beneficiare di una RdF;
- il sorteggio (randomizzazione) in trattati e controlli;
- l’avvio delle attività;
- la raccolta dei dati descrittivi delle condizioni in entrata e in uscita dal progetto per tutti gli studenti coinvolti.
Per la raccolta dati si è scelto di ampliare la platea di studenti a tutta la popolazione scolastica degli istituti coinvolti, al fine di poter descrivere le caratteristiche degli studenti candidati dagli insegnanti anche rispetto alla popolazione scolastica in genere, e per poter restituire a ciascuna scuola coinvolta una panoramica sulle condizioni di tutti i propri studenti.
Dal Quadro Logico di Family STAR all’analisi di implementazione
Parallelamente è stato predisposto il disegno per la cosiddetta analisi di implementazione. Si tratta di un’analisi che ha come obiettivo non tanto la stima dell’effetto, ma la verifica delle modalità attuative di un intervento: quali ostacoli si sono presentati nella realizzazione del progetto? Quali strategie sono state implementate per farvi fronte? Complessivamente, l’intervento è stato realizzato così come era previsto?
Il punto di partenza per la definizione del disegno di ricerca è la ricostruzione del Quadro Logico dell’intervento, ovvero una descrizione del processo attuativo che metta in risalto eventuali passaggi critici, sfide e minacce all’efficacia dell’intervento stesso. Il Quadro Logico descrive quindi ciò che dovrebbe accadere e l’analisi di implementazione va a verificare se effettivamente è accaduto nei tempi e nei modi previsti.
Nel caso di Family STAR, i punti critici individuati nella fase di redazione del quadro logico riguardavano il peso della “variabile umana” e, in particolare, la possibilità di una scarsa adesione dei diversi attori (scuole, famiglie, docenti) a un approccio di progetto e di valutazione molto innovativo: un rischio che si è concretizzato ed è stato affrontato nell’ambito del progetto (v. paragrafo successivo).
Poste queste criticità, sono stati individuati gli strumenti più adatti per l’analisi delle specifiche fasi del progetto. Lo sviluppo di questi strumenti ha richiesto alcuni mesi. Nello specifico, si è trattato di:
- un questionario per la stima degli effetti da somministrare agli studenti, per il quale è stata scelta la modalità cartacea a lettura ottica: una modalità più costosa, ma anche più agevole per le scuole;
- un questionario di gradimento, da somministrare a tutti i partecipanti alle RdF, sempre cartaceo e a lettura ottica;
- un questionario online per i partecipanti alla formazione;
- un questionario online agli insegnanti coordinatori di classe;
- un diario di bordo, compilato da facilitatori e portavoce lungo tutto il percorso;
- diverse tracce per le interviste e i focus group con i coordinatori locali di progetto, le formatrici, i dirigenti scolastici, i referenti scolastici di progetto, i facilitatori e i portavoce.
La principale difficoltà che si incontra nella fase di sviluppo degli strumenti di raccolta dati, in particolare per quanto riguarda i questionari, è trovare il giusto equilibrio tra esaustività delle domande e snellezza dello strumento stesso: da un lato infatti è interesse dei ricercatori raccogliere il maggior numero di informazioni possibili, dall’altro tuttavia è necessario usare parsimonia per non gravare il rispondente di un onere eccessivo.
Tale trade off è sempre valido, e nel progetto Family STAR ha richiesto diverse riflessioni: il gruppo di ricerca ha optato per rilevare con maggior dettaglio le caratteristiche delle RdF attraverso lo strumento del diario di bordo, compilato da facilitatori e portavoce, che – in quanto operatori del progetto – potevano considerare il tempo dedicato alla compilazione nel monte ore complessivo dedicato alla preparazione e conduzione di ciascuna RdF.
Per quanto riguarda invece gli strumenti rivolti a genitori e –in misura minore – agli insegnanti, è stata posta particolare attenzione alla facilità di risposta, sia in termini di contenuti (evitando di sottoporre al rispondente domande che implicassero riflessioni particolarmente difficili) sia in termini di lunghezza del questionario e tempo richiesto alla compilazione.
Realizzazione vs Valutazione: esigenze contrapposte?
Il disegno dell’impianto valutativo e lo sviluppo degli strumenti ha richiesto circa un anno di lavoro, durante il quale gli attuatori hanno avviato la fase di coinvolgimento delle scuole.
Il secondo anno di progetto ha visto l’avvio delle attività valutative e progettuali vere e proprie, scontrandosi subito con una scarsa adesione delle scuole al progetto e con la candidatura di un numero esiguo di studenti da parte degli insegnanti, tale da mettere a rischio il raggiungimento degli obiettivi progettuali (numero di partecipanti alle RdF e al gruppo di controllo) e la significatività delle stime ottenibili.
L’analisi di implementazione ha indagato le motivazioni sottostanti la scarsa adesione al progetto da parte di scuole e singoli insegnanti. Le attività progettuali sono state rimodulate, attraverso:
- un allungamento della fase di realizzazione delle RdF su due anni e l’ingaggio di nuovi territori (e quindi di nuove scuole), per allargare il bacino di partecipanti e compensare la scarsa adesione;
- il suggerimento agli insegnanti di segnalare “casi gemelli”, ovvero studenti che – stanti le risposte fornite al questionario iniziale – sembravano affrontare difficoltà simili a quelle degli studenti candidati per le RdF. Una volta ricevuto l’elenco di casi gemelli dal team di ricerca, la decisione sull’opportunità di candidarli per una RdF restava in capo agli insegnanti, ferma restando l’esigenza di sorteggiarli nel gruppo dei trattati o dei controlli;
- la possibilità per gli insegnanti di indicare dei casi per i quali era urgente una RdF e che pertanto venivano inseriti nel gruppo dei trattati senza essere sottoposti a randomizzazione e quindi di fatto uscendo dalla valutazione.
Si è quindi cercato di risolvere il conflitto tra le esigenze della scuola e quelle della valutazione. Le esigenze della valutazione non sono sempre state ben accolte dai dirigenti scolastici, che hanno affermato di sentirsi in dovere di dedicare maggiore attenzione alla didattica anziché alla ricerca. Tale divergenza di interessi è tipica nel mondo della valutazione, ove si incontrano (e a volte scontrano) esigenze contrapposte. Il valutatore è quindi chiamato a considerare attentamente l’opportunità di rivolgere agli attori coinvolti richieste pressanti, senza tuttavia perdere il rigore scientifico richiesto per dare risposte a domande scientificamente rilevanti.
La profonda conoscenza del contesto in cui si opera, così come una fase di coinvolgimento e progettazione condivisa aiutano sicuramente ad individuare tempi e strumenti adeguati che possano venire incontro alle opposte esigenze.
Rilevante – anche se non sempre preso in considerazione – è l’aspetto delle prospettive future: se da un lato il compito del valutatore si esaurisce con la presentazione dei risultati dell’analisi e delle indicazioni di policy, gli attori coinvolti nella progettazione di un servizio hanno certamente prospettive di più ampio respiro ed è utile prenderle in considerazione per assicurare che le innovazioni proposte possano avere un seguito anche al termine delle attività di ricerca.
Le lezioni apprese: gli esiti della valutazione
Nonostante le difficoltà incontrate, l’analisi degli effetti ha potuto dimostrare che l’intervento è stato efficace nel migliorare il supporto genitoriale percepito dagli studenti e nel ridurre i loro conflitti con gli insegnanti. Tuttavia, ha anche mostrato che le RdF non hanno migliorato l’autoefficacia degli studenti e non li hanno resi più ottimisti riguardo ai loro futuri percorsi educativi. Gli effetti sembrano più positivi quando si considerano studenti provenienti da famiglie con un capitale culturale più elevato e quando la relazione tra genitori e insegnanti non è conflittuale.
L’analisi di implementazione ha evidenziato luci e ombre del processo di realizzazione delle attività: vi sono stati i già citati ostacoli al raggiungimento di un pieno coinvolgimento delle scuole nel progetto, dovuti principalmente alla mancanza di risorse e allo scetticismo nei confronti di modelli innovativi; tuttavia, in circostanze specifiche, i dati mostrano un generale apprezzamento per i modelli partecipativi e di empowerment familiare da parte di tutti gli attori. Si sono inoltre raccolte informazioni interessanti legate al genere e al coinvolgimento della figura paterna.
In conclusione, l’approccio controfattuale adottato nel disegno di ricerca sviluppato per il progetto Family STAR non è ovviamente replicabile a tutti i progetti europei, in quanto occorrono risorse dedicate, un approccio strutturato, un volume ampio di potenziali beneficiari e la possibilità di costruire un gruppo di controllo con determinate caratteristiche. Inoltre, l’adozione in modo coerente di un approccio controfattuale ha reso necessario superare ostacoli e rimodulare le attività del progetto stesso.
Tuttavia, la combinazione di due diverse logiche valutative (la valutazione degli effetti e l’analisi di implementazione) ha permesso al progetto di produrre un’evidenza solida sia rispetto ai suoi effetti, sia rispetto ai processi attivati. I risultati della valutazione hanno permesso di trarre delle conclusioni precise rispetto all’efficacia dell’approccio sperimentato e possono guidare la realizzazione e il progressivo miglioramento degli interventi futuri.
