Sfide, evidenze e lezioni apprese del progetto “Youth employment partnerSHIP”, per la valutazione dell’iniziativa UE Garanzia Giovani
Questo articolo è realizzato nell’ambito della collaborazione della nostra Guida con ASVAPP, Associazione per lo Sviluppo della Valutazione e l’Analisi delle Politiche Pubbliche. L’articolo è a cura di Gaia Testore e Fabio Sandrolini. Si ringraziano Iga Magda (IBS), Claudia Villosio (CCA) e Massimiliano Deidda (INAPP) per il contributo alla ricostruzione delle dinamiche del progetto e degli ostacoli incontrati.
Valutare l’efficacia degli interventi: una sfida comune
Valutare l’efficacia degli interventi è una delle attività più complesse che accomuna i progetti europei, i programmi europei e le politiche pubbliche. In ciascuno di questi ambiti, per quanto distinti, si riscontrano sfide e difficoltà molto simili.
Le autorità nazionali ed europee – e anche molti progetti europei – sostengono interventi per facilitare l’ingresso nel mercato del lavoro da parte delle giovani generazioni. Quali di questi interventi si sono rivelati efficaci? Quali sono stati in grado di fornire un maggiore supporto ai giovani inattivi? E quali sono le loro caratteristiche?
Queste sono le domande tipiche di un processo di valutazione di efficacia delle politiche: in questo caso specifico, di quelle che vengono chiamate “politiche attive del lavoro”. Domande che si presentano in modo simile nel momento in cui ci si avvicina alla valutazione di un progetto europeo.
Questa sfida è stata raccolta dal progetto Youth employment partnerSHIP: un’iniziativa internazionale finanziata dall’EEA and Norway Grants Fund for Youth Employment, che ha messo sotto la lente d’ingrandimento alcuni interventi di politica attiva del lavoro promossi nel quadro del programma europeo Garanzia Giovani.
Il progetto si è concentrato su quattro paesi europei ad alto tasso di disoccupazione giovanile (Italia, Polonia, Spagna e Ungheria), con l’obiettivo di valutare l’efficacia degli interventi messi in campo da Garanzia Giovani: un’iniziativa dell’UE implementata per promuovere l’inserimento lavorativo dei giovani e per contrastare il fenomeno dei NEET nei paesi ad alto tasso di disoccupazione giovanile (> 25%).
Si tratta di un progetto non finanziato dall’Unione europea, ma da un Fondo creato dai Paesi dell’EEA (Spazio Economico Europeo) e dalla Norvegia, cui gli enti italiani possono partecipare solo indirettamente come partner; un progetto che però offre un interessante spaccato sulle sfide della valutazione applicata ai programmi europei.
Per chi fosse interessato ad approfondire gli aspetti operativi del monitoraggio e della valutazione sui progetti europei, o a conoscere altre esperienze, segnaliamo:
- Il capitolo dedicato del nostro Manuale
- Due articoli dedicati all’esperienza di ASVAPP e alla sua impostazione metodologica
- Un articolo dedicato all’esperienza di valutazione del progetto “Family Star”
Comunicazione e relazioni tra partner: un alleato per gestire la complessità
La prima delle lezioni apprese riguarda la comunicazione all’interno del progetto e la gestione delle partnership internazionali.
Il progetto presentava un partenariato articolato e qualificato. I partner e il capofila erano espressione di centri di eccellenza nell’analisi delle politiche del lavoro in Polonia (IBS, capofila), Italia (INAPP e CCA), Spagna (FEDEA e EHU) e Ungheria (Budapest Institute), e potevano contare su partner di supporto di alto livello (NFF, PSE e World Bank).
Ciononostante, la gestione del progetto si è rivelata difficile a causa di una combinazione di fattori: l’emergenza sanitaria del Covid, la necessaria costruzione di una partnership “a distanza” e l’assenza di rilevanti esperienze pregresse di collaborazione tra i partner del progetto.
L’esperienza ha confermato che le relazioni e gli incontri di persona restano insostituibili: costruire un clima di fiducia è essenziale per garantire una fruttuosa comunicazione e collaborazione, e superare efficacemente le difficoltà tecniche e operative del progetto. Come ha sottolineato la responsabile di progetto, conoscersi “de visu” fa la differenza nella riuscita di una collaborazione internazionale. È importante prevedere risorse e tempi per incontri in presenza, anche e soprattutto quando i progetti sono finalizzati alla realizzazione di output comuni e all’apprendimento reciproco.
Anche la comunicazione esterna, e in particolare la disseminazione di quanto realizzato, è un fattore determinante durante e oltre il ciclo di vita del progetto. Uno dei risultati più solidi della partnership internazionale è stato affiancare alla produzione di evidenza empirica sull’efficacia di diverse tipologie di azioni attuate nell’ambito della Garanzia Giovani, la pubblicazione e divulgazione di indicazioni e lezioni apprese dall’esperienza transnazionale, consultabili attraverso un’apposita biblioteca.
Nel diffondere i risultati della valutazione, i ricercatori hanno constatato che, tra i diversi prodotti realizzati, webinar, linee guida e manuali scaricabili sulla costruzione di analisi controfattuali si sono rivelati strumenti più apprezzati e di maggior impatto sui policymaker rispetto a paper e pubblicazioni congiunte, più lunghe e complesse.
La comparabilità dei dati: un ostacolo da superare con impegno e visione
La seconda lezione appresa riguarda l’accessibilità e la comparabilità dei dati raccolti, che è un ostacolo ricorrente nell’ambito dei progetti europei e delle attività di valutazione. Sistemi amministrativi diversi producono dati diversi, e occorrono lavoro e tempi lunghi per “ripulirli” e poterli utilizzare: un’attività essenziale che è spesso sottovalutata nella pianificazione dei tempi di progetto.
Dal punto di vista metodologico, il fulcro del progetto Youth employment partnerSHIP risiedeva proprio nell’utilizzo di dati amministrativi su larga scala, come i registri di disoccupazione e i dati previdenziali, per impostare disegni di valutazione controfattuale in tutti i paesi aderenti (Polonia, Spagna, Italia e Ungheria). Questo approccio metodologico permette di seguire i percorsi dei giovani dentro e fuori dal mercato del lavoro e di stimare in modo rigoroso gli effetti delle politiche in esame, ma non è privo di ostacoli tecnici.
I ricercatori e le ricercatrici di Youth employment partnerSHIP hanno riscontrato che l’accessibilità e le modalità di raccolta dei dati variano enormemente da paese a paese. A titolo di esempio, in Ungheria è stato possibile confrontare i registri dei disoccupati con quelli della previdenza sociale, ma lo stesso non è stato possibile in Polonia, creando divergenze significative nel calcolo dei redditi e nella comparabilità dei dati.
Le divergenze per quanto riguarda l’Italia sono state ancora più significative. Negli altri tre paesi è stato possibile costruire analisi parallele, concentrandosi su azioni avviate nel contesto della Garanzia Giovani, ma in Italia mancava un database che permettesse di ricondurre in modo univoco i dati al programma Garanzia Giovani. Per superare questo ostacolo strutturale, la compagine italiana ha scelto di focalizzare l’analisi su interventi non dissimili da quelli attuati nell’ambito della Garanzia Giovani, seppur attivati al di fuori del programma. Misure differenti e non specificamente rivolte ai giovani, ma per le quali era possibile osservarne l’impatto su questa specifica fascia di popolazione. Si è così deciso di studiare gli effetti sui giovani degli incentivi economici per l’assunzione a tempo indeterminato introdotti dalle leggi 190/2014 (sul regine forfetario) e 183/2014 (sul contratto a tutele crescenti).
Questo esempio illustra quanto le difficoltà legate all’accessibilità e alla comparabilità dei dati possano avere un impatto sulle attività di un progetto e di un esercizio di valutazione. La soluzione al problema ha permesso di trovare una strada alternativa e solida per l’analisi, permettendo all’Italia di contribuire attivamente con dati e risultati rilevanti alla ricerca – ma ha richiesto tempo e impegno.
Il progetto suggerisce due spunti importanti sull’utilizzo dei dati nei progetti europei. In primo luogo, è opportuno verificare la granularità (ovvero il livello di dettaglio con cui le informazioni sono raccolte e memorizzate all’interno di un database) e l’accessibilità dei dati amministrativi prima di concordare con i partner un’attività di analisi o di ricerca. In secondo luogo, occorre calcolare un ampio margine di tempo per la pulizia dei dati, che è spesso più lunga dell’analisi stessa.
Questa pubblicazione illustra nel dettaglio quanto realizzato dai ricercatori italiani.
Disegnare gli interventi: mantenere il focus su un target
Per quanto riguarda i risultati delle analisi, gli studi hanno messo in luce come sebbene il problema della disoccupazione giovanile sia un fenomeno trasversale, esso assuma forme diverse a seconda dei paesi: in Italia e Spagna i giovani trovano più facilmente lavoro, ma spesso solo con contratti temporanei e precari; in Ungheria e Polonia, invece, i giovani incontrano importanti barriere all’accesso.
Le analisi hanno restituito alcune importanti evidenze, utili per chi si occupa di disegnare interventi volti a facilitare l’ingresso nel mercato del lavoro da parte delle giovani generazioni:
- La struttura degli interventi di politica attiva del lavoro non è neutra rispetto al genere. In Italia, l’impatto positivo degli incentivi all’assunzione tra i giovani di 18 e 34 anni è stato quasi doppio per gli uomini (+14,5%) rispetto alle donne (+7,6%);
- Le politiche attive del lavoro non sempre riescono a raggiungere le categorie più vulnerabili (Ungheria) o hanno effetti di breve periodo che tendono a scomparire rapidamente nel tempo (Polonia);
- Alcune fattispecie di contratti di lavoro pensate per favorire l’inserimento lavorativo (public works in Polonia) o per promuovere la stabilità lavorativa dei giovani (contratti di tirocinio in Spagna), si sono rivelate solo parzialmente efficaci nella forma in cui sono state implementate, supportando e tutelando solo in parte i beneficiari.
Queste evidenze conducono all’ultima tra le grandi lezioni apprese di Youth employment partnerSHIP: per essere davvero efficaci, gli interventi devono essere calibrati su specifici gruppi di beneficiari, evitando soluzioni generiche che rischiano di ignorare le barriere d’accesso, le caratteristiche e le difficoltà delle diverse fasce coinvolte, in particolare dei gruppi più vulnerabili e delle giovani lavoratrici.
