Herausforderungen, Erkenntnisse und gewonnene Erfahrungen aus dem Projekt „Youth employment partnerSHIP“ zur Bewertung der EU-Initiative „Jugendgarantie“
Dieser Artikel entstand im Rahmen der Zusammenarbeit unseres Leitfadens mit ASVAPP, dem Verband zur Förderung der Bewertung und Analyse öffentlicher Politik. Der Artikel wurde von Gaia Testore und Fabio Sandrolini verfasst. Wir danken Iga Magda (IBS), Claudia Villosio (CCA) und Massimiliano Deidda (INAPP) für ihren Beitrag zur Darstellung der Projektabläufe und der aufgetretenen Hindernisse.
Die Wirksamkeit von Maßnahmen bewerten: eine gemeinsame Herausforderung
Die Bewertung der Wirksamkeit von Maßnahmen ist eine der komplexesten Aufgaben, die europäische Projekte, europäische Programme und die öffentliche Politik gemeinsam haben. In jedem dieser Bereiche, so unterschiedlich sie auch sein mögen, stellen sich sehr ähnliche Herausforderungen und Schwierigkeiten.
Die nationalen und europäischen Behörden – sowie zahlreiche europäische Projekte – fördern Maßnahmen, die der jungen Generation den Einstieg in den Arbeitsmarkt erleichtern sollen. Welche dieser Maßnahmen haben sich als wirksam erwiesen? Welche konnten nicht erwerbstätigen jungen Menschen die größte Unterstützung bieten? Und welche Merkmale weisen sie auf?
Dies sind die typischen Fragen, die sich bei der Bewertung der Wirksamkeit politischer Maßnahmen stellen: in diesem konkreten Fall bei den sogenannten„aktiven arbeitsmarktpolitischen Maßnahmen“. Fragen, die in ähnlicher Form auch bei der Bewertung eines europäischen Projekts auftauchen.
Diese Herausforderung wurde vom Projekt „Youth employment partnerSHIP“ aufgegriffen: einer internationalen Initiative, dievom EEA- und Norwegen-Zuschussfonds für Jugendbeschäftigung finanziert wird und die einige im Rahmen des europäischen Programms „Jugendgarantie“ geförderte Maßnahmen der aktiven Arbeitsmarktpolitik unter die Lupe genommen hat.
Das Projekt konzentrierte sich auf vier europäische Länder mit hoher Jugendarbeitslosigkeit (Italien, Polen, Spanien und Ungarn), mit dem Ziel, die Wirksamkeit der im Rahmen von „Garanzia Giovani“ umgesetzten Maßnahmen zu bewerten: einer EU-Initiative, die zur Förderung der Eingliederung junger Menschen in den Arbeitsmarkt und zur Bekämpfung des NEET-Phänomens in Ländern mit hoher Jugendarbeitslosigkeit (> 25 %) ins Leben gerufen wurde.
Es handelt sich um ein Projekt, das nicht von der Europäischen Union, sondern von einem Fonds finanziert wird, der von den Länderndes EWR (Europäischer Wirtschaftsraum) und Norwegen eingerichtet wurde und an dem sich italienische Einrichtungen nur indirekt als Partner beteiligen können; ein Projekt, das jedoch einen interessanten Einblick in die Herausforderungen der Evaluierung europäischer Programme bietet.
Für alle, die sich näher mit den operativen Aspekten der Überwachung und Bewertung europäischer Projekte befassen oder weitere Erfahrungen kennenlernen möchten, empfehlen wir Folgendes:
- Das entsprechende Kapitel in unserem Handbuch
- Zwei Artikel überdie Erfahrungen von ASVAPP und dessen methodischen Ansatz
- Ein Artikel überdie Erfahrungen bei der Bewertung des Projekts „Family Star“
Kommunikation und Beziehungen zwischen Partnern: Ein Verbündeter im Umgang mit Komplexität
Die erste der gewonnenen Erkenntnisse betrifft die Kommunikation innerhalb des Projekts und das Management internationaler Partnerschaften.
Das Projekt zeichnete sich durch eine vielschichtige und hochqualifizierte Partnerschaft aus. Die Partner und der Projektleiter repräsentierten führende Kompetenzzentren im Bereich der arbeitsmarktpolitischen Analyse in Polen (IBS, Projektleiter), Italien (INAPP und CCA), Spanien (FEDEA und EHU) sowie Ungarn (Budapest Institute) und konnten auf hochkarätige unterstützende Partner (NFF, PSE und Weltbank) zurückgreifen.
Dennoch erwies sich die Projektleitung aufgrund einer Kombination verschiedener Faktoren als schwierig: die Covid-Gesundheitskrise, die Notwendigkeit, eine „Fernpartnerschaft“ aufzubauen , sowie das Fehlen nennenswerter vorheriger Erfahrungen in der Zusammenarbeit zwischen den Projektpartnern.
Die Erfahrung hat gezeigt, dass persönliche Beziehungen und Treffen nach wie vor unersetzlich sind: Der Aufbau eines Vertrauensklimas ist unerlässlich, um eine fruchtbare Kommunikation und Zusammenarbeit zu gewährleisten und die technischen und operativen Schwierigkeiten des Projekts erfolgreich zu bewältigen. Wie die Projektleiterin betonte, macht das persönliche Kennenlernen den entscheidenden Unterschied für den Erfolg einer internationalen Zusammenarbeit aus. Es ist wichtig, Ressourcen und Zeit für persönliche Treffen einzuplanen, insbesondere dann, wenn Projekte auf die Erzielung gemeinsamer Ergebnisse und das gegenseitige Lernen ausgerichtet sind.
Auch die externe Kommunikation und insbesondere die Verbreitung der erzielten Ergebnisse ist ein entscheidender Faktor während des gesamten Projektzyklus und darüber hinaus. Eines der nachhaltigsten Ergebnisse der internationalen Partnerschaft bestand darin, neben der Erarbeitung empirischer Belege zur Wirksamkeit verschiedener im Rahmen der „Jugendgarantie“ durchgeführter Maßnahmen auch die Veröffentlichung und Verbreitung von Leitlinien und Erkenntnissen aus den transnationalen Erfahrungen zu gewährleisten, die über eine eigens dafür eingerichtete Bibliothek abgerufen werden können.
Bei der Verbreitung der Bewertungsergebnisse stellten die Forscher fest, dass sich unter den verschiedenen erstellten Produkten Webinare, Leitfäden und zum Herunterladen bereitgestellte Handbücher zur Erstellung kontrafaktischer Analysen als die beliebtesten Instrumente erwiesen haben und einen größeren Einfluss auf politische Entscheidungsträger hatten als längere und komplexere Fachartikel und gemeinsame Veröffentlichungen.
Die Vergleichbarkeit der Daten: eine Hürde, die es mit Engagement und Weitsicht zu überwinden gilt
Die zweite Erkenntnis betrifft die Zugänglichkeit und Vergleichbarkeit der erhobenen Daten, was ein immer wiederkehrendes Hindernis im Rahmen europäischer Projekte und Bewertungsmaßnahmen darstellt. Unterschiedliche Verwaltungssysteme liefern unterschiedliche Daten, und es erfordert viel Arbeit und Zeit, diese zu „bereinigen“ und nutzbar zu machen: eine wesentliche Aufgabe, die bei der Zeitplanung von Projekten häufig unterschätzt wird.
Aus methodischer Sicht lag der Schwerpunkt des Projekts „Youth employment partnerSHIP“ gerade in der Nutzung groß angelegter Verwaltungsdaten, wie beispielsweise Arbeitslosenregister und Sozialversicherungsdaten, um in allen teilnehmenden Ländern (Polen, Spanien, Italien und Ungarn) kontrafaktische Evaluationsdesigns zu entwickeln. Dieser methodische Ansatz ermöglicht es, die Wege junger Menschen innerhalb und außerhalb des Arbeitsmarktes nachzuverfolgen und die Auswirkungen der untersuchten politischen Maßnahmen streng wissenschaftlich abzuschätzen, ist jedoch nicht frei von technischen Hindernissen.
Die Forscherinnen und Forscher von „Youth employment partnerSHIP“ haben festgestellt, dass die Zugänglichkeit und die Modalitäten der Datenerhebung von Land zu Land enorm variieren. So war es beispielsweise in Ungarn möglich, die Arbeitslosenregister mit den Sozialversicherungsregistern abzugleichen, während dies in Polen nicht möglich war, was zu erheblichen Abweichungen bei der Berechnung der Einkommen und der Vergleichbarkeit der Daten führte.
Die Abweichungen in Bezug auf Italien waren noch deutlicher. In den anderen drei Ländern war es möglich, parallele Analysen zu erstellen, wobei der Schwerpunkt auf Maßnahmen lag, die im Rahmen der „Garanzia Giovani“ eingeleitet wurden; in Italien fehlte jedoch eine Datenbank, die es ermöglicht hätte, die Daten eindeutig dem Programm „Garanzia Giovani“ zuzuordnen. Um dieses strukturelle Hindernis zu überwinden, entschied sich das italienische Team, den Schwerpunkt der Analyse auf Maßnahmen zu legen, die den im Rahmen der „Garanzia Giovani“ umgesetzten Maßnahmen ähnlich waren, wenn auch außerhalb des Programms durchgeführt wurden. Es handelte sich um unterschiedliche Maßnahmen, die nicht speziell auf junge Menschen ausgerichtet waren, bei denen jedoch die Auswirkungen auf diese spezifische Bevölkerungsgruppe beobachtet werden konnten. So wurde beschlossen, die Auswirkungen der durch die Gesetze 190/2014 (über die Pauschalregelung) und 183/2014 (über den Vertrag mit zunehmendem Kündigungsschutz) eingeführten wirtschaftlichen Anreize für unbefristete Einstellungen auf junge Menschen zu untersuchen.
Dieses Beispiel verdeutlicht, inwieweit Schwierigkeiten hinsichtlich der Zugänglichkeit und Vergleichbarkeit von Daten Auswirkungen auf die Aktivitäten eines Projekts und eines Bewertungsverfahrens haben können. Die Lösung des Problems ermöglichte es, einen alternativen und soliden Ansatz für die Analyse zu finden, wodurch Italien aktiv mit relevanten Daten und Ergebnissen zur Forschung beitragen konnte – doch dies erforderte Zeit und Engagement.
Das Projekt liefert zwei wichtige Anregungen zur Nutzung von Daten in europäischen Projekten. Erstens ist es ratsam, die Granularität (d. h. den Detaillierungsgrad, mit dem Informationen erfasst und in einer Datenbank gespeichert werden) sowie die Zugänglichkeit der Verwaltungsdaten zu prüfen, bevor mit den Partnern eine Analyse- oder Forschungsmaßnahme vereinbart wird. Zweitens sollte ein großzügiger Zeitrahmen für die Datenbereinigung eingeplant werden, da diese oft länger dauert als die Analyse selbst.
Diese Veröffentlichung beschreibt ausführlich die Ergebnisse der italienischen Forscher.
Maßnahmen konzipieren: den Fokus auf eine Zielgruppe richten
Was die Ergebnisse der Analysen betrifft, so haben die Studien aufgezeigt, dass das Problem der Jugendarbeitslosigkeit zwar ein landesübergreifendes Phänomen ist, jedoch je nach Land unterschiedliche Formen annimmt: In Italien und Spanien finden junge Menschen leichter Arbeit, allerdings oft nur mit befristeten und prekären Verträgen; in Ungarn und Polen hingegen stoßen junge Menschen auf erhebliche Zugangsbarrieren.
Die Analysen haben einige wichtige Erkenntnisse geliefert, die für diejenigen von Nutzen sind, die Maßnahmen konzipieren, die der jüngeren Generation den Einstieg in den Arbeitsmarkt erleichtern sollen:
- Die Ausgestaltung der Maßnahmen der aktiven Arbeitsmarktpolitik ist nicht geschlechtsneutral. In Italien war die positive Wirkung der Einstellungsanreize bei jungen Menschen im Alter von 18 bis 34 Jahren bei Männern (+14,5 %) fast doppelt so hoch wie bei Frauen (+7,6 %);
- Aktive arbeitsmarktpolitische Maßnahmen erreichen nicht immer die am stärksten benachteiligten Bevölkerungsgruppen (Ungarn) oder haben nur kurzfristige Auswirkungen, die im Laufe der Zeit schnell nachlassen (Polen);
- Bestimmte Arten von Arbeitsverträgen, die darauf abzielen, die Eingliederung in den Arbeitsmarkt zu fördern (öffentliche Arbeiten in Polen) oder die Beschäftigungsstabilität junger Menschen zu stärken (Praktikumsverträge in Spanien), haben sich in der Art und Weise, wie sie umgesetzt wurden, nur teilweise als wirksam erwiesen und die Begünstigten nur teilweise unterstützt und geschützt.
Diese Erkenntnisse führen zu der letzten der wichtigsten Erkenntnisse aus dem Projekt „Youth employment partnerSHIP“: Um wirklich wirksam zu sein, müssen die Maßnahmen auf bestimmte Zielgruppen zugeschnitten sein; dabei sollten pauschale Lösungen vermieden werden, bei denen die Zugangsbarrieren, die Besonderheiten und die Schwierigkeiten der verschiedenen betroffenen Gruppen – insbesondere der am stärksten benachteiligten Gruppen und der jungen Arbeitnehmerinnen – möglicherweise außer Acht gelassen werden.
