Évaluer les programmes européens en faveur de l’emploi des jeunes

Défis, constatations et enseignements tirés du projet « Youth employment partnerSHIP », dans le cadre de l’évaluation de l’initiative européenne « Garantie pour la jeunesse »

Cet article a été rédigé dans le cadre de la collaboration entre notre Guide et l’ASVAPP, l’Association pour le développement de l’évaluation et de l’analyse des politiques publiques. Il a été rédigé par Gaia Testore et Fabio Sandrolini. Nous remercions Iga Magda (IBS), Claudia Villosio (CCA) et Massimiliano Deidda (INAPP) pour leur contribution à la reconstitution des dynamiques du projet et des obstacles rencontrés.

Évaluer l’efficacité des interventions : un défi commun

L’évaluation de l’efficacité des interventions est l’une des activités les plus complexes qui caractérisent à la fois les projets européens, les programmes européens et les politiques publiques. Dans chacun de ces domaines, aussi distincts soient-ils, on rencontre des défis et des difficultés très similaires.

Les autorités nationales et européennes – ainsi que de nombreux projets européens – soutiennent des mesures visant à faciliter l’entrée des jeunes générations sur le marché du travail. Parmi ces mesures, lesquelles se sont révélées efficaces ? Lesquelles ont permis d’apporter un soutien accru aux jeunes inactifs ? Et quelles sont leurs caractéristiques ?

Voici les questions typiques d’un processus d’évaluation de l’efficacité des politiques : dans ce cas précis, de ce que l’on appelleles«politiques actives de l’emploi». Des questions qui se posent de manière similaire lorsque l’on aborde l’évaluation d’un projet européen.

Ce défi a été relevé par le projet « Youth employment partnerSHIP » : une initiative internationale financéepar le Fonds des subventions de l’AEE et de la Norvège pour l’emploi des jeunes, qui a examiné de près certaines mesures de politique active de l’emploi mises en œuvre dans le cadre du programme européen « Garantie pour la jeunesse ».

Le projet s’est concentré sur quatre pays européens présentant un taux de chômage des jeunes élevé (l’Italie, la Pologne, l’Espagne et la Hongrie), dans le but d’évaluer l’efficacité des mesures mises en œuvre dans le cadre de « Garanzia Giovani » : une initiative de l’UE destinée à favoriser l’insertion professionnelle des jeunes et à lutter contre le phénomène des NEET dans les pays présentant un taux de chômage des jeunes élevé (> 25 %).

Il s’agit d’un projet qui n’est pas financé par l’Union européenne, mais par un fonds créé par les paysde l’EEE (Espace économique européen) et la Norvège, auquel les organismes italiens ne peuvent participer qu’indirectement en tant que partenaires ; un projet qui offre toutefois un aperçu intéressant des défis liés à l’évaluation des programmes européens.

Pour celles et ceux qui souhaiteraient approfondir les aspects opérationnels du suivi et de l’évaluation des projets européens, ou découvrir d’autres expériences, nous vous recommandons :

• Le chapitre consacré à ce sujet dans notre manuel
• Deux articles consacrés àl’expérience de l’ASVAPP et à son approche méthodologique
• Un article consacré àl’expérience d’évaluation du projet « Family Star »

Communication et relations entre partenaires : un atout pour gérer la complexité

La première des leçons tirées concerne la communication au sein du projet et la gestion des partenariats internationaux.

Le projet s’appuyait sur un partenariat structuré et de haut niveau. Les partenaires et le chef de file représentaient des centres d’excellence dans le domaine de l’analyse des politiques du travail en Pologne (IBS, chef de file), en Italie (INAPP et CCA), en Espagne (FEDEA et EHU) et en Hongrie (Budapest Institute), et pouvaient compter sur des partenaires de soutien de haut niveau (NFF, PSE et Banque mondiale).

Malgré cela, la gestion du projet s’est avérée difficile en raison d’une combinaison de facteurs : la crise sanitaire liée à la Covid, la nécessité de mettre en place un partenariat « à distance » et l’absence d’expériences antérieures significatives de collaboration entre les partenaires du projet.

L’expérience a confirmé que les relations et les rencontres en personne restent irremplaçables : instaurer un climat de confiance est essentiel pour garantir une communication et une collaboration fructueuses, et pour surmonter efficacement les difficultés techniques et opérationnelles du projet. Comme l’a souligné la responsable du projet, se rencontrer « en personne » fait toute la différence dans la réussite d’une collaboration internationale. Il est important de prévoir des ressources et du temps pour des rencontres en présentiel, notamment lorsque les projets visent à produire des résultats communs et à favoriser l’apprentissage mutuel.

La communication externe, et en particulier la diffusion des résultats obtenus, constitue également un facteur déterminant tout au long du cycle de vie du projet et au-delà. L’un des résultats les plus concrets de ce partenariat international a été de compléter la production de données empiriques sur l’efficacité des différents types d’actions mises en œuvre dans le cadre de la Garantie pour la jeunesse par la publication et la diffusion de recommandations et d’enseignements tirés de l’expérience transnationale, consultables via une bibliothèque dédiée.

Lors de la diffusion des résultats de l’évaluation, les chercheurs ont constaté que, parmi les différents supports élaborés, les webinaires, les lignes directrices et les manuels téléchargeables consacrés à l’élaboration d’analyses contrefactuelles se sont révélés être les outils les plus appréciés et ceux ayant le plus d’impact sur les décideurs politiques, par rapport aux articles et aux publications conjointes, plus longs et plus complexes.

La comparabilité des données : un obstacle à surmonter grâce à l’engagement et à la vision

Le deuxième enseignement tiré concerne l’accessibilité et la comparabilité des données collectées, qui constituent un obstacle récurrent dans le cadre des projets européens et des activités d’évaluation. Des systèmes administratifs différents produisent des données différentes, et il faut beaucoup de travail et de temps pour les « nettoyer » et pouvoir les utiliser : une activité essentielle qui est souvent sous-estimée lors de la planification du calendrier du projet.

D’un point de vue méthodologique, le cœur du projet « Youth employment partnerSHIP » résidait précisément dans l’utilisation de données administratives à grande échelle, telles que les registres de chômage et les données de sécurité sociale, afin de mettre en place des modèles d’évaluation contrefactuels dans tous les pays participants (Pologne, Espagne, Italie et Hongrie). Cette approche méthodologique permet de suivre les parcours des jeunes sur le marché du travail et en dehors de celui-ci, et d’estimer de manière rigoureuse les effets des politiques étudiées, mais elle n’est pas exempte d’obstacles techniques.

Les chercheurs et chercheuses du projet « Youth employment partnerSHIP » ont constaté que l’accessibilité et les modalités de collecte des données varient considérablement d’un pays à l’autre. À titre d’exemple, en Hongrie, il a été possible de croiser les registres des chômeurs avec ceux de la sécurité sociale, mais cela n’a pas été possible en Pologne, ce qui a entraîné des divergences significatives dans le calcul des revenus et dans la comparabilité des données.

Les divergences concernant l’Italie ont été encore plus marquées. Dans les trois autres pays, il a été possible de mener des analyses parallèles en se concentrant sur les actions lancées dans le cadre de la Garantie pour la jeunesse, mais en Italie, il n’existait pas de base de données permettant de rattacher de manière univoque les données au programme Garantie pour la jeunesse. Pour surmonter cet obstacle structurel, l’équipe italienne a choisi de centrer son analyse sur des interventions similaires à celles mises en œuvre dans le cadre de la Garantie pour la jeunesse, bien qu’elles aient été menées en dehors de ce programme. Il s’agissait de mesures différentes et non spécifiquement destinées aux jeunes, mais dont l’impact sur cette tranche spécifique de la population pouvait être observé. Il a donc été décidé d’étudier les effets sur les jeunes des incitations économiques à l’embauche en CDI introduites par les lois n° 190/2014 (sur le régime forfaitaire) et n° 183/2014 (sur le contrat à protection croissante).

Cet exemple illustre à quel point les difficultés liées à l’accessibilité et à la comparabilité des données peuvent avoir un impact sur les activités d’un projet et d’un exercice d’évaluation. La solution apportée à ce problème a permis de trouver une voie alternative et solide pour l’analyse, permettant ainsi à l’Italie de contribuer activement à la recherche en fournissant des données et des résultats pertinents – mais cela a demandé du temps et des efforts.

Ce projet soulève deux points importants concernant l’utilisation des données dans les projets européens. Tout d’abord, il convient de vérifier la granularité (c’est-à-dire le niveau de détail avec lequel les informations sont collectées et stockées dans une base de données) et l’accessibilité des données administratives avant de convenir avec les partenaires d’une activité d’analyse ou de recherche. En second lieu, il convient de prévoir un délai suffisant pour le nettoyage des données, qui prend souvent plus de temps que l’analyse elle-même.

Cette publication présente en détail les travaux menés par les chercheurs italiens.

Concevoir les interventions : rester concentré sur une cible

En ce qui concerne les résultats des analyses, les études ont mis en évidence que, bien que le problème du chômage des jeunes soit un phénomène transversal, il revêt des formes différentes selon les pays : en Italie et en Espagne, les jeunes trouvent plus facilement du travail, mais souvent uniquement avec des contrats temporaires et précaires ; en Hongrie et en Pologne, en revanche, les jeunes se heurtent à d’importants obstacles pour accéder au marché du travail.

Ces analyses ont mis en évidence plusieurs éléments importants, utiles à ceux qui sont chargés de concevoir des mesures visant à faciliter l’entrée des jeunes générations sur le marché du travail :

• La structure des mesures de politique active de l’emploi n’est pas neutre en matière de genre. En Italie, l’impact positif des mesures d’incitation à l’embauche chez les jeunes âgés de 18 à 34 ans a été presque deux fois plus important pour les hommes (+14,5 %) que pour les femmes (+7,6 %) ;
• Les politiques actives de l’emploi ne parviennent pas toujours à atteindre les catégories les plus vulnérables (Hongrie) ou ont des effets à court terme qui tendent à s’estomper rapidement avec le temps (Pologne) ;
• Certains types de contrats de travail destinés à favoriser l’insertion professionnelle (travaux publics en Pologne) ou à promouvoir la stabilité professionnelle des jeunes (contrats de stage en Espagne), se sont révélés n’être que partiellement efficaces tels qu’ils ont été mis en œuvre, n’apportant qu’un soutien et une protection partiels aux bénéficiaires.

Ces constatations nous amènent à la dernière des grandes leçons tirées du projet Youth employment partnerSHIP: pour être véritablement efficaces, les interventions doivent être adaptées à des groupes cibles spécifiques, en évitant les solutions génériques qui risquent de ne pas tenir compte des obstacles à l’accès, des caractéristiques et des difficultés des différentes catégories concernées, en particulier des groupes les plus vulnérables et des jeunes travailleuses.