Voyons ce que signifie la conception et la mise en œuvre d’un système d’évaluation dans le cadre d’un projet européen à l’aide d’un cas concret.
Cet article est produit dans le cadre de la collaboration de notre Guide avec l’ASVAPP, Association pour le développement de l’évaluation et de l’analyse des politiques publiques. L’article est édité par Lisa Zaquini et Francesco Tarantino.
Family STAR : un exemple d’évaluation expérimentale d’un projet européen
Suite à l’article introductif publié il y a quelques mois, dans lequel nous avons abordé la question de savoir pourquoi il est utile d’évaluer et comment ou quand il est possible de le faire, nous nous penchons aujourd’hui sur l’applicabilité de certaines des logiques d’évaluation présentées à un cas concret : le projet européen Family STAR.
Nous présenterons brièvement l’intervention, le contexte dans lequel elle a été mise en œuvre et la manière dont son système d’évaluation a été conçu et mis en œuvre. En passant en revue ces activités, nous fournirons un exemple pour comprendre les choix à faire, les outils disponibles, et les défis et avantages de la construction et de la mise en œuvre d’une conception d’évaluation.
Le projet Family ST.A.R.(Family Group Conferences and Students at Risk) a été mis en œuvre entre 2016 et 2018 dans le cadre du programme EaSI (Emploi et innovation sociale), qui est désormais l’une des composantes du Fonds social européen. L’appel concernait l’expérimentation d’innovations en matière de politique sociale pour soutenir les réformes des services sociaux et demandait spécifiquement une évaluation rigoureuse des effets du projet. Le projet, doté d’un budget de plus d’un million d’euros, visait à tester l’efficacité des réunions familiales dans la promotion du bien-être et la prévention du décrochage scolaire pour les élèves vulnérables de l’enseignement secondaire.
Les réunions de famille sont un modèle né en Nouvelle-Zélande dans les années 1980 dans le domaine de la protection de l’enfance. Il s’agit d’une série de réunions organisées dans le but d’aider la famille (au sens large : enfants et parents, mais aussi parents, amis et voisins) à prendre des décisions communes pour la sécurité et le bien-être de l’enfant. Cette approche est utilisée dans plusieurs domaines. Avec Family STAR, la DRF a été appliquée au milieu scolaire, relativement nouveau et jusqu’alors non testé : d’où l’importance de prouver son efficacité.
En réponse à cet appel, un partenariat capable de relever un double défi : expérimenter le modèle DRF dans différentes écoles en tant qu’intervention préventive contre le malaise et l’abandon scolaire et, en même temps, recueillir rigoureusement des preuves empiriques de l’efficacité du modèle proposé. Il a donc impliqué des organismes chargés de fournir des services éducatifs et sociaux et des centres de recherche possédant une solide expérience dans la conduite d’expériences et d’analyses dans le domaine éducatif et social.
Family STAR a été mis en œuvre dans cinq localités, urbaines et rurales, du nord et du sud de l’Italie, impliquant 55 écoles secondaires dans l’expérimentation, avec un total de 540 élèves candidats à un appel d’offres. Le projet a duré trois ans : la première année a été consacrée à la mise en œuvre des activités préparatoires (implication des écoles, formation des opérateurs, développement d’outils de collecte de données), la deuxième et la troisième à la mise en œuvre des interventions dans les écoles et à la collecte et à l’analyse des données.
L’intervention comme "médicament" : le choix de l’approche contrefactuelle
Le projet prévoyait l’adoption de deux logiques d’évaluation différentes, l’évaluation de l’impact et l’analyse de la mise en œuvre, qui (comme nous le verrons) ont joué un rôle complémentaire dans la description des résultats du projet.
L’objectif de l’évaluation des effets était de répondre à la question suivante : "Quel niveau de bien-être et quels résultats auraient eu les élèves ayant participé aux DRF s’ils n’avaient pas eu l’opportunité de participer aux DRF ?
Il a donc voulu estimer l’impact de l’intervention selon la logique contrefactuelle. logique contrefactuellequi définit l’effet (ou l’impact) comme la différence entre les conditions des élèves bénéficiaires de l’intervention (situation factuelle) et les conditions qui se seraient produites en l’absence de l’intervention (situation contrefactuelle). Il s’agit d’une approche particulièrement rigoureuse, qui implique le défi de reconstruire artificiellement une situation hypothétique : le même élève ne peut pas être à la fois participant (factuel) et non-participant (contrefactuel).
La solution consiste à constituer un groupe de contrôle crédible, c’est-à-dire composé d’élèves en moyenne semblables en tout point à ceux qui font l’objet de l’intervention : tant pour les variables "observables" (âge, sexe, notes…) que pour les variables non observables, c’est-à-dire susceptibles d’influencer le parcours et les conditions à la fin du projet, mais non directement observables. Un groupe de contrôle est crédible si deux conditions sont réunies : un processus d’affectation aléatoire (c’est-à-dire par tirage au sort) et la présence d’un grand nombre d’étudiants à affecter aux deux groupes. Cette méthode est appelée expérience contrôlée randomisée (ou essai contrôlé randomisé, ECR) dans la littérature et est la même que celle utilisée dans le domaine clinique pour tester l’efficacité des médicaments et des protocoles.
Le "groupe traité" de Family STAR s’est vu proposer de participer au DRF, tandis que le "groupe de contrôle" a été observé pour décrire la situation dans laquelle les traités se seraient trouvés s’ils n’avaient pas eu accès à l’intervention. En comparant les conditions des traités et des témoins, il a été possible d’obtenir une estimation de l’effet moyen de la participation à un DRF sur le bien-être et plusieurs autres dimensions d’intérêt.
Il s’agit d’une méthode rigoureuse et parfois contestée, car elle implique un choix aléatoire entre ceux qui bénéficieront ou non d’une intervention potentiellement bénéfique. Toutefois, les estimations obtenues sont robustes, c’est-à-dire qu’à la suite d’une évaluation contrefactuelle, on peut effectivement affirmer que les avantages observés ont été obtenus grâce à l’intervention et ne sont pas le résultat, par exemple, d’une dynamique spontanée.
L’adoption d’une telle approche a nécessité la définition d’un calendrier strict pour plusieurs phases de l’expérience :
- la candidature d’étudiants qui auraient pu bénéficier d’un appel d’offres ;
- le tirage au sort (randomisation) dans les traités et les contrôles ;
- le début des activités ;
- la collecte de données descriptives sur les conditions d’entrée et de sortie du projet pour tous les étudiants concernés.
Pour la collecte des données, il a été décidé d’étendre la population étudiante à l’ensemble de la population scolaire des établissements concernés, afin de pouvoir décrire les caractéristiques des étudiants désignés par les enseignants par rapport à la population scolaire en général, et de pouvoir donner à chaque établissement concerné une vue d’ensemble de la situation de tous ses étudiants.
Du cadre logique de Family STAR à l’analyse de la mise en œuvre
Parallèlement, la conception de l’analyse dite de mise en œuvre a été préparée. Il s’agit d’une analyse dont l’objectif n’est pas tant d’estimer l’effet que de vérifier comment une intervention est mise en œuvre : quels obstacles ont surgi lors de la mise en œuvre du projet ? Quelles stratégies ont été mises en œuvre pour y faire face ? Globalement, l’intervention a-t-elle été mise en œuvre comme prévu ?
Le point de départ de la définition de la conception de la recherche est la reconstruction du cadre logique de l’intervention, c’est-à-dire une description du processus de mise en œuvre qui met en évidence les étapes critiques, les défis et les menaces pour l’efficacité de l’intervention. Le cadre logique décrit ensuite ce qui devrait se produire et l’analyse de la mise en œuvre vise à vérifier si cela s’est effectivement produit dans les délais et de la manière prévue.
Dans le cas de Family STAR, les points critiques identifiés lors de la phase de rédaction du cadre logique concernaient le poids de la "variable humaine" et, en particulier, la possibilité d’une faible adhésion des différents acteurs (écoles, familles, enseignants) à une approche de projet et d’évaluation très innovante : un risque qui s’est matérialisé et qui a été traité dans le cadre du projet (voir la section suivante).
Compte tenu de ces questions cruciales, les outils les plus appropriés pour analyser les phases spécifiques du projet ont été identifiés. Le développement de ces outils a pris plusieurs mois. Plus précisément, il s’agissait de
- un questionnaire pour l’estimation des effets à administrer aux étudiants, pour lequel le mode papier, lisible par machine, a été choisi : un mode plus coûteux, mais aussi plus facile pour les écoles ;
- un questionnaire de satisfaction, à administrer à tous les participants aux appels d’offres, également sur papier et lisible par machine ;
- un questionnaire en ligne pour les participants à la formation ;
- un questionnaire en ligne destiné aux enseignants coordinateurs de classe ;
- un journal de bord, rédigé par les animateurs et les porte-parole tout au long du parcours ;
- différentes pistes pour les entretiens et les groupes de discussion avec les coordinateurs de projets locaux, les formateurs, les chefs d’établissement, les personnes de contact pour les projets scolaires, les animateurs et les porte-parole.
La principale difficulté rencontrée lors de l’élaboration d’instruments de collecte de données, en particulier de questionnaires, est de trouver le bon équilibre entre l’exhaustivité des questions et la rationalisation de l’instrument lui-même : d’une part, il est dans l’intérêt des chercheurs de collecter autant d’informations que possible, mais d’autre part, il est nécessaire d’être parcimonieux afin de ne pas surcharger la personne interrogée.
Ce compromis est toujours valable et, dans le cadre du projet Family STAR, il a nécessité plusieurs réflexions : l’équipe de recherche a choisi d’étudier plus en détail les caractéristiques des appels d’offres à l’aide de l’instrument du journal de bord, compilé par les animateurs et les porte-parole, qui - en tant qu’opérateurs du projet - pouvaient considérer le temps consacré à la compilation dans le nombre total d’heures consacrées à la préparation et à la conduite de chaque appel d’offres.
En revanche, en ce qui concerne les instruments destinés aux parents et, dans une moindre mesure, aux enseignants, une attention particulière a été accordée à la facilité de réponse, tant en termes de contenu (éviter de poser au répondant des questions impliquant des réflexions particulièrement difficiles) qu’en termes de longueur du questionnaire et de temps nécessaire pour le remplir.
Réalisation et évaluation : des besoins opposés ?
La conception du cadre d’évaluation et le développement des outils ont pris environ un an, au cours duquel les responsables de la mise en œuvre ont entamé la phase d’implication des écoles.
La deuxième année du projet a vu le début de l’évaluation proprement dite et des activités du projet, qui se sont immédiatement heurtées à une faible adhésion des écoles au projet et à la candidature d’un petit nombre d’élèves par les enseignants, ce qui a compromis la réalisation des objectifs du projet (nombre de participants dans le groupe d’appel d’offres et le groupe de contrôle) et l’importance des estimations réalisables.
L’analyse de la mise en œuvre a porté sur les raisons sous-jacentes de la faible adoption du projet par les écoles et les enseignants. Les activités du projet ont été remaniées, par le biais de :
- un allongement de la phase de mise en œuvre des RdF sur deux ans et le recrutement de nouveaux territoires (et donc de nouvelles écoles), afin d’élargir le bassin de participants et de compenser le faible taux de participation ;
- la suggestion faite aux enseignants de signaler les "cas jumeaux", c’est-à-dire les élèves qui - sur la base de leurs réponses au questionnaire initial - semblaient rencontrer des difficultés similaires à celles des élèves désignés pour les DP. Une fois la liste des cas jumeaux reçue par l’équipe de recherche, la décision de les désigner pour un appel d’offres est restée du ressort des enseignants, sous réserve de la nécessité de les intégrer au groupe de traitement ou au groupe de contrôle ;
- la possibilité pour les enseignants d’indiquer les cas pour lesquels une DRF était urgente et qui ont donc été inclus dans le groupe de traitement sans être soumis à la randomisation et donc en sortant effectivement de l’évaluation.
On a donc tenté de résoudre le conflit entre les besoins de l’école et ceux de l’évaluation. Les besoins de l’évaluation n’ont pas toujours été bien accueillis par les chefs d’établissement, qui se sont sentis obligés de consacrer plus d’attention à l’enseignement qu’à la recherche. Cette divergence d’intérêts est typique du monde de l’évaluation, où des demandes opposées se rencontrent (et parfois s’affrontent). L’évaluateur est donc appelé à examiner attentivement s’il doit faire des demandes pressantes aux personnes impliquées, sans toutefois perdre la rigueur scientifique nécessaire pour répondre à des questions scientifiquement pertinentes.
Une connaissance approfondie du contexte dans lequel on opère, ainsi qu’une phase d’implication et de planification partagées, aident certainement à identifier les délais et les outils adéquats qui peuvent répondre aux besoins opposés.
L’aspect des perspectives d’avenir est pertinent - même s’il n’est pas toujours pris en considération : alors que la tâche de l’évaluateur se termine par la présentation des résultats de l’analyse et des indications politiques, les acteurs impliqués dans la conception d’un service ont certainement des perspectives plus larges et il est utile d’en tenir compte afin de garantir que les innovations proposées puissent être suivies même après la fin des activités de recherche.
Enseignements tirés : résultats de l’évaluation
Malgré les difficultés rencontrées, l’analyse des effets a pu montrer que l’intervention était efficace pour améliorer le soutien parental perçu par les élèves et pour réduire leurs conflits avec les enseignants. Cependant, elle a également montré que la RdF n’a pas amélioré l’auto-efficacité des élèves et ne les a pas rendus plus optimistes quant à leur parcours scolaire futur. Les effets semblent plus positifs si l’on considère les élèves issus de familles au capital culturel plus élevé et si la relation entre les parents et les enseignants n’est pas conflictuelle.
L‘analyse de la mise en œuvre a révélé les ombres et les lumières du processus de mise en œuvre : il y a eu les obstacles susmentionnés à la pleine participation des écoles au projet, principalement en raison du manque de ressources et du scepticisme à l’égard des modèles innovants ; cependant, dans des circonstances spécifiques, les données montrent une appréciation générale des modèles participatifs et d’autonomisation des familles par l’ensemble des acteurs. Des informations intéressantes relatives au genre et à l’implication de la figure paternelle ont également été recueillies.
En conclusion, l’approche contrefactuelle adoptée dans la conception de la recherche développée pour le projet Family STAR n’est évidemment pas reproductible à tous les projets européens, car elle nécessite des ressources dédiées, une approche structurée, un grand nombre de bénéficiaires potentiels et la possibilité de construire un groupe de contrôle avec certaines caractéristiques. En outre, l’adoption systématique d’une approche contrefactuelle a nécessité de surmonter des obstacles et de remodeler les activités du projet.
Cependant, la combinaison de deux approches d’évaluation différentes (l’évaluation des effets et l’analyse de la mise en œuvre) a permis au projet de produire despreuves solides concernant à la fois ses effets et les processus activés. Les résultats de l’évaluation ont permis de tirer des conclusions précises quant à l’efficacité de l’approche testée et peuvent guider la mise en œuvre et l’amélioration progressive des interventions futures.
Construire un système d’évaluation : le cas du projet "Family STAR
Voyons ce que signifie la conception et la mise en œuvre d’un système d’évaluation dans le cadre d’un projet européen à l’aide d’un cas concret.
Cet article est produit dans le cadre de la collaboration de notre Guide avec l’ASVAPP, Association pour le développement de l’évaluation et de l’analyse des politiques publiques. L’article est édité par Lisa Zaquini et Francesco Tarantino.
Family STAR : un exemple d’évaluation expérimentale d’un projet européen
Suite à l’article introductif publié il y a quelques mois, dans lequel nous avons abordé la question de savoir pourquoi il est utile d’évaluer et comment ou quand il est possible de le faire, nous nous penchons aujourd’hui sur l’applicabilité de certaines des logiques d’évaluation présentées à un cas concret : le projet européen Family STAR.
Nous présenterons brièvement l’intervention, le contexte dans lequel elle a été mise en œuvre et la manière dont son système d’évaluation a été conçu et mis en œuvre. En passant en revue ces activités, nous fournirons un exemple pour comprendre les choix à faire, les outils disponibles, et les défis et avantages de la construction et de la mise en œuvre d’une conception d’évaluation.
Le projet Family ST.A.R.(Family Group Conferences and Students at Risk) a été mis en œuvre entre 2016 et 2018 dans le cadre du programme EaSI (Emploi et innovation sociale), qui est désormais l’une des composantes du Fonds social européen. L’appel concernait l’expérimentation d’innovations en matière de politique sociale pour soutenir les réformes des services sociaux et demandait spécifiquement une évaluation rigoureuse des effets du projet. Le projet, doté d’un budget de plus d’un million d’euros, visait à tester l’efficacité des réunions familiales dans la promotion du bien-être et la prévention du décrochage scolaire pour les élèves vulnérables de l’enseignement secondaire.
Les réunions de famille sont un modèle né en Nouvelle-Zélande dans les années 1980 dans le domaine de la protection de l’enfance. Il s’agit d’une série de réunions organisées dans le but d’aider la famille (au sens large : enfants et parents, mais aussi parents, amis et voisins) à prendre des décisions communes pour la sécurité et le bien-être de l’enfant. Cette approche est utilisée dans plusieurs domaines. Avec Family STAR, la DRF a été appliquée au milieu scolaire, relativement nouveau et jusqu’alors non testé : d’où l’importance de prouver son efficacité.
En réponse à cet appel, un partenariat capable de relever un double défi : expérimenter le modèle DRF dans différentes écoles en tant qu’intervention préventive contre le malaise et l’abandon scolaire et, en même temps, recueillir rigoureusement des preuves empiriques de l’efficacité du modèle proposé. Il a donc impliqué des organismes chargés de fournir des services éducatifs et sociaux et des centres de recherche possédant une solide expérience dans la conduite d’expériences et d’analyses dans le domaine éducatif et social.
Family STAR a été mis en œuvre dans cinq localités, urbaines et rurales, du nord et du sud de l’Italie, impliquant 55 écoles secondaires dans l’expérimentation, avec un total de 540 élèves candidats à un appel d’offres. Le projet a duré trois ans : la première année a été consacrée à la mise en œuvre des activités préparatoires (implication des écoles, formation des opérateurs, développement d’outils de collecte de données), la deuxième et la troisième à la mise en œuvre des interventions dans les écoles et à la collecte et à l’analyse des données.
L’intervention comme "médicament" : le choix de l’approche contrefactuelle
Le projet prévoyait l’adoption de deux logiques d’évaluation différentes, l’évaluation de l’impact et l’analyse de la mise en œuvre, qui (comme nous le verrons) ont joué un rôle complémentaire dans la description des résultats du projet.
L’objectif de l’évaluation des effets était de répondre à la question suivante : "Quel niveau de bien-être et quels résultats auraient eu les élèves ayant participé aux DRF s’ils n’avaient pas eu l’opportunité de participer aux DRF ?
Il a donc voulu estimer l’impact de l’intervention selon la logique contrefactuelle. logique contrefactuellequi définit l’effet (ou l’impact) comme la différence entre les conditions des élèves bénéficiaires de l’intervention (situation factuelle) et les conditions qui se seraient produites en l’absence de l’intervention (situation contrefactuelle). Il s’agit d’une approche particulièrement rigoureuse, qui implique le défi de reconstruire artificiellement une situation hypothétique : le même élève ne peut pas être à la fois participant (factuel) et non-participant (contrefactuel).
La solution consiste à constituer un groupe de contrôle crédible, c’est-à-dire composé d’élèves en moyenne semblables en tout point à ceux qui font l’objet de l’intervention : tant pour les variables "observables" (âge, sexe, notes…) que pour les variables non observables, c’est-à-dire susceptibles d’influencer le parcours et les conditions à la fin du projet, mais non directement observables. Un groupe de contrôle est crédible si deux conditions sont réunies : un processus d’affectation aléatoire (c’est-à-dire par tirage au sort) et la présence d’un grand nombre d’étudiants à affecter aux deux groupes. Cette méthode est appelée expérience contrôlée randomisée (ou essai contrôlé randomisé, ECR) dans la littérature et est la même que celle utilisée dans le domaine clinique pour tester l’efficacité des médicaments et des protocoles.
Le "groupe traité" de Family STAR s’est vu proposer de participer au DRF, tandis que le "groupe de contrôle" a été observé pour décrire la situation dans laquelle les traités se seraient trouvés s’ils n’avaient pas eu accès à l’intervention. En comparant les conditions des traités et des témoins, il a été possible d’obtenir une estimation de l’effet moyen de la participation à un DRF sur le bien-être et plusieurs autres dimensions d’intérêt.
Il s’agit d’une méthode rigoureuse et parfois contestée, car elle implique un choix aléatoire entre ceux qui bénéficieront ou non d’une intervention potentiellement bénéfique. Toutefois, les estimations obtenues sont robustes, c’est-à-dire qu’à la suite d’une évaluation contrefactuelle, on peut effectivement affirmer que les avantages observés ont été obtenus grâce à l’intervention et ne sont pas le résultat, par exemple, d’une dynamique spontanée.
L’adoption d’une telle approche a nécessité la définition d’un calendrier strict pour plusieurs phases de l’expérience :
Pour la collecte des données, il a été décidé d’étendre la population étudiante à l’ensemble de la population scolaire des établissements concernés, afin de pouvoir décrire les caractéristiques des étudiants désignés par les enseignants par rapport à la population scolaire en général, et de pouvoir donner à chaque établissement concerné une vue d’ensemble de la situation de tous ses étudiants.
Du cadre logique de Family STAR à l’analyse de la mise en œuvre
Parallèlement, la conception de l’analyse dite de mise en œuvre a été préparée. Il s’agit d’une analyse dont l’objectif n’est pas tant d’estimer l’effet que de vérifier comment une intervention est mise en œuvre : quels obstacles ont surgi lors de la mise en œuvre du projet ? Quelles stratégies ont été mises en œuvre pour y faire face ? Globalement, l’intervention a-t-elle été mise en œuvre comme prévu ?
Le point de départ de la définition de la conception de la recherche est la reconstruction du cadre logique de l’intervention, c’est-à-dire une description du processus de mise en œuvre qui met en évidence les étapes critiques, les défis et les menaces pour l’efficacité de l’intervention. Le cadre logique décrit ensuite ce qui devrait se produire et l’analyse de la mise en œuvre vise à vérifier si cela s’est effectivement produit dans les délais et de la manière prévue.
Dans le cas de Family STAR, les points critiques identifiés lors de la phase de rédaction du cadre logique concernaient le poids de la "variable humaine" et, en particulier, la possibilité d’une faible adhésion des différents acteurs (écoles, familles, enseignants) à une approche de projet et d’évaluation très innovante : un risque qui s’est matérialisé et qui a été traité dans le cadre du projet (voir la section suivante).
Compte tenu de ces questions cruciales, les outils les plus appropriés pour analyser les phases spécifiques du projet ont été identifiés. Le développement de ces outils a pris plusieurs mois. Plus précisément, il s’agissait de
La principale difficulté rencontrée lors de l’élaboration d’instruments de collecte de données, en particulier de questionnaires, est de trouver le bon équilibre entre l’exhaustivité des questions et la rationalisation de l’instrument lui-même : d’une part, il est dans l’intérêt des chercheurs de collecter autant d’informations que possible, mais d’autre part, il est nécessaire d’être parcimonieux afin de ne pas surcharger la personne interrogée.
Ce compromis est toujours valable et, dans le cadre du projet Family STAR, il a nécessité plusieurs réflexions : l’équipe de recherche a choisi d’étudier plus en détail les caractéristiques des appels d’offres à l’aide de l’instrument du journal de bord, compilé par les animateurs et les porte-parole, qui - en tant qu’opérateurs du projet - pouvaient considérer le temps consacré à la compilation dans le nombre total d’heures consacrées à la préparation et à la conduite de chaque appel d’offres.
En revanche, en ce qui concerne les instruments destinés aux parents et, dans une moindre mesure, aux enseignants, une attention particulière a été accordée à la facilité de réponse, tant en termes de contenu (éviter de poser au répondant des questions impliquant des réflexions particulièrement difficiles) qu’en termes de longueur du questionnaire et de temps nécessaire pour le remplir.
Réalisation et évaluation : des besoins opposés ?
La conception du cadre d’évaluation et le développement des outils ont pris environ un an, au cours duquel les responsables de la mise en œuvre ont entamé la phase d’implication des écoles.
La deuxième année du projet a vu le début de l’évaluation proprement dite et des activités du projet, qui se sont immédiatement heurtées à une faible adhésion des écoles au projet et à la candidature d’un petit nombre d’élèves par les enseignants, ce qui a compromis la réalisation des objectifs du projet (nombre de participants dans le groupe d’appel d’offres et le groupe de contrôle) et l’importance des estimations réalisables.
L’analyse de la mise en œuvre a porté sur les raisons sous-jacentes de la faible adoption du projet par les écoles et les enseignants. Les activités du projet ont été remaniées, par le biais de :
On a donc tenté de résoudre le conflit entre les besoins de l’école et ceux de l’évaluation. Les besoins de l’évaluation n’ont pas toujours été bien accueillis par les chefs d’établissement, qui se sont sentis obligés de consacrer plus d’attention à l’enseignement qu’à la recherche. Cette divergence d’intérêts est typique du monde de l’évaluation, où des demandes opposées se rencontrent (et parfois s’affrontent). L’évaluateur est donc appelé à examiner attentivement s’il doit faire des demandes pressantes aux personnes impliquées, sans toutefois perdre la rigueur scientifique nécessaire pour répondre à des questions scientifiquement pertinentes.
Une connaissance approfondie du contexte dans lequel on opère, ainsi qu’une phase d’implication et de planification partagées, aident certainement à identifier les délais et les outils adéquats qui peuvent répondre aux besoins opposés.
L’aspect des perspectives d’avenir est pertinent - même s’il n’est pas toujours pris en considération : alors que la tâche de l’évaluateur se termine par la présentation des résultats de l’analyse et des indications politiques, les acteurs impliqués dans la conception d’un service ont certainement des perspectives plus larges et il est utile d’en tenir compte afin de garantir que les innovations proposées puissent être suivies même après la fin des activités de recherche.
Enseignements tirés : résultats de l’évaluation
Malgré les difficultés rencontrées, l’analyse des effets a pu montrer que l’intervention était efficace pour améliorer le soutien parental perçu par les élèves et pour réduire leurs conflits avec les enseignants. Cependant, elle a également montré que la RdF n’a pas amélioré l’auto-efficacité des élèves et ne les a pas rendus plus optimistes quant à leur parcours scolaire futur. Les effets semblent plus positifs si l’on considère les élèves issus de familles au capital culturel plus élevé et si la relation entre les parents et les enseignants n’est pas conflictuelle.
L‘analyse de la mise en œuvre a révélé les ombres et les lumières du processus de mise en œuvre : il y a eu les obstacles susmentionnés à la pleine participation des écoles au projet, principalement en raison du manque de ressources et du scepticisme à l’égard des modèles innovants ; cependant, dans des circonstances spécifiques, les données montrent une appréciation générale des modèles participatifs et d’autonomisation des familles par l’ensemble des acteurs. Des informations intéressantes relatives au genre et à l’implication de la figure paternelle ont également été recueillies.
En conclusion, l’approche contrefactuelle adoptée dans la conception de la recherche développée pour le projet Family STAR n’est évidemment pas reproductible à tous les projets européens, car elle nécessite des ressources dédiées, une approche structurée, un grand nombre de bénéficiaires potentiels et la possibilité de construire un groupe de contrôle avec certaines caractéristiques. En outre, l’adoption systématique d’une approche contrefactuelle a nécessité de surmonter des obstacles et de remodeler les activités du projet.
Cependant, la combinaison de deux approches d’évaluation différentes (l’évaluation des effets et l’analyse de la mise en œuvre) a permis au projet de produire despreuves solides concernant à la fois ses effets et les processus activés. Les résultats de l’évaluation ont permis de tirer des conclusions précises quant à l’efficacité de l’approche testée et peuvent guider la mise en œuvre et l’amélioration progressive des interventions futures.
VOUS POURRIEZ ÊTRE INTÉRESSÉ PAR
Tous les articles
Financement en cascade : appels à propositions flexibles pour les fonds européens
Autre pays, autre projet, autres mœurs : un voyage international