Gehen wir der Frage nach, was es bedeutet, eine Intervention zu evaluieren, indem wir einige nicht offensichtliche Fragen beantworten: was kann evaluiert werden, wie und auch warum.<\/p>\n
Dieser Artikel markiert den Beginn der Zusammenarbeit unseres Leitfadens mit ASVAPP<\/a>, mit dem wir das Thema Evaluierung untersuchen werden. Artikel von Valentina Battiloro und Luca Mo Costabella. <\/p>\n Wie konzipiert man eine Evaluierung? Wie und wann f\u00fchrt man sie durch?\" sind Fragen, die immer h\u00e4ufiger gestellt werden, wenn eine Intervention zur L\u00f6sung eines bestimmten kollektiven Problems geplant wird. In den letzten Jahrzehnten hat die verst\u00e4rkte Aufmerksamkeit f\u00fcr die Evaluierung zu einem Wissenszuwachs gef\u00fchrt, aber auch zu einem gewissen Ma\u00df an Verwirrung.<\/p>\n Um das zu kl\u00e4ren, lohnt es sich, mit dem Begriff zu beginnen. Evaluieren\" bedeutet, ein Urteil zu f\u00e4llen: Es impliziert einen Vergleich zwischen dem, was nach einer Intervention beobachtet wird, und einem Vergleichsbegriff, wie z.B. einem Standardniveau oder den erwarteten Bedingungen. <\/p>\n An wen ist das Urteil gerichtet? Nicht an die Einrichtung, die die Ma\u00dfnahme konzipiert, finanziert oder durchf\u00fchrt. Wor\u00fcber sollte also ein Urteil gef\u00e4llt werden und warum? <\/p>\n Die Objekte der Beurteilung und die kognitiven Bed\u00fcrfnisse, die die Bewertung vorantreiben, sind potenziell vielf\u00e4ltig, und unterschiedliche Fragen implizieren die Verwendung unterschiedlicher analytischer Ans\u00e4tze. In schematischer und nicht ersch\u00f6pfender Weise k\u00f6nnen wir drei verschiedene Ausdrucksformen der Beurteilung identifizieren, die darauf abzielen, verschiedene Aspekte einer Intervention zu bewerten, und die jeweils spezifische Bewertungsans\u00e4tze vorantreiben: <\/p>\n Einer der h\u00e4ufigsten Wissensbed\u00fcrfnisse derjenigen, die Interventionen finanzieren und planen, besteht darin, den \u00dcberblick zu behalten und der Au\u00dfenwelt mitzuteilen, was mit den verf\u00fcgbaren Ressourcen getan wurde. Die Berichterstattung \u00fcber das Erreichte umfasst einen Blick auf die Zahlen und Merkmale der investierten Ressourcen, die durchgef\u00fchrten Ma\u00dfnahmen, die Empf\u00e4nger der Intervention und deren m\u00f6gliche Bedingungen nach dem Projekt. Es handelt sich um eine Evaluierungsaktivit\u00e4t, denn sie beinhaltet einen Vergleich zwischen dem, was getan wurde, und dem, was man sich vorgestellt hat, oder was als getan erkl\u00e4rt wurde. <\/p>\n Bei dieser Form der Evaluierung handelt es sich um ein Ad-hoc-Datenerfassungssystem, dessen Konzeption notwendigerweise vor dem Beginn der Intervention erfolgen muss. Die Planung dieser Aktivit\u00e4t erfordert einige unerl\u00e4ssliche Vorsichtsma\u00dfnahmen: <\/p>\n Die dritte kognitive Anforderung betrifft die Wirksamkeit der Intervention, d. h. ihre F\u00e4higkeit, das urspr\u00fcngliche Problem zu ver\u00e4ndern. Dies ist der Bereich der Bewertung der Auswirkungen (oder Effekte): eine Art der Bewertung, die darin besteht, die interessierenden Bedingungen nach der Intervention zu beobachten oder zu messen und glaubhaft abzusch\u00e4tzen, was ohne die Intervention geschehen w\u00e4re. <\/p>\n Der Effekt (oder die Auswirkung) wird als Differenz zwischen den beiden Szenarien gesch\u00e4tzt, von denen das erste (faktische) existiert und messbar ist, das zweite (kontrafaktische) muss rekonstruiert und irgendwie gesch\u00e4tzt werden. Die Ans\u00e4tze f\u00fcr die kontrafaktische Sch\u00e4tzung sind vielf\u00e4ltig (einen kurzen \u00dcberblick finden Sie hier<\/a> ) und beruhen gr\u00f6\u00dftenteils auf der Verwendung von angemessen ausgew\u00e4hlten Kontrollgruppen. Diese Art der Sch\u00e4tzung erfordert spezielles (statistisches und \u00f6konometrisches) Fachwissen und erheblichen Aufwand. <\/p>\n Bestimmte Bedingungen der Durchf\u00fchrbarkeit sind ebenfalls notwendig f\u00fcr ihre Realisierung: die Verf\u00fcgbarkeit angemessener Daten, die M\u00f6glichkeit, eine Kontrollgruppe zu bilden, die wirklich mit den \u201eBehandelten\u201c vergleichbar ist, und eine ausreichende Gr\u00f6\u00dfe der analysierten Gruppen, um die Genauigkeit der Sch\u00e4tzungen zu gew\u00e4hrleisten. Die St\u00e4rke dieser Art von Evaluierung liegt in der M\u00f6glichkeit, umschriebene, aber solide und pr\u00e4zise Antworten zu geben, wobei der Grad der Subjektivit\u00e4t im Vergleich zu allen anderen Ans\u00e4tzen deutlich geringer ist. <\/p>\n W\u00e4hrend die ersten beiden Aktivit\u00e4ten die Durchf\u00fchrung der Intervention begleiten (auch wenn sie am Ende der Intervention durchgef\u00fchrt werden k\u00f6nnen), ist die Folgenabsch\u00e4tzung notwendigerweise eine Ex-post-Aktivit\u00e4t, die erst am Ende der Intervention oder nach Ablauf eines sinnvollen Zeitfensters eingeleitet werden kann, um alle Ver\u00e4nderungen zu erfassen, die die Intervention in Bezug auf das urspr\u00fcngliche Problem bewirkt haben k\u00f6nnte.<\/p>\n Bevor man sich jedoch fragt, was man wissen will, muss man die Art der zu bewertenden Intervention betrachten. Es ist notwendig, einen Schritt zur\u00fcckzutreten von den Anforderungen, die die Bewertung vorantreiben, um die \u201eTheorie der Ver\u00e4nderung\u201c der Intervention zu rekonstruieren. Ausgehend von der Definition des zu l\u00f6senden Problems stellt die Theorie der Ver\u00e4nderung dar und macht deutlich, wie die durchzuf\u00fchrenden Ma\u00dfnahmen dazu beitragen sollen, die bestehende Situation zu ver\u00e4ndern und die gew\u00fcnschte Ver\u00e4nderung herbeizuf\u00fchren. Letztlich ist die \u201eTheorie der Ver\u00e4nderung\u201c lediglich ein plausibles und vern\u00fcnftiges Modell daf\u00fcr, wie ein Programm funktionieren sollte. Die Theorie der Ver\u00e4nderung kann durch den logischen Rahmen grafisch dargestellt werden, der die \u201eZutaten\u201c der Intervention sowie die Annahmen und Gefahren f\u00fcr ihr Funktionieren unmittelbar sichtbar macht. <\/p>\n Sobald die Theorie der Ver\u00e4nderung rekonstruiert ist, kann man fragen, was man wissen will und warum. Es ist nicht unbedingt immer sinnvoll oder m\u00f6glich, alle beschriebenen Wissensbed\u00fcrfnisse zu erf\u00fcllen. Die Merkmale der Intervention, die Anzahl der Beg\u00fcnstigten, die Quantit\u00e4t und Qualit\u00e4t der gesammelten Informationen sind alles Bedingungen, die sich auf die M\u00f6glichkeit auswirken, robuste Bewertungen zu erstellen. <\/p>\n Die Wahl der Art der durchzuf\u00fchrenden Evaluierung muss daher, wenn m\u00f6glich, mit der Gestaltung der Intervention einhergehen, damit alle notwendigen Voraussetzungen f\u00fcr die Beantwortung der interessierenden Fragen gegeben sind. Viele dieser \u00dcberlegungen werden im Leitfaden in den Kapiteln \u00fcber Monitoring und Evaluierung<\/a>, die Definition der<\/a> Interventionslogik und die Strukturierung des logischen Rahmens<\/a> aufgegriffen. <\/p>\n Eine wichtige \u00dcberlegung muss die Beweggr\u00fcnde f\u00fcr die Bewertung betreffen.<\/p>\n Unabh\u00e4ngig vom vorgelagerten Wissensbedarf sollte die Evaluierung dazu beitragen, Erkenntnisse zu gewinnen, die f\u00fcr eine sachkundigere \u201eGestaltung\u201c n\u00fctzlich sind, um Zweifel an der \u00dcbereinstimmung der geplanten mit den durchgef\u00fchrten Aktivit\u00e4ten, ihrer Wiederholbarkeit und ihrer Wirksamkeit, auch im Verh\u00e4ltnis zu den entstandenen Kosten, auszur\u00e4umen.<\/p>\n Es handelt sich in jedem Fall um eine kostspielige Aktivit\u00e4t, sowohl f\u00fcr diejenigen, die sie finanzieren, als auch f\u00fcr diejenigen, die als Beobachter daran teilnehmen. Es ist daher gut, sorgf\u00e4ltig auszuw\u00e4hlen, wonach man fragt und wann, und darauf hinzuarbeiten, eine Stellungnahme zu erstellen, die f\u00fcr die Entscheidungsfindung verwendet werden kann (auch wenn sie negativ ist!). <\/p>\n In den folgenden Artikeln werden wir die Anwendbarkeit dieser drei Arten der Evaluierung auf europ\u00e4ische Projekte, ihre Durchf\u00fchrbarkeitsbedingungen sowie Beispiele und Erfahrungen mit der Evaluierung einiger europ\u00e4ischer Projekte erl\u00e4utern.<\/p>\nBewertung: was und wie<\/h2>\n
\n
Bewertung, was wurde getan: Berichterstattung \u00fcber das Erreichte<\/h2>\n
\n
Was sich \"dank\" der Folgenabsch\u00e4tzung ge\u00e4ndert hat<\/h2>\n
Vorbereiten, bevor Sie loslegen: die Theorie des Wandels und der logische Rahmen<\/h2>\n
Warum es tun: Die Vorteile von Evaluierungsma\u00dfnahmen ernten<\/h2>\n
Kommende Einblicke<\/h2>\n