Methodische Grundlagen
Systematische Beobachtung von Veränderungen
Methodische Grundlagen der Evaluierung. Quelle: KfW
Wie wirken sich FZ-Vorhaben aus? Diese Frage zu beantworten ist nicht leicht. Denn dazu ist es nötig, die Veränderungen, die sich im Vergleich zur Situation vor der FZ-Maßnahme ergeben haben, systematisch zu beobachten. Nicht immer liegen hierzu verlässliche Informationen vor. Vielmehr müssen häufig Indizien aus unterschiedlichen Informationsquellen zusammengetragen, wie Puzzlestücke zusammengesetzt und Wirkungsketten rekonstruiert werden.
Doch selbst wenn die Veränderungen systematisch aufgezeichnet worden wären, die sich seit der Planung und Inbetriebnahme eines Vorhabens ergeben haben - etwa bezüglich der Gesundheits- oder Einkommenssituation der Zielgruppe: Die Veränderungen sind allenfalls ein erstes Indiz, nicht jedoch ein eindeutiger Hinweis auf Wirkungen des Vorhabens. Warum?
Die Wirkung von Vorhaben ist einer Reihe von Einflüssen ausgesetzt. Quelle: KfW
Veränderungen werden nicht nur durch das Vorhaben bewirkt, sondern eine Fülle von Einflüssen strömt auf das Umfeld des Vorhabens, auf die Zielgruppe, den Partner und Projektträger ein. Umgekehrt gehen auch von den Beteiligten und Betroffenen selbst Einflüsse aus. Eine Abschätzung oder gar Messung der Wirkung eines Vorhabens verlangt also danach, diejenigen Veränderungen zu isolieren, die tatsächlich durch die FZ-Maßnahme und nicht durch andere Einflussfaktoren bewirkt wurden. Warum was wie gewirkt hat, ist oftmals erst dann genauer zu beurteilen, wenn das individuelle Zusammenspiel aller Wirkungskräfte analysiert worden ist.
Mit einer Vielzahl an Methoden zu verlässlichen Aussagen kommen
Angesichts dieser Komplexität von Wirkungsfragen ist es einleuchtend, dass es nicht die eine Methode gibt, um sie zu beantworten. Vielmehr kommt eine Fülle und Vielfalt von Methoden zum Einsatz, von qualitativ bis quantitativ, vom freien über das semi-strukturierte oder Focusgruppen-Interview bis hin zur repräsentativen, strukturierten Befragung, von der Sammlung von Eindrücken über Experteneinschätzungen bis hin zu Bilanzanalysen oder Berechnung von einzel- und volkswirtschaftlichen Verzinsungen und Kosten-Nutzen-Analysen, von der Fallstudie bis hin zur statistischen Auswertung von Daten.
Häufig wird auch versucht, sich ein und derselben Frage mit verschiedenen Methoden aus unterschiedlichen Richtungen zu nähern (Triangulation), da sich die Ergebnisse gegenseitig ergänzen, verdichten, hinterfragen oder und in Zweifel ziehen können. Welche Methoden eingesetzt werden, hängt von der Maßnahme, der Situation, von der Datenverfügbarkeit, dem Evaluierungstyp und natürlich von den Mitteln ab, die für die Evaluation zur Verfügung stehen und deren Einsatz angesichts der zu erwartenden Erkenntnisse vertretbar erscheint.
Jährlich werden etwa die Hälfte aller abgeschlossenen FZ-Vorhaben einer aussagefähigen Stichprobe unterzogen. Das geschieht in Form eines "rapid appraisal" – also einer schnellen Einschätzung. Dazu werden Akten und Statistiken ausgewertet, freie und semi-strukturierte Interviews geführt und Kosten analysiert.
Im Rahmen vertiefender Analysen zu bestimmten Wirkungsthemen werden zunehmend auch Methoden angewendet, die der Einzelfall übergreifenden Auswertung dienen, etwa die statistisch deskriptive oder gar ökonometrische Auswertung von Informationen, die auf der Gesamtheit aller Ex Post-Evaluierungen vergangener Jahre basieren. In ausgewählten Fällen können im Zuge thematischer Evaluierungen sogar aufwändige Datenerhebungen erfolgen, denn geeignete Daten ermöglichen es, im Zuge so genannter robuster oder rigoroser Evaluationen, bei denen statistisch-analytische Methoden zum Einsatz kommen, die Wirkungen eines Vorhabens von anderen Einflussfaktoren zu isolieren und sogar zu messen.
Stand: Mai 2012
