Impacts 2.0 – Wirkungen besser messen

Wirkungen evaluieren – Neue Datenquellen nutzen

Positive Wirkungen zu erzielen und so Lebensumstände zu verbessern ist das wichtigste Ziel der Entwicklungszusammenarbeit und gleichzeitig eine der größten Herausforderungen. Denn: Obwohl jedes Projekt der finanziellen Zusammenarbeit zu konkreten Änderungen führt, sind die daraus folgenden Wirkungen nicht immer direkt und offensichtlich. Eine wichtige Aufgabe der Evaluierungen ist deshalb, positive sowie nicht-intendierte negative Wirkungen zu untersuchen und diese möglichst zuverlässig zu quantifizieren. Dies geschieht unter dem Kriterium der übergeordneten entwicklungspolitischen Wirkungen („Impact“) in den Ex-post-Evaluierungen. Bisherige Ex-post-Evaluierungen basieren vor allem auf Zahlen und Angaben der projektinternen Dokumente, ergänzt durch ein eingehendes Literaturstudium und Befragungen möglichst vieler Stakeholder vor Ort. Diese Methode ist gut geeignet, um möglichst viele unterschiedliche Aspekte und Nuancen der Projekte zu studieren.

Allerdings sind diese Informationsquellen nur bedingt geeignet, um tiefergehende, quantitative Aussagen zu den Impacts und zu deren Nachhaltigkeit zu machen. Immer häufiger werden daher auch weitere Sekundärdaten und neue Datenquellen - wie zum Beispiel Satellitendaten - genutzt. Derartige Datenquellen können als Ergänzung sehr sinnvoll sein, um fehlende oder inkonsistente Datenerhebungen während der Projektimplementierung und danach zu ergänzen. Insbesondere auch im Kontext der Reisebeschränkungen durch die Corona-Pandemie konnten diese Ansätze ihre Stärke beweisen, um die Arbeitsfähigkeit auch remote sicherzustellen. Neben Satellitendaten gibt es eine Vielzahl weiterer neuer (und alter) Datenquellen und Analyseformen. Deren Erhebung und Nutzung hat sich im Laufe der letzten Jahre durch folgende Punkte stark vereinfacht:

Neue Informationsquellen wie Online-Surveys und Open-Data-Portale sind dank der Digitalisierung kontinuierlich verfügbar.
Die weltweite Verbreitung von Mobiltelefonen vereinfacht die primäre Datenerhebung bei Zielgruppen.
Schneller und teilweise kostenfreier Zugriff auf existierende Daten, wie bspw. Satellitendatenarchive.
Zunehmende Automatisierung von Analysen und Skalierbarkeit ermöglicht eine breite Anwendung zu niedrigen Grenzkosten.
Wachsende Anzahl an Open-Source-Lösungen und Data-Communities erlauben Netzwerkeffekte und den Erfahrungsaustausch mit anderen.
Wachsende Anzahl an Projektträgerdaten, die ebenfalls zur Evaluierung genutzt werden können.
Steigende Verfügbarkeit von Zensusdaten und anderen administrativen Statistiken über das Internet.

Im Ergebnis wird damit eine quantitative, stärker datengestützte Analyse viel praktikabler - auch remote. Teilweise werden auch rigorose Evaluierungsansätze so leichter umsetzbar. Beispielsweise können mit Satellitendaten nachträglich Baseline-Informationen für ein quasi-experimentelles Evaluierungsdesign erhoben werden. Die Kombination traditioneller Datentypen mit diesen neuen Datenquellen und Analysemethoden eröffnet somit neue Perspektiven und erhöht den Informationsgehalt und die Belastbarkeit von Erkenntnissen.

Abbildung 1: Wirkungen mit Geodaten verifizieren – Baustein der modernen Evaluierungsarbeit — Wirkungen mit Geodaten verifizieren – Baustein der modernen Evaluierungsarbeit

Projektbeispiele

Forstentwicklung in Vietnam - Bessere Messung mit Hilfe von Satellitendaten

Kurzbeschreibung

Die Vorhaben umfassten die Aufforstung und nachhaltige Bewirtschaftung von staatlichen Forstflächen mit einheimischen Arten als langfristige Nutzbaumarten. Ziel war es, ökologisch degradierte Flächen und ihre ökologisch wichtigen Funktionen wiederherzustellen und zudem die Lebensbedingungen der Anrainerbevölkerung zu verbessern.

Ergebnis

Haushaltsumfragen ergaben, dass sich die Wasserverfügbarkeit und die Qualität des Wassers verbessert hat. Diese (subjektiven) Einschätzungen konnten größtenteils durch Besichtigungen vor Ort bestätigt werden. Außerdem konnte ein wachsendes Umweltbewusstsein unter den Projektbegünstigten festgestellt werden.

Die im Rahmen des Projekts durchgeführten Aufforstungen führten zu den erwünschten Waldzunahmen auf den Projektflächen. Gleichzeitig wurden mithilfe von Geodatenanalysen jedoch Waldverluste in anderen Teilen der Kommunalwälder festgestellt. Die Verluste übertrafen dabei flächenmäßig die Waldzunahmen. Dadurch wird deutlich, dass neben der Aufforstung v.a. die Landnutzungsplanung und eine Kontrolle von Entwaldung für eine nachhaltige Wiederherstellung der Ökosysteme wichtig sind.

Besonderheit: Geodatenanalyse

In dieser Evaluierung sind verschiedene Instrumente zur Messung von Waldverlusten zum Einsatz gekommen. Für die Analyse großflächiger Waldverluste wurden Angaben des Global Forest Watch (GFW) herangezogen; zur Erkennung früher Stadien der Walddegradierung (bspw. Einzelbaumentfernungen) wurden Daten der Copernicus Mission der ESA (Sentinel) mithilfe des dNBR Algorithmus (delta Normalized Burn Ratio) ausgewertet. Zusätzlich wurden auf Grundlage der Sentinel-Daten Waldverluste und -zunahmen objektbasiert klassifiziert. Hierbei stellten sich insbesondere die Sentinel-Daten in Kombination mit dem dNBR Algorithmus als präzise Methode heraus.

Alle drei Methoden weisen auf großflächige Waldverluste hin. Die Erkenntnisse aus der Anwendung einzelner Methoden konnten mithilfe von Vergleichen untereinander werden. Eine solche Quantifizierung von Waldzunahmen und -verlusten wäre ohne die Nutzung von Satellitendaten für alle Projektstandorte nicht möglich gewesen.

Teilweise deuteten die Ergebnisse aus der Geodatenanalyse sogar auf Entwaldungstendenzen hin, die den Erkenntnissen durch den Besuch vor Ort widersprachen. Behördliche Angaben wiesen bspw. auf einen deutlichen Rückgang von illegalen Holzeinschlägen hin – die Analyse von Satellitenbildern ergab jedoch, dass es über das vorgesehene Ausmaß hinaus Waldverluste und Abholzungen gegeben hat. Ohne die Satellitendatenanalyse wäre diese Entwicklung möglicherweise unentdeckt geblieben.

Diese Evaluierung zeigt eindrücklich, wie neue Datenquellen - hier am Beispiel von Satellitendaten - die Evaluierung wirkungsvoll unterstützen können. Die Verfügbarkeit geeigneter Daten zu den relevanten Indikatoren spielt hierbei eine entscheidende Rolle.

Stromübertragung und ländliche Elektrifizierung in Kambodscha — Strom als Energie- und Einkommensschub – Positive Wirkungen von Stromanschlüssen auf Haushaltseinkommen in Kambodscha

Kurzbeschreibung

Der Bau der Stromleitung und die ländliche Elektrifizierung waren Teil des Wiederaufbaus der Infrastruktur in Kambodscha nach den ersten demokratischen Wahlen. Ziel war zum einen eine verbesserte Stromübertragung von Takeo in die Hauptstadt Phnom Penh, zum anderen die Elektrifizierung ausgewählter ländlicher Gebiete. Die Maßnahmen umfassten den Bau einer Stromleitung, den Neubau einer Umspannstation sowie eines Stromverteilungssystems. Übergeordnetes Ziel der Projekte war es, die Armut zu vermindern und die soziale sowie ökologische Nachhaltigkeit zu verbessern.

Ergebnis

Die Maßnahmen haben zu einer deutlichen Verbesserung der Lebensbedingungen geführt, bei gleichzeitiger Reduktion der Nutzung von lokalen Dieselgeneratoren.

Die Strompreise sind in ländlichen und städtischen Gebieten gesunken, und die positiven Effekte hatten auch nach Abschluss der Maßnahme Bestand.

Besonderheit: Datenquellen

Neben Vorher-Nachher-Vergleichen sowie Gesprächen vor Ort wurden zur Evaluierung dieser Projekte sekundäre Datensätze zur Triangulation der Ergebnisse herangezogen. Die genutzten Sekundärdaten umfassten den Jahresbericht des Projektträgers, die World Development Indikatoren und eigens ausgewertete Umfragedaten zur Energiesituation in Kambodscha 2017, die von der Weltbank erhoben wurden.

In diesem Fall war es außerdem möglich, von der Weltbank Zugang zu einem Haushaltsdatensatz aus der Projektregion zu erhalten und diesen für die eigene Evaluierung auszuwerten. Dabei stellte sich unter anderem heraus, dass der Anteil der Ausgaben für Elektrizitätskosten an den Haushaltsausgaben in den Projektregionen signifikant geringer war als im Rest Kambodschas.

Die Evaluierung dieses Projekts zeigt, dass sich ein Blick über den Tellerrand hinaus lohnt, und die Ermittlung und Nutzung quantitativer Daten anderer Geber die Aussagekraft der Evaluierung verbessert.

Bewässerung am Mount Kenia — Group Lending in der Bewässerungslandwirtschaft – vielfältigere Bepflanzung und häufigere Ernten

Kurzbeschreibung

Das mehrphasige Vorhaben unterstützte Kleinbauern in den Regionen östlich/ südöstlich des Mount Kenia beim Übergang von regenabhängiger Landwirtschaft hin zu Bewässerungslandwirtschaft. Ziel war es, neben der Erhöhung der landwirtschaftlichen Produktion vor allem die Lebensbedingungen von ländlichen Haushalten zu verbessern. Das Projekt griff dabei die bestehende Bildung organisierter Gruppen und Kooperativen auf und vergab Kredite nach einem Group-Lending-Prinzip – die Maßnahmen wurden zu 50 % aus Zuschüssen finanziert, der Rest wurde von Krediten an Gruppen von Kleinbauern getragen.

Ergebnis

Durch die Maßnahmen konnte die Fläche für Bewässerungslandwirtschaft stark erhöht werden. Laut Haushaltsumfragen trug die Möglichkeit zur Bewässerung dazu bei, dass vielfältigere landwirtschaftliche Produkte angebaut werden konnten. Als Folge konnten die Landwirtschaftstreibenden ihre Auswahl über Anbauprodukte besser an die Marktnachfrage anpassen und teilweise auf Cash-Crops umsteigen, d.h. landwirtschaftliche Produkte mit höheren Margen.

Die Projektmaßnahmen bewirkten keine signifikante Veränderung der Biomasseproduktion. Diese entwickelte sich in strukturell vergleichbaren, jedoch nicht am Projekt teilnehmenden Gebieten ähnlich.

Die Bewässerungsmaßnahmen wirkten sich jedoch positiv auf die Erntezyklen aus: In den Projektgebieten konnte häufiger bepflanzt und geerntet werden als in anderen Gebieten mit ähnlichen Eigenschaften. Nach Angaben einiger Landwirtschaftstreibenden der Zielgruppe half das Projekt dabei, ihre landwirtschaftliche Tätigkeit zur Hauptbeschäftigung zu machen und einen stetigen Einkommensstrom zu sichern.

Besonderheit: Datenquellen

Neben Haushaltsumfragen nutzte die Evaluierung multispektrale Satellitenbilder und FAO WaPor 2.0 Satellitendaten. Dadurch konnten erweiterte Analysen wie zonale Statistiken durchgeführt und Visualisierungen von Projektgebieten und ihren Eigenschaften erstellt werden.

Die Satellitendaten erlaubten eine Analyse von Gebieten, die sich noch in der Implementierungsphase befanden und für die es daher noch keine Daten wie Umfragedaten gab. Dadurch konnten Projektgebiete der Phase III mit den strukturell ähnlichen Projektgebieten aus Phase IV verglichen werden, in denen noch keine Bewässerung implementiert worden ist. Dies ermöglichte die Wirkungsmessung anhand eines Difference-in-Difference Ansatzes.

Im Rahmen der Difference-in-Difference Analyse wurde festgestellt, dass das Projekt keinen signifikanten Effekt auf die Biomasseproduktion in den Projektgebieten hatte. Erst durch die zusätzliche Analyse von Satellitenbildern konnte eine Veränderung des Erntezyklus – und damit ein weiterer positiver Effekt des Projekts – festgestellt werden.

Die Nutzung neuer Datenquellen komplementiert in diesem Fall traditionelle Evaluierungsmethoden – und ermöglicht eine belastbarere und umfangreichere Evaluierung des Projektimpacts.