Mit 236 Vorhaben entspricht die Grundgesamtheit des Zweijahreszeitraums 2021-2022 der Größenordnung des langjährigen Durchschnitts. Betrachten wir ausschließlich Vorhaben aus unseren repräsentativen Stichproben (2022 oder früher), liegt der Anteil der erfolgreichen Vorhaben (Gesamtnote 3 oder besser) bei 84 %. Auch dieser Wert entspricht in etwa den Ergebnissen der Vorjahre. Beschränken wir uns auf die Betrachtung der Stichprobe 2021-2022 liegt die Erfolgsquote ebenfalls bei 84 %.
1. Grafik: Entwicklung des Evaluierungsportfolios
Diese Grafik zeigt die Anzahl der Vorhaben in der Grundgesamtheit, also der Gesamtheit der evaluierungsbereiten Vorhaben, aller Zweijahreszeiträume seit 2008 an. Die Größe dieser Grundgesamtheit schwankt im Betrachtungszeitraum, mit einem Minimum von 206 Vorhaben für den Zeitraum 2011/2012 und einem Maximum von 328 Vorhaben für die Jahre 2015/2016. Dargestellt wird auch die Größe der repräsentativen Stichprobe. Diese liegt in allen Jahren in etwa bei der Hälfte der Grundgesamtheit. Eine weitere Datenreihe zeigt die Anzahl der Vorhaben der jeweiligen Stichprobe, die bereits evaluiert wurden. Die Werte im Einzelnen:
2007-2008: 224 Vorhaben, davon 117 Projekte in der Stichprobe und davon bisher 116 Projekte evaluiert
2009-2010: 212 Vorhaben, davon 111 Projekte in der Stichprobe und davon bisher 110 Projekte evaluiert
2011-2012: 206 Vorhaben, davon 112 Projekte in der Stichprobe und davon bisher 111 Projekte evaluiert
2013-2014: 256 Vorhaben, davon 135 Projekte in der Stichprobe und davon bisher 133 Projekte evaluiert
2015-2016: 328 Vorhaben, davon 166 Projekte in der Stichprobe und davon bisher 164 Projekte evaluiert
2017-2018: 304 Vorhaben, davon 159 Projekte in der Stichprobe und davon bisher 154 Projekte evaluiert
2019-2020: 285 Vorhaben, davon 136 Projekte in der Stichprobe und davon bisher 111 Projekte evaluiert
2021-2022: 236 Vorhaben, davon 124 Projekte in der Stichprobe und davon bisher 55 Projekte evaluiert
2. Grafik: Ergebnisverteilung nach Projektanzahl
Diese Darstellung zeigt die Verteilung nach Anzahl der Projekte zu den unterschiedlichen erzielten Gesamtbewertungen 1 bis 6, wobei Projekte mit einer Bewertung von 1 bis 3 als erfolgreich gelten. Die Grafik betrachtet den Zeitraum 2007 bis 2022. Dabei wird deutlich, dass diese Verteilung in diesem Zeitraum recht konstant geblieben ist.
Für die Zeitspanne 2021-2022 ergibt sich folgende kumulierte Verteilung: 2 % aller Projekte haben die Bewertung 1 erzielt. 53 % aller Projekte haben eine Bewertung von 2 oder besser erzielt; 84 % aller Projekte haben eine Bewertung von 3 oder besser erzielt; 95 % aller Projekte haben eine Bewertung von 4 oder besser erzielt; 100 % aller Projekte wurden mit 5 oder besser bewertet.
3. Grafik: Notenverteilung nach Mittelvolumen
Diese Grafik beschreibt, wie sich die von den evaluierten Projekten eingesetzten Haushaltsmittel prozentual auf die erzielten Gesamtnoten verteilt. Dabei wird der Zeitraum von 2007 bis 2022 betrachtet. Es wird deutlich, dass sich diese Aufteilung im gesamten betrachteten Zeitraum nur wenig verändert hat.
Für den Zeitraum 2021-2022 gilt folgende kumulierte Aufteilung: Auf die Gesamtnote 1 entfallen 2 % der eingesetzten Haushaltsmittel; 46 % der eingesetzten Haushaltsmittel entfallen auf Projekte mit Gesamtnote 2 oder besser; 88 % der eingesetzten Haushaltsmittel entfallen auf Projekte mit Gesamtnote 3 oder besser; 98 % der eingesetzten Haushaltsmittel entfallen auf Projekte mit Gesamtnote 4 oder besser und 100 % der eingesetzten Haushaltsmittel entfallen auf Projekte mit Gesamtnote 5 oder besser
4. Grafik: Erfolgsquote und 95 %-Konfidenzintervall
Diese Grafik beschreibt die Erfolgsquotenschätzung einschließlich des jeweiligen Konfidenzintervalls (95 %) anhand der evaluierten Stichprobe für die Zweijahreszeiträume seit 2007.
Für alle Zweijahreszeiträume von 2007 bis 2020 liegt das beidseitige Konfidenzintervall nahe bei plusminus 5 %. Nur für den aktuellsten Zweijahreszeitraum 2021-2022 ist das beidseitige Konfidenzintervall mit plusminus 9 % deutlich größer, was auf die bislang niedrigere Gesamtzahl von Beobachtungen (sprich abgeschlossenen Evaluierungen) für die Grundgesamtheit 2021-2022 zurückgeht. Die mittlere Erfolgsquotenschätzung für die jeweiligen Intervalle beträgt:
2007-2008: 81 %
2009-2010: 78 %
2011-2012: 79 %
2013-2014: 83 %
2015-2016: 82 %
2017-2018: 79 %
2019-2020: 85 % und
2021-2022: 84 %
Die Projekte werden nach sechs DAC-Kriterien evaluiert. Dabei richten wir uns nach den Evaluierungsleitlinien des Bundesministeriums für wirtschaftliche Entwicklung und Zusammenarbeit (BMZ). Konkret bedeutet das: wir betrachten jedes Kriterium und vergeben jeweils eine Note. Bei den Kriterien Effektivität, Impact und Nachhaltigkeit bewirken Bewertungen schwächer als „3 = eingeschränkt erfolgreich“, dass das Projekt nicht mehr als erfolgreich bewertet werden kann. Auf dieser Basis ermitteln wir gegenstandsangemessen und unter Berücksichtigung des Kontexts die Gesamtevaluierungsnote für das Vorhaben, die sich insofern nicht aus dem arithmetischen Mittel der Teilnoten je Kriterium ergeben muss.
In den Jahren 2021 und 2022 wurden 152 Ex-post-Evaluierungen durchgeführt. Davon waren 122 Vorhaben in einer Stichprobe enthalten und gehen in die Erfolgsquotenschätzung ein. Aus den Stichproben 2021-2022 entstammen 50 Vorhaben, die restlichen 72 Projekte sind Stichproben vorheriger Jahre entnommen. Hinzu kommen fünf Vorhaben aus der Stichprobe 2021-2022, die bereits zu einem früheren Zeitpunkt evaluiert wurden.
Rund die Hälfte (51 %) der Vorhaben erzielte die Erfolgseinstufung 2 (erfolgreich), etwa ein Drittel (31 %) erreichte das Gesamtergebnis 3 (eingeschränkt erfolgreich). Insgesamt neun Projekte wurden mit Gesamtnote 4 bzw. 5 als nicht mehr erfolgreich eingestuft. Nur ein Vorhaben (Bosnien-Herzegowina: Windpark Mesihovina) erzielte die Gesamtnote 1 (sehr erfolgreich).
Mit der o.g. Erfolgsquote von 84 % bewegt sich dieser Wert auf dem gleichen Niveau wie in den Jahren zuvor. Allerdings wurden bislang erst 44 % der Projekte aus der Stichprobe 2021-22 evaluiert. Dementsprechend ist die Erfolgsquotenschätzung für die Grundgesamtheit 2021-22 noch nicht finalisiert. Jedoch lässt sich bereits ableiten, dass die Erfolgsquote mit 95-prozentiger Sicherheit zwischen 75 % und 92 % für die Grundgesamtheit 2021-22 liegen wird. Diese Beobachtung ist konsistent mit den Analysen der letzten Jahre und reiht sich in den allgemeinen, leicht positiven Trend über die letzten 16 Jahre ein.
Um die entwicklungspolitische Wirksamkeit eines Vorhabens zu bewerten, analysieren wird es anhand von sechs Schlüsselkriterien, auf die sich die internationale Gebergemeinschaft im "Development Assistance Commitee" (DAC) der "Organisation for Economic Cooperation and Development" (OECD) geeinigt hat. Die Bewertung wird anhand einer Notenskala zusammengefasst.
1. Grafik: OECD-DAC Kriterien
Die Grafik zeigt die sechs Evaluierungskriterien (Relevanz, Kohärenz, Effektivität, Effizienz, Impact und Nachhaltigkeit) sowie die Herangehensweise zu dem jeweiligen Kriterium. Fragestellungen sind:
Relevanz - Tun wir das Richtige?
Kohärenz - Passt die Intervention zu den anderen Interventionen und den politischen Zielen?
Effektivität - Erreicht die Intervention das angestrebte Projektziel?
Effizienz - Werden die Wirkungen wirtschaftlich erreicht?
Impact - Trägt die Intervention zur Erreichung übergeordneter Ziele bei?
Nachhaltigkeit - Sind die Wirkungen von Dauer?
2. Grafik: Notenskala
Die Grafik zur Notenskala zeigt eine sechsstufige Bewertung von sehr erfolgreich (Note 1), erfolgreich (Note 2), eingeschränkt erfolgreich (Note 3), eher nicht erfolgreich (Note 4), überwiegend nicht erfolgreich (Note 5) bis gänzlich erfolglos (Note 6).
Note 1: deutlich über den Erwartungen liegendes Ergebnis
Note 2: voll den Erwartungen entsprechendes Ergebnis, ohne wesentliche Mängel
Note 3: liegt unter den Erwartungen, aber des dominieren die positiven Ergebnisse
Note 4: liegt deutlich unter den Erwartungen und es dominieren trotz erkennbarer positiver Ergebnisse die negativen Ergebnisse
Note 5: trotz einiger positiver Teilergebnisse dominieren die negativen Ergebnisse deutlich
Note 6: das Vorhaben ist nutzlos bzw. die Situation ist eher verschlechtert