Die Ziehung einer repräsentativen Zufallsstichprobe ergibt jährlich die zu evaluierenden Projekte, die von FZ E anhand der OECD-DAC- Kriterien bewertet werden. Die Ergebnisse dieser Evaluierungen sind die Grundlage der Schätzung der Erfolgsquote, also der statistischen Ermittlung des Anteils der erfolgreichen FZ-Vorhaben.
Die Evaluierungsabteilung der KfW Entwicklungsbank zieht jährlich eine nach Sektoren geschichtete Zufallsstichprobe aus der Grundgesamtheit der abgeschlossenen Vorhaben. Dabei führt sie für alle Vorhaben in der Stichprobe eine Ex-post-Evaluierung durch. Dieses Verfahren sichert die statistische Repräsentativität und Aussagekraft der Evaluierungen für das FZ-Portfolio und wahrt die Unabhängigkeit bei der Auswahl der zu evaluierenden Projekte. Im Jahr 2019/20 sind aus der Grundgesamtheit von 289 Vorhaben 149 in die Stichprobe gezogen worden.
Auch wenn diese nicht Teil der Stichprobe sind, können weitere Vorhaben evaluiert werden – z.B. wegen räumlicher und zeitlicher Nähe zum Vorhaben aus der Stichprobe oder auf Wunsch operativer Abteilungen. In den Kalenderjahren 2019 und 2020 hat es 41 solcher sog. „zugebündelter“ Projekte gegeben. Gemeinsam mit 130 Evaluierungen aus vergangenen Stichproben wurden somit 171 Projekte in den Jahren 2019 und 2020 evaluiert.
Zur Schätzung der Erfolgsquote – also des Anteils der Vorhaben, die in der Gesamtbewertung die Note 3 oder besser erhielten – werden nur Vorhaben herangezogen, die Teil der Stichprobe sind (unverzerrte Schätzung). Daher gehen bislang 61 Projekte in die Erfolgsquotenschätzung für die Grundgesamtheit 2019/20 ein.
Dabei gilt: Erfolgsquoten sind Schätzungen und daher mit statistischer Unsicherheit behaftet. Das Konfidenzintervall gibt Auskunft über die Genauigkeit der Schätzung.
Die Erfolgsquoten der vergangenen Zweijahresperioden seit Einführung des Stichprobenverfahrens 2007/2008 unterscheiden sich beispielsweise nicht in statistisch signifikanter Weise voneinander. Trotz Schwankungen in der durchschnittlichen Erfolgsquote im Bereich zwischen 77% und 87% überlappen sich die Konfidenzintervalle der Erfolgsquoten im Bereich um 81% - es ist also möglich und liegt nahe, dass die zugrundeliegende Erfolgsquote aller FZ-Vorhaben in diesem Überlappungsbereich liegt.
Um der unterschiedlichen Bedeutung von einzelnen Evaluierungsfeststellungen Rechnung tragen zu können, ergibt sich die Gesamtnote eines Projekts nicht als einfacher Durchschnitt der Teilnoten der einzelnen OECD-DAC-Kriterien (1–6 bzw. 1–4 für Nachhaltigkeit). Besonders schwerwiegende Mängel bei einzelnen Teilkriterien sollen nicht durch positive Ergebnisse bei anderen ausgeglichen werden können.
Deshalb schließen schlechte Resultate bei den OECD-DAC-Kriterien Effektivität, Impact und Nachhaltigkeit die Klassifikation des Vorhabens als „insgesamt erfolgreich“ in der Regel aus. Die grundlegende Idee: Vorhaben, die ihre Ziele nicht erreichen oder deren Wirkungen nicht dauerhaft nachhaltig sind, verdienen die Bewertung als „erfolgreich“ nicht.
