Wird in Deutschland aktuell RIE-Evidenz generiert?
In einem empirischen Forschungsprojekt hat das DEval den aktuellen Stand der rigorosen Wirkungsevaluierung (RIE) in der deutschen Entwicklungszusammenarbeit (EZ) untersucht. Dabei wurden beispielsweise folgende Fragen beantwortet: Wie viele RIE haben Akteure der deutschen EZ durchgeführt? Welche experimentellen und quasi-experimentellen Designs wurden verwendet? Orientiert sich die Generierung von RIE-Evidenz sektoral und/oder regional an der Verteilung deutscher EZ-Gelder?
Im Folgenden fassen wir unsere 5 zentralen Ergebnisse zusammen:
Hauptaussage 1: Wir haben insgesamt 97 RIE seit 2014 ausfindig gemacht – im Vergleich zum großen Volumen der deutschen ODA-Mittel gibt es noch erhebliches Potenzial, die Effektivität der EZ zu erhöhen, indem mehr und systematischer RIE durchgeführt werden.
Abbildung: Anzahl der RIEs im Laufe der Zeit
Weitere Informationen
Insgesamt haben wir 97 RIE identifiziert, die unsere Kriterien erfüllten. 47 dieser RIE wurden von den Befragten als vollständig durchgeführt angegeben und 50 RIE als laufend oder bewilligt (unklar ist, ob alle geplanten RIE vollständig durchgeführt werden). Unter Berücksichtigung des zunehmenden Interesses an RIE unter Interessenvertreter*innen in der EZ erwarten wir auch, dass sich die Anzahl der RIE in Zukunft erhöhen wird. Jedoch muss die Gesamtzahl mit Vorsicht interpretiert werden angesichts der Tatsache, dass eine beträchtliche Anzahl dieser RIE innerhalb einzelner großer Projekte stattfanden und dass wir uns auf selbstständige Angaben über methodische Rigorosität gestützt haben.
23 RIE wurden als Teil von zwei Globalvorhaben der GIZ im Bereich Ländliche Entwicklung durchgeführt. Innerhalb dieser Globalvorhaben wurden die gleichen oder ähnliche Interventionen länderübergreifend rigoros evaluiert. Darüber hinaus wurde ein von einer deutschen zivilgesellschaftlichen Organisation (ZGO) teilfinanziertes Entrepreneurship-Training in verschiedenen Kontexten und zu unterschiedlichen Zeitpunkten mehrfach rigoros evaluiert. Auf dieses Programm entfallen 13 RIE.
Hauptaussage 2: GIZ, KfW Entwicklungsbank und deutsche ZGO haben alle an RIE mitgewirkt (beispielsweise als Projektdurchführende oder durch die Finanzierung der RIE).
Abbildung: RIE-Engagement nach Organisation
Weitere Informationen
Unterschiedliche Interessenvertreter*innen haben innerhalb einer RIE oft unterschiedliche Funktionen, zum Beispiel die Durchführung des Projekts oder der Evaluation, wozu auch die Datenerhebung und -analyse gehört. Die von uns Befragten gaben an, dass ein typisches Stakeholder-Setup einer RIE eine DO oder ZGO umfasst, die üblicherweise das Projekt durchführt, und zwar in Zusammenarbeit mit ihren lokalen Implementierungspartner*innen und einer Forschungseinrichtung oder einem Beratungsunternehmen, das die Wirkungsevaluierung durchführt oder unterstützt. Lokale Interessenvertreter*innen wirken typischerweise in einer dieser drei Formen mit: 1) Regierungsstellen in Partnerländern sind als Koordinator oder Moderator beteiligt, 2) lokale ZGO oder öffentliche Einrichtungen beteiligen sich an der Projektumsetzung, und 3) lokale, privatwirtschaftliche Unternehmen nehmen die Datenerhebung vor. Bei etwa 70% der RIE wurde berichtet, dass mindestens eine Organisation des Partnerlandes an der Umsetzung des Entwicklungsprojekts oder an der (das Projekt evaluierenden) RIE beteiligt waren. Entsprechend liegt der Anteil von RIE, für die keine Partnerbeteiligung angegeben wurde, bei ungefähr 30%.
In dem beobachteten Zeitraum hat das DEval vier RIE durchgeführt (in der Grafik wird das DEval zu den „Forschungseinrichtungen” gezählt).
Hauptaussage 3: Die meisten der 97 RIE waren nach eigenen Angaben RCT oder setzten eine Differenz-von-Differenzen-Schätzung (DvD) ein, während andere quasi-experimentelle Designs kaum verwendet wurden.
Abbildung: RIEs nach Art der Methode
Weitere Informationen
Die deutsche EZ verwendet andere quasi-experimentelle Designs kaum oder gar nicht, obwohl es mit diesen Designs oft möglich ist, RIE kostengünstiger umzusetzen als mit RCT (beispielsweise, wenn existierende Daten genutzt werden können). Die Nutzung von DvD in der deutschen EZ ist auffallend hoch im Vergleich zur globalen RIE-Evidenzbasis, die wir anhand des 3ie Development Evidence Portal (DEP) geschätzt haben. RIE im 3ie DEP nutzen weniger DvD (17%) und mehr Fixed Effects (16%) sowie andere quasi-experimentelle Designs. Der Anteil von RCT im 3ie DEP beträgt 54% (3ie, 2021).
Von den RIE in unserer Bestandsaufnahme berichten 61%, dass ihre RIE mit qualitativer Forschung verbunden war.
Hauptaussage 4: Die sektorale Verteilung stimmt nicht mit der Verteilung der deutschen ODA-Zahlungen oder der globalen Evidenzbasis überein. Das verstärkt unseren Eindruck, dass die Durchführung von RIE in der EZ keiner übergeordneten Strategie bzw. keinem systematischen Ansatz folgt.
Abbildung: Sektoraler Vergleich zwischen RIE-Bestandsaufnahme, deutschen ODA-Strömen und 3ie-Wirkungsevaluierungen
Weitere Informationen
Die sektorale Verteilung von RIE, die in der deutschen EZ durchgeführt wurden, spiegelt nicht die Verteilung der deutschen ODA-Zahlungen wider. Zum Beispiel entfallen 17% der bilateralen ODA-Auszahlungen des BMZ zwischen 2014 und 2018 auf den Sektor „Staat und Zivilgesellschaft“ - ein wesentlich größerer Anteil als die 6% in diesem Sektor in der deutschen EZ durchgeführten RIE.
Es mag einige Unterschiede zwischen den Sektoren geben, hinsichtlich dessen, wie gut RIE im Durchschnitt durchzuführen sind. Jedoch stimmten die RIE-Expert*innen in unseren Interviews darin überein, dass es letztlich keine Frage des Sektors ist, ob eine RIE umgesetzt werden kann oder nicht (Quelle: Interviews). Vielmehr kann dies nur individuell auf Projektbasis analysiert und entschieden werden. RIE können in allen Sektoren durchgeführt werden – beispielsweise haben Funk et al. (2018) RIE dokumentiert, die durch GIZ und der KfW Entwicklungsbank in „Governance“- Projekten durchgeführt wurden, obwohl dies ein Sektor ist, der manchmal als schwierig für die Umsetzung von RIE gilt.
Ganz ähnlich weicht die sektorale Verteilung von RIE in der deutschen EZ beträchtlich von der Verteilung der RIE in der globalen Evidenzbasis ab. (Als Schätzung der globalen Evidenzbasis zogen wir das 3ie Development Evidence Portal (DEP) heran.)
Hauptaussage 5: Die regionale Verteilung stimmt nicht mit der Verteilung der deutschen ODA-Zahlungen oder der globalen Evidenzbasis überein. Dies verstärkt unseren Eindruck, dass die Einführung von RIE in der EZ keiner übergeordneten Strategie bzw. keinem systematischen Ansatz folgt.
Abbildung: Vergleich der regionalen Verteilung zwischen den RIE-Bestandsaufnahme, den ODA-Strömen und den 3ie-Wirkungsevaluierungen
Weitere Informationen
Sub-Sahara Afrika (SSA) ist diejenige Region, in der die RIE unserer Bestandsaufnahme bei weitem am häufigsten durchgeführt wurden (71). Die Länder, in denen RIE unserer Bestandsaufnahme am häufigsten durchgeführt wurden, sind Uganda (13), Äthiopien (6), Malawi (5) und Sambia (5).
Die RIE-Anteile stimmen nicht mit den Anteilen der deutschen ODA-Ströme überein. Obwohl beispielsweise SSA einen Anteil von 71% der RIE innerhalb der deutschen EZ hat, erhält die Region nur 30% der deutschen ODA. Eine mögliche Erklärung besteht darin, dass RIE oft von motivierten Einzelpersonen initiiert werden und nicht in eine übergeordnete ODA-orientierte Strategie integriert sind. Die regionale Abstimmung der RIE-Durchführung mit ODA-Strömen wäre dabei eine mögliche Strategie zur Identifikation, wann und wo RIE durchgeführt werden sollten. Weitere mögliche Strategien wären die Durchführung von RIE in Pilotprojekten oder das systematische Schließen von Evidenzlücken. Jedoch fanden wir während unserer Forschung keine spezielle Strategie für die Umsetzung von RIE in der EZ.
Auf ähnliche Weise weicht die regionale Verteilung von RIE in der deutschen EZ auch beträchtlich von der regionalen Verteilung der RIE in der globalen Evidenzbasis ab. Diese haben wir anhand des 3ie Development Evidence Portal (DEP) dargestellt.