Does Germany currently generate RIE evidence?
In an empirical research project DEval analysed the current state of rigorous impact evaluation (RIE) in German development cooperation (GDC). Here we answer questions, such as: How many RIEs have actors in GDC conducted? What designs were used in the RIEs? Is RIE initiation sectorally and regionally aligned with German development funding?
Below, you find 5 key findings:
Key finding 1: We found a total of 97 RIEs since 2014 – compared to the large volume of German ODA there is still substantial potential for conducting more RIEs (and more systematically) to increase the effectiveness of GDC.
Weitere Informationen
Insgesamt identifizierten wir 97 RIE, die unsere Kriterien erfüllten. 47 dieser RIE wurden von den Befragten als vollständig durchgeführt angegeben und 50 RIE als laufend oder bewilligt (unklar ist, ob alle geplanten RIE vollständig durchgeführt werden). Unter Berücksichtigung des zunehmenden Interesses an RIE unter Interessenvertreter*innen in der EZ erwarten wir auch, dass sich die Anzahl der RIE in Zukunft erhöhen wird. Jedoch muss die Gesamtzahl mit Vorsicht interpretiert werden angesichts der Tatsache, dass eine beträchtliche Anzahl dieser RIE innerhalb einzelner großer Projekte stattfanden und dass wir uns auf selbstständige Angaben über methodische Rigorosität stützten.
23 RIE wurden als Teil von zwei Globalvorhaben der GIZ im Bereich Ländliche Entwicklung durchgeführt. Innerhalb dieser Globalvorhaben wurden die gleichen oder ähnliche Interventionen länderübergreifend rigoros evaluiert. Darüber hinaus wurde ein von einer deutschen zivilgesellschaftlichen Organisation (ZGO) teilfinanziertes Entrepreneurship-Training in verschiedenen Kontexten und zu unterschiedlichen Zeitpunkten mehrfach rigoros evaluiert. Auf dieses Programm entfallen 13 RIE.
Key finding 2: GIZ, KfW Development Bank and German civil society organisations (CSOs) have all been involved in RIEs (for example as project implementer or by financing the RIE).
Figure: RIE involvement by organisation
Weitere Informationen
Unterschiedliche Interessenvertreter*innen haben innerhalb einer RIE oft unterschiedliche Funktionen, zum Beispiel die Durchführung des Projekts oder der Evaluation, wozu auch die Datenerhebung und -analyse gehört. Die von uns Befragten gaben an, dass ein typisches Stakeholder-Setup einer RIE eine DO oder ZGO umfasst, die üblicherweise das Projekt durchführt, und zwar in Zusammenarbeit mit ihren lokalen Implementierungspartner*innen und einer Forschungseinrichtung oder einem Beratungsunternehmen, das die Wirkungsevaluierung durchführt oder unterstützt. Lokale Interessenvertreter*innen wirken typischerweise in einer dieser drei Formen mit: 1) Regierungsstellen in Partnerländern sind als Koordinator oder Moderator beteiligt, 2) lokale ZGO oder öffentliche Einrichtungen beteiligen sich an der Projektumsetzung, und 3) lokale, privatwirtschaftliche Unternehmen nehmen die Datenerhebung vor. Bei etwa 70% der RIE wurde berichtet, dass mindestens eine Organisation des Partnerlandes an der Umsetzung des Entwicklungsprojekts oder an der (das Projekt evaluierenden) RIE beteiligt waren. Entsprechend liegt der Anteil von RIE, für die keine Partnerbeteiligung angegeben wurde, bei ungefähr 30%.
In dem beobachteten Zeitraum hat das DEval vier RIE durchgeführt (in der Grafik wird das DEval zu den „Forschungseinrichtungen” gezählt).
Key finding 3: Most of the 97 RIEs were self-reported to be RCTs or to use a difference-in-differences (DiD) design, while other quasi-experimental designs were rarely used.
Weitere Informationen
Die deutsche EZ verwendet andere quasi-experimentelle Designs kaum oder gar nicht, obwohl es mit diesen Designs oft möglich ist, RIE kostengünstiger umzusetzen als mit RCT (beispielsweise, wenn existierende Daten genutzt werden können). Die Nutzung von DvD in der deutschen EZ ist auffallend hoch im Vergleich zur globalen RIE-Evidenzbasis, die wir anhand des 3ie Development Evidence Portal (DEP) schätzten. RIE im 3ie DEP nutzen weniger DvD (17%) und mehr Fixed Effects (16%) sowie andere quasi-experimentelle Designs. Der Anteil von RCT im 3ie DEP beträgt 54% (3ie, 2021).
Von den RIE in unserer Bestandsaufnahme berichten 61%, dass ihre RIE mit qualitativer Forschung verbunden war.
Key finding 4: The sectoral distribution is not aligned with the distribution of German ODA flows or the global evidence base. This adds to our impression that RIE initiation in GDC does not yet follow an overarching strategy or systematic approach.
Figure: Sectoral comparison between stocktaking RIEs, German ODA flows and 3ie impact evaluations
Weitere Informationen
Die sektorale Verteilung von RIE, die in der deutschen EZ durchgeführt wurden, spiegelt nicht die Verteilung der deutschen ODA-Zahlungen wider. Zum Beispiel entfallen 17% der bilateralen ODA-Auszahlungen des BMZ zwischen 2014 und 2018 auf den Sektor „Staat und Zivilgesellschaft“ - ein wesentlich größerer Anteil als die 6% in diesem Sektor in der deutschen EZ durchgeführten RIE.
Es mag einige Unterschiede zwischen den Sektoren geben, hinsichtlich dessen, wie gut RIE im Durchschnitt durchzuführen sind. Jedoch stimmten die RIE-Expert*innen in unseren Interviews darin überein, dass es letztlich keine Frage des Sektors ist, ob eine RIE umgesetzt werden kann oder nicht (Quelle: Interviews). Vielmehr kann dies nur individuell auf Projektbasis analysiert und entschieden werden. RIE können in allen Sektoren durchgeführt werden – beispielsweise dokumentierten Funk et al. (2018) RIE, die durch GIZ und der KfW Entwicklungsbank in „Governance“- Projekten durchgeführt wurden, obwohl dies ein Sektor ist, der manchmal als schwierig für die Umsetzung von RIE gilt.
Ganz ähnlich weicht die sektorale Verteilung von RIE in der deutschen EZ beträchtlich von der Verteilung der RIE in der globalen Evidenzbasis ab. (Als Schätzung der globalen Evidenzbasis zogen wir das 3ie Development Evidence Portal (DEP) heran.)
Key finding 5: The regional distribution is not aligned with the distribution of German ODA flows or the global evidence base. Again, this adds to our impression that RIE initiation in GDC does not yet follow an overarching strategy or systematic approach.
Figure: Comparison of regional distribution between stocktaking RIEs, ODA flows and 3ie impact evaluations
Weitere Informationen
Sub-Sahara Afrika (SSA) ist diejenige Region, in der die RIE unserer Bestandsaufnahme bei weitem am häufigsten durchgeführt wurden (71). Die Länder, in denen RIE unserer Bestandsaufnahme am häufigsten durchgeführt wurden, sind Uganda (13), Äthiopien (6), Malawi (5) und Sambia (5).
Die RIE-Anteile stimmen nicht mit den Anteilen der deutschen ODA-Ströme überein. Obwohl beispielsweise SSA einen Anteil von 71% der RIE innerhalb der deutschen EZ hat, erhält die Region nur 30% der deutschen ODA. Eine mögliche Erklärung besteht darin, dass RIE oft von motivierten Einzelpersonen initiiert werden und nicht in eine übergeordnete ODA-orientierte Strategie integriert sind. Die regionale Abstimmung der RIE-Durchführung mit ODA-Strömen wäre dabei eine mögliche Strategie zur Identifikation, wann und wo RIE durchgeführt werden sollten. Weitere mögliche Strategien wären die Durchführung von RIE in Pilotprojekten oder das systematische Schließen von Evidenzlücken. Jedoch fanden wir während unserer Forschung keine spezielle Strategie für die Umsetzung von RIE in der EZ.
Auf ähnliche Weise weicht die regionale Verteilung von RIE in der deutschen EZ auch beträchtlich von der regionalen Verteilung der RIE in der globalen Evidenzbasis ab. Diese haben wir anhand des 3ie Development Evidence Portal (DEP) dargestellt.