Please select a page template in page properties.

Was haben wir untersucht und wie?

In einem empirischen Forschungsprojekt hat das DEval den aktuellen Stand von rigoroser Wirkungsevaluierung (RIE) und Evidenznutzung in der deutschen Entwicklungszusammenarbeit (EZ) untersucht. Erfahre mehr über die Forschungsfragen und Datenquellen, die wir dabei verwendet haben.

 

Forschungsfragen

  1. Wie ist der aktuelle Stand in der deutschen EZ hinsichtlich (a) der Initiierung von RIE und (b) der Nutzung von RIE-Evidenz?

  2. Welche Hindernisse existieren in der deutschen EZ für (a) die Initiierung einer RIE und (b) die Nutzung von RIE-Evidenz

  3. Welche potenziellen Lösungen gibt es, um Hindernisse in der deutschen EZ für (a) die Initiierung von RIE und (b) die Nutzung von RIE-Evidenz zu überwinden?

Interviews

Wir haben 50 Interviews in sieben Untergruppen mit (a) internationalen RIE-Expert*innen und (b) einer umfangreichen Gruppe von Interessenvertreter*innen mit RIE-Kenntnissen in der deutschen EZ durchgeführt.

Weitere Informationen

Für die Datenanalyse haben wir einen unabhängigen Doppelkodierungsansatz genutzt, und, für noch zuverlässigere Ergebnisse, im Tandem gearbeitet. Wir haben Codes gebündelt, Häufigkeiten untersucht und Muster herausgearbeitet, beispielsweise durch den Vergleich von Untergruppen.

Wir haben alle relevanten Stakeholder-Gruppen und entsprechenden Organisationen innerhalb der deutschen EZ abgebildet und diese Auswahl dann durch internationale RIE-Expert*innen ergänzt (siehe Abbildung). Zweitens haben wir eine gezielte Auswahl von Organisationen innerhalb jeder Stakeholder-Gruppe getroffen. Für jede dieser Gruppen bestand die Anforderung darin, dass sie von mindestens einer Organisation repräsentiert sein sollte. Zusätzlich wurde die Größe der Organisation und ihre Relevanz für die deutsche EZ berücksichtigt. Innerhalb dieser Organisationen haben wir Interviewpartner*innen ausgewählt, die möglichst viele, unterschiedliche Perspektiven und Themenfelder rund um RIE abdecken. Wir haben dadurch eine Diverse-Case-Methode in verschiedenen Schichten als Stichprobenstrategie verwendet (Seawright and Gerring, 2008). Insgesamt haben wir zwischen Juli 2019 und Februar 2021 fünfzig Interviews mit Interessenvertreter*innen aus sieben Untergruppen durchgeführt.

Bestandsaufnahme

Im Zuge einer Online-Bestandsaufnahme, bei der mittels Fragebogen alle seit 2014 unter Beteiligung des BMZ durchgeführten RIE ermittelt wurden, haben wir insgesamt 97 RIE gefunden. Der Fragebogen enthielt sowohl Fragen zu durchgeführten RIE (z.B. ihr Studiendesign) als auch über das Projekt, das durch die RIE evaluiert wurde.

Weitere Informationen

Wir haben den Fragebogen an die Evaluierungsabteilungen relevanter EZ-Organisationen wie BMZ, GIZ, KfW Entwicklungsbank, verschiedene zivilgesellschaftliche Organisationen, Stiftungen und mehrere Forschungsinstitute sowie private Beratungsunternehmen verschickt. Die Erhebung haben wir komplementiert, indem wir online zu RIE bei relevanten Organisationen recherchiert haben. In den meisten Fällen waren es Projektmanager*innen der Durchführungsorganisation, die den Fragebogen ausgefüllt haben. Die Datenerfassung fand zwischen Oktober 2020 und April 2021 statt.

Insgesamt wurden 142 RIE registriert, von denen 97 RIE die Einschlusskriterien erfüllten und mittels deskriptiver Statistiken analysiert wurden. Offen formulierte Antworten wurden mittels Inhaltsanalyse kodiert und gebündelt.

Obwohl unsere Bestandsabfrage die bisher umfangreichste Suche nach RIE in der deutschen EZ darstellt, handelt es sich bei den 97 identifizierten RIE wahrscheinlich nicht um die vollständige Anzahl der zwischen 2014 und 2020 in der EZ durchgeführten RIE. Erstens hat unsere Sekundärforschung 18 potenziell relevante RIE identifiziert, für die leider keine Informationen via Bestandsabfrage übermittelt wurden und für die wir auch auf sonstigen Wegen keine weitere Informationen ermitteln konnten. Zweitens deutet der große Aufwand, der erforderlich war, um die 97 RIE zu finden, darauf hin, dass weitere RIE existieren, von denen wir nichts wissen.

Registrierung von RIE

Wir bitten um Registrierung von rigorosen Wirkungsevaluierungen in der deutschen EZ unter https://s2survey.net/RIE_registry/

Evidenzumfrage

Die Evidenzumfrage richtete sich an alle Mitarbeitenden von deutschen EZ-Organisationen, die mit BMZ-Mitteln gefördert werden. 1.086 Mitarbeitende von mindestens 23 verschiedenen EZ-Organisationen beteiligten sich an unserer Evidenzumfrage und gaben Auskunft über ihre Kenntnis und Nutzung rigoroser Evidenz sowie ihre Einstellung gegenüber Evidenz.

Weitere Informationen

Institutionelle Zugehörigkeit der Befragten in der Evidenzumfrage

Quelle: Evidenzumfrage; Frage: „Wo arbeiten Sie aktuell hauptsächlich?" N=1.071. Die Anzahl der Befragten weicht von der Gesamtstichprobe ab, weil 15 Befragte die Umfrage vor Beantwortung dieser Frage abbrachen.

Die Datenanalyse umfasste deskriptive Statistiken sowie eine qualitative Inhaltsanalyse offener Antwortfelder.

Der Fragebogen wurde an die Evaluierungsabteilungen von 58 EZ-Organisationen verteilt. Dabei wurden sie gebeten, den Umfrage-Link an alle Kolleg*innen (außer an Verwaltungskräfte) weiterzuleiten. Die Daten wurden zwischen März 2021 und April 2021 erhoben. Insgesamt beteiligten sich 1.086 Befragte von mindestens 23 verschiedenen Organisationen an der Evidenzumfrage. Die Abbruchquote lag bei 39,9%. 653 Teilnehmende erreichten die letzte Seite der Umfrage. Aufgrund dieses Schneeballverfahrens wissen wir allerdings nicht genau, wie viele Personen unsere Einladung zur Teilnahme an der Evidenzumfrage erreicht hat. Daher war es nicht möglich, eine Rücklaufquote zu berechnen. Die folgenden Zahlen dienen dazu, die Anzahl der Mitarbeitenden pro Organisation und die Reichweite unser Evidenzumfrage richtig einzuordnen: das BMZ hat ca. 1.230 Mitarbeitende, die GIZ hat ca. 23.600 und die KfW Entwicklungsbank ca. 1.000 Mitarbeitende.

Analyse internationaler RIE-Erfahrungen

Um aus internationalen Erfahrungen zu lernen, haben wir eine Studie in Auftrag gegeben, inwiefern internationale Peers (wie z.B. FCDO, J-PAL oder Oxfam) RIE-Durchführung und Evidenznutzung bei sich institutionalisiert haben.

Weitere Informationen

Der Bericht identifiziert „Archetypen” in Organisationen, erfasst Best Practices sowie häufige Hürden und spricht Empfehlungen für die Institutionalisierung der Umsetzung von RIE und der Evidenznutzung aus.

Ein Konsortium der Beratungsunternehmen Scio und Sattva führte zwischen April 2020 und Dezember 2020 die Studie durch. Anhand der Kriterien (a) Ähnlichkeit mit deutschen EZ-Organisationen, (b) guter Ruf in Bezug auf RIE-Durchführung oder Evidenznutzung und (c) Lernpotenzial für die deutsche EZ, wählten wir die folgenden Institutionen für eine tiefer gehende Analyse aus: Asian Development Bank (ADB), Agence française de développement (AFD), FCDO, J-PAL, MCC, Oxfam, USAID und das What Works Network (WWN).

Die Datenerhebung basierte auf Interviews mit wichtigen Akteur*innen, gekoppelt mit Literaturrecherche und -analyse. Insgesamt wurden 29 semistrukturierte Interviews durchgeführt, die durchschnittlich eine Stunde dauerten. Für die Interviews und Datenanalyse wurde ein Theorie-Konzept zum Thema Institutionalisierung verwendet. Das Konzept erfasste unterschiedliche Faktoren, die potenziell die systematische Integration von RIE in eine Organisation beeinträchtigen (z.B. strategische Übereinstimmung und Grad der Zustimmung, Finanzmittel oder Ressourcen etc.).

Analyse des deutschen EZ-Portfolios und Dokumentenanalyse

Wir haben das Portfolio der deutschen Entwicklungszusammenarbeit (EZ) und offizielle Projektdokumente analysiert, um zu überprüfen, ob die globale RIE-Evidenzbasis für das deutsche EZ-Portfolio relevant ist und in welchem Umfang die globale RIE-Evidenzbasis in der EZ bereits eingesetzt worden ist.

Weitere Informationen

Unsere Analyse umfasste vier Schritte:

  1. Vergleich deutscher ODA-Zahlungen mit der Evidenz aus 3ie‘s Development Evidence Portal (DEP): Wir haben bilaterale BMZ-Zahlungen mit der im 3ie DEP verfügbaren rigorosen Evidenz verglichen. Dieser Vergleich zeigt die sektorale Überschneidung der global verfügbaren rigorosen Evidenz und den deutschen ODA-Zahlungen.
  2. Sichtung von 124 Projektdokumenten aus zufällig ausgewählten Projekten der GIZ und der KfW Entwicklungsbank hinsichtlich der Nutzung von Evidenz: Innerhalb des Sektors „Regierungsführung und Zivilgesellschaft” (governance and civil society) haben wir zufällig je fünf Projekte der GIZ und der KfW Entwicklungsbank für den Zeitraum 2014–18 ausgewählt. Das Ergebnis war eine Stichprobe von 124 Dokumenten, darunter beispielsweise Projektanträge und Projekt-Evaluierungsberichte. Wir haben alle Dokumente auf die Nutzung von wissenschaftlicher Evidenz und zwei der fünf Projekte zusätzlich auf nichtwissenschaftliche Quellen geprüft.
  3. In ausgewählten Projekten haben wir geprüft, ob RIE-Evidenz verfügbar ist: Wir haben eine Schlagwortsuche durchgeführt, um für jedes der 10 Projekte nach 2014 veröffentlichte, thematisch passende RIE, SR und EGM zu finden und zu prüfen, ob die globale RIE-Evidenzbasis tatsächlich für diese konkreten Projekte relevant war. Zusätzlich haben wir die Abstracts derjenigen Studien geprüft, die uns potenziell besonders relevant für die ausgewählten Projekte erschienen.
  4. Sichtung von Projektdokumenten für zwei zusätzliche Projekte der KfW Entwicklungsbank und der GIZ, wo RIE durchgeführt wurden: Wir haben zwei zusätzliche Projekte ausgewählt, in denen RIE durchgeführt worden waren. Für diese beiden Projekte haben wir alle 67 Projektdokumente dahingehend geprüft, ob diese RIE in den Dokumenten erwähnt wurden.

Literaturrecherche und weitere Dokumente

Der Rechercheprozess wurde von einer Untersuchung der wissenschaftlichen Literatur und weiterer Sekundärquellen begleitet, darunter befinden sich Leitfäden zur Wirkungsevaluierung, der RIE-Bericht der GIZ von 2019, Forschungsberichte, Hauptgutachten (flagship reports) und Regierungsdokumente.

Weitere Informationen

  • Leitfäden zur Wirkungsevaluierung: Wir haben über ein Dutzend offizielle Leitfäden von Organisationen der internationalen Entwicklungszusammenarbeit, die Kriterien für die Durchführung von RIE festlegen, identifiziert und überprüft.
  • RIE-Bericht der GIZ: Florian et al. (2019) veröffentlichten eine interne Überprüfung hinsichtlich RIE im Jahr 2019. In diesem Bericht wurden zwischen 2014 und 2018 innerhalb der GIZ durchgeführte RIE geprüft und die Bedingungen beschrieben, unter denen sich RIE als für die GIZ besonders nützlich erwiesen haben.
  • Forschungsberichte und Hauptgutachten: Wir haben Erkenntnisse zu Themen wie der Identifikation relevanter Evidenz, Nutzung von Evidenz, Erfahrungen mit RIE in der EZ, Forschungsethik und Verhaltensforschung mit einbezogen.
  • Regierungsdokumente: Um die Vergabeverfahren zwischen Durchführungsorganisationen (DO) und BMZ zu analysieren (siehe Box), haben wir offizielle BMZ-Leitlinien geprüft. Der Zweck der Analyse bestand darin, formelle Anforderungen und Optionen bezüglich der Einführung von RIE und der Nutzung von Evidenz bei der Planung und Umsetzung bilateraler Projekte zu prüfen.
In Kürze: Verfahren der deutschen EZ

Für die Planung und Durchführung bilateraler Projekte bestehen verbindliche Verfahrensregeln, die 2017 durch die Gemeinsame Verfahrensreform (GVR) überarbeitet wurden. Sie sind in internen Leitfäden dokumentiert. In diesen Verfahrensregeln ist festgelegt, welche Schritte vom BMZ und der jeweiligen DO bei der Durchführung eines Projekts zu befolgen sind.

nach oben