Was haben wir untersucht und wie?

Für die Datenanalyse haben wir einen unabhängigen Doppelkodierungsansatz genutzt, und, für noch zuverlässigere Ergebnisse, im Tandem gearbeitet. Wir haben Codes gebündelt, Häufigkeiten untersucht und Muster herausgearbeitet, beispielsweise durch den Vergleich von Untergruppen.

Wir haben alle relevanten Stakeholder-Gruppen und entsprechenden Organisationen innerhalb der deutschen EZ abgebildet und diese Auswahl dann durch internationale RIE-Expert*innen ergänzt (siehe Abbildung). Zweitens haben wir eine gezielte Auswahl von Organisationen innerhalb jeder Stakeholder-Gruppe getroffen. Für jede dieser Gruppen bestand die Anforderung darin, dass sie von mindestens einer Organisation repräsentiert sein sollte. Zusätzlich wurde die Größe der Organisation und ihre Relevanz für die deutsche EZ berücksichtigt. Innerhalb dieser Organisationen haben wir Interviewpartner*innen ausgewählt, die möglichst viele, unterschiedliche Perspektiven und Themenfelder rund um RIE abdecken. Wir haben dadurch eine Diverse-Case-Methode in verschiedenen Schichten als Stichprobenstrategie verwendet (Seawright and Gerring, 2008). Insgesamt haben wir zwischen Juli 2019 und Februar 2021 fünfzig Interviews mit Interessenvertreter*innen aus sieben Untergruppen durchgeführt.

Institutionelle Zugehörigkeit der Befragten in der Evidenzumfrage

Quelle: Evidenzumfrage; Frage: „Wo arbeiten Sie aktuell hauptsächlich?" N=1.071. Die Anzahl der Befragten weicht von der Gesamtstichprobe ab, weil 15 Befragte die Umfrage vor Beantwortung dieser Frage abbrachen.

Die Datenanalyse umfasste deskriptive Statistiken sowie eine qualitative Inhaltsanalyse offener Antwortfelder.

Der Fragebogen wurde an die Evaluierungsabteilungen von 58 EZ-Organisationen verteilt. Dabei wurden sie gebeten, den Umfrage-Link an alle Kolleg*innen (außer an Verwaltungskräfte) weiterzuleiten. Die Daten wurden zwischen März 2021 und April 2021 erhoben. Insgesamt beteiligten sich 1.086 Befragte von mindestens 23 verschiedenen Organisationen an der Evidenzumfrage. Die Abbruchquote lag bei 39,9%. 653 Teilnehmende erreichten die letzte Seite der Umfrage. Aufgrund dieses Schneeballverfahrens wissen wir allerdings nicht genau, wie viele Personen unsere Einladung zur Teilnahme an der Evidenzumfrage erreicht hat. Daher war es nicht möglich, eine Rücklaufquote zu berechnen. Die folgenden Zahlen dienen dazu, die Anzahl der Mitarbeitenden pro Organisation und die Reichweite unser Evidenzumfrage richtig einzuordnen: das BMZ hat ca. 1.230 Mitarbeitende, die GIZ hat ca. 23.600 und die KfW Entwicklungsbank ca. 1.000 Mitarbeitende.

Unsere Analyse umfasste vier Schritte:

1. Vergleich deutscher ODA-Zahlungen mit der Evidenz aus 3ie‘s Development Evidence Portal (DEP): Wir haben bilaterale BMZ-Zahlungen mit der im 3ie DEP verfügbaren rigorosen Evidenz verglichen. Dieser Vergleich zeigt die sektorale Überschneidung der global verfügbaren rigorosen Evidenz und den deutschen ODA-Zahlungen.
2. Sichtung von 124 Projektdokumenten aus zufällig ausgewählten Projekten der GIZ und der KfW Entwicklungsbank hinsichtlich der Nutzung von Evidenz: Innerhalb des Sektors „Regierungsführung und Zivilgesellschaft” (governance and civil society) haben wir zufällig je fünf Projekte der GIZ und der KfW Entwicklungsbank für den Zeitraum 2014–18 ausgewählt. Das Ergebnis war eine Stichprobe von 124 Dokumenten, darunter beispielsweise Projektanträge und Projekt-Evaluierungsberichte. Wir haben alle Dokumente auf die Nutzung von wissenschaftlicher Evidenz und zwei der fünf Projekte zusätzlich auf nichtwissenschaftliche Quellen geprüft.
3. In ausgewählten Projekten haben wir geprüft, ob RIE-Evidenz verfügbar ist: Wir haben eine Schlagwortsuche durchgeführt, um für jedes der 10 Projekte nach 2014 veröffentlichte, thematisch passende RIE, SR und EGM zu finden und zu prüfen, ob die globale RIE-Evidenzbasis tatsächlich für diese konkreten Projekte relevant war. Zusätzlich haben wir die Abstracts derjenigen Studien geprüft, die uns potenziell besonders relevant für die ausgewählten Projekte erschienen.
4. Sichtung von Projektdokumenten für zwei zusätzliche Projekte der KfW Entwicklungsbank und der GIZ, wo RIE durchgeführt wurden: Wir haben zwei zusätzliche Projekte ausgewählt, in denen RIE durchgeführt worden waren. Für diese beiden Projekte haben wir alle 67 Projektdokumente dahingehend geprüft, ob diese RIE in den Dokumenten erwähnt wurden.