What did we analyse and how?

Für die Datenanalyse nutzten wir einen unabhängigen Doppelkodierungsansatz, sowie einen Tandem-Aufbau für noch höhere Zuverlässigkeit. Wir bündelten Codes, untersuchten Häufigkeiten und arbeiteten Muster heraus, beispielsweise indem wir Untergruppen verglichen

Wir bildeten alle relevanten Stakeholder-Gruppen und entsprechenden Organisationen innerhalb der deutschen EZ ab und ergänzten diese Auswahl dann durch internationale RIE-Expert*innen (siehe Abbildung). Zweitens trafen wir eine gezielte Auswahl von Organisationen innerhalb jeder Stakeholder-Gruppe. Für jede dieser Gruppen bestand die Anforderung darin, dass sie von mindestens einer Organisation repräsentiert war. Zusätzlich wurde die Größe der Organisation und ihre Relevanz für die deutsche EZ berücksichtigt. Innerhalb dieser Organisationen wählten wir Interviewpartner*innen aus, die möglichst viele, unterschiedliche Perspektiven und Themenfelder rund um RIE abdecken. So folgten wir einer Diverse-Case-Methode in verschiedenen Schichten als Stichprobenstrategie (Seawright and Gerring, 2008). Insgesamt führten wir zwischen Juli 2019 und Februar 2021 fünfzig Interviews mit Interessenvertreter*innen aus sieben Untergruppen durch.

Institutionelle Zugehörigkeit der Befragten in der Evidenzumfrage

Quelle: Evidenzumfrage; Frage: „Wo arbeiten Sie aktuell hauptsächlich?" N=1.071. Die Anzahl der Befragten weicht von der Gesamtstichprobe ab, weil 15 Befragte die Umfrage vor Beantwortung dieser Frage abbrachen.

Die Datenanalyse umfasste deskriptive Statistiken sowie eine qualitative Inhaltsanalyse offener Antwortfelder.

Der Fragebogen wurde an die Evaluierungsabteilungen von 58 EZ-Organisationen verteilt. Dabei wurden sie gebeten, den Umfrage-Link an alle Kolleg*innen (außer an Verwaltungskräfte) weiterzuleiten. Die Daten wurden zwischen März 2021 und April 2021 erhoben. Insgesamt beteiligten sich 1.086 Befragte von mindestens 23 verschiedenen Organisationen an der Evidenzumfrage. Die Abbruchquote lag bei 39,9%. 653 Teilnehmende erreichten die letzte Seite der Umfrage. Aufgrund des Schneeballverfahrens wissen wir nicht genau, wie viele Personen unsere Einladung zur Teilnahme an der Evidenzumfrage erreicht hat. Daher ist es nicht möglich, eine Rücklaufquote zu berechnen. Die folgenden Zahlen dienen dazu, die Anzahl der Mitarbeitenden pro Organisation und die Reichweite unser Evidenzumfrage richtig einzuordnen: das BMZ hat ca. 1.230 Mitarbeitende, die GIZ hat ca. 23.600 und die KfW Entwicklungsbank ca. 1.000 Mitarbeitende.

Unsere Analyse umfasste vier Schritte:

1. Vergleich deutscher ODA-Zahlungen mit der Evidenz aus 3ie‘s Development Evidence Portal (DEP): Wir ordneten bilaterale BMZ-Zahlungen des 3ie DEP verfügbaren rigorosen Evidenz zu. Dieser Vergleich zeigt die sektorale Überschneidung der global verfügbaren rigorosen Evidenz und den deutschen ODA-Zahlungen.
2. Sichtung von 124 Projektdokumenten aus zufällig ausgewählten Projekten der GIZ und der KfW Entwicklungsbank hinsichtlich der Nutzung von Evidenz: Innerhalb des Sektors „Regierungsführung und Zivilgesellschaft” (governance and civil society) wählten wir zufällig je fünf Projekte der GIZ und der KfW Entwicklungsbank für den Zeitraum 2014–18 aus. Das Ergebnis war eine Stichprobe von 124 Dokumenten, darunter beispielsweise Projektanträge und Projekt-Evaluierungsberichte. Wir prüften alle Dokumente auf die Nutzung von wissenschaftlicher Evidenz und zwei der fünf Projekte zusätzlich auf nichtwissenschaftliche Quellen.
3. In ausgewählten Projekten prüften wir, ob RIE-Evidenz verfügbar ist: Wir führten eine Schlagwortsuche durch, um für jedes der 10 Projekte nach 2014 veröffentlichte, thematisch passende RIE, SR und EGM zu finden und zu prüfen, ob die globale RIE-Evidenzbasis tatsächlich für diese konkreten Projekte relevant war. Zusätzlich prüften wir die Abstracts derjenigen Studien, die uns potenziell besonders relevant für die ausgewählten Projekte erschienen.
4. Sichtung von Projektdokumenten für zwei zusätzliche Projekte der KfW Entwicklungsbank und der GIZ, wo RIE durchgeführt worden waren: Wir wählten zwei zusätzliche Projekte aus, in denen RIE durchgeführt worden waren. Für diese beiden Projekte prüften wir alle 67 Projektdokumente dahingehend, ob diese RIE in den Dokumenten erwähnt wurden.