Does Germany currently make use of existing evidence?
In an empirical research project DEval analysed the current state of rigorous impact evaluation (RIE) in German development cooperation (GDC). Here we answer questions, such as: How familiar are employees in Germany with rigorous evidence? How much rigorous evidence do they use in their daily work? What is the attitude of employees towards using evidence?
Below, you find 4 key findings:
Key finding 1: Knowledge about products based on rigorous evidence is rather limited among GDC employees: respondents in our evidence survey indicated that they were barely familiar with rigorous impact evaluations (RIEs), systematic reviews (SRs) and evidence gap maps (EGMs).
Figure: Knowledge about RIE, SR and EGM
Source: evidence survey; Question: “How familiar are you with RIE, SR, EGM?”; Scale 1–5; N=839.
Weitere Informationen
Wissen über RIE ist eine Voraussetzung dafür, rigorose Evidenz zu nutzen. Wenn die Beteiligten bereits praktische Erfahrung in der Durchführung von RIE, SR und EGM haben, bedeutet das, dass sie über fundierte Kenntnisse verfügen. Dies trifft auf nur sehr wenige der Befragten zu (RIE: 7% SR: 3% EGM: 1%). Etwa ein Viertel der Befragten gaben an, bisher nur einmal von diesen Evidenzprodukten gehört zu haben. Das bedeutet, dass sie nur über geringe Kenntnisse verfügen. Ein großer Anteil der Befragten hatte noch nie zuvor von diesen Produkten gehört (RIE: 31% SR: 26% EGM: 48%).
Weitere Informationen
Innerhalb der EZ-Organisationen werden Lernerfahrungen, die aus selbst generierten RIE gewonnen werden, häufig intern mit anderen Projekten geteilt. Mitunter werden sie auch für die Erarbeitung von Folgeprojekten und für Anpassungen des laufenden Projekts eingesetzt. Die Ergebnisse werden oft im Rahmen der Rechenschaftspflicht, meist gegenüber dem BMZ, genutzt. Jedoch wird selbst generierte Evidenz aus RIE nicht für strategische Entscheidungsfindung eingesetzt.
„Man schaue sich die Strategien an, die sind voller normativer Thesen. Da ist aber nicht irgendwie gesagt, das hat sich bewehrt […] Da gibt es keine empirische Grundierung für solche Dinge. Also ich kenne kaum eine Strategie, die sagt: Wir haben tolle Erfahrungen gemacht, die sind belastbar, und deshalb machen wir da weiter. (Int_35)”
Was meinen wir mit „selbst generierter“ RIE-Evidenz?
Weitere Informationen
Auf wissenschaftliche Quellen, und insbesondere rigorose Evidenz, wird in Projektdokumentationen kaum Bezug genommen.
In formellen Berichten, wie beispielsweise Fortschrittsberichten, wurden häufig Aussagen über die kausale Wirkung von Projekten getroffen, die entweder gar nicht oder nicht durch rigorose Evidenz gestützt wurden.
Was meinen wir mit „globaler“ Evidenzbasis?
Key finding 4: Despite the limited use of rigorous evidence in GDC, GDC employees have a strong demand for and a very positive attitude towards using evidence.
Figure: Attitude towards evidence take-up
Weitere Informationen
Eine deutliche Mehrheit der Befragten stimmte (nachdrücklich) zu, dass der Einsatz von Evidenz entscheidend dafür ist, die EZ effektiver zu machen (94%). Des Weiteren gaben etwa 75% der EZ-Mitarbeiterenden an, dass die Qualität ihrer Arbeit durch eine verstärkte Nutzung von Evidenz wesentlich verbessert werden würde. Das starke Interesse an Evidenznutzung besteht bei allen Organisationen und auch bei allen Funktionen innerhalb einer Organisation. Die Ergebnisse zeigen, dass EZ-Beschäftigte einen evidenzbasierten Ansatz für die Entwicklungszusammenarbeit fordern. Die mangelnde gegenwärtige Verankerung und Sichtbarkeit von rigoroser Evidenz in formellen Verfahrensabläufen deuten jedoch darauf hin, dass diese Forderung institutionell unzureichend berücksichtigt wird.