Wird die verfügbare Evidenz in Deutschland derzeit genutzt?

In einem empirischen Forschungsprojekt hat das DEval den aktuellen Stand der rigorosen Wirkungsevaluierung (RIE) in der deutschen Entwicklungszusammenarbeit (EZ) analysiert. Dabei wurden beispielsweise folgende Fragen beantwortet: Wie vertraut sind EZ-Mitarbeitende in Deutschland mit rigoroser Evidenz? Wie viel rigorose Evidenz nutzen sie in ihrer täglichen Arbeit? Wie ist die Einstellung der Mitarbeitenden zur Nutzung von Evidenz?

Im Folgenden fassen wir unsere 4 zentralen Ergebnisse zusammen:

Hauptaussage 1: Das Wissen über Produkte, die auf rigoroser Evidenz basieren, ist unter Mitarbeitenden in der deutschen EZ eher begrenzt: die Befragten in unserer Evidenzumfrage gaben an, dass sie mit RIE, SR und EGM kaum vertraut sind.

Abbildung: Wissen über RIE, SR und EGM

RIE

7 %

13 %

23 %

31 %

4 %

3 %

14 %

22 %

29 %

26 %

6 %

EGM

1 %

8 %

14 %

23 %

48 %

5 %

Already conducted one or more myself

(2)

(3)

(4)

Never heard about this before

Don't know

Quelle: Evidenzumfrage; Frage: „Wie vertraut sind Sie mit RIE, SR, EGM?“; Skala 1-5, N=839.

Weitere Informationen

Wissen über RIE ist eine Voraussetzung dafür, rigorose Evidenz zu nutzen. Wenn die Beteiligten bereits praktische Erfahrung in der Durchführung von RIE, SR und EGM haben, bedeutet das, dass sie über fundierte Kenntnisse verfügen. Dies trifft auf nur sehr wenige der Befragten zu (RIE: 7% SR: 3% EGM: 1%). Etwa ein Viertel der Befragten gaben an, bisher nur einmal von diesen Evidenzprodukten gehört zu haben. Das bedeutet, dass sie nur über geringe Kenntnisse verfügen. Ein großer Anteil der Befragten hatte noch nie zuvor von diesen Produkten gehört (RIE: 31% SR: 26% EGM: 48%).

Hauptaussage 2: Selbst generierte, rigorose Evidenz wird in der deutschen EZ zwar in begrenztem Umfang genutzt, das Potenzial dieser selbst generierten RIE-Evidenz wird jedoch nicht vollständig ausgeschöpft.

Weitere Informationen

Innerhalb der EZ-Organisationen werden Lernerfahrungen, die aus selbst generierten RIE gewonnen werden, häufig intern mit anderen Projekten geteilt. Mitunter werden sie auch für die Erarbeitung von Folgeprojekten und für Anpassungen des laufenden Projekts eingesetzt. Die Ergebnisse werden oft im Rahmen der Rechenschaftspflicht, meist gegenüber dem BMZ, genutzt. Jedoch wird selbst generierte Evidenz aus RIE nicht für strategische Entscheidungsfindung eingesetzt.

„Man schaue sich die Strategien an, die sind voller normativer Thesen. Da ist aber nicht irgendwie gesagt, das hat sich bewehrt […] Da gibt es keine empirische Grundierung für solche Dinge. Also ich kenne kaum eine Strategie, die sagt: Wir haben tolle Erfahrungen gemacht, die sind belastbar, und deshalb machen wir da weiter. (Int_35)”

Was meinen wir mit „selbst generierter“ RIE-Evidenz?

Wir definieren selbst generierte, rigorose Evidenz als Erkenntnisse aus RIE, mit denen ein bestimmtes Projekt in der EZ evaluiert wurde und die in diesem Kontext genutzt werden.

Hauptaussage 3: Die globale RIE-Evidenzbasis wird nur selten genutzt, und in Projektdokumenten gibt es kaum Referenzen zur globalen Evidenz.

Weitere Informationen

Auf wissenschaftliche Quellen, und insbesondere rigorose Evidenz, wird in Projektdokumentationen kaum Bezug genommen.

In formellen Berichten, wie beispielsweise Fortschrittsberichten, wurden häufig Aussagen über die kausale Wirkung von Projekten getroffen, die entweder gar nicht oder nicht durch rigorose Evidenz gestützt wurden.

Was meinen wir mit „globaler“ Evidenzbasis?

Unter globaler Evidenzbasis verstehen wir rigorose Evaluierungen, die von anderen Projekten innerhalb der eigenen Organisation oder von anderen Organisationen auf globaler Ebene durchgeführt wurden, beispielsweise von Entwicklungspartnern oder anderen Geberländern.

Quelle: Evidenzumfrage; Frage: „Inwieweit stimmen Sie der folgenden Aussage zu? Um die Effektivität der EZ zu erhöhen, ist meiner Meinung nach die Nutzung von Evidenz grundsätzlich wünschenswert”; N=1.054; Skala 1-5. Evidenzumfrage; Frage: „Inwieweit stimmen Sie der folgenden Aussage zu? Für die Qualität meiner täglichen Arbeit wäre es nützlich, wenn ich wesentlich mehr Evidenz nutzen könnte”; N=907; Skala 1-5.

Hauptaussage 4: Obwohl rigorose Evidenz in der deutschen EZ wenig verwendet wird, haben EZ-Beschäftigte ein großes Interesse an der Nutzung von Evidenz und sind sehr positiv gegenüber RIE eingestellt.

Abbildung: Einstellung zur Nutzung von Evidenz

Weitere Informationen

Eine deutliche Mehrheit der Befragten stimmte (nachdrücklich) zu, dass der Einsatz von Evidenz entscheidend dafür ist, die EZ effektiver zu machen (94%). Des Weiteren gaben etwa 75% der EZ-Mitarbeitenden an, dass die Qualität ihrer Arbeit durch eine verstärkte Nutzung von Evidenz wesentlich verbessert werden würde. Das starke Interesse an Evidenznutzung besteht bei allen Organisationen und auch bei allen Funktionen innerhalb einer Organisation. Die Ergebnisse zeigen, dass EZ-Beschäftigte einen evidenzbasierten Ansatz für die Entwicklungszusammenarbeit fordern. Die mangelnde gegenwärtige Verankerung und Sichtbarkeit von rigoroser Evidenz in formellen Verfahrensabläufen deuten jedoch darauf hin, dass diese Forderung institutionell unzureichend berücksichtigt wird.