Was ist rigorose Wirkungsevaluierung (RIE)?

Kurz gesagt, ist RIE ein Evaluierungsansatz, der Kontroll- oder Vergleichsgruppen nutzt, um zu evaluieren, ob eine Intervention funktioniert oder nicht. Aber werden wir doch etwas genauer:

RIE umfasst eine Reihe verschiedener Evaluierungsdesigns (experimentelle und quasi-experimentelle Designs). Diese Designs ermöglichen es, die Veränderung einer betreffenden Zielvariable (z.B. Haushaltseinkommen) kausal einer spezifischen Maßnahme (z.B. einem Mikrokredit) zuzuordnen. Dazu muss man das tatsächliche Geschehen mit der so genannten „kontrafaktischen Situation” vergleichen.

In unserem Beispiel könnte ein solcher kontrafaktischer Vergleich bedeuten, die Einkommen von Haushalten, die Mikrokredite erhalten haben, mit den Einkommen der exakt selben Haushalte zu vergleichen, die keine Mikrokredite erhalten haben. Ohne diese kontrafaktische Situation zu kennen, lässt sich nicht mit Gewissheit sagen, ob die beobachtete Wirkung durch die Intervention verursacht wurde oder nicht doch durch andere Faktoren. Wir wissen dann beispielsweise nicht, ob sich das Haushaltseinkommen aufgrund der Mikrokredite erhöht hat oder weil gleichzeitig die lokale Infrastruktur verbessert wurde.

Natürlich ist es logisch unmöglich, dieselben Haushalte einmal mit und einmal ohne den Erhalt der Mikrokredite zu beobachten. Deshalb nähern wir uns dieser kontrafaktischen Situation an, in dem wir eine Kontroll- oder Vergleichsgruppe verwenden. Diese Gruppe wird jeweils so konstruiert, dass sie der Interventionsgruppe so ähnlich wie möglich ist. Um eine solche Gruppe zu konstruieren, kommen dann experimentelle und quasi-experimentelle Designs zum Einsatz.

In einem experimentellen Design, auch randomisierte kontrollierte Studie (engl. randomised controlled trial, Kurz: RCT) genannt, werden die Beobachtungseinheiten einer Population (z.B. Haushalte) nach dem Zufallsprinzip zwei Gruppen zugeteilt: (1) der Interventionsgruppe, mit der die Intervention durchgeführt wird, oder (2) der Kontrollgruppe, die keine Intervention erhält.

Die randomisierte Zuteilung einer ausreichend großen Anzahl von Beobachtungseinheiten (z.B. Haushalten) stellt sicher, dass die zwei Gruppen hinsichtlich ihrer beobachtbaren und nicht-beobachtbaren Merkmale vor der Intervention identisch sind. Die Gruppen unterscheiden sich also nur darin, ob sie die Intervention erhalten haben oder nicht. Jegliche Differenz zwischen den Gruppen, die nach der Intervention auftritt, ist dadurch eindeutig der Intervention zuzuordnen.

Quasi-experimentelle Verfahren wenden bestimmte statistische Methoden an, um eine Vergleichsgruppe zu bilden. Sie umfassen Regressions-Diskontinuitäts-Designs, verschiedene Matchingverfahren, Differenz-von-Differenzen-Schätzung, unterbrochenes Zeitreihendesign, den Instrumentvariablen-Ansatz und Fixed-Effects-Modelle. Quasi-experimentelle Designs können oftmals auch noch dann angewendet werden, wenn die Intervention bereits durchgeführt wurde. RCTs hingegen müssen schon vor dem Start der Intervention vorbereitet werden.

Aktuelle Diskussionen in der Evaluationsliteratur betonen, dass es nicht nur wichtig ist zu erkennen, ob eine Intervention eine Wirkung hat, sondern auch zu bestimmen, wie diese Wirkung erzielt wird und unter welchen Umständen die Wirkung eintritt (der so genannte Kausalmechanismus, der die Wirkung verursacht; eine Übersicht findet sich bei Schmitt (2020)). Daher sind RIE häufig am aufschlussreichsten, wenn sie theoriebasiert sind und mit qualitativen Komponenten kombiniert werden (White, 2009).

Systematische Reviews (engl. Systematic review, kurz: SR) und Evidenzkarten (engl. evidence gap maps, kurz: EGM) basieren hauptsächlich auf Studien, die experimentelle oder quasi-experimentelle Methoden anwenden. Sie werden deshalb hier (SR) und hier (EGM) erklärt.

Eine kurze Einführung in RIE gibt es in unserem Video: