Randomisierte kontrollierte Studien in einer unvollkommenen Welt

Wie lässt sich die Wirksamkeit von Politikmaßnahmen bewerten, wenn die Menschen nicht „mitmachen“?

University of Reading, UK, and IZA, Germany

one-pager full article

Relevanz des Themas

Randomisierte kontrollierte Studien (Randomized Control Trials, RCTs) gewinnen als evidenzbasierte Methode zur Bewertung von Politikmaßnahmen zunehmend an Bedeutung. Häufig sind RCTs jedoch durch „unvollständige Compliance“ gekennzeichnet, da nicht alle Individuen, die nach dem Zufallsprinzip einer Maßnahme zugewiesen werden, der Aufforderung zur Teilnahme nachkommen. Dies könnte dazu führen, dass ein Maßnahmeneffekt nicht identifiziert werden kann oder sich die Ergebnisse nicht ohne weiteres auf die Grundgesamtheit übertragen lassen. Hilfreiche Informationen liefert dennoch die Schätzung sogenannter „Bounds“ (Grenzen), innerhalb derer sich die Wirksamkeit der Maßnahme bewegen kann.

Treatment-Effekt in unvollkommenem RCT nur partiell identifiziert

Wichtige Resultate

Pro

Methoden mit „partieller Identifikation“ sind leicht zu erstellen und einfach zu implementieren, um kausale Effekte in RCTs mit unvollständiger Compliance abzuschätzen.

Für die Politik ist insbesondere relevant, dass sich mit partiellen Identifikationsmethoden Aussagen über die Wirksamkeit von Maßnahmen auf die Grundgesamtheit treffen lassen.

Partielle Identifikation erfordert weniger strenge statistische Annahmen als alternative Ansätze.

Contra

Die partielle Identifikation liefert keinen einzelnen Schätzwert, sondern eine Bandbreite von Werten, die der Maßnahmeneffekt annehmen kann.

Die Bandbreite der möglichen Werte für den Maßnahmeneffekt kann so groß sein, dass sich nicht mehr feststellen lässt, ob der kausale Effekt einer Maßnahme positiv oder negativ ist.

Kernbotschaft des Autors

Randomisierte kontrollierte Studien, die Individuen zufällig Treatment- bzw. Kontrollgruppen zuordnen, zählen zu den wichtigsten Instrumenten für die Evaluation von Politikmaßnahmen. Unvollständige Compliance führt jedoch in vielen Fällen dazu, dass ein Vergleich der Durchschnittswerte von Treatment- und Kontrollgruppe keine verzerrungsfreien Rückschlüsse auf die Grundgesamtheit erlaubt und sich die Wirksamkeit der Politikmaßnahme daher nicht zuverlässig bewerten lässt. Stattdessen kann nur eine „partielle Identifikation“ möglicher Werte für den Maßnahmeneffekt vorgenommen werden, aus der sich trotzdem politikrelevante Informationen ableiten lassen. Im Vergleich zu alternativen Ansätzen ist diese Methode leicht zu implementieren und erfordert weniger Annahmen.

Full citation

Full citation

Data source(s)

Data type(s)

Method(s)

Countries