Relevanz des Themas
Nicht-experimentelle Evaluationen von Politikmaßnahmen vergleichen Maßnahmen-Teilnehmer mit Nicht-Teilnehmern. Dabei sind diese beiden Gruppen jedoch oft nicht zufällig zusammengestellt, was die Ergebnisse verfälschen kann. In Experimenten wird dieses Problem umgangen, indem Versuchs- und Kontrollgruppen nach dem Zufallsprinzip ausgelost werden. Auf diese Weise lassen sich kausale Wirkungen von Maßnahmen überzeugend belegen. Dennoch sind Experimente nicht notwendigerweise der Königsweg und müssen in jedem Fall mit großer Sorgfalt geplant und ausgewertet werden.
Wichtige Resultate
Pro
In Experimenten werden (Nicht-)Teilnehmer zufällig ausgewählt, was einen überzeugenden Nachweis kausaler Maßnahmeneffekte ermöglicht.
Politischen Entscheidungsträgern und anderen Stakeholdern sind experimentelle Methoden meist leicht zu erklären.
Experimente lassen sich in der Regel schwerer manipulieren als nicht-experimentelle Evaluationen.
Experimentelle Daten liefern Benchmark-Werte für die Untersuchung nicht-experimenteller Ansätze.
Contra
Die Auswertung von Experimenten kann dadurch erschwert werden, dass nicht alle zugewiesenen Personen an der Maßnahme teilnehmen bzw. (an ähnlichen Maßnahmen) teilnehmen, obwohl sie nicht ausgewählt wurden.
Wenn Teilnehmer ihre zufällige Auswahl für eine Maßnahme ablehnen können, wird die Generalisierbarkeit der Befunde verringert.
Um die Kontrollgruppe sinnvoll zu füllen, müssen Umfang oder Zielgruppe des Experiments womöglich ausgeweitet werden.
Wenn sich lokale Maßnahmenträger einer Teilnahme am Experiment entziehen, wird die Aussagekraft der Ergebnisse eingeschränkt.