Zusammenfassung
Der folgende Beitrag fragt nach der Leistungsfähigkeit von experimentellen Wirkungsforschungen in der Praxis Früher Hilfen. Die Idee einer evidenzbasierten Neuausrichtung der Kinder- und Jugendhilfe auf Basis der Ergebnisse dieser Wirkungsforschung wird kritisiert. In einem abschließenden Abschnitt wird das Potenzial einer alternativen Form der Wirkungsforschung als Prozess-Mechanismus-Forschung mit Blick auf eine professionelle Praxis in der Kinder- und Jugendhilfe diskutiert.
Abstract
The article discusses the capacities of experimental impact research in the practice of early support systems or primary prevention. It criticizes the conception of evidence-based child and youth welfare services relying on results of such experimental research. In the final section, the potentials of an alternative form of impact research, such as process-mechanism research, are discussed with respect to professional practice in child and youth welfare.
This is a preview of subscription content, log in via an institution to check access.
Notes
So wollen etwa David Sackett et al. [6] unter der evidenzbasierten Medizin die Verknüpfung der besten verfügbaren externen Evidenz, das heißt der Ergebnisse von Experimentalforschungen mit individueller klinischer Expertise, verstanden wissen. Methodisch ist diese Forderung mit dem Problem verknüpft, dass damit genau jene interne Validität der Wirkungsaussagen infrage gestellt wird (siehe unten), deren Sicherstellung gerade die zentrale Stärke der randomisierten Experimentalforschung ist [7]. In der sozialwissenschaftlichen Debatte findet sich diesbezüglich häufig die eher pessimistische Position, dass das Verhältnis von „fidelity to the evidence base versus innovation“ eine nicht auflösbare „tensions inherent in evidence-based programmes“ darstelle ([8], S. 5).
Ob RCTs deswegen tatsächlich den „Goldstandard“ der Wirkungsforschung darstellen, ist gleichwohl strittig: Zumindest finden sich überzeugende methodische und methodologische Argumente dafür, dass sich neben RCTs eine Reihe weiterer Verfahren findet, die in einer validen Weise Kausalinferenzen beschreiben können [11].
Daher basieren RCTs auf mindestens zwei Messzeitpunkten: eine Messung vor der Maßnahme und eine nach der Maßnahme. Kann man mehr als zwei Messzeitpunkte heranziehen, ist es unter Umständen auch möglich, Wirkungsdynamiken und Verläufe sichtbar zu machen.
Der zentrale Grenzwertsatz lautet kurz gesagt, dass die Summen von stochastisch unabhängigen Zufallsvariablen annähernd normal verteilt sind.
Dies lässt sich gut am Beispiel des prominenten Elterntrainingsprogramms Tripple P (Positive Parental Program) zeigen. Dieses Programm ist sehr erfolgreich vermarktet und verbreitet worden. Eine Reihe von Studien mit mäßiger Qualität hat dabei große Hoffnung über die Leistungsfähigkeit dieses Programms geschürt. Die Kausalbeschreibungen einer hochwertigen randomisiert kontrollierten Experimentalstudie zeichnen ein anderes Bild [13]: Das Tripple-P-Programm, habe „keinerlei positive Wirkungen im Verhalten des Kindes ausgelöst, weder auf externalisierenden noch auf internalisierenden Verhaltensdimensionen“. Im Sozialverhalten der Kinder zeigte sich vielmehr „ein unerwünschter Effekt von Tripple P. Die Lehrpersonen beobachteten bei Kindern von Eltern, die an einem Kurs teilgenommen hatten, tendenziell eine Zunahme von nicht-aggressivem Problemverhalten, während bei den Kindern der Kontrollgruppe ein Rückgang wahrgenommen wurde“ ([13], S. 5). Die Kausalbeschreibung dieser Effekte erscheint allemal ausreichend, um Tripple P mit Skepsis zu begegnen.
Nancy Cartwright verweist auf den „familiar trade-off between internal and external validity. RCTs have high internal validity but the formal methodology puts severe constraints on the assumptions a target population must meet to justify exporting a conclusion from the test population to the target“ ([10], S. 11).
Diese Implikationen hängen nicht zuletzt mit dem sogenannten Black-Box-Problem zusammen [18], mit dem die Ergebnisse von Experimentalstudien konfrontiert sind: Sie geben Auskunft darüber, ob eine bestimmte Maßnahme wirkt, aber nicht darüber, warum diese wirkt.
Unter den artifiziellen Bedingungen von RCTs wird im Sinne der Therapietreue in der Regel auch die „Compliance“, das heißt das kooperative Verhalten des Patienten in Therapie, kontrolliert und sichergestellt. In der Praxis stellt die Sicherstellung von Compliance häufig ein größeres Problem dar, das zu Kompromissen (und das heißt auch zu „Verwässerungen“ des Interventionsprogramms) zwingt.
Selbst energische VertreterInnen einer „evidence-based practice“ konstatieren inzwischen, dass das Verhältnis „fidelity to the evidence base versus innovation“ eine der wesentlichen ungeklärten „tensions inherent in evidence-based programmes“ sei ([8], S. 5).
Dies hängt mit der erkenntnistheoretischen Einsicht zusammen, dass sich die Kinder- und Jugendhilfe auf menschliche Praktiken richtet, das heißt auf Gegenstände, die nicht nur – wie Naturereignisse – „Ursachen“ haben, sondern – als Handlungen – auf „Gründen“ basieren, die nur unter Berücksichtigung von Motiven und Gründen angemessen zu erfassen sind.
Covering-law-Theorien, teilweise auch als Subsumtionsmodelle der Erklärung beschrieben, basieren auf der Annahme gleichermaßen universeller und empirisch gehaltvoller allgemeiner Gesetzmäßigkeiten, wie sie etwa in der Naturwissenschaft formuliert werden. Mit Blick auf die Wirkungsforschung besteht die Covering-law-Annahme darin, dass Ereignis A mit Ereignis B durch ein allgemeines Gesetz verbunden ist, das die entsprechenden Ereignisse „deckt“ („to cover“). Das deduktiv-nomologische Programm der Sozialwissenschaften in der Tradition von Hempel-Oppenheim geht explizit oder implizit von der Existenz solcher Covering laws aus.
Mechanismen sind „complexes of interacting individuals, usually classified into specific social categories, which generate causal relationships between aggregate-level variables“ ([33], S. 59).
Literatur
Nationales Zentrum Frühe Hilfen (2009) Begriffsbestimmung „Frühe Hilfen“. http://www.fruehehilfen.de/wissen/fruehe-hilfen-grundlagen/begriffsbestimmung
Deutsches Institut für Urbanistik (2009) Bundesweite Bestandsaufnahme zu Kooperationsformen im Bereich Früher Hilfen. Ergebnisbericht der DIfU-Umfrage bei Jugend- und Gesundheitsämtern. Deutsches Institut für Urbanistik, Berlin
Otto H-U, Polutta A, Ziegler H (Hrsg) (2010) What Works – Welches Wissen braucht die Soziale Arbeit? Barbara Budrich, Opladen Farmington Hills i.E
Otto H-U, Polutta A, Ziegler H (2009) A second generation of evidence-based practice – reflexive professionalism and causal impact in social work. In: Otto H-U, Polutta A, Ziegler H (Hrsg) Evidence-based practice – modernising the knowledge base of social work? Barbara Budrich, Opladen Farmington Hills, S 245–252
Soydan H (2008) Towards the gold standard of impact research in social work – avoiding threats to validity. In: Otto H-U, Polutta A, Ziegler H (Hrsg) Evidence-based practice – modernising the knowledge base of social work? Barbara Budrich, Opladen Farmington Hills, S 111–137
Sackett D, Rosenberg W, Muir Gray J et al (1997) Was ist evidenzbasierte Medizin und was nicht? Munch Med Wochenschr 139:644–645
Farrington D (2003) Methodological quality standards for evaluation research. Ann Am Acad Pol Soc Sci 587:49–68
Nutley S, Homel P (2006) Delivering evidence-based policy and practice: lessons from the implementation of the UK Crime Reduction Programme. Evidence Policy 2:5–26
Tschuschke V (2005) Die Psychotherapie in Zeiten evidenzbasierter Medizin. Psychotherapeutenjournal 2:106–115
Sachverständigenrat für die Konzertierte Aktion im Gesundheitswesen (2003) Finanzierung, Nutzerorientierung und Qualität. Band I: Finanzierung und Nutzerorientierung. Band II: Qualität und Versorgungsstrukturen. Gutachten 2003. Kurzfassung, Bonn
Cartwright N (2007) Are RCTs the gold standard? BioSocieties 2:11–20
Shadish W, Cook T, Campbell D (2002) Experimental and quasi-experimental designs for generalized causal inference. Houghton-Mifflin, Boston
Eisner M, Ribeaud D (2008) Das Zürcher Interventions- und Präventionsprogramm an Schulen „zipps“ – Eine Zusammenfassung der zentralen Ergebnisse. Bundesamt für Gesundheit, Bern
Boruch R (1997) Randomized experiments for planning and evaluation: a practical guide. Sage, Thousand Oaks
LaLonde R (1986) Evaluation the econometric evaluations of training programs with experimental data. Am Econ Rev 76:604–620
Pignotti M, Thyer B (2009) Why randomized clinical trials are important and necessary to social work practice. In: Otto H-U, Polutta A, Ziegler H (Hrsg) Evidence-based practice – modernising the knowledge base of social work? Barbara Budrich, Opladen Farmington Hills, S 99–109
Campbell D, Stanley J (1963) Experimental and quasi-experimental designs for research. Rand McNally, Chicago
Howe KR (2004) A critique of experimentalism. Qualitative Inquiry 10:42–61
Otto H-U, Ziegler H (2008) The notion of causal impact in evidence-based social work. Res Soc Work Pract 18:273–277
Pawson R, Tilley N (2009) Realist evaluation. In: Otto H-U, Polutta A, Ziegler H (Hrsg) Evidence-based practice – modernising the knowledge base of social work? Barbara Budrich, Opladen Farmington Hills, S 151–180
Wissenschaftliche Beirat Psychotherapie (2009) Methodenpapier des Wissenschaftlichen Beirats Psychotherapie nach § 11 PsychThG. Verfahrensregeln zur Beurteilung der wissenschaftlichen Anerkennung von Methoden und Verfahren der Psychotherapie. Version 2.7. http://www.wbpsychotherapie.de/downloads/Methodenpapier2720090709.pdf
Chapman T, Hough M (1998) Evidence based practice: a guide to effective practice. Home Office, London
Lambert M, Ogles B (2004) The efficacy and effectiveness of psychotherapy. In: Lambert M (Hrsg) Bergin and Garfield’s handbook of psychotherapy and behavior change, 5. Aufl. John Wiley & Sons, New York, S 139–193
Wampold B (2001) The great psychotherapy debate. Models, methods and findings. Lawrence Erlbaum Associates, Mahwah
Albus St, Greschke H, Klingler B et al (2010) Wirkungsorientierte Jugendhilfe. Abschlussbericht der Evaluation des Bundesmodellprogramms „Qualifizierung der Hilfen zur Erziehung durch wirkungsorientierte Ausgestaltung der Leistungs-, Entgelt- und Qualitätsvereinbarungen nach §§ 78a ff SGB VIII. Waxmann, Münster
Hope T (2005) Pretend it doesn’t work: the „anti-social“ bias in the Maryland Scientific Methods Scale. Eur J Criminal Policy Research 11:275–296
Hammersley M (2009) What is evidence for evidence-based practice? In: Otto H-U, Polutta A, Ziegler H (Hrsg) Evidence-based practice – modernising the knowledge base of social work? Barbara Budrich, Opladen Farmington Hills, S 139–150
Pawson R, Tilley N (1997) Realistic evaluation. Sage, London
Berliner D (2002) Comment: Educational research: the hardest science of all. Educational Researcher 31:18–20
Böttcher W, Dicke JN, Ziegler H (2009) Erziehungswissenschaft, Bildungspolitik und Bildungspraxis. Anmerkungen zu einem schwierigen Verhältnis. In: Böttcher W, Dicke JN, Ziegler H (Hrsg) Evidenzbasierte Bildung. Wirkungsevaluation in Bildungspolitik und pädagogischer Praxis. Waxmann, Münster, S 7–21
Harré R, Madden E (1975) Causal powers. Blackwell, Oxford
Schmid M (2006) Die Logik mechanismischer Erklärungen. VS Verlag für Sozialwissenschaften, Wiesbaden
Steel D (2004) Social mechanisms and causal inference. Philos Soc Sci 34:55–78
Mackert J (2006) Ohnmächtiger Staat? Über die sozialen Mechanismen staatlichen Handelns. VS Verlag für Sozialwissenschaften, Wiesbaden
Interessenkonflikt
Der korrespondierende Autor gibt an, dass kein Interessenkonflikt besteht.
Author information
Authors and Affiliations
Corresponding author
Rights and permissions
About this article
Cite this article
Ziegler, H. Ist der experimentelle Goldstandard wirklich Gold wert für eine Evidenzbasierung der Praxis Früher Hilfen?. Bundesgesundheitsbl. 53, 1061–1066 (2010). https://doi.org/10.1007/s00103-010-1133-9
Published:
Issue Date:
DOI: https://doi.org/10.1007/s00103-010-1133-9