Zusammenfassung
Die traditionelle Formulierung der Evaluierungsfrage ist: In welchem Ausmaß ist das Programm bei der Erreichung seiner Ziele erfolgreich? Variationen sind möglich: Erreicht Programm A die gemeinsamen Ziele besser als Programm B? Wie gut erzielt das Programm die Ergebnisse X, Y und Z mit den Gruppen F, G und H? Welche Komponenten des Programms (R, S oder T) sind erfolgreicher? Aber die grundlegende Vorstellung ist die gleiche: Es gibt Ziele; es gibt eine geplante Tätigkeit (oder mehrere geplante Tätigkeiten), die auf die Erreichung jener Ziele gerichtet ist; es gibt eine Messung des Grades, in dem die Ziele erreicht werden. Bei der Evaluierung gibt es auch die Erwartung, daß Kontrollen aufgestellt sind, so daß der Forscher bestimmen kann, ob es das Programm war, das zur Erreichung der Ziele geführt hat und nicht irgendwelche äußeren Faktoren (wie z. B. das Reiferwerden der Beteiligten, ein wirtschaftlicher Aufschwung usw.). Das Problem der Gestaltung der Untersuchung — wie Kontrollen bei der Forschung über ein Handlungsprogramm eingerichtet werden können — ist das Thema des nächsten Kapitels.
This is a preview of subscription content, log in via an institution.
Buying options
Tax calculation will be finalised at checkout
Purchases are for personal use only
Learn about institutional subscriptionsPreview
Unable to display preview. Download preview PDF.
Anmerkungen
Downs vertritt die Ansicht, daß das Ausmaß der angewandten Forschung wirtschaftlich gerechtfertigt werden sollte durch den Informationswert, den sie für den Entscheidungsprozeß hat. Genau wie andere Forscher können Evaluierende von der Problematik fasziniert werden und mehr Forschung betreiben als das Programm benötigt. Aber er betont auch den Gesichtspunkt, daß die Abnehmer häufig eine Neudefinition des Problems und einen Vorschlag für alternative Ansätze brauchen (Downs, 1965). Viel alltäglicher als zu viel Geld auszugeben ist natürlich der Versuch, Evaluierung mit Mitteln durchzuführen, die in bezug auf den Umfang und die Genauigkeit der erwarteten Ergebnisse bei weitem unzureichend sind.
Eine nützliche Diskussion findet sich in Ferman (1969).
Ein gutes Beispiel ist B. J. Winer (1962). Chapin, Cochran, Cox, Edwards, Fisher, Kirk und Lindquist haben neben einigen anderen brauchbare Lehrbücher über die Planung von Experimenten geschrieben. Einige davon sind im dritten Teil der Bibliographie aufgeführt.
Luchterhand (1967), Likert und Lippitt (1953), Weinberger (1969).
Diese Faustregel gilt unabhängig davon, ob Evaluierung von einem internen Evaluierungsteam oder aber von einer externen Forschungsorganisation durchgeführt wird. Beide sollten der Entscheidungsebene, auf die sich ihre Arbeit bezieht, Bericht erstatten. Die Externen haben wahrscheinlich größere Möglichkeiten, die Hierarchie der Organisation zu umgehen und an einem geeigneten Ort Gehör zu finden, aber auch sie werden durch eine unzweckmäßige Plazierung behindert werden.
Dieser Punkt wird in Likert und Lippitt (1953) diskutiert.
Persönlicher Brief von David J. Kallen, 10. Januar 1966.
Vgl. Cyril S. Beishaw (1966), wo eine Situation geschildert wird, in der dies der Fall war. Er empfiehlt jedoch,von einem theoretischen Rahmen auszugehen,und schlägt eine Reihe möglicher Erfolgskriterien für technische Hilfsprogramme vor, wie z. B. eine Ausweitung der Produktion auf andere Güter oder eine erhöhte Arbeitsteilung. Er bietet eine näherungsweise Zielfestlegung an, die nach und nach von anderen Forschern, Praktikern und Wissenschaftlern modifiziert werden kann.
Andrew C. Fleck, Jr. (1963) empfiehlt, daß sich der Evaluierende intime Kenntnisse der Organisation aneignet, insbesondere im Hinblick auf die Priorität kurzfristiger Stabilität gegenüber langfristigem Überleben.
R. E. Stake (1967) diskutiert die Verantwortung der Evaluierenden, die sich anbietenden Ziele auch zu evaluieren.
Dies präzisiert zwar die Frage, löst sie aber nicht. Wieviel besser muß ein Programm sein, bevor es als erfolgreich angesehen wird? Statistisch signifikante Unterschiede bedeuten nicht notwendigerweise substantielle Signifikanz. Vielleicht wirft eine Kosten-Nutzen-Analyse die sinnvollste Frage auf: Wieviel kostet jede gegebene Menge an Verbesserung? (Carol H. Weiss, 1966)
Stake (1967; 527, 536-538) schlägt Vergleiche mit absoluten Maßstäben, mit anderen Programmen und mit Expertenmeinungen für die Beurteilung des Erfolges vor.
Hemphill (1969) betrachtet es als Aufgabe der reinen Forscher“, bessere Maße und bessere Konzepte zu entwickeln, die bei der Evaluierung benutzt werden können.
Es gibt eine ganze Sammlung von Forschungen über die Ineffektivität von Beratungs-und Gruppentherapieprogrammen für straffällig gewordene und Gefängnisinsassen; von denen einige dieses Problem zu bewältigen versuchen. Siehe z. B. Meyer et al. (1965), Miller (1962), Weeks (1958), Powers und Widmer (1951), McCord und McCord (1959), Kassebaum et al. (1971), Berleman und Steinburn (1967), Caplan (1968).
Den entgegengesetzten Standpunkt, nämlich daß die Messung einer äußeren Verhaltensänderung ohne die Kenntnisse der inneren psychischen Variablen unvollständig ist, wird von Leonard A. Kogan und Ann W. Shyne (1966) vertreten.
Vgl. McIntyre und Nelson (1969). Sie empfehlen, daß Expertenurteile über Lehrmaterial durch eine Feldevaluierung der Wirkungen des Materials in tatsächlichen Situationen ergänzt werden sollte. Ein interessanter Gebrauch von Expertenurteilen in einem Feld, wo Verhaltensdaten schwer zu erhalten sind, sind medizinische Untersuchungen über die Leistung am Arbeitsplatz. Siehe Morehead (1967).
Untersuchungen von Programmen zur kompensatorischen Erziehung kommen zu einem „universalen“ Ergebnis: Ungeachtet der Art des Programms, seiner Dauer oder der tatsächlichen Resultate sind die Eltern begeistert. McDill et al. (1969), auch Campbell (1969).
Cumming und Cumming (1957). Das Sechs-Monate-Programm bewirkte praktisch keine Änderung in der Einstellung der Bevölkerung gegenüber psychischen Krankheiten oder gegenüber psychisch Kranken.
Sogar wenn das Programm klar beschrieben und definiert worden ist, vermag der Evaluierende vielleicht keine präzisen Angaben über Kausalität zu machen. Jedoch wird er mindestens wissen, wo er nach Effekten suchen muß.
Coleman weist darauf hin, daß zwischen dem Input, so wie er geplant ist und dem, was die Betroffenen tatsächlich erreicht, oft ein beträchtlicher Unterschied besteht. Dieser Verlust auf dem Wege bis zu dem einzelnen Schüler ist eine der erklärenden Variablen bei der Analyse der Effektivität von Bildungsprogrammen (Coleman, 1969).
Hyman und Wright (1967; 755-756). Auch sie warnen vor der Untersuchung des Einflusses von Programmvariablen, die durch das Programm nicht modifiziert werden können. Die Aufgabe des Evaluierenden ist es, die Effekte von Komponenten, die manipulierbar sind, zu identifizieren.
Vgl. Stake (1967), der eine andere Einteilung verwendet. Er spricht von Antezedenzen, Transaktionen und Ergebnissen. Seine „Transaktionen“ haben vieles mit dem gemeinsam, was wir intervenierende Programmvariablen nennen.
Katz (1964) diskutiert z. B. die Bedeutung von Programmvariablen für die intellektuelle Leistung der Schwarzen in Schulen ohne Rassentrennung — z. B. soziale Ablehnung und Isolation, Angst vor Konkurrenz und Wahrnehmung von Drohungen. In allgemeineren Begriffen stellt M. C. Wittrock (1969) fest, daß es wichtig ist, die Lernumgebung und die intellektuellen und sozialen Prozesse der Lernenden ebenso wie ihre eigentlichen Lernerfolge zu messen.
Freeman und Sherwood (1965) geben zwei weitere Beispiele: sie stellten die Hypothese auf, daß die Verbesserung der Lesefähigkeiten eine vermittelnde Variable auf dem Weg zu einer Verminderung von Schulentlassungen ohne Abschluß ist (S. 19), und daß eine Abnahme der Entfremdungsund Anomiegefühle ein grundlegender Schritt in Richtung auf den Abbau kriminellen Verhaltens ist (S. 15). In ähnlicher Hinsicht schlug ich bei der Evaluierung von innerbetrieblichen Fortbildungskursen eine dreiteilige Analyse vor: Lernen die Teilnehmer den Ausbildungsinhalt? Wenn ja, setzen sie das Gelernte in die Praxis um? Sind diejenigen, die das, was sie gelernt haben, anwenden, erfolgreicher in ihrem Beruf? (Weiss, 1967 a) Zu welchem Grad die unmittelbaren und die Zwischenziele sich von den endgültigen Zielen trennen lassen, wird in Edward A. Suchman (1965) diskutiert.
Man findet eine analoge Diskussion in Hinblick auf „Unterzwecke“ in dem Bericht über ein Gesundheitsfürsorgeprogramm in Deniston et al. (1968 a).
Wie die Ähnlichkeit zwischen Abbildung 3-3 und einem Pfaddiagramm schon andeutet, ist die Pfadanalyse eine nützliche Methode, die Stärke der Beziehungen zu schätzen. Wenn die notwendigen Bedingungen für eine Pfadanalyse erfüllt sind, kann man durch Pfadkoeffizienten die Größe des Effekts für jeden einzelnen Pfeil angeben. Vgl. Weede (1970).
Es könnte nützlich sein, auch einige negative Auswirkungen einzubeziehen und ebenfalls durch Pfadanalyse herauszufinden, welches Ausmaß negative Nebeneffekte haben.
Eine andere Analysenmethode, die besonders nützlich ist, wenn jedes Glied in der Kette total oder größtenteils vom vorhergehenden abhängt, ist der „Automatische Interaktionsdetektor“ (AID). Anders als die Pfadanalyse, zeigt diese Art von Analyse, ob das Programm in Hinblick auf einzelne Teilgruppen von Betroffenen sehr unterschiedliche Auswirkungen hat. Dies ist sowohl von theoretischem als auch von praktischem Interesse, da — falls es solche Unterschiede gibt — Spezialprogramme entwickelt werden können, die für besondere Gruppen geeignet sind. Vgl. Sonquist (1970).
Eine interessante Analogie mit dem Gedankengang, der hinter der Konstruktion eines Modells für den durch das Programm bewirkten Prozeß liegt, findet man in Tribus (1970). In Hinblick auf das komplizierte Geschäft, Regen durch das „Aussäen“ von Wolken zu erzeugen, schlägt er vor, daß man versuchen sollte, die Kette physikalischer Vorgänge, die dem Aussäen folgen und entweder zum regnen führen oder nicht, zu verstehen und zu messen, anstatt sich nur auf statistische Messungen der Regenmenge zu verlassen und diese als Erfolgskriterium zu verwenden.
Cohen (1970; 234-236) schlägt ein System sozialer Indikatoren für Schulen und Ausbildung vor, das eine Analyse der Inputs in Schulen, der Ergebnisse der Ausbildung und der „zeitlichen, geographischen, politischen und demographischen Variation in beiden Kategorien“ erlauben würde.
Streng genommen sind die Messungen vorher bei einem Experiment entbehrlich. Wenn bei der Zufallsauswahl kein Fehler gemacht wird, genügen die Messungen hinterher. Die Messung vorher dient zur Überprüfung, ob die Auswahl tatsächlich nach dem Zufallsprinzip erfolgte und ist besonders bei kleinen Anzahlen nützlich. (Darüber hinaus kann auch bei einer Zufallsauswahl ein Unterschied zwischen den Gruppen von vornherein bestehen.) Ebenso kann man auf diese Weise feststellen, welche Individuen sich verändert haben, und in einer weitergehenden Untersuchung nach den Gründen suchen, warum gerade diese Personen etc. sich verändert haben. Auf der anderen Seite können Messungen vorher die Versuchspersonen für das Meßinstrument sensibilisieren und eine Veränderung in den Meßergebnissen verursachen, die allein auf den Wiederholungseffekt zurückzuführen ist. Um vor dieser Möglichkeit geschützt zu sein, muß man zwei Kontrollgruppen verwenden, von denen eine vorgetestet wird und die andere nicht.
Der Begriff stammt aus einer Reihe von Untersuchungen, die bei den Hawthorne Werken der Western Electric Company zwischen 1927 und 1932 gemacht wurden. Wissenschaftler fanden heraus, daß, wenn das Management den Arbeitern Aufmerksamkeit schenkte, egal in welcher Form, die Produktion zunahm. Sowohl eine Verminderung wie eine Verstärkung der Beleuchtung führte z. B. zu erhöhter Produktion. Obwohl neuere Sekundäranalysen der Daten einige Zweifel auf die damals gezogenen Schlußfolgerungen werfen, ist der “Hawthorne Effekt” ein Phänomen, das in vielen Situationen beobachtet worden ist.
Ein Programm, das Schwierigkeit hatte, genügend Bezugspersonen zu bekommen, wird in Meyer und Borgatta (1959) beschrieben.
Eine hervorragende Diskussion der Einwände von Praktikern gegen Kontrollgruppen und der Antworten der Wissenschaftler darauf findet sich in Borgatta (1955). Dem Einwand, daß eine Verweigerung von Diensten ethisch nicht zu verantworten sei, wird mit dem Argument begegnet, daß diese ohnehin keinen Wert hätten, wenn sich die Behandlung nicht als wirksam erwiese.
Rossi (1966). Nicht alle dieser Probleme bestehen einzig für das Experiment. Einige, wie die Ansteckung der Kontrollgruppen und der unterschiedliche Schwund bei Versuchs-und Kontrollgruppe, können auch bei anderen Methoden auftreten, die wir im nächsten Abschnitt diskutieren werden.
Kendall (1964). In dieser Untersuchung wurden die Studenten nicht zufällig den zwei Gruppen zugeteilt, aber diese Technik kann offenbar auch bei einer Zufallsauswahl benutzt werden.
Ein interessantes Beispiel für dieses Vorgehen bei einem Psychotherapieprogramm wird in Rogers und Dymond (1954; 38-47) beschrieben.
Weitere Anwendungsvorschläge für quasi-experimentelle Forschungen auf dem Gebiet der Rechtssoziologie finden sich in Lempert (1966).
Underhill berichtet von einer bundesweiten Musterumfrage unter sozial benachteiligten Jugendlichen, die genau zu dem Zweck durchgeführt wurde, die Möglichkeit zu untersuchen, inwieweit solche Daten als „Kontrollen“ bei der Evaluierung von Programmen gegen die Armut, die sich auf diese Altersgruppen beziehen, dienen können. Er sammelte Indikatoren über Herkunft, Erfahrungen, Fähigkeiten, Selbstbild und Einstellungen (Underhill, 1968).
Eine gute Zusammenstellung von Aufsätzen zu diesem Thema ist Lyden und Miller (1968).
Einige Beobachter sehen einen deutlichen Unterschied in der Perspektive zwischen PPB und Evaluierung. Das auf der Zukunft liegende Schwergewicht des PPB wird mit Innovation und Vertrauen in die Ausdehnung der bundesstaatlichen Aktivität assoziiert; Evaluierung ist rückblickend, zu einer Zeit der Enttäuschung über vergangene Initiativen, einer Zeit der Inventuraufnahme und der Kürzungen gehörend (Schick, 1971). Diese Unterschiede im politischen Klima können ein Zufall der Geschichte sein. Es erscheint möglich, daß auch Evaluierung ein Sprungbrett für Innovation und Expansion darstellen kann, die auf gehaltvolleren Analysen von Strategien für erfolgreiche Programme gegründet sind.
Bei der Definierung der „Karriere“ sozialer Probleme listet Herbert Blumer fünf Phasen auf, von denen die fünfte „die Transformation des offiziellen Planes in seine empirische Durchführung“ ist. Er fährt fort und sagt: „Zu einem bestimmten Grad wird der Plan, wenn er in die Praxis umgesetzt wird, beständig modifiziert, verdreht und umgestaltet und wächst in unvorhersehbarer Weise weiter.“ (Blumer, 1971) Man findet eine Beschreibung der „Naivität“ (bundes-)staatlicher Planer in Hinblick auf die komplexeren Probleme der Übersetzung offizieller Pläne in funktionierende Programme in Williams (1969). Er hält drei Aspekte fest, die die Durchführung beeinflussen; Wie gut gegliedert der Plan ist, wie groß die administrativen Fähigkeiten der örtlichen Mitarbeiter sind, welche Einflußmöglichkeiten die (bundes-)staatliche Behörde hat, um die Durchführung des Planes in seiner ursprünglichen Form sicherzustellen (oder umgekehrt, wie unabhängig die örtliche Behörde ist, um sich Veränderungen, die durch das Programm bewirkt werden sollen, zu widersetzen).
Aldrich (1968; 15-34). Der Evaluierende war selbst der Meinung, daß die Studie verfrüht war.
Konflikte über diese und andere Fragen werden in Andrew (1967) diskutiert.
Ein frustrierender Versuch, den Job des Interviewers dem des Sozialarbeiters hinzuzufügen, wird in La Sorte (1968) diskutiert.
Mehr dazu bei Rodman und Kolodny (1965).
Die Tendenz zu negativen Ergebnissen ist tatsächlich ein allgemeines Merkmal von Evaluierungen. Wir kommen im nächsten Kapitel darauf zurück.
Ein Fall, wo dies nicht klar war, wird in Nagpaul (1966) geschildert.
Eine erstklassige Analyse dieses und verwandter Probleme wird in Kandel und Williams (1964) gegeben.
Man findet eine Diskussion dieser Orientierung in Davis (1964).
Dieser Fall wird in Smith (1966) geschildert.
Stake (1967) ist sich nicht sicher, ob die Evaluierung abschließende Urteile fällen sollte. Wenn der Evaluierende diese Aufgabe übernimmt, wird er (und die sozialwissenschaftliche Forschung im allgemeinen) den Praktikern noch suspekter als es zur Zeit der Fall ist. Er schlägt vor, daß Evaluierende die Daten vorlegen und dann die Einschätzungen von Experten suchen und diese verarbeiten.
Eine hervorragende Zusammenfassung und Analyse dieser Literatur findet sich in Eidell und Kitchel (1968; 64-119).
Als deutschsprachige Einführung in den Problemkreis der Aktionsforschung empfiehlt sich Haag (1972). Der Begriff der Aktionsforschung wird jedoch auch in einem umfassenderen Sinne gebraucht, bei dem sich eine engere Verwandtschaft zur Evaluierungsforschung ergibt. Vergleiche dazu Rapoport (1972).
Zwei neuerliche Fälle sind die Kritik der nationalen Evaluierung des “Head Start” durch die Westinghouse-Ohio Universität und die Kontroverse über die „Effektivere-Schulen“-Evaluierung in New York City (Williams und Evans (1969), Aldrich (1968)). In beiden Fällen räumen die Evaluierenden ein, daß einige der methodologischen Kritikpunkte berechtigt sind; sie arbeiteten unter Bedingungen, die eine ideale Versuchsplanung verhinderten. Nichtsdestoweniger erscheint es als wahrscheinlich, daß die Kritik mehr von der Ideologie als von der Methodologie motiviert wurde — daß Kritiker ein beliebtes Programm schützen wollten. Im Falle günstiger Evaluierungsresultate wäre es schwer, sich eine ähnliche Aufregung vorzustellen.
Likert und Lippitt (1953) diskutieren Sensibilität für Probleme, „soziologische Phantasie“, die impliziert, daß soziale Verhältnisse verbessert werden können,und Offenheit für Innovationen als Vorbedingungen für die Nutzbarmachung von sozialwissenschaftlichen Forschungsergebnissen.
Siehe auch Lippitt et al. (1958) und Bennis et al. (1969). Dort findet sich eine Diskussion anderer Methoden zur Förderung von Veränderungen in Institutionen.
Sogar ohne eine permanente institutionelle Basis haben gelegentlich einzelne Kommissionen, Projekte und Zentren Forschungsergebnissen zur Beachtung verholfen. Ralph Nader ist ein Einzelner, der im wesentlichen eine Evaluierungsrolle bei der Aufklärung der Konsumenten gespielt hat. Spezielle Kommissionen, wie das “Physical Science Study Committee“ sind bei der Verbreitung von Curricula und anderen Aktivitäten höchst effektiv gewesen (Clark, 1965). Nationale Kommissionen können Forschungsaufträge vergeben und die Resultate einem breiten Publikum, wie es z. B. mit den Studien der “Riot Commission“ geschehen ist, zugänglich machen. Hochschullehrer können Forschungsresultate durch ihre Lehr-und Beratungstätigkeiten verbreiten.
Glaser und Coffey (1967). Ein späterer Bericht zeigt jedoch, daß die Gespräche während Tagungen und Konferenzen zwar Enthusiasmus erzeugen können, sie aber nicht ausreichen, die Übernahme neuer Praktiken, wenn dazu Geld, Personal und Räumlichkeiten benötigt werden, sicherzustellen (Glaser und Ross, 1971).
Editor information
Rights and permissions
Copyright information
© 1974 Westdeutscher Verlag GmbH, Opladen
About this chapter
Cite this chapter
Weiss, C.H. (1974). Formulierung der Frage und Messung der Antwort. In: Küchler, M. (eds) Evaluierungsforschung. Studienbücher zur Sozialwissenschaft, vol 10. VS Verlag für Sozialwissenschaften, Wiesbaden. https://doi.org/10.1007/978-3-322-85590-9_3
Download citation
DOI: https://doi.org/10.1007/978-3-322-85590-9_3
Publisher Name: VS Verlag für Sozialwissenschaften, Wiesbaden
Print ISBN: 978-3-531-21242-5
Online ISBN: 978-3-322-85590-9
eBook Packages: Springer Book Archive