Zusammenfassung
So wie die Entwicklung von Projekten mit Hilfe der Lebensverlaufsperspektive in voneinander abgrenzbare Phasen unterteilt werden kann, die durch jeweils typische Probleme charakterisiert sind (Auswahl, Planung, Implementation, Nachbetreuung, Fortfuhrung ohne Geberunterstützung), läßt sich jeder politische Prozeß analytisch in kausal voneinander abhängige Phasen zerlegen. Grob können die Phasen der Programmentwicklung,-implementation und -wirkung unterschieden werden. Mit der Untersuchung der einzelnen Phasen des politischen Prozesses beschäftigen sich verschiedene Forschungsdisziplinen. Gemeinsam ist ihnen die Orientierung an einem Phasenablaufmodell Dabei wird davon ausgegangen, daß die einzelnen Phasen durch komplexe Abhängigkeiten miteinander verknüpft sind und deshalb die Kenntnis der Vorgänge in der Programmentwicklungsphase notwendig ist, um die Prozesse in der Implementationsphase erklären zu können, und beide zusammen sind von Bedeutung, um die Wirkungen eines Programms oder Projekts zu erklären (vgl. Mayntz 1980d:239, Grindle 1980:6f, Lange 1983:259, Cook u. Matt 1990:15).
This is a preview of subscription content, log in via an institution to check access.
Access this chapter
Tax calculation will be finalised at checkout
Purchases are for personal use only
Preview
Unable to display preview. Download preview PDF.
Literatur
In Anlehnung an die angelsächsische Verwendung des Politik-Begriffs werden in der Regel drei Dimensionen unterschieden: (1.) Policy, (2.) Politics und (3.) Polity. (1.) Mit Policy wird die inhaltliche Dimension des Politik-Begriffs umschrieben. Dabei geht es in erster Linie um alle staatlich-gesellschaftlichen Interaktionen, z.B. wie Probleme durch das politisch-administrative System wahrgenommen und verarbeitet werden und mit welchen ziel- oder zweckgerichteten Aktivitäten der Staat versucht, Lösungen zu implementieren. Policy-Studien und Politikfeldanalysen untersuchen solche Fragestellungen. (2.) Der Begriff Politics bezieht sich auf den prozessualen Aspekt der Politik. Bei der Politics-Forschung geht es um die Frage, welche Regeln zur Konfliktlösung eingesetzt werden, welche Rolle Institutionen spielen, wie Interessen durchgesetzt werden etc. (3.) Polity umfaßt den formalen Aspekt der Politik. Dabei geht es um die Form, in der Politik abläuft. (Vgl. Druwe 1987:393ff.)
Einen hervorragenden Einführungsartikel in die Politikfeldanalyse hat Jann (1994:308ff.) verfaßt. Vgl. u.a. auch Dye 1978, Windhoff-Héritier 1983, Hartwich 1985, Feick u. Jann 1988, Schmidt 1988, Derlien 1991, Schubert 1991 sowie den aktuellen und aufschlußreichen Sammelband von Adrienne Héritier 1993.
Insbesondere im Bildungsbereich hat sich der Begriff wissenschaftliche Begleitforschung eingebürgert (vgl. Wittmann 1990:8, Sonntag 1987:62f). Darstellungen zur erziehungswissenschaftlichen Begleitforschung finden sich bei Mitter u. Weishaupt 1977 u. 1979, Schaffernicht 1977, Fend 1982 und Aurin u. Stolz 1990.
Bei solchen Programmen kann es sich um regulative Anreiz- und Transferprogramme, Infrastrukturprogramme oder Informations- und Überzeugungsprogramme handeln (vgl. Mayntz 1980d:242f).
Insbesondere das Scheitern der wohlfahrtsstaatlichen Aktionsprogramme im Rahmen des von Präsident Johnson Mitte der 60er Jahre ausgerufenen “Feldzugs gegen die Armut in den USA”, rückten die Umsetzungsprobleme politischer Programme in das Blickfeld sozial- und politikwissenschaftlicher Forschung. Während vorher vor allem Input-Strukturen und -prozesse, sowie Fragen der politischen Willensbildung und Entscheidungsfindung im Mittelpunkt des Interesses standen, gewannen nun Implementations- und Wirkungsfragen an Bedeutung (vgl. Reese 1982:38, Wottawa u. Thierau 1990:59f). Eine ähnliche Entwicklung ist zeitverschoben in der Bundesrepublik zu beobachten. Wesentlichen Auftrieb erhielt die Implementationsforschung durch die Ende der 60er und 70er Jahre von der sozialliberalen Koalition eingeleitete “Politik der inneren Reformen”. Zur Entwicklung der Implementationsforschung vgl. Wollmann 1980, Windhoff-Héritier 1980, Mayntz 1980c, Rist 1990a, Derlien 1991. Eine Zusammenfassung der Kritik an der Implementationsforschung findet sich bei Wollmann 1980:24f.
Zwischen den Begriffen “Evaluationsforschung” und “Evaluierungsforschung” wird hier kein Unterschied gemacht, sie werden synonym verwendet.
Evaluation wird dabei definiert als ganz allgemeiner Vorgang einer bewertenden Bestandsaufnahme: “So gesehen ist Evaluation ein fundamentaler Bestandteil unserer alltäglichen Erfahrungen.” (Will u.a. 1987:13) Suchmann (1967) definiert den Begriff der Evaluation als den Prozeß der Beurteilung des Wertes eines Produktes, Prozesses oder eines Programms, bei der nicht notwendigerweise systematische Verfahren oder datengestützte Beweise zur Untermauerung erforderlich sind. Die explizite Anwendung wissenschaftlicher Forschungsmethoden charakterisiert hingegen die Evaluationsforschung. Wottawa und Thierau (1990:9) weisen daraufhin, daß sich diese Systematisierungsversuche bislang nicht durchsetzen konnten. In dieser Arbeit wird kein begrifflicher Unterschied zwischen Evaluation und Evaluationsforschung gemacht. In der Literatur wird hingegen manchmal eine begriffliche Differenzierung vorgenommen.
Sinngemäße Definitionen finden sich z.B. bei Wittmann 1985:17, Wottawa u. Thierau 1990:9.
Die Evaluationsforschung entwickelte sich schon vor der Implementationsforschung. Im Zusammenhang mit groß angelegten, kostspieligen Programmen zur Arbeitsförderung, Vorschule, Fernstudien und zur Curriculumsrevision wurde in den USA in den 50er Jahren die Wirksamkeit dieser Maßnahmen mit Hilfe von Begleitstudien zu ermitteln versucht. Das stärkste Wachstum erfolgte unter den amerikanischen Präsidenten Kennedy und Johnson als im Rahmen der “War on Poverty”- und “Great Society”- Programme beträchtliche finanzielle Mittel zur Bekämpfung der Arbeitslosigkeit und der Kriminalität, zur Sanierung der Städte und zur Verbesserung der medizinischen Versorgung der Bevölkerung bereitgestellt wurden.
In der Bundesrepublik entwickelte sich die Evaluations- wie die Implementationsforschung erheblich später, vor allem im Zusammenhang mit den Reformprojekten in den 70er Jahren. Heute umfaßt die Evaluationsforschung zahlreiche Bereiche (vgl. Weiss 1974:12ff., Mertens u.a. 1981:209ff., Lange 1983:253ff., Hellstern u. Wollmann 1984:19ff. u. 35ff., Wittmann 1985:5ff., Rossi u.a. 1988:4ff., Koch u. Wittmann 1990:11f., Wottawa u. Thierau 1990:56ff.). Zur Institutionalisierung der Evaluationsforschung vgl. Hellstem u. Wollmann 1984:65ff.. Im Unterschied zu Deutschland weist die Evaluationsforschung in den USA einen ungleich höheren Professionalisierungsgrad auf (vgl. Koch u. Barth 1990:73f., Koch u. Wittmann 1990: 307ff.). Das Feld der Evaluationsforschung ist seit Ende der 80er Jahre der stärkste Wachstumssektor innerhalb der amerikanischen Sozialwissenschaften (vgl. Wottawa u. Thierau 1990:59)!
Die terminologische Unterscheidung zwischen formativer und summativer Evaluation geht auf Scriven (1967, 1972a u. b, 1980, 1983, 1991) zurück. Eine aufschlußreiche Gegenüberstellung der Merkmale von formativer und summativer Evaluation geben Wottawa u. Thierau (1990:56). Vgl. auch Rossi u.a. 1988, Will u.a. 1987:20ff..
Hervorhebungen durch Jann 1994:311.
Wenn nur die beabsichtigten Veränderungen (=Ziele) empirisch erfaßt werden, wird von Erfolgskontrolle gesprochen.
Zu den nicht-intendierten Handlungsfolgen vgl. auch Halfar 1987; Schwefel 1987a, b, c; Lachenmann 1987.
Außerdem wird am Zielansatz kritisiert, daß die Fragen, warum ein Programm erfolgreich oder erfolglos ist (vgl. Weiss 1974:48) und ob ein Programm die Ziele vielleicht hätte effektiver erreichen können, nicht berücksichtigt werden (vgl. Brandstädter 1990b:221). Darüber hinaus wird gegen den Zielansatz eingewendet, daß nicht alle Evaluationskriterien aus dem Zielsystem ableitbar sind (vgl. Budäus u. Dobler 1977:69, Weiss 1974:48).
Wenn der Nutzen eines Programms bewertet werden soll, muß neben der Bewertung der Wirksamkeit und Nachhaltigkeit eines Programms auch eine Effizienzabschätzung erfolgen. Während die Wirkungsanalyse zu ergründen versucht, ob ein Programm seine Ziele erreicht, welche Wirkungen aufgrund des Programms entstanden sind, bewertet die Effizienzabschätzung das Kosten-Nutzen-Verhältnis zwischen eingesetzten Mitteln und den Resultaten. Dabei wird ermittelt, welche Kosten für wen entstanden sind und wem welche Vorteile zugeflossen sind. Effektiv ist ein Programm dann, wenn mit geringstem Mitteleinsatz ein möglichst hoher Nutzen entstanden ist (vgl. Hellstern u. Wollmann 1984:25, White 1986:18, Rossi u.a. 1988:12f).
Dieser Auffassung folgen in Deutschland z.B. Wottawa u. Thierau 1990:33.
Nach Erhebungen von Weishaupt (1980:132f.) und Krapp u. Will (1982) ist das handlungstheoretische Paradigma die methodologische Grundlage von mehr als der Hälfte aller Evaluationen von pädagogischen Modellversuchen in Deutschland.
Vgl. z.B. Weiss 1973, 1974, 1975; Wholey 1979, 1983; Chen u. Rossi 1980, 1983, 1984; Rossi u. Freeman 1982/1993; Rossi u. Wright 1986; Rossi, Freeman u. Hofmann 1988. In Deutschland: Lange 1983; Hellstern u. Wollmann 1984; Koch u. Wittmann 1990; Wottawa u. Thierau 1990; Brandstädter 1990b.
Weiß (1973, 1974, 1975) setzt sich besonders kritisch mit den Positionen von Campbell und Scriven auseinander. Vgl. hierzu den exzellenten Theorieüberblick von Cook u. Matt (1990:15ff.).
Glücklicherweise standen die Forschungsbedingungen dieser Untersuchung einer Verwendung der kritisch-rationalen Forschungslogik nicht im Wege. Die diese Untersuchung finanziell und organisatorisch unterstützende Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) nahm keinen wesentlichen Einfluß auf die Zielformulierung und Konzipierung der Studie, so daß sie anfangs auch nur unter einem geringem politischen Handlungsdruck stand.
So wie nicht vollkommen ausgeschlossen werden kann, daß alle untersuchten Programme tatsächlich keine signifikanten Effekte erzielen konnten, ist auch nicht auszuschließen, daß die fehlenden empirischen Wirkungsnachweise auf methodische Mängel zurückzufuhren sind. Eine eindeutige Entscheidung kann hier nicht getroffen werden. Einige interpretieren die fehlenden Signifikanz-Nachweise als ein Scheitern der Programme (vgl. z.B. Rossi 1978; Rossi u. Lyall 1976; Rossi, Berk u. Lenihan 1980), andere sind der Auffassung:…”that the failures of programs reflect the failures of evaluation methods” (Chen u. Rossi 1980:107, vgl. z.B. auch Weiss u. Rein 1969, Scriven 1972). U.a. wurde das Fehlen von Effekten auch auf die Verwendung relativ grober Verfahren wie z.B. die gängige Methode, Mittelwertsunterschiede zwischen Behandlungs- und Vergleichsgruppen zu schätzen, zurückgeführt (vgl. Shadish 1990:163, Wittmann 1985:194).
Viele Geber sträuben sich gegen die Einrichtung von Kontrollgruppen auch aus finanziellen Gründen: “It often seems preferable to use the money budgeted on the survey to extend the project’s benefits rather than study non-recipients.” (OECD 1986:37)
Panel-Untersuchungen stellen eine Ausdehnung des Pretest-Posttest-Designs dar, in dem bestimmte Merkmale von einer Gruppe zu mehreren Zeitpunkten erhoben werden. Für Wirkungsanalysen sind sie weitaus geeigneter, da die zusätzlichen Meßzeitpunkte eine wesentlich bessere Schätzung der Wirkungsweise einer Intervention gestatten (vgl. Engel u. Reinecke 1994).
Zeitreihenanalysen unterscheiden sich von Panel-Untersuchungen durch eine noch größere Anzahl von Messungen, die in der Regel an aggregierten Untersuchungseinheiten vorgenommen werden. Dabei gibt es mehrere Meßzeitpunkte vor und nach der Einführung einer Intervention oder einer bedeutenden Programm-Modifikation (vgl. Rossi u.a. 1988:117).
Das zentrale Merkmal von Pretest-Posttest Untersuchungen ist die Messung der Zielvariablen vor und nach Einführung der Intervention. In der Entwicklungszusammenarbeit fehlen jedoch meist sogenannte “Base-line-studies”, die die Ausgangssituation beschreiben und deshalb als Vergleichsmaßstab verwendet werden können (vgl. OECD 1986:40). Um den Programmfortschritt erfassen zu können, werden in der Regel mehrere Messungen vorgenommen. Die Differenz der Meßwerte wird dann als Schätzwert für die Nettowirkung des Programms verwendet (vgl. Rossi u.a. 1988:116, Ahmad 1989:310). Da bei diesem Verfahren die Versuchsgruppe zu ihrer eigenen Kontrollgruppe wird, indem die vor und nach der Intervention beobachteten Meßwerte der teilnehmenden Untersuchungseinheiten miteinander verglichen werden (reflexive Kontrolle), kann dies leicht zu Fehleinschätzungen der Nettowirkungen fuhren. Es kann nicht ausgeschlossen werden, daß auftretende Unterschiede zwischen Pretest und Posttest auf Reifungsprozesse bei der Zielgruppe (endogener Wandel), exogene Veränderungen oder historische Ereignisse zurückzuführen sind.
Bei retrospektiven Pretest-Posttest Untersuchungen wird nur eine Posttest-Messung nach Einführung der Intervention durchgeführt. Die Ausgangssituation wird durch retrospektive Fragen zu ermitteln versucht. Diese Methode kann dadurch verbessert werden, indem eine Kontrollgruppe hinzugefügt wird, die der Programmgruppe möglichst ähnlich ist (vgl. Rossi u.a. 1988:116, Weiss 1974:105f).
Einen guten Überblick über die Untersuchungsdesigns in anderen Forschungsbereichen, wie dem Gesundheitswesen, der Arbeitsmarkt- und Beschäftigungspolitik, der Industrie- und Betriebssoziologie, im sozialpolitischen und erziehungswissenschaftlichen Bereich, gibt Lange (1983). Er kommt zu dem Ergebnis, daß die meisten Untersuchungsdesigns recht einfache Strukturen aufweisen. Vgl. auch die Zusammenfassungen von Koch u. Wittmann 1990, Wottawa u. Thierau 1990:58ff.. Einen guten Überblick über die Untersuchungsdesigns im Bereich der Arbeitsmarkt- und Beschäftigungspolitik bietet das Schwerpunktheft “Wirkungsforschung” des IAB, vgl. hierzu Mertens u.a. 1981, insb. Scharpf u. Schmid 1981, Salfer u. Furmaniak 1981, Hofbauer 1981, Brater 1981, Stegmann 1981, Lange 1981, Brinkmann 1981, Heinze u.a. 1981. Für die im Rahmen der pädagogischen Wirkungsforschung duchgeführten Evaluationen vgl. vor allem Mitter u. Weishaupt 1977, 1979; Schaffernicht 1977; Wottawa 1982, Fend 1982; Hellstern u. Wollmann 1984; Wottawa u. Thierau 1990. Die meisten Evaluationen zum Gesamtschulversuch basieren auf Querschnittsuntersuchungen und Zeitreihenanalysen.
Später wurde dieser Ansatz von der GTZ übernommen und weiterentwickelt. Vgl. GTZ 1987b, GTZ O.J..
Vgl. hierzu für die deutsche Entwicklungszusammenarbeit Kaiser 1989a u. b.
Dieser Auffassung stimmt weitgehend auch der DAC-Evaluierungsausschuß zu (vgl. DAC 1988:10).
Im Rahmen der Finanziellen Zusammenarbeit werden bevorzugt “cost-benefit-” und “cost-effectiveness-” Analysen durchgeführt (vgl. OECD 1986:33).
Zur Evaluierungspraxis in der Entwicklungszusammenarbeit vgl. u.a. Halbach 1972; Kantowsky 1977; Bodemer 1979a u. b, 1983, 1985a; Hellstern u. Wollmann 1984:66. Zur Evaluierungspraxis der KfW vgl. den ausführlichen Band von Kary 1992.
Die Versuchsanordnung einer Querschnittsuntersuchung besteht aus Stichproben- oder Totalerhebungen zu einem einzigen Zeitpunkt. Dabei werden Programmteilnehmer und Nichtteilnehmer erfaßt, um beide Gruppen im Hinblick auf die Zielvariablen miteinander zu vergleichen, während sonstige Merkmalsunterschiede zwischen den Gruppen statistisch konstant gehalten werden.
Zu den Vor- und Nachteilen von Fallstudien vgl. Wollmann 1980, Hucke u. Wollmann 1980, Reese 1982, Mayntz 1983.
In den meisten Entwicklungsländern fehlt eine wissenschaftliche Durchdringung, wie sie in vielen westlichen Gesellschaften zu beobachten ist. In westlichen Ländern muß wissenschaftliche Forschung üblicherweise nicht besonders legitimiert werden. Abgesehen von einigen Spezialdisziplinen (z.B. Nuklear-, Genforschung) ist der Wert der Wissenschaft gesellschaftlich allgemein akzeptiert. Viele Menschen in der Dritten Welt können sich jedoch unter “Wissenschaft” weder etwas vorstellen noch ist ihnen der Nutzen einer solch abstrakten Tätigkeit unmittelbar einsichtig.
White (1986:5f.) schränkt diese Kriterien unverständlicherweise nur auf die Gewinnung nicht-experimenteller Daten ein. Um die Validität der Daten sicherzustellen gelten diese Kriterien jedoch für grundsätzlich alle Untersuchungen.
Vgl. Campbell u. Stanley 1963, 1966; Fairweather 1967, 1977, 1981; Campbell 1975, 1978; Cook u. Campbell 1976, 1986; Gilbert u.a. 1977.
Vgl. Parlett u. Hamilton 1976; Hamilton u.a. 1977; Eisner 1977; Stake 1977; Reichardt u. Cook 1979; Cronbach u.a. 1980; Cronbach 1982.
Dies entspricht den Anforderungen von White (1986:5f), die Qualität nicht-experimentell gewonnener Daten zu erhöhen.
Auf die Gründe wird in Kapitel 5 noch eingegangen.
Bei den hier verwendeten Indikatoren handelt es sich nur um eine Auswahl der wichtigsten. In den Fallstudien zu den einzelnen Projekten wurden weit mehr Faktoren bewertet (vgl. Stockmann u. Resch 1990a u.b; 1991a,b,c,d; 1992a,b,c).
Mit “Projektüberleitung” ist die sukzessive Überleitung des Projekts in die alleinige Verantwortung des Partners gemeint.
Die Auswahl der Kriterien wird in Kapitel 6 begründet. Hier wird nur das Bewertungsverfahren erläutert.
Vgl. hierzu auch die Ausführungen von Braun 1993:29ff..
In den Partnerländern selbst wurden keine Projektakten geführt.
Vgl. Friedrichs 1973:314ff.; Weiss 1974:80ff.; Webb, Campbell u.a. 1975; Hucke u. Wollmann 1980:225ff.; Caulley 1983:19ff.; Luckey u.a. 1984:300ff.; Kromrey 1986:168ff.; Schnell, Hill, Esser 1992:409ff..
Einige ehemalige Projektmitarbeiter sind mittlerweile in anderen Projekten in verschiedenen Ländern der Dritten Welt tätig und konnten deshalb aus Kostengründen nicht aufgesucht werden. Teilweise wurden allerdings Heimaturlaube dieser Personen genutzt.
Das Verfahren, die Interviews auf Tonband aufzunehmen und dann zu transkribieren bewährte sich nicht. Die Antworten fielen deutlich freizügiger und offener aus, wenn keine Aufnahme gemacht, sondern nur mitgeschrieben wurde. Einige Befragte lehnten auch von vorneherein die Verwendung eines Tonbandgerätes ab.
Sudman u. Bradburn 1973, 1974; Papastefanou 1980; Nisbett 1980; Bohmstedt 1983; Bradburn 1983; Bohrnstedt, Mohler u. Müller 1987; Chassein u. Hippler 1987; Wegener 1990; Becker 1990; Schwarz u.a. 1994.
Vgl. z.B. Bradburn u. Sudman 1979; Demaio 1984; Nederhoff 1985; Esser 1986; Fowler u. Mangione 1990; Schnell, Hill, Esser 1992:367ff..
Viele Befragte (außer den Schülern) schienen durch diese Anonymisierungsmaßnahmen belustigt. Sie legten keinen besonderen Wert auf Anonymisierung. Im Gegenteil, einige bestanden darauf, ihre Fragebögen mit Namen zu versehen und nutzten die vorgesehene Möglichkeit zu Kommentaren reichlich aus. Auf dieses Verhalten angesprochen, war der einhellige Tenor der Antworten, daß man noch nie nach seiner Meinung befragt worden sei, und wenn dies jetzt endlich einmal jemand mache — und dazu auch noch extra aus Deutschland anreise — dann wolle man seine Meinung auch kenntlich machen und nicht in der Anonymität verbergen.
Obwohl diese Einladungen an alle Absolventen gerichtet waren, kamen zu diesen Treffen in allen Ländern keine arbeitslosen Absolventen.
Zu dem Frühstück in Mexiko City waren über 200 Befragte (berufstätige Absolventen und Arbeitgeber bzw. Vorgesetzte) gekommen. Dies hatte Kosten in Höhe von 5.000 DM verursacht. Der Kostenplan sah Ausgaben dieser Art jedoch nicht vor!
Zur Methode der Beobachtung vgl. u.a. Friedrichs 1973:269ff.; Grümer 1974; Weiss 1974:80; Kromrey 1986:185ff.; Bakeman u. Gottman 1986; Schnell, Hill, Esser 1992:394ff..
Rights and permissions
Copyright information
© 1996 Westdeutscher Verlag GmbH, Opladen
About this chapter
Cite this chapter
Stockmann, R. (1996). Methodische Konzeption zur Evaluation der Wirksamkeit von Entwicklungsprojekten. In: Die Wirksamkeit der Entwicklungshilfe. VS Verlag für Sozialwissenschaften. https://doi.org/10.1007/978-3-322-93528-1_4
Download citation
DOI: https://doi.org/10.1007/978-3-322-93528-1_4
Publisher Name: VS Verlag für Sozialwissenschaften
Print ISBN: 978-3-531-12863-4
Online ISBN: 978-3-322-93528-1
eBook Packages: Springer Book Archive