Curriculare Analysen als Baustein der Assessmentkonstruktion

Zusammenfassung

Um die oft kontrovers geführten Debatten von wirtschaftlichen Auswirkungen politischer Maßnahmen nachvollziehen zu können, bedarf es eines grundlegenden wirtschaftlichen Verständnisses. Die Entwicklung wirtschaftlicher Kompetenz stellt deshalb ein wichtiger Baustein für die Beteiligung des Individuums am gesellschaftlichen Leben dar. Die bisherige Beschreibung und Erfassung wirtschaftlicher Kompetenzen von Schüler*innen bezieht sich größtenteils auf die Sekundarstufe II und fokussiert auf fachwissenschaftliche Inhalte. Ziel dieses Beitrages ist es zu zeigen, wie die Assessmentkonstruktion in gering strukturierten Domänen durch Analysen des curricular intendierten fachlichen Inhalts und der kognitiven Prozesse bei der Aufgabenkonstruktion sowie bei der curricularen Validierung profitieren kann. Auf Grundlage der projektspezifischen Kompetenzdefinition und der Analyse der ökonomischen Domäne wurde ein deduktives Kategoriensystem entwickelt, um Lehrpläne der ökonomischen Bildung aus zehn verschiedenen Bundesländern komparativ zu analysieren. Dieses zeigt über die Curricula hinweg eine hohe Interrater-Reliabilität (0,60 ≤ κ ≤ 0,90). Die Ergebnisse der Analyse deuten sowohl auf Unterschiede mit Blick auf die zu vermittelnden fachlichen Inhalte als auch auf die intendierten kognitiven Prozesse des Lernens hin. Die Passung zwischen Testinstrument und Curricula ist über alle untersuchten Lehrpläne hinweg hoch (P = 0,820). Die Ergebnisse können wertvolle Hinweise für eine bessere Abgleichung und Entwicklung von Assessments bezogen auf curriculare Anforderungen geben.

Abstract

To be able to comprehend the often-controversial debates about the economic impact of political measures, a basic understanding of economics is required. The development of economic literacy is therefore an important building block for the participation of individuals in society. So far, the description and assessment of the economic competences of students is mostly related to the upper secondary level and focuses on scientific content. This paper aims to show how assessment construction in low-structured domains can benefit from analyses of the curricular intended subject content and the cognitive processes involved in task construction as well as curricular validation. Based on the project-specific definition of competencies and the analysis of the economic domain, a deductive category system was developed to comparatively analyze curricula of economic education from ten different German states. This shows high interrater reliability across curricula (0.60 ≤ κ ≤ 0.90). The results of the analysis indicate differences concerning both the subject content to be taught and the intended cognitive processes of learning. The fit between the test instrument and curricula is high across all curricula studied (P = 0.820). The results may provide valuable information for better alignment and development of assessments related to curricular requirements.

1 Einleitung

Mit der Einführung von Bildungsstandards basierend auf der Expertise von (Klieme et al. 2003) wurde ein Paradigmenwechsel hin zu einer Output-Steuerung im Bildungswesen eingeläutet. Bildungsstandards verstehen sich auf Systemebene als Leistungsstandards und aus Perspektive des Bildungsmonitorings als Ergebnisstandards.

Die sich daraus ergebende Erfassung und empirische Beschreibung von Kompetenzen der Schülerinnen und Schüler bilden den Kern der evidenzbasierten Steuerung im Bildungswesen. Als verbindliche Kriterien für alle 16 Bundesländer soll die Zielerreichung summativ überprüft werden (Maaz et al. 2019; Tenorth 2004). Auf Ebene der Schule und des Unterrichts können diese als Instrument der Qualitätsentwicklung genutzt werden. Evidenzbasierte Lernergebnisse sollen als Ausgangspunkt verstanden werden, um die Qualität des Unterrichts zu erhöhen als auch die curriculare Weiterentwicklung und Förderung von Schüler*innen zu initiieren. Zentral für die Interpretation von Kompetenzmesswerten ist die Validität des zugrunde liegenden Assessments (AERA et al. 2014). Für den Bereich des Bildungsmonitorings ist die curriculare Validität i. S. eines Alignments von Kompetenzerwartungen der Bildungsstandards und den Testinhalten von essenzieller Bedeutung. Curriculare Validität stellt somit eine Voraussetzung dar, um fundierte Aussagen über die Lernzielerreichung von Schüler*innen formulieren zu können (Hartig und Frey 2012; Naumann et al. 2019). Die Einführung der nationalen Bildungsstandards ermöglicht eine valide Überprüfung von Kompetenzen (siehe bspw. VERA, TIMMS, IGLU), da sie auf Kompetenzstrukturmodellen basieren, die das Mindest- bzw. Regelniveau an erwartbaren Kompetenzen abbilden (Maag-Merki 2016; Richter 2016; Sigrid et al. 2013). In der Praxis zeigen sich Herausforderungen in der Steuerungslogik der Bildungsstandards: So führen die bloße Leistungsmessung und Ergebnisrückmeldung häufig nicht zur Weiterentwicklung von Unterricht und schulischen Prozessen (Altrichter und Maag-Merki 2016; Dedering 2016; Klieme et al. 2007). Demski (2019) merkt an, dass insbesondere Schwierigkeiten in der Rekontextualisierung der Ergebnisrückmeldung auf den eigenen Unterricht der Lehrkräfte bestehen. Darüber hinaus wird ein unzureichendes Passungsverhältnis bezogen auf schulformspezifische Charakteristika (Demski 2019), die geringe Ausdifferenzierung bei Schüler*innen mit schwachen Leistungen (Kocaj et al. 2016), als auch die curriculare Validität der Assessments attestiert (Dedering 2011). Zudem kann die Evaluation der Lernergebnisse zu einem steigenden Rechtfertigungsdruck und zu Vermeidungsstrategien führen, wenn diese vornehmlich als Kontroll- und nicht als Qualitätsentwicklungsinstrument wahrgenommen werden (Jones und Tymms 2014; Jones et al. 2017). Die Akzeptanz der Lehrkräfte und der Schule als Ganzes spielen daher eine bedeutsame Rolle in der Wirkung von Bildungsstandards auf die schulische Qualitätsentwicklung (Priestley et al. 2016a, 2016b; Richter et al. 2014).

Obwohl ursprünglich im gesamten Fächerkanon verbindliche Standards entwickelt werden sollten, wurde dies bisher nur in den Kern- und naturwissenschaftlichen Fächern umgesetzt (Maaz et al. 2019). Für die ökonomische Bildung existieren zwar Bildungsstandards seitens der fachdidaktischen Gesellschaft DeGÖB (DEGÖB 2004, 2006, 2009) und Schriften der GS*ÖBW (Casper 2021; Engartner et al. 2018; Fridrich et al. 2019) jedoch sind diese für die Bundesländer nicht bindend. In den sozialwissenschaftlichen Fächern, speziell im Bereich der ökonomischen Bildung, zeigt sich deshalb eine ausgeprägte Heterogenität der Lernvoraussetzungen in den 16 Bundesländern. Ursächlich hierfür ist die diverse Ausgestaltung der Unterrichtsfächer mit wirtschaftlichen Anteilen bspw. in Relation auf die Stundenanzahl, die unterrichteten Inhalte sowie in der Lehrerprofessionalisierung (Fortunati und Winther 2021; Kirchner und Loerwald 2013; Schlösser et al. 2017; Siegfried und Ackermann 2020; Siegfried und Hangen 2020). Darüber hinaus treten konzeptionelle Differenzen in Bezug auf das Verständnis von Kompetenz und die Verwendung bildungstheoretischer Zugänge sowie der Einsatz der Literacy Konzeption bei PISA (Ackermann 2021; Benner 2011; Engartner 2021; May und May 2008; Zlatkin-Troitschanskaia und Seidel 2011) und unterschiedliche Vorstellungen von ökonomischer Kompetenz und deren fachdidaktische Traditionen auf (Engartner 2019; Engartner et al. 2019; Fridrich et al. 2021, 2019, 2017; Hedtke 2015, 2016, 2018, 2019; Hedtke und Loerwald 2017; Retzmann et al. 2010; Rumpold und Greimel-Fuhrmann 2021; Seeber und Retzmann 2017; Seeber et al. 2012; Tafner 2015, 2018, 2019, 2020; Weber 2014, 2019; Weyland 2021a).

In Ermangelung eines gemeinsamen Bezugspunktes können Rahmenlehrpläne der einzelnen Bundesländer eine orientierende Funktion einnehmen. Curricula werden in Deutschland politikseitig erlassen und sind Produkt eines komplexen Aushandlungsprozesses zwischen verschiedenen Stakeholdern (bspw. Bildungsadministration, Lehrkräften, Vetreter*innen der entsprechenden Fachwissenschaften und Fachdidaktiken usw.). Diese geben den Rahmen instruktionalen Handelns vor, räumen aber den Schulen sowie den individuellen Lehrpersonen eine erhebliche Autonomie in Planung und Umsetzung ein. Lehrpläne werden im schulischen Kontext in Form von schulinternen Curricula wie auch durch den Unterricht der einzelnen Lehrkraft rekontextualisiert und damit an die jeweiligen Schul- und Klassenbedingungen angepasst (Fend 2006, 2008). Nichtsdestotrotz haben Rahmenlehrpläne eine wichtige Orientierungsfunktion, da sie gewünschte Kompetenzziele am Ende eines Bildungsabschnitts definieren, die von den Schüler*innen erreicht werden sollen. Das Fehlen eines gemeinsamen Bezugspunktes erschwert ebenso eine vergleichende Leistungsüberprüfung im Sinne eines Bildungsmonitorings (Maaz et al. 2019). Für die Assessmentkonstruktion in Domänen ohne übergeordnete Bezugspunkte stellt sich somit die besondere Herausforderung, präzise Annahmen über Testinhalte und deren kognitives Anforderungsniveau zu treffen (Ditton 2016; Hartig und Klieme 2006; Klieme 2016; Pellegrino 2012). Dies wird durch den Umstand verstärkt, dass sich durch die Diversität des Forschungsfeldes und der institutionellen Verankerung der ökonomischen Bildung zahlreiche inhaltlich differente und zuweilen divergente Kompetenzmodelle entwickelt haben. Diese weisen speziell für den Bereich der Sekundarstufe I Lücken in ihrer empirischen Validierung auf (Ackermann 2019, 2021).

Trotz vereinzelter Assessments im Bereich der Sekundarstufe I (Kaiser et al. 2020; Macha und Schuhen 2013; OECD 2014, 2020; Rumpold und Greimel-Fuhrmann 2016) kann festgestellt werden, dass nur wenig empirische Evidenz für inhaltliche Teilbereiche wirtschaftlicher Kompetenz vorliegen. Bisherige Assessments im Bereich der ökonomischen Bildung fokussieren in Bezug auf die curriculare Validität lediglich auf die Abdeckung fachwissenschaftlicher Inhalte (Beck und Krumm 1998; Rumpold und Greimel-Fuhrmann 2016; Walstad et al. 2013) und deren bloßes Vorkommen in einzelnen Curricula (Eberle et al. 2009; Schumann und Eberle 2014; Seeber et al. 2022; Siegfried und Ackermann 2020). Die Operationalisierung der kognitiven Prozesse bei der Itementwicklung erfolgt häufig über Taxonomien, die als schwierigkeitsbestimmendes Merkmal fungieren (Hartig 2007). Allerdings zeichnet sich für den Einsatz von Taxonomien als prädiktiver Faktor für die Schwierigkeitsbestimmung empirisch ein gemischtes Bild ab. So deuten Befunde von Winther (2010) als auch Ackermann (2019) darauf hin, dass diese sich nur bedingt dazu eignen, die kognitive Komplexität einer domänenspezifischen Anforderungssituation vorherzusagen. Daher sollte bei der Assessmentkonstruktion ein direkter Bezug zwischen curricular beschriebenen kognitiven Prozessen und fachwissenschaftlichen Inhalten der Lehrpläne hergestellt werden, um die curriculare Validität im Sinne der Alignment-Triad zu verbessern. Die enge Verknüpfung von kognitiven Prozessen und fachlichen Inhalten könnte für die Assessmentkonstruktion in Domänen ohne gemeinsamen Bezugspunkt ein nützlicher Baustein sein, um das Testinstrument hinsichtlich seiner inhaltlichen Ausgestaltung und kognitiven Komplexität schüleradäquat zu operationalisieren.

Der Beitrag greift vor diesem Hintergrund verschiedene Desiderate auf: In Bezug auf die modellierte kognitive Komplexität eines Assessments ist es nicht hinreichend, Testitems bloß entlang von Taxonomien zu entwickeln, ohne den Bezug zu einem externen Validitätskriterium, wie einem Curriculum zu berücksichtigen. Das beabsichtigte Antwortverhalten sollte möglichst präzise antizipiert werden, um eine validere Testwertinterpretation zu ermöglichen (Anderson und Krathwohl 2001; Brückner und Pellegrino 2016; Mislevy 2018; Wilson 2004; Wilson und Draney 2004). Daher wäre es vorteilhaft, sowohl bei der Entwicklung als auch der Validierung eines Testinstruments, die curricular intendierten Inhalte in Zusammenhang mit den curricular intendierten kognitiven Prozessen zu betrachten. Für die Interpretation der Testergebnisse ist es daher von zentraler Bedeutung, ob die im Assessment abgebildeten kognitiven Komplexitäten, – die als Annahmen zum domänenspezifischen Kompetenzerwerb modelliert sind, – in ähnlicher Weise in den Curricula repräsentiert sind (AERA et al. 2014; Pellegrino et al. 2001).

Es wird vor diesem Hintergrund angenommen, dass die Assessmentkonstruktion davon profitiert, wenn die Kompetenzziele der einzelnen Lehrpläne nicht nur auf deren fachwissenschaftliche Inhalte, sondern auch auf Wissenserwerbsprozesse und Wissensarten hin untersucht werden. Diese müssen zudem quantitativ in Beziehung zueinander gesetzt werden. So lassen sich typische Muster und Unterschiede hinsichtlich des intendierten Kompetenzerwerbs in den Curricula der wirtschaftlichen Bildung identifizieren, die für die Assessmentkonstruktion innerhalb der Domäne von Bedeutung sein können. Zwecks der Untersuchung der unterschiedlichen Curricula der ökonomischen Bildung in der Sekundarstufe I wird basierend auf der projektspezifischen Konzeption ökonomischer Kompetenz deduktiv ein Kategoriensystem entwickelt. Dieses dient als Analyseraster und Vergleichspunkt für die curriculare Untersuchung. Darüber hinaus soll exemplarisch gezeigt werden, wie die Ergebnisse der curricularen Analyse in die Itementwicklung eines Testinstruments zur Messung ökonomischer Kompetenz in der Sekundarstufe I, speziell in der Jahrgangsstufe 8 in Nordrhein-Westfalen, eingeflossen sind. Hierzu wird vorab das Testinstrument ECON-EL vorgestellt¹. Es kann erwartet werden, dass ein derart konstruiertes Assessment curricular valide ist. Um dies zu zeigen, wird auf das Alignment-Konzept abgestellt (Pellegrino 2002; Porter 2002). Im Speziellen soll der Grad der Passung zwischen intendiertem und erreichtem Curriculum analysiert werden. Insbesondere im internationalen Kontext gilt das Alignment-Konzept als essenzielles Validitätsmerkmal eines Tests und stellt eine Voraussetzung für die aussagekräftige Testwertinterpretation dar (AERA et al. 2014). Die in den Untersuchungen genutzten Methoden können einen Beitrag zur inhaltsvalidierenden Aufgabenentwicklung in anderen Domänen leisten, indem dargestellt wird, wie sich (1) Testaufgaben inhalts- wie kognitionsbezogen näher am curricular intendierten Kompetenzerwerb konstruieren lassen und (2) das Alignment-Konzept als zusätzliche Quelle für Evidenz im Bereich der curricularen Validität verwendet werden kann.

2 Theoretischer Rahmen

2.1 Einsatz von Indikatoren für die Messung curricularer Validität

Das Konstrukt Alignment ist der Kern der amerikanischen Standards-Based Reform Policy (Smith und O’Day 1990) und beschreibt die Passung zwischen intendiertem- (Rahmenlehrpläne), implementiertem- (Unterricht) und erreichtem Curriculum (Schülerleistungen) (Anderson 2002; Pellegrino 2002). Im Bereich der bildungsbezogenen Leistungsmessung gilt das Alignment-Konzept daher als wichtige Evidenzquelle für die Validität eines Tests sowie deren Testwertinterpretation (Naumann et al. 2019). Demnach sind Testergebnisse ohne vorherige Prüfung des Alignments in ihrer Aussagekraft eingeschränkt (Cizek et al. 2018). Die Standards of Educational and Psychological Testing definieren das Alignment für die Evidenzgewinnung im Bereich der curricularen Validität als den Grad der Übereinstimmung des Testinhalts und kognitiven Anforderungsniveaus mit der zugrunde gelegten Referenzgröße (test-to-standards) (AERA et al. 2014, S. 216).

In Bezug auf die Messung von Alignment wurden im Verlauf der letzten Jahrzehnte unterschiedliche Indizes entwickelt (Cizek et al. 2018). Ziel von Indikatoren ist es, systemische Charakteristika zu beschreiben und miteinander in Beziehung zu setzen, Veränderungen aufzuzeigen und hinsichtlich einer gesetzten Norm zu bewerten (Shavelson et al. 1991). Ein bildungssystembezogener Indikator kann dabei auf einer individuellen oder zusammengesetzten Statistik fußen, die sich auf ein spezifisches Konstrukt bezieht und interpretierbar ist (Shavelson et al. 1991). Die in der Forschungslandschaft häufig verwendeten Ansätze sind (1) die Achieve-Methode (Rothman et al. 2002), (2) die Webb-Methode (Webb 1997, 1999) sowie (3) der Alignment-Indikator des Surveys of Enachted Curriculum (SEC) von Porter (2002). Eine detaillierte Analyse über Vor- und Nachteile einzelner Alignment-Methoden findet sich bei Bhola et al. (2003). Cizek et al. (2018) und Martone und Sireci (2009). Zusammenfassend lassen sich die Methoden wie folgt voneinander abgrenzen:

• Die Achieve-Methode differenziert Alignment in vier verschiedene Aspekte. Bei der content centrality als auch der performance centrality schätzen Fachexperten mithilfe einer vierstufigen Likert-Skala von inkonsistent zu konsistent ab, inwieweit eine Passung zwischen einzelnen Testitems und einer entsprechenden Kompetenzerwartung des Curriculums gegeben ist. Über den Komplexitätsgrad wird dichotom beurteilt, inwiefern Items in ihren kognitiven Anforderungen angemessen sind. Der vierte Aspekt balance and range gibt an, ob der Test insgesamt hinsichtlich der inhaltlichen Ausgestaltung bezogen auf Konstruktbreite und -tiefe ausgewogen entwickelt wurde. Hierfür geben die Fachexperten ein qualitatives Urteil ab.

• Die Webb-Alignment-Methode bewertet die Passung ebenfalls anhand von vier Kriterien. Die Testitems nebst den zugrunde gelegten Standards werden von Ratern kriteriengestützt codiert. Das Kriterium Categorical Concurrence deutet auf den Grad an inhaltlicher Deckungsgleichheit zwischen Testinstrument und Leistungsstandard hin. Während die Depth-of-Knowledge indizieren, ob die Testitems in ihrem kognitiven Anforderungsniveau zu den Standards passen. Mit der Range of Knowledge Correspondance wird geprüft, inwieweit das gemessene Konstrukt die Breite an benötigtem Wissen der bezugnehmenden Leistungsstandards abdeckt. Das vierte Kriterium, Balance of Representation zeigt den Grad an inhaltlicher Ausgewogenheit des Tests bezogen auf die Leistungsstandards an.

• Der SEC Allignment-Indikator verzichtet auf einen direkten Vergleich zwischen Assessment und Leistungsstandard. Die Prüfung des Alignments bedarf eines vorab definierten Frameworks. Dieses bezieht inhaltliche Kategorien der Domäne und kognitive Anforderungsniveaus in Form zugrunde liegender Taxonomien mit ein (bspw. die Bloom’sche Taxonomie 1956, die Taxonomie nach Anderson und Krathwohl 2001 oder die Taxonomie nach Marzano und Kendall 2007). Sowohl die Items als auch das Curriculum werden matrizenförmig geratet. So wird eine unmittelbare Verknüpfung zwischen inhaltlichen Bereichen eines Curriculums und dem kognitiven Anforderungsniveau ermöglicht. Der Vorteil ist, dass diese sich bspw. bei der Beurteilung des eigenen Unterrichts durch Lehrkräfte als ein prädiktiver Faktor von Schülerleistungen zeigen (Gamoran et al. 1997). Der ermittelte Alignment-Index gibt auf aggregierter Ebene die absolute Diskrepanz zwischen Curriculum und Assessment in Bezug auf Inhaltsbereiche und kognitive Anforderungsniveaus wieder. Darüber hinaus lassen sich auch feinere Prüfungen für einzelne Bereiche durchführen. Für die Analyse des intendierten, implementierten und erreichten Curriculums wird das identische Framework verwendet; Die Ergebnisse aus verschiedenen Validitätsquellen lassen sich so bestmöglich vergleichen (Liu und Fulmer 2008).

Nachteilig ist anzuführen, dass die Detailfülle der Bewertung des Alignments im Vergleich zu anderen Methoden geringer ist. Martone und Sireci (2009) zeigen, dass der Ansatz von Webb die aussagekräftigsten quantitativen Informationen für die Beurteilung des Alignments anhand mehrerer Kriterien bereitstellt. Im Gegensatz dazu bietet die Achieve-Methode durch qualitative Urteile der Rater ein zusätzliches narratives Element und thematisiert auch auf die kognitive Belastung des Assessments ein. Der Vorteil des Alignment-Index nach Porter und Smithson liegt in der unmittelbaren Verknüpfung von kognitiven Prozessen und fachlichen Inhalten. Die in dieser Studie durchgeführte Prüfung des Alignments zwischen Curriculum und Assessment als eine Quelle von curricularer Validität beruht auf dem Ansatz nach Porter (2002). Der Einsatz eines gleichbleibenden Analyserasters erhöht die Vergleichbarkeit der erzeugten Befunde und stärkt deren Interpretation.

2.2 Didaktische Konzeptionalisierungen und Modellierungsansätze ökonomischer Kompetenzen in Assessments – Eine Kurzübersicht

Neben grundlegenden mathematisch-naturwissenschaftlichen oder sprachlichen Kompetenzen sind auch gesellschaftliche, politische und ökonomische Kompetenzen für die Bewältigung von Lebenssituationen zunehmend bedeutsam (Prenzel et al. 2004). Basale wirtschaftliche Kompetenzen sind im angloamerikanischen Sprachraum seit langem Teil des Bildungskanons (CEE 2010; Soper und Walstad 1987). International ist durch PISA das Konstrukt der Financial Literacy (OECD 2014, 2017, 2020) als eine Facette von ökonomischer Kompetenz definiert. In Deutschland ist die ökonomische Bildung zwar Bestandteil der Allgemeinbildung (KMK 2008, 2016b) jedoch existieren keine national verbindlichen Bildungsstandards. Somit ist die curriculare Verankerung bundesland- und schulformspezifisch höchst different. Die Variation zeigt sich in den gesellschaftswissenschaftlichen Fächern durch unterschiedliche Fachstrukturen (Einzelfächer, Fächerverbünde oder einzelne Inhaltsfelder in Fächern, siehe Fortunati und Winther (2021)), durch unterschiedlich hohe Stundenkontingente (Gökbudak 2021; Siegfried und Ackermann 2020) und durch stark differierende Inhalte (Macha 2019). Mit Blick auf die didaktischen Empfehlungen wird das Spannungsfeld zwischen der klassischen wissenschaftspropädeutischen ökonomischen Bildung und der sozioökonomischen Bildung deutlich. Die klassische Neben grundlegenden mathematisch-naturwissenschaftlichen oder sprachlichen Kompetenzen sind auch gesellschaftliche, politische und ökonomische Kompetenzen für die Bewältigung von Lebenssituationen zunehmend bedeutsam (Prenzel et al. 2004). Basale wirtschaftliche Kompetenzen sind im angloamerikanischen Sprachraum seit langem Teil des Bildungskanons (CEE 2010; Soper und Walstad 1987). International ist durch PISA das Konstrukt der Financial Literacy (OECD 2014, 2017, 2020) als eine Facette von ökonomischer Kompetenz definiert. In Deutschland ist die ökonomische Bildung zwar Bestandteil der Allgemeinbildung (KMK 2008, 2016b) jedoch existieren keine national verbindlichen Bildungsstandards. Somit ist die curriculare Verankerung bundesland- und schulformspezifisch höchst different. Die Variation zeigt sich in den gesellschaftswissenschaftlichen Fächern durch unterschiedliche Fachstrukturen (Einzelfächer, Fächerverbunde oder einzelne Inhaltsfelder in Fächern, siehe Anonym A & Anonym B 2023), durch unterschiedlich hohe Stundenkontingente (Gökbudak 2021; Siegfried und Ackermann 2020) und durch stark differierende Inhalte (Macha 2019). Mit Blick auf die didaktischen Empfehlungen wird das Spannungsfeld zwischen der klassischen wissenschaftspropädeutischen ökonomischen Bildung und der sozioökonomischen Bildung deutlich. Die klassische wissenschaftspropädeutische ökonomische Bildung stellt darauf ab, dass eine Person im funktionalistischen Sinne situationsadäquat handeln soll, um als kompetent zu gelten. Darüber hinaus bezieht sie sich primär auf die Wirtschaftswissenschaften als Referenzdisziplin (Albers 1995; Dubs 2011, 2013; Kaminski 2017; May 2010; Retzmann et al. 2010; Rumpold und Greimel-Fuhrmann 2021; Seeber et al. 2012). Die sozioökonomische Bildung sieht hierin eine Verengung der ökonomischen Bildung und stellt das Prinzip der Sozialwissenschaftlichkeit entgegen, das den Einbezug aller verwandten Sozialwissenschaften als Wissenschaftsgruppe in die sozioökonomische Bildung vorsieht und ebenfalls darauf verweist, dass innerhalb der wirtschaftswissenschaftlichen Forschung eine zunehmende Theorienpluralität besteht und der „Herrschaftsanspruch“ einer Mainstreamökonomie kritisiert wird (Engartner et al. 2018; Engartner und Krisanthan 2013; Fridrich et al. 2021; Hedtke 2018, 2019). Das zweite wesentliche Prinzip ist das der Subjektorientierung. Die Subjektorientierung stellt den persönlichen Reifeprozess des Individuums in den Vordergrund, das diesen selbst mit einem hohen Grad an Autonomie gestalten soll (Hedtke 2018). Jedweder Bildungsgegenstand muss einen selbstreflexiven Charakter aufweisen, um den persönlichen Entwicklungsprozess zu fördern. Einen Kompromiss beider Positionen bietet die wirtschaftspädagogische Forschung an: Mit der reflexiven Wirtschaftspädagogik wird Bezug auf die sozioökonomische Bildung genommen und ein rein funktionales Kompetenzverständnis durch ein wirtschaftliches „Sinn-Verstehen“ erweitert. Ein systemisches Verständnis wirtschaftlicher (Teil‑)Aspekte befördert das Erkennen des gesellschaftlichen Gesamtzusammenhangs sowie die kritische Reflexion (Goldschmidt et al. 2018; Tafner 2015, 2018, 2020). So entsteht das normative Leitbild des „mündigen Wirtschaftsbürgers“, der tüchtig, selbstbestimmt und verantwortungsvoll ökonomisch geprägte Lebenssituationen bewältigt (Albers 1995; Ulrich 2016), die in verschiedenen Lebensbereichen: persönlich, beruflich und gesellschaftlich zu finden sind (Eberle 2015; Kaminski 2017). Als drittes wesentliches und allen Ansätzen der sozioökonomischen Bildung verbindendes Prinzip gilt die Pluralität. Es wird davon ausgegangen, dass zur lösungsorientierten Bearbeitung gesellschaftlicher Problemstellungen eine inter- und multidisziplinäre Herangehensweise erforderlich ist, die zu innovativen Ansätzen in Forschung und Lehre führen können (Bäuerle et al. 2021; Berner et al. 2021; Beyer 2021; Engartner et al. 2018). Ökonomische Bildung stellt darauf ab, dass eine Person im funktionalistischen Sinne situationsadäquat handeln soll, um als kompetent zu gelten. Darüber hinaus bezieht sie sich primär auf die Wirtschaftswissenschaften als Referenzdisziplin (Albers 1995; Dubs 2011, 2013; Kaminski 2017; May 2010; Retzmann et al. 2010; Rumpold und Greimel-Fuhrmann 2021; Seeber et al. 2012). Die sozioökonomische Bildung sieht hierin eine Verengung der ökonomischen Bildung und stellt das Prinzip der Sozialwissenschaftlichkeit entgegen, das den Einbezug aller verwandten Sozialwissenschaften als Wissenschaftsgruppe in die sozioökonomische Bildung vorsieht und ebenfalls darauf verweist, dass innerhalb der wirtschaftswissenschaftlichen Forschung eine zunehmende Theorienpluralität besteht und der „Herrschaftsanspruch“ einer Mainstreamökonomie kritisiert wird (Engartner et al. 2018; Engartner und Krisanthan 2013; Fridrich et al. 2021; Hedtke 2018, 2019). Das zweite wesentliche Prinzip ist das der Subjektorientierung. Die Subjektorientierung stellt den persönlichen Reifeprozess des Individuums in den Vordergrund, das diesen selbst mit einem hohen Grad an Autonomie gestalten soll (Hedtke 2018). Jedweder Bildungsgegenstand muss einen selbstreflexiven Charakter aufweisen, um den persönlichen Entwicklungsprozess zu fördern. Einen Kompromiss beider Positionen bietet die wirtschaftspädagogische Forschung an: Mit der reflexiven Wirtschaftspädagogik wird Bezug auf die sozioökonomische Bildung genommen und ein rein funktionales Kompetenzverständnis durch ein wirtschaftliches „Sinn-Verstehen“ erweitert. Ein systemisches Verständnis wirtschaftlicher (Teil‑)Aspekte befördert das Erkennen des gesellschaftlichen Gesamtzusammenhangs sowie die kritische Reflexion (Goldschmidt et al. 2018; Tafner 2015, 2018, 2020). So entsteht das normative Leitbild des „mündigen Wirtschaftsbürgers“, der tüchtig, selbstbestimmt und verantwortungsvoll ökonomisch geprägte Lebenssituationen bewältigt (Albers 1995; Ulrich 2016), die in verschiedenen Lebensbereichen: persönlich, beruflich und gesellschaftlich zu finden sind (Eberle 2015; Kaminski 2017). Als drittes wesentliches und allen Ansätzen der sozioökonomischen Bildung verbindendes Prinzip gilt die Pluralität. Es wird davon ausgegangen, dass zur lösungsorientierten Bearbeitung gesellschaftlicher Problemstellungen eine inter- und multidisziplinäre Herangehensweise erforderlich ist, die zu innovativen Ansätzen in Forschung und Lehre führen können (Bäuerle et al. 2021; Berner et al. 2021; Beyer 2021; Engartner et al. 2018).

Auch in der empirischen Forschung werden die erheblichen Unterschiede im Verständnis von ökonomischer Bildung und terminologischer Begriffsbestimmung deutlich. So werden zentrale Konzepte wie der Begriff der Literacy und der Kompetenzbegriff uneinheitlich verwendet (Benner 2002, 2011; Messner 2016; Zlatkin-Troitschanskaia und Seidel 2011). Klassisch wird in der ökonomischen Bildung der Begriff der Economic Literacy zumeist mit einem Verständnis gesamtwirtschaftlicher Zusammenhänge gleichgesetzt, das auf ein Verstehen, Bewerten und Urteilen von ökonomischen Gesellschaftszusammenhängen abstellt (Soper und Walstad 1987). Als richtungsweisendes Messinstrument gilt der Test of Economic Literacy (TEL) (Soper und Walstad 1987; Walstad et al. 2013) und die deutsche Adaption (Beck und Krumm 1998), die in zahlreichen nationalen wie internationalen Studien eingesetzt werden. In der letzten Dekade wurde eine Verkürzung der ökonomischen Bildung auf rein volkswirtschaftliche Inhalte deutlich kritisiert (Schumann et al. 2011; Tramm und Seeber 2006); Inhalte des persönlichen Lebensbereichs und der unternehmerischen Sphäre werden verstärkt betrachtet. In der Folge haben sich Kompetenztests für neue Teilbereiche der ökonomischen Bildung im deutschsprachigen Raum entwickelt, bspw. für die sozioökonomische Bildung von Schweizer Gymnasiast*innen (Ackermann 2019), Studierenden der Wirtschaftswissenschaften und auch internationale Vergleiche zwischen Studierenden (Federiakin et al. 2022; Förster et al. 2017; Kühling-Thees et al. 2020, 2021; Zlatkin-Troitschanskaia et al. 2019) und für die Bereiche Betriebs- und Volkswirtschaftslehre (Schumann et al. 2011). In der Sekundarstufe I in Deutschland haben insbesondere die Arbeiten von Macha ein Alleinstellungsmerkmal, da ökonomische Kompetenz für Schüler*innen der Sekundarstufe I in möglichst alltäglich konstruierten Handlungssituationen modelliert wird (Macha 2015; Macha und Schuhen 2011, 2012, 2013). Seeber et al. (2015) kritisieren jedoch, dass bei der Entwicklung des Kompetenzmodells eine unscharfe Trennung zwischen Elementen der Testentwicklung (Aufgabenformat sowie die Repräsentanz einzelner Inhaltsbereiche) mit individuellen kognitiven, motivationalen und volitionalen (Leistungs‑)Dispositionen gleichgesetzt werden. Die empirischen Ergebnisse der WIKO-BW-Studie für die Sekundarstufe I in Baden-Württemberg von Seeber und Kollegen, basierend auf dem Kompetenzmodell von Retzmann, zeigen entgegen der im Modell normativ formulierten Dreidimensionalität nur eine Dimension an (Kaiser et al. 2020; Oberrauch 2019; Seeber et al. 2018). Begründet wird dies auch mit der Herausforderung, geeignete Items für die Teildimensionen zu entwickeln (Oberrauch 2019). Des Weiteren gibt es im Bereich der Financial Literacy neuere Testinstrumente für die Sekundarstufe I. In der Konzeption unterscheiden sich die Instrumente dahingehend, dass entweder speziell finanzielles Wissen im persönlichen Lebensbereich (OECD 2020; Rumpold und Greimel-Fuhrmann 2016) betrachtet wird oder auch Auswirkungen von Veränderungen in den volkswirtschaftlichen Rahmenbedingungen auf individuelle Finanzentscheidungen berücksichtigt werden und damit das Konzept von Financial Literacy verbreitern (Aprea 10,11,a, b; Aprea et al. 2016). In der Gesamtschau zeigt sich jedoch, dass bis auf einzelne Ausnahmen wenig Evidenz für die ökonomische Kompetenzstruktur in der Sekundarstufe I in Deutschland vorliegt. Es fehlt vor allem an Assessments, die mehrere Teilbereiche ökonomischer Kompetenz abbilden und auch an der Entwicklung geeigneter Kompetenzniveaumodelle (Seeber et al. 2015). Allen Assessments gemein ist der Fokus, dass bei der Modellierung der Testitems ausschließlich auf ökonomische Inhalte fokussiert wird. Unklar bleibt bei der Itementwicklung stets die Beziehung zwischen den Inhalten und der modellierten kognitiven Komplexität. Es fehlt vor allem an Analysen über die kognitiven Prozesse des Wissenserwerbs und der Wissensrepräsentation von ökonomischen Kompetenzen. Hierdurch wird die Modellierung und Messung wirtschaftlicher Kompetenz als auch die zielgruppenspezifische Entwicklung von ökonomischen Handlungssituationen in Assessments erschwert (Winther 2010).

2.3 Wirtschaftliche Kompetenz und Konzeption der ökonomischen Domäne

Für die ökonomische Bildung ist es aufgrund der divergierenden fachdidaktischen und kompetenztheoretischen Konzeptionen von besonderer Relevanz, das eigene projektspezifische Verständnis von wirtschaftlicher Kompetenz transparent darzulegen (Seeber et al. 2015). Die Definition von Kompetenz und die Strukturierung der Inhalte ergeben sich aus normativen Setzungen und einer intensiven literaturbasierten Auseinandersetzung mit der ökonomischen Domäne. Im Folgenden wird zunächst die projektspezifische Konzeption von wirtschaftlicher Kompetenz definiert, hergeleitet und innerhalb der ökonomischen Bildung verortet.

Wir definieren ökonomische Kompetenz wie folgt:

„Die ökonomische Kompetenz bezieht sich auf die erfolgreiche Bewältigung ökonomisch geprägter Handlungssituationen, die im persönlich-finanziellen, beruflich-unternehmerischen und gesellschaftlich-volkswirtschaftlichen Lebensbereich unter Einbezug der Nachhaltigkeit zu verorten sind. Diese zeigt sich durch das Wissen und die Fähigkeiten, das Anforderungsspektrum einer ökonomischen Problemstellung in einem spezifischen ökonomischen Kontext zu erfassen, zu verstehen, systematisch zu analysieren, Lösungen zu entwickeln, zu beurteilen, begründet handeln und reflektieren zu können. Der Zugang zur Domäne kann sprachlich-argumentativ oder mathematisch-analytisch erfolgen.“

In der Forschung zeigen sich unterschiedliche Paradigmen im Verständnis von Kompetenz (Blömeke et al. 2015; Norris 1991). Die verwendeten Kompetenzdefinitionen lassen sich in (1) generische (2) behavioristische und (3) kognitive Kompetenzkonzepte gruppieren. In der empirischen Bildungsforschung in Deutschland sowie in der dargelegten Definition wird zumeist auf die kontextspezifische kognitive Leistungsdisposition abgestellt (Hartig und Klieme 2006; Weinert 2001). Kompetenz wird als kognitive Leistungsdisposition in Bezug auf eine Domäne verstanden (Weinert 2001). Die Leistungsdisposition zeigt sich auf der Ebene der Performanz. Dies lässt im Umkehrschluss zu, dass von der Performanz auf die Kompetenz geschlossen werden kann (Winther 2010). Deshalb sollten bei der Entwicklung assessmenttypischer Handlungsannahmen und -folgen analysiert und die Reichweite der Domäne eingegrenzt werden (Fleischer et al. 2012; Hartig und Klieme 2006; Klieme und Hartig 2007).

Als kontextuelles Eingrenzungskriterium gilt die inhaltliche Reichweite der definierten Kompetenz. Die Konzeption orientiert sich inhaltlich am Situations- und Wissenschaftsprinzip der ökonomischen Bildung (Kaminski 2017; Reetz 1984, 2003; Steinmann 1997). Das Individuum ist in den verschiedensten Lebensbereichen mit ökonomischen Handlungssituationen konfrontiert. Typischerweise wird in den Fachdidaktiken die mögliche Situation in drei Lebensbereiche gruppiert:

• 1. Im persönlich-finanziellen Lebensbereich treten ökonomische Handlungssituationen im Alltag der Menschen auf. Sie nehmen dabei die Rolle als Verbraucher, Konsument, Sparer, Anleger, Kredit- und Versicherungsnehmer (Kaminski 2017; Retzmann et al. 2010; Seeber et al. 2012). Allen Handlungssituationen im persönlich-finanziellen Bereich ist zu eigen, dass sie auf individuelle Handlungsentscheidungen und -folgen im Privaten abstellen. Fachwissenschaftlich ist eine umfassende Verbraucherbildung (KMK 2013; MSB 2017) mit Financial Literacy nach PISA (OECD 2014, 2017, 2019, 2020) adressiert.

• 2. Der beruflich-unternehmerische Lebensbereich bezieht sich auf ökonomische Problemstellungen, mit denen Individuen in der Arbeitswelt konfrontiert sind. Dubs (2011) und Eberle et al. (2016) unterscheiden hier zwischen berufsallgemeinen, berufsübergreifenden und berufsspezifischen Handlungssituationen. Berufsallgemeine Handlungssituationen umfassen Inhalte, die für nahezu alle arbeitenden Personen von Relevanz sind (bspw. Arbeitsrecht, betriebliche Mitbestimmung, Tarifkonflikt, AGG o. Ä.) und nicht an spezifische Berufsfelder gebunden sind. Berufsübergreifende Handlungssituationen beziehen sich auf Inhalte, die in Berufsfeldern hier spezifisch in kaufmännisch-verwaltenden Berufen benötigt werden. Dies umfasst bspw. Grundlagen der Unternehmensführung, Rechnungswesen, Kostenkalkulationen ö. Ä. In den berufsübergreifenden Handlungssituationen werden alle Wertschöpfungsaktivitäten prozessorientiert betrachtet. Davon abzugrenzen sind berufsspezifische Handlungssituationen, die sich auf Inhalte einzelner Berufe fokussieren und klassischerweise eine berufliche Handlungskompetenz adressieren.

• 3. Im gesellschaftlich-volkswirtschaftlichen Lebensbereich sind Personen mit ökonomisch geprägten Handlungssituationen konfrontiert, welche die gesamte Gesellschaft betreffen. Gesamtwirtschaftliche Problemstellungen treten gemäß Eberle et al. (2016) in diversen (wirtschaftspolitischen) Feldern auf (bspw. Arbeitsmarkt- und Sozialpolitik, Fiskal- und Finanzmarktpolitik, Steuern, internationale Wirtschaftsbeziehungen, Migrationsfragen usw.). Dieser Lebensbereich erfordert ein hohes Abstraktionsvermögen sowie den Umgang mit komplexen Problemstellungen, die sich aus der Schnittmenge zwischen Wirtschaft und Politik ergeben (Ackermann 2019, 2021).

Die ökonomischen Problemstellungen ergeben sich wissenschaftspropädeutisch aus den Fachwissenschaften der Volkswirtschafts- und Betriebswirtschaftslehre, die möglichst multiperspektiv konstruiert, zu einem Erkenntnisgewinn über ökonomische Konzepte und Theorien beitragen und ein differenziertes ökonomisches Urteilen ermöglichen (Kirchner 2020; Weyland 2021a). Aus gesellschaftlicher und fachdidaktischer Perspektive gewinnt das Thema Nachhaltigkeit sowohl auf individueller gesellschaftlicher als auch auf betrieblicher Ebene an Bedeutung (Corsten und Roth 2012) und wird sowohl in der beruflichen Bildung (Haan und Holst 2021; Melzig et al. 2021; Rebmann und Schlömer 2020) als auch in der sozioökonomischen Bildung diskutiert (Schank und Lorch 2018). In der Kompetenzkonzeption wird von einem ganzheitlichen Konzept von Nachhaltigkeit ausgegangen (United Nations 1987, 2015). Fragen der Nachhaltigkeit betreffen in dieser Definition alle drei Lebensbereiche. Laut KMK-Beschlüssen (KMK 2007, 2016a) stellt die Bildung für nachhaltige Entwicklung (BNE) einen festen curricularen Bestandteil dar. Mit Blick auf die ökonomischen Lebensbereiche erfüllt die Nachhaltigkeit eine Querschnittsfunktion, um ökonomische Problemstellungen anhand nachhaltigkeitsbezogener Maßstäbe beurteilen und bewerten zu können sowie etwaige Zielkonflikte zu untersuchen. Der Einbezug von Nachhaltigkeit öffnet die Möglichkeit, ökonomische Problemstellungen multiperspektiv und interdisziplinär zu betrachten, um bspw. etwaige Zielkonflikte zwischen gesellschaftlichen Akteuren aufzuzeigen.

Für die wirtschaftliche Domäne ergibt sich bei der Eingrenzung der Reichweite ein besonderes Problem: Wirtschaftliche Inhalte werden sowohl an allgemeinbildenden Schulen als auch an berufsbildenden Schulen unterrichtet und unterliegen hier teilweise unterschiedlichen Unterrichtssystematiken (Fächersystematiken vs. Lernfeldsystematik) (Sloane und Dilger 2005). Es ist daher auch von Bedeutung, die Zielgruppe adäquat einzugrenzen. Die Kompetenzdefinition bezieht sich auf die ökonomische Bildung an allgemeinbildenden Schulen. Da das zu entwickelnde Testinstrument in der Jahrgangsstufe 8 eingesetzt wurde, werden Inhalte der Sekundarstufe II oder eine berufsspezifische kaufmännische Handlungskompetenz nicht berücksichtigt.

Als kognitives Abgrenzungskriterium zur Bestimmung der Reichweite von spezifischen Kompetenzen differenzieren Gelman und Greeno (1989) zwischen domänenverbundenen und domänenspezifischen Kompetenzen. Domänenverbundene Kompetenzen stellen allgemeine Kompetenzen wie das Lesen, Schreiben und Rechnen dar. Der Erwerb domänenspezifischer Kompetenzen setzt die Verfügbarkeit domänenverbundener Kompetenzen voraus. Diese Annahme bestätigt sich auch in der Experten-Novizen-Forschung. So zeigen Experten im Vergleich zu Novizen deutlich bessere Arbeitsergebnisse, da diese aufgrund ihrer profunden Vorkenntnisse domänenspezifische Probleme besser erfassen und routinierter bearbeiten können (Chi et al. 1988; Gruber und Ziegler 1996; Mandl und Friedrich 1992). Für domänenspezifische Kompetenzen differenzieren Greeno und Kollegen drei Teildimensionen: conceptual, interpretative und utilizational (Gelman und Greeno 1989; Greeno et al. 1996, 1984; Resnick 1989). Eine für die jeweilige Domäne typische Handlungssituation muss zunächst hinsichtlich Zielrichtung und Reichweite kognitiv erfasst werden (interpretative competence). Über dieses mentale Anforderungsmodell wird die wirtschaftliche Problemstellung mittels deklarativer und/oder prozeduraler Wissensbestände und kognitiver Verarbeitungsstrukturen bearbeitet (conceptual competence). Das Lösen von Problemstellungen erfordert somit ein ganzheitliches Verständnis zentraler domänenspezifischer Konzepte, um geeignete Schlussfolgerungen ziehen zu können (Macha 2011; Macha und Schuhen 2012; Winther 2010). Dies schließt bspw. auch domänenspezifische methodische Vorgehensweisen bei der Bewältigung von Anforderungssituationen ein (Klotz 2015; Winther 2010). Im Anschluss wird die entwickelte Problemlösung auf das mentale Anforderungsmodell bezogen, bewertet und reflektiert (utilizational competence). Die Lösungsbewertung und -reflexion setzt somit eine Verfügbarkeit und adäquate Anwendung konzeptioneller und prozeduraler Wissensbestände voraus (Shavelson 2008; Shavelson et al. 2008). Die prozessuale Strukturierung findet sich sowohl in der beruflichen Forschung (Eberle et al. 2016; Winther 2010; Winther und Achtenhagen 2009; Winther et al. 2016) als auch in der ökonomischen Bildung (Ackermann 2019, 2021; Macha und Schuhen 2011, 2013).

Für die ökonomische Bildung ist ebenfalls relevant, wie auf fachliche Inhalte in ökonomischen Handlungssituationen zugegriffen wird. In der kaufmännischen (Vor‑)Bildung betont Winther (2010) mit dem Begriff der Economic Literacy und Numeracy den funktionalen Aspekt von ökonomischer Bildung bezogen auf Alltagssituationen. Für den Zugang zu domänenbezogenen Anforderungssituationen lassen sich zwei Arten von Zugängen identifizieren: (1) der sprachlich-argumentative Zugang erfolgt über den Einsatz von vorwiegend text- und bildsprachlichen Kenntnissen, während (2) der mathematisch-analytische Zugang vorwiegend auf mathematische Kenntnisse und Fähigkeiten und hier insbesondere das Verständnis von quantitativen Werten und Verhältnissen zur Lösung eines wirtschaftlichen Problems abstellt. Dies erscheint auch für die ökonomische Allgemeinbildung von Bedeutung, da trotz aller divergierenden fachdidaktischen Konzeptionen die Mathematik eine bedeutsame Hilfswissenschaft zur Bewertung ökonomischer Problemstellungen gilt (Klotz et al. 2015; Winther 2010).

Ableitend aus der Kompetenzdefinition lassen sich domänenspezifische Anforderungssituationen für das Testinstrument ECON-EL in der Sekundarstufe I modellieren (siehe Abb. 1).

Abb. 1

Modell zur Entwicklung domänenspezifischer Anforderungssituationen für das Testinstrument ECON-EL

Über die Kategorien: Zielsetzung/Leistungsspektrum, kognitive Struktur sowie Arbeitstechniken und Methoden lassen sich aus der Kompetenzdefinition zum einen domänentypische Anforderungssituationen modellieren (Winther 2010), zum anderen können die Kategorien als ein grobes Raster für die deduktive Genese eines Kategoriensystems zur Analyse von Curricula genutzt werden.

• 1. Die Zielsetzung/Leistungsspektrum beschreibt die curricularen Lern- und Handlungsziele. Essenziell ist dabei, dass diese Zielsetzung in einer operationalisierten Form bspw. als (Teil‑)Kompetenzziele in Lehrplänen vorhanden ist um für eine Untersuchung zugänglich sein zu können. Die Kompetenzziele geben Aufschluss über das Lern- und Anforderungsniveau sowie die inhaltliche Breite und Tiefe im jeweiligen Unterrichtsfach.

• 2. Kognitive Struktur: Umfasst die Wissensrepräsentation und den Wissenserwerb bei der Bewältigung von Handlungssituationen. Dabei wird analysiert, über welches Wissen und über welche Fähigkeiten SuS verfügen müssen, um eine Handlungssituation bewältigen zu können (Gelman und Greeno 1989; Greeno 1998; Marzano und Kendall 2007, 2008; Winther 2010). Die kognitive Struktur kann über Lernzieltaxonomien operationalisiert werden.

• 3. Arbeitstechniken und -methoden: Beschreiben domänentypische Materialien, theoretische Modelle, Handlungsroutinen und Arbeitsweisen, die als typisch für spezifische Handlungssituationen gelten (bspw. Kaufvertrag bei einem Einkauf in Form einer Rechnung oder eines Kassenbons, Kontenrahmen bei der Bilanzierung usw.).

3 Forschungsdesign, Methoden und Daten oder: Wie das Konzept ökonomischer Kompetenz in curriculare Vergleiche einfließt

3.1 Forschungsdesign und das deduktive Kategoriensystem

Die diversen Konzeptionen von Curricula national wie international sind von normativen Sichtweisen und Überzeugungen geprägt, die die Rolle der Curricula in Schule sowie die Art des Lehrens und Lernens beeinflussen (Adamson und Morris 2014). Für die Analyse von Curricula merken Adamson und Morris (2014) an, dass es unerlässlich ist, die eigenen Ziele und welche Daten hierfür benötigt werden, zu explizieren (siehe Abb. 2).

Abb. 2

A Framework for Comparing Curricula, Adamson und Morris (2014, S. 316)

Für die Testentwicklung in gering strukturierten Domänen ist zu prüfen, …

• 1. … ob durch die deduktive Analyse der Kompetenzziele der intendierten Curricula statistische Zusammenhänge zwischen den Inhaltskategorien und dem kognitiven Anforderungsniveau zu finden sind (FF1)?

Zur Bestimmung der curricularen Validität nach Entwicklung des Testinstruments zur Messung ökonomischer Kompetenz in der Sekundarstufe I soll das Alignment zwischen Test und Curricula bestimmt werden. Für die curriculare Validierung eines Testinstruments in gering strukturierten Domänen ist zu prüfen, …

• 2. … ob ein Alignment zwischen dem Testinstrument und den Curricula im Allgemeinen und den Curricula in Nordrhein-Westfalen im Speziellen vorhanden ist (FF2)?

• 3. … ob sich ein Misalignment zwischen Test und Curricula bezogen auf Inhaltsbereiche und dem kognitiven Anforderungsniveau zeigt (FF3)?

Die benötigten Daten werden auf Basis der qualitativen-strukturierenden Inhaltsanalyse (Mayring 2016; Mayring und Fenzl 2019) über ein deduktiv entwickeltes Kategoriensystem gewonnen. Das Kategoriensystem leitet sich aus dem projektspezifischen Kompetenzverständnis ab. Es wird angenommen, dass die Erreichung der Kompetenzziele von instruktionalen Prozessen beeinflusst ist, die sich lernpsychologisch und fachwissenschaftlich beschreiben lassen.

Das entwickelte Kategoriensystem differenziert zwischen Struktur- und Prozessebene (siehe Auszug in Anh. 1):

• Die Strukturebene beschreibt aus fachwissenschaftlicher Perspektive die Lebensbereiche, in denen ein Individuum mit wirtschaftlich geprägten Handlungssituationen konfrontiert ist. Für den gesellschaftlich-volkswirtschaftlichen Bereich wird die Konzeption des Frameworks for Teaching Basic Economic Concepts aufgegriffen (CEE 2010, 2013; Saunders und Gilliard 2005). Der persönlich-finanzielle Bereich orientiert sich zum einen am PISA Financial Literacy Framework (OECD 2014, 2019, 2020) und zum anderen an Richtlinien der Verbraucherbildung (KMK 2013; MSB 2017). Die Kategorisierung des beruflich-unternehmerischen Lebensbereichs bezieht sich auf die Differenzierung zwischen einem domänenverbundenen wirtschaftsbürgerlichen beruflichen Grundlagenwissen (berufsallgemeines Wissen bspw. Wissen Berufsorientierung, Tarifpolitik, Arbeitsrecht usw.) und einem domänenverbundenen kaufmännischen Grundlagenwissen (berufsübergreifendes Wissen bspw. Grundlagen Unternehmensführung, Kostenkalkulationen usw.) (u. a. Eberle et al. 2016). Domänenbezogene Anforderungssituationen werden durch sprachlich-argumentative und mathematisch-analytische Zugänge erschlossen.

• Für die Untersuchung der Prozessebene aus lernpsychologischer Perspektive werden Taxonomie-Klassifikationen genutzt. Mithilfe von Taxonomien lassen sich kognitive Prozesse des Wissenserwerbs und der Wissensrepräsentation identifizieren, auf die der Kompetenzerwerb im Unterricht ausgerichtet ist (Iran-Nejad und Stewart 2010; Jensen et al. 2014; Jideani und Jideani 2012). Als Grundlage für die Prozessebene wird die „New Taxonomy of Learning“ (NTL) von Marzano und Kendall (2007, 2008) verwendet. Diese nimmt im Gegensatz zur Bloom’schen Taxonomie (Bloom et al. 1956) und der überarbeiteten Version von Anderson und Krathwohl (2001) keine kumulativ hierarchische Struktur an, sondern geht von einer zunehmenden Komplexität kognitiver Prozesse aus. Die Komplexität ist dabei abhängig vom Grad der Vertrautheit bzgl. der gestellten Anforderungen in einer Handlungssituation und von der Anzahl der eingebundenen und voneinander beeinflussten Bearbeitungsschritte. Die NTL adressiert darüber hinaus explizit die Relevanz des Selbstsystems (Motivation und Wille, sich mit einer gestellten Aufgabe zu befassen) und der Metakognition bei der Bearbeitung von Aufgaben. Lodewyk und Winne (2005) stellen fest, dass die Selbstregulation und Selbstwirksamkeitserwartungen ein wichtiger Prädiktor für die Bereitschaft von Schüler*innen zur Bearbeitung komplexer Aufgaben darstellen. Ebenfalls kann ein Bezug zur interpretative competence bei der Bearbeitung domänenspezifischer Handlungssituationen (Gelman und Greeno 1989) hergestellt werden, da auch dort ex ante zur Bearbeitung einer Aufgabe ein mentales Modell zur inhaltlichen Reichweite und der durchzuführenden Bearbeitungsschritte entwickelt wird. Gleichwohl lassen sich gerade diese Kategorien schwerlich in Testinstrumenten oder Curricula erfassen, sodass diese speziell als Designelemente zur Entwicklung einer authentischen Assessmentumgebung berücksichtigt werden. Ebenfalls bedeutsam ist die explizite Adressierung der Kategorie „Wissensnutzung“ i. S. v. Problemlösen und Entscheidungen treffen, welches ein bedeutsames Element für den Wissenstransfer und das Modellieren von höheren Denkfähigkeiten (higher order thinking skills) darstellt (Irvine 2017).

Trotz der diversen Konzeptionen ökonomischer Bildung in der Forschungsliteratur (Ackermann 2019) und der heterogenen curricularen Verankerung (Schlösser et al. 2017) zeigen die Ergebnisse von Fortunati und Winther (accepted, 2024), dass eine Repräsentanz der Struktur- und Prozessebene des Kategoriensystems in den einzelnen Curricula gegeben, aber je nach Bundesland unterschiedlich ausgeprägt ist.

3.2 Stichprobe und Codes

Insgesamt wurden 32 Lehrpläne der ökonomischen Bildung der Sekundarstufe I in zehn ausgewählten Bundesländern (vgl. Tab. 1) analysiert, davon wurden 19 Lehrpläne von zwei Codierenden ausgewertet. Die Curricula wurden zwischen April und Oktober 2020 von den Webseiten der einzelnen Schulministerien der Länder gewonnen.

Tab. 1 Übersicht der analysierten Curricula ökonomischer Bildung

Mit der Auswahl der Bundesländer wurde versucht, über kontrastierende Merkmale wie geografisch (Ost-West, Nord-Süd), Fläche (Flächenland vs. Stadtstaat) und politisch (Bundesländer mit unterschiedlichen Regierungskonstellationen) ein möglichst breites Spektrum der ökonomischen Bildung abzudecken. Die Codierung erfolgte in Form von Segmenten. Diese stellen einzelnen (Teil‑)Kompetenzzielen der Curricula dar. Für jedes Kompetenzziel wurden die zugehörigen Codes aus der Struktur- sowie der Prozessebene vergeben. Für die Codierung der Wissenserwerbsprozesse wurden Taxonomie-Operatoren (hier: Marzano und Kendall 2008) benutzt und deren curriculaspezifische Verwendung berücksichtigt. An zwei Segmentbeispielen soll exemplarisch aufgezeigt werden, wie die Codes des Kategoriensystems vergeben wurden (siehe Tab. 2).

Tab. 2 Beispiele für die Codierung von Codesegmenten in der curricularen Analyse

Die Untersuchung der Curricula wurde computergestützt mithilfe des Programms MAXQDA Analytics Pro 2022 (Version 22.2.0) durchgeführt. Das ausdifferenzierte Kategoriensystem wurde in Form eines Codesystems in MAXQDA implementiert. Die Codierung der Curricula geschah zunächst unabhängig durch den einzelnen Codierenden. Im Anschluss wurden beide Projektdateien zusammengefügt und die codierten Dokumente in unterschiedliche Dokumentsets gegliedert. Insgesamt wurden in der Untersuchung 11.692 Codierungen für die nachfolgenden Analysen herangezogen. In der Literatur findet sich eine kontroverse Debatte um die Notwendigkeit zur Bestimmung der Intercoder-Reliabilität (ICR). Für die deduktive qualitative Inhaltsanalyse stellt die Bestimmung der Intercoder-Reliabilität ein integraler Bestandteil der Studie dar (O’Connor und Joffe 2020), um (1) den Codierprozess transparent nachvollziehen zu können (Hruschka et al. 2004; MacPhail et al. 2016), (2) um eine gewisse Robustheit der Daten gegenüber allzu subjektiven Interpretationen der Codierenden zu vermeiden (Kurasaki 2000) und (3) durch die Diskussion zwischen den Codierenden ein klar definiertes und voneinander abgrenzbares Kategoriensystem zu schaffen (Joffe und Yardley 2004).

Die Bestimmung der Intercoder-Reliabilität (ICR) vollzog sich in zwei Schritten: (1) Codierungen, die inhaltlich identisch, aber aufgrund unterschiedlicher Zeichenlänge als different markiert wurden, sind manuell angeglichen worden. Codierungen, die inhaltlich von den Kategorienbeschreibungen in einem hohen Maße abweichen, wurden manuell umcodiert. (2) Codierungen, die inhaltlich durch beide Codierenden begründet different codiert wurden, wurden entweder nach einem diskursiven Prozess konsensual umcodiert oder different belassen. Für die Berechnung der Intercoder-Reliabilität existieren diverse statistische Verfahren (O’Connor und Joffe 2020) mit unterschiedlichen statistischen Vor- und Nachteilen (Banerjee et al. 1999; Feng 2014). Um die Robustheit des vergleichsweise komplexen Codiersystems zu gewährleisten, wurden für die Prüfung der ICR zwei unterschiedliche Verfahren eingesetzt: Der Intercoder-Koeffizient Cohens Kappa wurde in MAXQDA nach (Brennan und Prediger 1981) ermittelt. Hierbei wurde als Schwellenwert für eine Übereinstimmung eine segmentgenaue Übereinstimmung von 90 % definiert. Zudem wird Krippendorffs Alpha ausgewiesen. Krippendorffs Alpha berechnet die erwartete zufällige Übereinstimmung durch die durchschnittliche Übereinstimmung, wenn alle Codierungen aller Analyseeinheiten miteinander verglichen werden. Vorteil von Krippendorffs Alpha ist, dass eine Untersuchung der Übereinstimmung von zwei oder mehr Personen auf einem variablen Skalenniveau erfolgen kann. Darüber hinaus kann bei der Berechnung von Krippendorffs Alpha der 95 %-Konfidenzintervall angegeben werden, der Aufschluss über die Präzision der Reliabilitätsmessung gibt (Hayes und Krippendorff 2007; Krippendorff 2004, 2019). Krippendorffs Alpha ist im Vergleich zu anderen Reliabilitätsmaßen, bspw. Cohens Kappa, ein konservatives Maß, das bei ungleich verteilten Variablen zu tiefen Werten tendiert (Brennan und Prediger 1981; Zhao et al. 2013). Die Berechnung von Krippendorffs Alpha erfolgt in SPSS (IBM Corp. 2021). Zur Präzision der Berechnung der 95 %-Konfidenzintervalle wurde das Bootstrapping-Verfahren (10.000 Bootstraps) angewendet. In Anbetracht des komplexen Codierleitfadens, der für alle Variablen eine zumeist hohe Interpretationsleistung erfordert, sowie der ungleichen Verteilung der Variablen, orientiert sich die Interpretation von Krippendorffs Alpha und Cohens Kappa an den Grenzwerten von Müller und Buchs (2014) (α & κ > 0,61).

Tab. 3 zeigt für alle Curricula unter Nutzung von Cohens Kappa eine substanzielle Übereinstimmung (κ ≥ 0,61). 14 von 19 codierten Curricula zeigen eine (fast) vollkommene Übereinstimmung (κ ≥ 0,81). Krippendorffs Alpha weist für 15 von 19 Curricula eine ausreichende Übereinstimmung (α ≥ 0,67) auf, wobei die untere Grenze der 95 %-Konfidenzintervalle bei 3 der 19 Curricula leicht unter dem Wert von 0,67 liegt. 10 von 19 Curricula zeigen eine gute Übereinstimmung (α ≥ 0,75) und 5 Curricula erfüllen den strengen Grenzwert Krippendorffs von α ≥ 0,80.

Tab. 3 Interrater-Reliabilität der curricularen Analyse

Sowohl bei Krippendorffs Alpha als auch bei Cohens Kappa ist die Intercoder-Reliabilität des Curriculums „Wirtschaft-Politik“ Schleswig-Holsteins nicht ausreichend oder nur knapp ausreichend, sodass dieses Curriculum von der weiteren Betrachtung ausgeschlossen wird. Ein Grund für die mangelnde Intercoder-Reliabilität könnte sein, dass die Struktur des Curriculums sich erheblich von den anderen untersuchten Curricula unterscheidet, da keine expliziten Kompetenzerwartungen formuliert sind. Das Curriculum Wirtschaft-Arbeit-Technik von Berlin-Brandenburg wird aufgrund des ausreichend hohen Werts von Cohens Kappa (κ = 0,74) in die Untersuchung aufgenommen. Die Ergebnisse der Intercoder-Reliabilität zeigen in der Gesamtschau, dass eine hinreichend reliable Codierung auf Grundlage des Codiersystems gegeben ist.

3.3 Verwendete Analysemethoden zur Datenauswertung

Für die Beantwortung von FF1 müssen die Codes der Struktur- und Prozessebene zueinander in Beziehung gesetzt werden. Dabei wird segmentweise untersucht, wie häufig Kategorien der Prozess- sowie der Strukturebene gemeinsam auftreten. Das segmentweise Vorgehen versucht zu verhindern, dass durch eine Überlappung Codezusammenhänge künstlich verstärkt werden. Die Anzahl an Codierungen für jedes untersuchte Dokument variiert dabei deutlich. So kann es sein, dass Code-Beziehungen, die in einzelnen Dokumenten mit einer hohen Codeanzahl besonders häufig vorkommen, die tatsächliche Bedeutsamkeit für den intendierten inhalts- wie kognitionsbezogenen Erwerb ökonomischer Kompetenzen in den Curricula verzerren. Um dies zu verringern, werden die Codes der Kategorien z‑standardisiert. Die pro Dokument codierten Kategorienhäufigkeiten werden an der Gesamtheit aller Codierungen dieser Kategorie relativiert. Die quantitativen Verzerrungen durch unterschiedliche Grundgesamtheiten werden nivelliert und die Code-Beziehungen zwischen den Dokumenten vergleichbar gemacht. So können statistische Zusammenhänge ermittelt werden, die Hinweise geben, wie die Kompetenzziele in den Curricula der ökonomischen Bildung typischerweise inhalts- wie kognitionsbezogen vermittelt werden. Um die deskriptiv beobachteten Code-Beziehungen statistisch auf ihre Signifikanz und Stärke zu prüfen, wird eine Korrelation nach Spearman genutzt, da nicht alle gebildeten z‑standardisierten Variablen standardnormalverteilt sind. Im Anschluss soll exemplarisch aufgezeigt werden, wie die Ergebnisse in die Itementwicklung des Assessements zur Messung ökonomischer Kompetenz in der Sekundarstufe I eingeflossen sind.

Die Beantwortung der FF2 erfolgt über die Ermittlung des Alignment-Indizes nach Porter und Smithson (2001). Der Index basiert auf dem Grad der Übereinstimmung eines Zellenwerts zwischen zwei Tabellen, die zum einen das Curriculum und zum anderen den Test repräsentieren. Die Curriculum-Tabelle stellt das intendierte kognitive Anforderungsniveau in Bezug auf die fachlichen Inhalte dar. In MAXQDA wird dies über die Ermittlung der Häufigkeit der Code-Beziehungen durchgeführt. Dabei wird segmentweise, also für jedes einzelne Kompetenzziel gezählt, welche Codes der Struktur- und Prozessebene pro Segment auftreten. Die Items des Testinstruments wurden ebenfalls auf Grundlage des Kategoriensystems geratet und die Code-Beziehungen zwischen Struktur- und Prozessebene ermittelt. Um die Tabellen vergleichen zu können, wird der absolute Zellenwert (Häufigkeit einer Code-Beziehung) prozentual umgewandelt. Der Alignment-Index nach Porter und Smithson (2001) definiert sich wie folgt:

$$\textit{Porter}\,\textit{Alignment}\,\textit{Index}\,P=1-\frac{{\sum }_{i=1}^{n}\left| (X_{i}-Y_{i})\right| }{2}$$

N stellt die Gesamtanzahl der Zellen einer Tabelle dar. I bezieht sich auf eine spezifische Zelle von 1 zu n. So verfügt eine 2 × 3 über n = 6 Zellen. Xi und Yi beziehen sich somit auf eine spezifische Zelle der jeweiligen Tabelle. Die Differenz zwischen den korrespondierenden Zellen der Tabellen X und Y wird berechnet und in Betragsform dargestellt $\left| (X_{i}-Y_{i}\right)|$. Die absolute Differenz errechnet sich aus der Summe der einzelnen Zellendifferenzen. Der Alignment-Index reicht von 0 bis 1, wobei 1 ein maximales Alignment zwischen Curricula und Test darstellt. Porter und Smithson (2001) definieren keine klaren Schwellenwerte für eine ausreichende Passung zwischen zwei zu untersuchenden Objekten oder Objektgruppen. Jüngere Studien von Fulmer (2011) und Polikoff und Fulmer (2013) haben über Simulationsstudien Schwellenwerte für den Vergleich zwischen Curricula und Testinstrumenten ermittelt, die je nach Zellenanzahl und Anzahl der Items variieren. Fulmer (2011) gibt für eine Tabelle mit 100 Zellen und einem Testinstrument mit einer Höchstpunktzahl von 30 Punkten einen kritischen Alignment-Wert von 0,431 an. Die Tabelle zur Berechnung des curricularen Alignments besteht aus 72 Zellen. Das Testinstrument enthält 36 Items. Aufgrund der Partial-Credit Codierung kann eine maximale Punktzahl von 57 Punkten erreicht werden, sodass der strengere Grenzwert von 0,695 herangezogen wird.

Zur Beantwortung der FF3 werden die marginalen Differenzen der einzelnen Zellen betrachtet. Diese können nützliche Informationen über das Misalignment zwischen Curricula und Testinstrument bezogen auf einzelne Inhaltsbereiche und kognitive Anforderungsniveaus geben. Die Analyse der Ergebnisse wird grafisch über eine zweidimensionale Konturengrafik dargestellt.

4 Ergebnisse

4.1 FF1: Prüfung der statistischen Zusammenhänge zwischen Struktur- und Prozessebene des Kategoriensystems

Um Muster zum curricular intendierten inhalts- und kognitionsbezogenen Kompetenzerwerb in der ökonomischen Bildung zu identifizieren, werden die statistischen Zusammenhänge zwischen der Prozess- und Strukturebene des Kategoriensystems näher untersucht. Abb. 3 zeigt die Korrelationen zwischen der aggregierten Strukturebene und der Prozessebene. Dabei werden für die verschiedenen Lebensbereiche unterschiedliche Zusammenhangsmuster sichtbar:

• Die beruflich-unternehmerischen Inhalte können curricular stärker mit dem Erwerb prozeduralem Wissen assoziiert werden. Der fachliche Zugang zum Inhaltsbereich ist sowohl für den sprachlich-argumentativen als auch den mathematisch-analytischen Zugang signifikant.

• Für den gesellschaftlich-volkswirtschaftlichen Lebensbereich können signifikante Zusammenhänge mit deklarativen Wissensbeständen beobachtet werden. Die Wissenserwerbsprozesse Verstehen und Analyse korrelieren mit dem gesellschaftlich-volkswirtschaftlichen Lebensbereich signifikant. Insbesondere der sprachlich-argumentative Zugang scheint für diesen Lebensbereich relevant. Die Ergebnisse zeigen, dass für drei der vier Subkategorien sowohl Korrelationen mit den Wissensarten als auch dem kognitiven Niveau gefunden werden. Die makroökonomischen Konzepte zeigen nur Korrelationen mit den deklarativen Wissensbeständen, jedoch nicht zu Kategorien des Wissenserwerbs.

• Der persönlich-finanzielle Lebensbereich greift fast alle Arten von Wissensbeständen auf und setzt einen Fokus auf den sprachlich-argumentativen Zugang. Beim Wissenserwerb zeigen sich fast durchgängig Korrelationen mit den Prozessen des Verstehens, der Analyse und der Wissensnutzung.

• Der Querschnittsbereich der Nachhaltigkeit korreliert sowohl mit deklarativen als auch komplexeren prozeduralen Wissensbeständen. Der Wissenserwerb ist signifikant für die Prozesse des Verstehens, der Analyse und der Wissensnutzung. Der fachliche Zugang zum Inhaltsbereich ist signifikant für die Kategorie sprachlich-argumentativ.

Abb. 3

Korrelationen zwischen der Struktur- und der Prozessebene des Domänenmodells

Das Testinstrument ECON-EL misst in der Hauptstudie auf Basis einer repräsentativen Stichprobe computergestützt die ökonomische Kompetenz von Schüler*innen der Jahrgangsstufe 8 in Nordrhein-Westfalen. Ziel ist es dabei, ökonomische Kompetenz im Sinne einer ökonomischen „Grundbildung“ zu erheben. Dem Instrument liegt die vorgestellte Konzeption von ökonomischer Kompetenz des Abschn. 2.3 zugrunde. Die ökonomische Kompetenz wird dabei in möglichst authentisch nachgebildeten Lebenssituationen erhoben, um Handlungsorientierung zu erzeugen (Gulikers et al. 2004, 2006). Das Assessment ist in seiner Narration eine „Reise durch den Supermarkt“ und gliedert sich in acht verschiedene Einheiten, die jeweils unterschiedliche ökonomische Problemstellungen multiperspektiv adressieren. Die Einheiten werden durch begleitende Videos mit Erzähler eingeführt, um einen kontinuierlichen Erzählstrang zu erzeugen. Das Testinstrument adressiert Inhalte der Verbraucherbildung, basale ökonomische Konzepte, Marktmechanismen, Nachhaltigkeit sowie grundlegende mathematische Fähigkeiten, die für die ökonomische Domäne bedeutsam sind (siehe Tab. 4). Das Testinstrument wurde vorab von N = 25 Expert*innen mit Expertise in der Fachwissenschaft/Fachdidaktik, Schule/Bildungsadministration und/oder Testentwicklung auf die inhaltliche Angemessenheit bezogen auf die Zielgruppe bewertet.

Tab. 4 Überblick über die Inhalte und adressierten ökonomischen Lebensbereiche des Testinstruments ECON-EL

Für die Entwicklung inhaltsvalider Items zur Kompetenzmessung stellen das Aufgabenformat und die inhalts- und kognitionsbezogenen Merkmale klassische Marker für die Prädiktion von Aufgabenschwierigkeiten in einer Domäne dar (Hartig 2007; Klotz 2015; Klotz et al. 2015; Krell 2018; Scherer 2014; Schreiter et al. 2022; Winther 2010). Ausgehend von den statistischen Befunden der Zusammenhangsprüfung zwischen Struktur- und Prozessebene des Kategoriensystems als auch der prozentualen Verteilung der Lebensbereiche in den Curricula wurde eine Assessmentumgebung zur Erhebung wirtschaftlicher Literalität entwickelt (siehe hierzu auch Fortunati und Winther, accepted 2024). Das vorgestellte exemplarische Item stammt aus der Einheit vier „Wirtschaften in der Welt“ und adressiert die Auswirkungen wirtschaftspolitischer Maßnahmen, hier die Einführung eines Importzolls auf ausländische Maschinen, auf eine Unternehmerin in Ecuador. Ein Überblick über das Assessment und das beschriebene Item gibt Abb. 4. Der QR-Code führt zu einem erklärenden Youtube-Video des Testinstruments.

Abb. 4

Überblick über das Assessment ECON 2022 und das exemplarische Item FT4_4, Auswirkungen eines Importzolls, Feldtest ECON 2022, eigene Darstellung

Das Item zielt auf das Verstehen domänenspezifischer Konzepte, hier die Einführung eines Zolls sowie der Analyse der Auswirkungen eines solchen Zolls auf verschiedene Akteure ab. Der fachliche Zugang ist sprachlich-argumentativ, da die dargebotenen Informationen über einen Informationstext und die Beantwortung rein argumentativ entwickelt werden. Inhaltsbezogen ist das Item multiperspektiv dem gesellschaftlich-volkswirtschaftlichen Bereich, aber auch dem beruflich-unternehmerischen Bereich zuzuordnen, da nicht nur die Auswirkungen auf nationaler Ebene (ausländische Maschinen werden teurer), sondern auch die individuellen Folgen auf das eigene Unternehmen (höhere Kreditaufnahme sowie Preisanpassungen durch höhere Produktionskosten) betrachtet werden. Kognitionsbezogen adressiert das Item konzeptionelles Wissen mit dem Ziel des Verstehens und der Analyse von Auswirkungen staatlicher Maßnahmen auf wirtschaftliche Akteure.

4.2 FF2: Alignment zwischen dem Testinstrument zur Messung ökonomischer Kompetenz und Curricula der ökonomischen Bildung

Tab. 5 gibt die Alignment-Indizes für alle 31 untersuchten Curricula an und weist darüber hinaus curriculaspezifische Ergebnisse für Nordrhein-Westfalen aus. Der Index über alle Curricula hinweg zeigt einen Wert von 0,820. Für die Curricula der ökonomischen Bildung in NRW können für alle Schulformen Werte von größer 0,800 ermittelt werden. Die Alignment-Indizes liegen alle deutlich über dem Grenzwert von 0,695.

Tab. 5 Alignment-Indizes für alle untersuchten Curricula und NRW-spezifisch

4.3 FF3: Misalignment zwischen Test und Curricula bezogen auf Inhaltsbereiche und kognitiven Anforderungsniveau

Abb. 5 und 6 zeigen die Diskrepanz zwischen den Inhaltskategorien und den kognitiven Anforderungsniveaus bezogen auf das Assessment. Positive Werte geben an, dass das Testinstrument eine Inhaltskategorie oder ein kognitives Anforderungsniveau überproportional gegenüber einem spezifischen Curriculum testet. Negative Werte geben an, dass eine Kategorie unterproportional getestet wird. Das inhaltsbezogene Misalignment hat eine Spannweite von −0,258 bis 0 im negativen Bereich und eine Spannweite von 0,135 im positiven Bereich. Die höchsten Abweichungen zwischen Testinstrument und Curricula zeigen sich in den Bayerischen, insbesondere in den Curricula mit hohem kaufmännisch-verwaltenden Bezug (Buchführung, Hauptschule; BWL & Rechnungswesen, Realschule). Für die Curricula in NRW, hier schwarz umrandet, zeigen sich nur geringfügige Abweichungen des Alignments zwischen −0,100 und 0,100, sodass das inhaltliche Misalignment der Differenz der Werte aus Tab. 5 von 1,0 entspricht. Innerhalb der Kernlehrpläne NRWs zeigt sich eine Überdeckung des Testinstruments im persönlich-finanziellen Bereich als auch im mathematisch-analytischen Zugang im Vergleich zu den Curricula.

Abb. 5

Misalignment zwischen Testinstrument und fachlichen Inhalte in den Curricula

Abb. 6

Misalignment zwischen Testinstrument und kogntiven Prozessen in den Curricula

Das kognitionsbezogene Misalignment hat eine Spannweite von −0,151 bis 0,105. Die höchste Abweichung zwischen Testinstrument und Curricula lassen sich bei den hessischen Curricula feststellen, in denen häufig prozedurales Wissen codiert werden konnte. Bei den Curricula in NRW, ebenfalls schwarz umrandet, zeigt sich abermals ein Misalignment im Bereich −0,110 bis 0,099.

5 Diskussion

Die Beschreibung (und dann auch die Erfassung) des Kompetenzerwerbs in Domänen ohne verbindliche Bildungsstandards, die als übergeordnete Vergleichspunkte dienen, ist herausfordernd. Lehrplanuntersuchungen können helfen, Hinweise für eine curricular valide Assessmentkonstruktion herauszuarbeiten. Da die Lehrpläne differieren, ist der Vergleich anhand eines theoriegestützten Kategoriensystems als übergeordneten Vergleichspunkt zu normieren. Im vorliegenden Beitrag wurden die Curricula unter Nutzung der qualitativ-strukturierenden Inhaltsanalyse (Mayring 2016; Mayring und Fenzl 2019) deduktiv analysiert. Die Ergebnisse der Intercoder-Reliabilität ergeben bei Einsatz zweier unterschiedlicher Reliabilitätsmaße eine ausreichend hohe Zuverlässigkeit in der Codierung des entwickelten Kategoriensystems.

Es konnte (1) gezeigt werden, dass die Assessmentkonstruktion in Domänen ohne gemeinsamen Bezugspunkt von einer curricularen Untersuchung profitieren kann. Aus der Prüfung von N = 31 Lehrpläne der ökonomischen Bildung in der Sekundarstufe I lässt sich zusammenfassend schließen, dass sich statistische Zusammenhänge zwischen den Inhaltskategorien der Domäne und den kognitiven Anforderungsniveaus zeigen (FF1). Die Befunde verdeutlichen assoziative Beziehungen zwischen den fachlichen Inhalten eines Curriculums und den intendierten Leistungsanforderungen. Diese lassen sich für die Entwicklung valider Testitems nutzen. Hierbei wird grundlegend angenommen, dass die Rahmenlehrpläne sowohl für die Bildungsgänge als auch für Lehrkräfte eine Orientierungsfunktion besitzen. Darüber hinaus konnte (2) die Passung zwischen einem konstruierten Assessment zur Erfassung wirtschaftlicher Literalität und den Curricula ökonomischer Fächer in der Sekundarstufe I im Allgemeinen und den Lehrplänen in Nordrhein-Westfalen im Speziellen nachgewiesen werden (FF2). Ergänzend dazu wurden (3) die Ursachen von Nichtübereinstimmungen analysiert (FF3).

Die Ergebnisse der Forschungsfrage 1 beziehen sich im Speziellen auf den Bereich der Testentwicklung. Dabei zeigen sich unterschiedliche Zusammenhangsmuster zwischen den unterschiedlichen Lebensbereichen der Strukturebene und den kognitiven Prozessen. So können bspw. für den gesellschaftlich-volkswirtschaftlichen Lebensbereich signifikante Korrelationen zu den deklarativen Wissensarten (Fakten- und konzeptionelles Wissen) gefunden werden. Beim curricular intendierten kognitiven Anforderungsniveau stehen die Prozesse des Verstehens sowie der Analyse in einem statistischen Zusammenhang. Der Fokus auf deklarativen Wissensbeständen scheint insofern schlüssig, als dass in diesem Lebensbereich die realen ausführbaren Handlungsmöglichkeiten einer Person eingeschränkt sind (Eberle 2016). Diese begrenzen sich auf eine kriteriumsorientierte Urteilsfindung durch die Analyse von Informationen seitens der Schüler*innen und des Abwägens von Vor- und Nachteilen staatlichen Handelns. Dieser Umstand kann sowohl in der Wirtschaftsdidaktik (Weyland 2021b; Weyland und Schuhen 2015; Weyland und Stommel 2016) als auch in bisherigen Assessments beobachtet werden (Ackermann 2019; Ackermann und Siegfried 2022; Eberle et al. 2016; Schumann et al. 2017; Siegfried und Ackermann 2020). Für die Sekundarstufe I lässt sich ableiten, dass ein Erwerb basaler ökonomischer Kenntnisse im Vordergrund steht. Dort kann eine Bandbreite an signifikanten Korrelationen zwischen der Inhaltskategorie und den kognitiven Prozessen festgestellt werden, während in den anderen Kategorien des gesellschaftlich-volkswirtschaftlichen Lebensbereichs diese nur eingeschränkt zu finden sind. Gerade hier wäre eine Betrachtung der Veränderung von curricularen Zusammenhangsmustern interessant, indem zukünftig auch Kernlehrpläne der Sekundarstufe II in die Analyse integriert werden. Kontrastierend dazu ist der persönlich-finanzielle Bereich zu betrachten. Dort zeigen sich signifikante Korrelationen zu allen Wissensarten und Wissenserwerbsprozessen. Bei der Betrachtung der Subkategorien können Differenzen in den curricular intendierten kognitiven Prozessen beobachtet werden. In der Subkategorie Einkommens- und Vermögensbildung (finanzielles Wissen, Vermögensbildung, Kreditaufnahme und Überschuldung usw.) steht der Erwerb von prozeduralem Wissen über einen mathematisch-analytischen Zugang im Fokus, bspw. das konkrete Anwenden von Zinsberechnungen, aber auch das Entscheiden zwischen Alternativen (bspw. Kredit A vs. Kredit B). Curricular zeigt sich, dass durch die Nähe des Lebensbereichs zu den Schüler*innen ein handlungsorientierter Unterricht ermöglicht wird und weist damit Parallelen mit PISA Financial Literacy (Aprea 2014b, 2015; OECD 2014, 2019, 2020; Wuttke et al. 2020) auf. Im übergreifenden Bereich der Verbraucherbildung (Marketingstrategien, Verbraucherschutz, Bürgerliches Recht etc.) kann hingegen darauf geschlossen werden, dass der Erwerb deklarativen Wissens im Vordergrund steht. Zudem zeigen sich signifikante Korrelationen mit allen Wissenserwerbskategorien, was sowohl auf das Verstehen und Analysieren als auch auf eine curricular intendierte Handlungsorientierung schließen lässt und sich damit an neuere didaktische Konzeptionen zur Verbraucherbildung anschließt (Fridrich et al. 2017; Hedtke 2016; Hübner 2017; Wittau 2019). Der Einbezug von Bewertungsmaßstäben der Nachhaltigkeit ist in den jüngeren Lehrplänen bspw. im Bundesland NRW und Baden-Württembergs zu finden. Dies lässt sich insofern erklären, dass der Erkenntnisgewinn der Forschung im Bereich Bildung für nachhaltige Entwicklung (BNE) verstärkt bei der curricularen Weiterentwicklung berücksichtigt wird (Hantke 2021; Hübner 2017; Rebmann und Schlömer 2020; Schank und Lorch 2018).

Die gefundenen Muster können als nützliche Heuristiken in die Testentwicklung einfließen; Sie helfen dabei, das Antwortverhalten eines Testteilnehmers theoretisch fundiert zu antizipieren und geben damit bereits in der Entwicklungsphase Hinweise auf die Konstruktbreite der zu erfassenden Kompetenz (Brückner und Pellegrino 2016; Hartig und Frey 2012; Wilson 2004). Eine lehrplanbasierte Form der inhalts- und kognitionsbezogenen Aufgabenentwicklung verspricht vor diesem Hintergrund eine validere Ausgangsbeschreibung für die Untersuchung von Prozessdaten (Brückner und Pellegrino 2016). Für die ökonomische Domäne stellt diese curricular-analytische Untersuchungsform eine Neuerung dar; Eine Übertragung des methodischen Verfahrens für die Assessmentkonstruktion in anderen Domänen ist vorstellbar. Eine domänenspezifische Präzisierung der zu erfassenden Kompetenz und ein geeignetes Set an Kategorien, das sowohl inhaltliche als auch instruktionale Aspekte des Kompetenzerwerbs adressiert, ist voraussetzend für einen gelingenden Transfer. Es kann erwartet werden, dass eine curricular-analytische Aufgabengenese sowohl im Hinblick auf die Praxis der Assessmentkonstruktion als auch mit Blick auf die Weiterentwicklung theoretischer Beschreibungen von Kompetenzerwerb und -entwicklung Impulse setzen kann – dies gilt vor allem dann, wenn sich durch die Assessmentkonstruktion zeigen lässt, wie Erkenntnisse der Kognitionsliteratur einerseits und domänenspezifische Fachkonzeptionen anderseits zielgruppen- und bildungsgangspezifisch gekoppelt werden. Gerade die empirische und fachdidaktische Beschreibung von Kompetenzentwicklung könnte von einem solchen Vorgehen profitieren, da sich Aussagen darüber ableiten lassen, inwiefern sich der Ergebnisraum von Items über verschiedene Jahrgangsstufen hinweg inhaltlich und kognitionsbezogen verändert. Hier ist anzumerken, dass dies zwingend eine Betrachtung der Instruktionspraxis voraussetzt, da zwischen beiden Elementen eine Interdependenz besteht (Wilson 2009).

An dieser Stelle entsteht ein Dilemma, da unklar bleibt, inwieweit die gefundenen Muster einen Einfluss auf die Instruktionspraxis haben bzw. die Instruktionspraxis real abbilden. Dieses Dilemma ließe sich durch quer- und längsschnittliche Beobachtungsstudien der Instruktionsprozesse sowie durch Analysen der genutzten Lehrwerke und Unterrichtsmaterialien auflösen. Dieser Beitrag zieht sich an dieser Stelle auf die Annahme zurück, dass Kompetenzentwicklung langfristig linear verläuft und eine Kohärenz zwischen den Zielen der Lehrpläne und des Unterrichts selbst besteht, die sich in einer sinnvollen, an der Zielerreichung interessierten Sequenzierung von Unterricht zeigt (Bernholt et al. 2020; Neumann 2020). Orientierung liefert hier insbesondere der Bereich der Science Education, der das Feld der Kompetenzentwicklung/Learning Progression sowohl national (Bernholt et al. 2020; Koenen et al. 2020; Vorholzer et al. 2020) als auch international (Fortus und Krajcik 2012; Fortus et al. 2015; Hammer und Sikorski 2015; Jin et al. 2019; Sikorski und Hammer 2017) empirisch auf breiter Basis erforscht hat. Auch hier scheint es vorteilhaft zu sein, auf eine international vergleichbare Standardisierung der Domäne zurückgreifen zu können. Inwieweit in der Domäne der ökonomischen Bildung Befunde zur instruktionalen Kohärenz als generalisierend zu werten sind, bleibt in Anbetracht der pluralen institutionellen und fachdidaktischen Ausgestaltung abzuwarten. Als Instrument zur Messung einzelner Elemente instruktionaler Kohärenz könnten unter anderem auch Alignment-Indizes genutzt werden. Im amerikanischen Raum werden diese häufig eingesetzt, um einzelne Facetten von Kohärenz zu erheben, bspw. die Passung zwischen Tests und Leistungsstandards (Cizek et al. 2018; Liu und Fulmer 2008; Polikoff et al. 2011, 2015; Porter et al. 2011, 2008), zwischen Schulbüchern und Leistungsstandards (Hong et al. 2019; Polikoff 2015) sowie die Passung zwischen Unterricht und Leistungsstandards als auch Testinstrumenten (Fulmer und Polikoff 2014; Polikoff 2016; Polikoff et al. 2020; Polikoff und Porter 2014; Porter et al. 2013). Der Umstand der singulären Betrachtung einzelner Facetten ist ein bleibender Kritikpunkt (Neumann 2020).

Forschungsfrage zwei und drei knüpfen an der Alignment-Forschung an und beleuchten den Aspekt der Passung zwischen Test und Lehrplänen. Hierfür wurde der Alignment-Index nach Porter und Smithson, sowie das Misalignment zwischen Test und einzelnen inhaltlichen Kategorien sowie kognitiven Anforderungsniveaus bestimmt. Die Ergebnisse der Passung zwischen Curricula und Test zeigen durchweg ein Alignment über 0,80 und überschreiten den Grenzwert von 0,695 deutlich (Fulmer 2011; Polikoff und Fulmer 2013). Das Testinstrument zur Messung ökonomischer Kompetenz scheint die curricular intendierten Inhaltsbereiche, verbunden mit den entsprechenden kognitiven Anforderungsniveaus, ausreichend gut zu repräsentieren.

Nichtsdestotrotz ist in einzelnen Kategorien ein Misalignment festzustellen. Ursächlich erscheint insbesondere der hohe Grad an Ausdifferenzierung seitens des Kategoriensystems, sodass bei einzelnen Codierungen nicht immer eine eindeutige Zuordnung möglich ist und Raum für Interpretationen bleibt. Empirisch ist ebenso festzustellen, dass die Größe des Kategoriensystems und damit auch der Analysematrix negativ mit der Höhe des Alignment-Indizes korreliert. Gleichwohl deuten die Befunde im Vergleich zu internationalen Studien auf eine deutlich höhere Passung zwischen Testinstrument und Curriculum hin. So konstatiert Polikoff et al. (2011) ein durchschnittliches Alignment von 0,26 bezogen auf den Vergleich zwischen Standards von 19 Bundesstaaten der USA und den dazugehörigen staatlich verwendeten Testinstrumenten. Generell zeigt sich eine hohe Bandbreite an Variabilität in den Befunden (Liu und Fulmer 2008; Liu et al. 2009). Liu und Fulmer (2008) zeigen, dass durch die Fortentwicklung von Leistungsstandards und der angepassten Konstruktion der Testinstrumente unter Einbezug inhaltlicher und kognitiver Merkmale am Beispiel des Staates New York deutlich höhere Passungswerte erzielt werden können. Ähnliches scheint auch auf das hier entwickelte Testinstrument zur Messung wirtschaftlicher Kompetenz zuzutreffen. Bei der Entwicklung des Tests wurden nicht nur beide Merkmale berücksichtigt, sondern auch die gefundenen curricularen Zusammenhänge genutzt. Diese Art der Aufgabengenese könnte neben einer transparenteren Operationalisierung von Testaufgaben die curriculare Validität erhöhen. Darüber hinaus vermögen es Alignment-Indizes als ein möglicher Bewertungsmaßstab für Analysen zwischen den verschiedenen Polen der Curriculum-Instruction-Assessment-Triad (CIA) zu dienen. So wäre bspw. ein Abgleich bei der Entwicklung sowie Überarbeitung von schulinternen Lehrplänen mit den curricularen Vorstellungen der Bildungsadministration durch die Lehrkräfte möglich, um zu prüfen, in welchen Bereichen eine Über- oder Unterdeckung vorliegt. Neben der curricularen Entwicklung können Lehrkräfte auch den eigenen Unterricht anhand der curricularen Intentionen und Intensionen evaluieren. Alignment-Indizes stellen somit eine wichtige Informationsfunktion dar, indem sie Auskunft über das aktuelle Verhältnis zwischen den Polen der CIA geben. Zudem kann eine Reflexionsfunktion beschieden werden, indem sie Anstoß für begründete Entwicklungsprozesse bieten.

Neben dem inhaltlichen und methodischen Beitrag zur Forschung sind für die Bewertung der Ergebnisse Limitationen anzuführen. Alle Befunde der komparativen Lehrplananalyse beruhen zunächst auf einer spezifischen Vorstellung ökonomischer Kompetenz und einem daraus resultierenden Kategoriensystem. Je nach unterstellter Konzeption von Kompetenz sind Ergebnisunterschiede zu erwarten. Es wurde daher versucht, die hier unterstellte projektspezifische Definition ökonomischer Kompetenz innerhalb der Konzeptionen der ökonomischen Forschung zu verorten, um so eine intersubjektive Nachvollziehbarkeit sicherstellen zu können. Dem Beitrag liegt die Annahme zugrunde, dass Curricula einen gewünschten Output an Kompetenzen formulieren. Die Befunde der Studie lassen keine Aussagen zum tatsächlichen schulischen Kompetenzerwerb zu, da unterrichtliche Prozesse des Lehrens und Lernens nicht Gegenstand der Untersuchung sind. Vielmehr soll ein Beitrag zur Konstruktion von Testinstrumenten und eine Möglichkeit der curricularen Validierung aufgezeigt werden. Des Weiteren kann mit der gewählten Methodik kein Aufschluss über die qualitativen Unterschiede in den Inhalten der Strukturebene zwischen den Schulformen gegeben werden. Dieselben fachlichen Inhalte eines Kompetenzziels können in den verschiedenen Schulformen, was ihre inhaltliche Tiefe anbelangt, unterschiedlich unterrichtet werden (Baumert et al. 2003). Weiterhin liegt dem Beitrag die Annahme zugrunde, dass sich die Lehrpläne mit unterschiedlichen Konzeptionen und Vorstellungen über ökonomische Bildung unter einem gemeinsamen Kategoriensystem analysieren lassen. Dies kann insofern kritisch betrachtet werden, als dass die Einordnung von Textstellen durch Missinterpretationen verzerrt werden könnte. So zeigen die Curricula bspw. bei den Operatoren der Kompetenzziele Unterschiede in ihrer Bedeutung auf. Dies konnte bei der Untersuchung der Lehrpläne berücksichtigt werden, da zumeist eine Beschreibung der Operatoren in den Curricula enthalten und somit ein Abgleich mit dem Kategoriensystem möglich ist. Einschränkend ist anzumerken, dass die Studie nur neun der 16 Bundesländer inkludiert. Bei der Auswahl wurde daher auf eine geografisch, politisch und demografisch ausgewogene Verteilung geachtet. Die hier vorgestellten Ergebnisse sind stetigen Veränderungen unterworfen, sobald curriculare Neufassungen in den Bundesländern veröffentlicht werden. Deshalb ist eine fortlaufende Analyse nötig, die jedoch auch die Chance für einen zeitlichen Vergleich hinsichtlich des Alignments von Testinstrumenten als auch die Veränderung von zugrunde liegenden fachlichen Inhalten sowie der kognitiven Prozesse der curricular intendierten Kompetenzziele ermöglicht. Die gefundenen Zusammenhänge sind daher vorsichtig zu bewerten. Sie sollten vielmehr als Hinweise für typische Muster zwischen fachlichen Inhalten und Kognitionsniveaus in den Lehrplänen der ökonomischen Bildung verstanden werden, um diese für die Entwicklung von Testinstrumenten zu nutzen. Neben methodischen Limitationen ist anzumerken, dass durch curriculare Untersuchungen nur Inhaltsbereiche betrachtet werden können, die in diesen auch enthalten sind. So stellt sich die Frage der fachwissenschaftlichen Aktualität von Lehrplänen. Die curriculare Analyse der Fachinhalte liegt stets hinter dem aktuellen Stand der Forschung zurück, was bei der Konstruktion von Assessments in einer Domäne bedacht werden muss. Dies wirft auch die Frage nach der Passung zwischen Curricula und Test auf. Je nach Aktualität eines Curriculums in Bezug auf den aktuellen Forschungsstand kann ein niedriges Alignment gar wünschenswert sein (Fulmer 2011). Generell ist ein Spagat bei der Assessmentkonstruktion zwischen dem Anspruch der curricularen Validität im Sinne der Alignment-Triad und der Integration neuester Forschung zu konstatieren. Anzumerken ist, dass bei der Assessmentkonstruktion und Interpretation der Einbezug weitere Evidenzquellen bspw. die Instruktionssensitivität eines Testinstruments (siehe hierfür Naumann et al. 2019) von zentraler Bedeutung sind.

Trotz der angeführten Limitationen zeigt der Beitrag, dass durch komparative, kategoriengestützte Lehrplanuntersuchung wichtige Hinweise für die curricular intendierten Zusammenhänge von fachlichen Inhalten und kognitiven Prozessen in Domänen ohne gemeinsamen Bezugspunkt gewonnen werden können. In der Gesamtschau konnte demonstriert werden, dass tiefergehende Lehrplanuntersuchungen eine wichtige Informationsquelle für die Assessmentkonstruktion und -validierung sowie die curriculare Weiterentwicklung sein können.