Skip to content

Fokus

Institut Kompetenzdiagnostik

Am Institut Kompetenzdiagnostik (IKO) liegt der Schwerpunkt auf der Messung und der Förderung schulischer Kompetenzen mit standardisierten, meist computerbasierten Testverfahren. In verschiedenen Projekten findet Forschung mit Nähe zur empirischen Unterrichtsforschung und zu den Fachdisziplinen statt. Der Schwerpunkt liegt auf Qualitätseigenschaften von Tests und Testaufgaben sowie auf der Struktur und der Entwicklung schulischer Kompetenzen. In den Lernfördersystemen St.Gallen ist das Institut für den Bereich der Psychometrie verantwortlich, während es in den Schulleistungsstudien «Überprüfung des Erreichens der Grundkompetenzen» (ÜGK) und «Programme for International Student Assessment» (PISA) für die Durchführung in der Deutschschweiz zuständig ist. Im Rahmen der IT-Bildungsoffensive des Kantons St.Gallen ist das Institut zudem an zwei Teilprojekten (unter anderem zu überfachlichen Kompetenzen) beteiligt.

COINS – Konstruktion von instruktionssensitiven Testitems

Ergebnisse aus standardisierten Schulleistungstests werden häufig dazu genutzt, den Lernstand von Schülerinnen und Schülern zu erfassen, die Qualität von Schule und Unterricht zu beurteilen oder Bildungssysteme auf (inter)nationaler Ebene zu vergleichen. Die Sicherstellung der Instruktionssensitivität eines Tests – das heisst die Überprüfung der Frage, ob der Test in der Lage ist, Effekte von Unterricht zu erfassen – ist dabei eine wichtige Voraussetzung, um gültige Rückschlüsse über Schule und Unterricht ziehen zu können. Andernfalls können Fehlinterpretationen von Testergebnissen die Folge sein.

Problematisch erscheint in diesem Zusammenhang, dass die derzeit etablierten Verfahren zur Evaluation der Instruktionssensitivität von Tests kostenintensiv und zeitaufwendig sind, da die Testaufgaben zunächst entwickelt und von Schülerinnen und Schülern bearbeitet werden müssen, worauf eine statistische Analyse der Daten folgt. Um instruktionssensitive Aufgaben effizienter entwickeln zu können, wäre es von grossem Nutzen, jene Merkmale zu identifizieren, die zur Instruktionssensitivität der Aufgaben beitragen. Diese Merkmale könnten anschliessend bei der Konstruktion instruktionssensitiver Aufgaben gezielt einbezogen werden.

Vor diesem Hintergrund befasst sich das SNF-Projekt «COINS» mit der Instruktionssensitivität von Mathematiktestaufgaben. Mithilfe von Fokusgruppendiskussionen wurden in einem ersten Schritt Merkmale von Mathematikaufgaben herausgearbeitet, welche die Instruktionssensitivität beeinflussen könnten. Darauf basierend wurden Aufgaben entwickelt, die drei ausgewählte Merkmale (Wissensart, Darstellungswechsel, Antwortformat) systematisch variieren. Erste Analysen – basierend auf Pilotierungsdaten – zeigen, dass die Aufgabenschwierigkeit zwischen zwei Erhebungszeitpunkten im Mittel über alle Aufgaben hinweg abnimmt. Werden die Analysen separat für die drei Aufgabenmerkmale durchgeführt, zeigen sich hingegen relativ ähnliche Werte hinsichtlich der Veränderung in den Aufgabenschwierigkeiten.

Das vorläufige Fazit ist, dass die Aufgabenschwierigkeiten über die Zeit abnehmen, was einen Hinweis auf die Instruktionssensitivität der entwickelten Testaufgaben darstellt. Die Pilotierungsdaten deuten jedoch auf einen nur geringen Einfluss der drei fokussierten Aufgabenmerkmale hin. Inwieweit sich dieses unerwartete Ergebnis auch in der deutlich umfangreicheren Haupterhebung findet, wird sich nach Abschluss der Datenerhebung im Sommer 2022 zeigen.

Fokusgruppendiskussionen, Längsschnittstudie mit einem Pretest-Posttest-Design, Mathematikleistungstest, Fragebogenerhebung mit Schülerinnen und Schülern sowie Lehrpersonen, Analysen mit Mehrebenen-IRT-Modellen

Kooperation:
Leibniz-Institut für Bildungsforschung und Bildungsinformation (DIPF)

Laufzeit:
2020 bis 2022

Finanzierung:
Schweizerischer Nationalfonds (SNF), Deutsche Forschungsgemeinschaft (DFG)

Leitung:
Jan Hochweber (PHSG), Johannes Hartig (DIPF)

Team:
Stephanie Leininger (PHSG), Marit Kristine List (DIPF), Alexander Naumann (DIPF)

«Lernlupe» und «Lernpass plus»: Leuchttürme der Bildungsdigitalisierung

Die Lernfördersysteme «Lernlupe» für den 2. Zyklus und «Lernpass plus» für den 3. Zyklus sind ein wichtiger Bestandteil der Ostschweizer Bildungslandschaft, nicht zuletzt angesichts der standardisierten Standortbestimmungen der Schülerinnen und Schüler via «Stellwerk» und mit Blick auf die Plattform «Jobskills plus» zur Unterstützung der Berufswahl.

Zielsetzung der Lernfördersysteme, die ein Kooperationsprodukt der Lehrmittelverlage St.Gallen und Zürich darstellen, ist es, den Schülerinnen und Schülern sowie den Lehrpersonen auf unterschiedlichen Zielstufen Angebote für eine adaptive Kompetenzüberprüfung und eine darauf abgestimmte individuelle Förderung in den schulischen Kernfächern bereitzustellen. Zugleich sollen in diesem Zusammenhang auch Funktionen zur Planung von Lernprozessen und zur Kommunikation zwischen Lehrenden und Lernenden zur Verfügung gestellt werden.

Seit einigen Jahren begleitet das IKO den Einsatz und die Weiterentwicklung der Lernfördersysteme in den Bereichen der wissenschaftlichen Grundlagen, der Psychometrie und der Qualitätssicherung. Seit August 2021 ist eine breitere Kooperationsvereinbarung in Kraft, in deren Rahmen die PHSG auch für die Entwicklung der Aufgabenpools verantwortlich ist. Michael Kickmeier-Rust leitet das Gesamtprojekt an der PHSG.

Im Kontext der Lernfördersysteme setzt das IKO Dienstleistungsaufträge um und erarbeitet anwendungsnahe Forschungsbeiträge. Beispielsweise wurden Pilotierungs- und Normierungsstudien zu den Aufgabenpools der Lernfördersysteme durchgeführt, um die Aufgabenqualität zu untersuchen und psychometrische Kennwerte zu generieren. Diese wiederum liefern die Grundlagen für die adaptive Erfassung des Lernstands. Zudem wurden Evaluationsstudien zur Nutzung und zur Anwendungsfreundlichkeit der Systeme durchgeführt. Einen besonderen Schwerpunkt in der Periode 2020/21 bildete die Einführung eines neuen multidimensionalen adaptiven Testalgorithmus, der in Zusammenarbeit mit dem deutschen Leibniz-Institut für Bildungsforschung und Bildungsinformation (DIPF) entwickelt wurde. In diesem Kontext wurden verschiedene Vergleichsanalysen mit dem bisherigen Testalgorithmus und umfangreiche Simulationsstudien zu den Eigenschaften des Algorithmus durchgeführt. Im Jahr 2021 wurde der neue Testalgorithmus schliesslich für die Anwendung freigegeben.

Kooperation:
Lehrmittelverlag St.Gallen, Lehrmittelverlag Zürich

Laufzeit:
2014 bis 2024

Finanzierung:
Lehrmittelverlag St.Gallen

Leitung:
Michael Kickmeier-Rust

Team:
Michael Beck, Thea Böni, Fabian Grünig, Ann Christin Hochweber, Jan Hochweber

Weitere Themen, die Sie interessieren könnten