Skip to content

Fokus

Institut Kompetenzdiagnostik

Am Institut Kompetenzdiagnostik (IKO) liegt der Schwerpunkt auf der Messung und der Förderung schulischer Kompetenzen mit standardisierten, meist computerbasierten Testverfahren. In verschiedenen Projekten findet Forschung mit Nähe zur empirischen Unterrichtsforschung und zu den Fachdisziplinen statt. Der Schwerpunkt liegt auf Qualitätseigenschaften von Tests und Testaufgaben sowie auf der Struktur und der Entwicklung schulischer Kompetenzen. In den Lernfördersystemen St.Gallen ist das Institut für den Bereich der Psychometrie verantwortlich, während es in den Schulleistungsstudien «Überprüfung des Erreichens der Grundkompetenzen» (ÜGK) und «Programme for International Student Assessment» (PISA) für die Durchführung in der Deutschschweiz zuständig ist. Im Rahmen der IT-Bildungsoffensive des Kantons St.Gallen ist das Institut zudem an zwei Teilprojekten (unter anderem zu überfachlichen Kompetenzen) beteiligt.

COINS – Konstruktion von instruktionssensitiven Testitems

Ergebnisse aus standardisierten Schulleistungstests werden häufig dazu genutzt, den Lernstand von Schülerinnen und Schülern zu erfassen, die Qualität von Schule und Unterricht zu beurteilen oder Bildungssysteme auf (inter)nationaler Ebene zu vergleichen. Die Sicherstellung der Instruktionssensitivität eines Tests – das heisst die Überprüfung der Frage, ob der Test in der Lage ist, Effekte von Unterricht zu erfassen – ist dabei eine wichtige Voraussetzung, um gültige Rückschlüsse über Schule und Unterricht ziehen zu können. Andernfalls können Fehlinterpretationen von Testergebnissen die Folge sein.

Problematisch erscheint in diesem Zusammenhang, dass die derzeit etablierten Verfahren zur Evaluation der Instruktionssensitivität von Tests kostenintensiv und zeitaufwendig sind, da die Testaufgaben zunächst entwickelt und von Schülerinnen und Schülern bearbeitet werden müssen, worauf eine statistische Analyse der Daten folgt. Um instruktionssensitive Aufgaben effizienter entwickeln zu können, wäre es von grossem Nutzen, jene Merkmale zu identifizieren, die zur Instruktionssensitivität der Aufgaben beitragen. Diese Merkmale könnten anschliessend bei der Konstruktion instruktionssensitiver Aufgaben gezielt einbezogen werden.

Vor diesem Hintergrund befasst sich das SNF-Projekt «COINS» mit der Instruktionssensitivität von Mathematiktestaufgaben. Mithilfe von Fokusgruppendiskussionen wurden in einem ersten Schritt Merkmale von Mathematikaufgaben herausgearbeitet, welche die Instruktionssensitivität beeinflussen könnten. Darauf basierend wurden Aufgaben entwickelt, die drei ausgewählte Merkmale (Wissensart, Darstellungswechsel, Antwortformat) systematisch variieren. Erste Analysen – basierend auf Pilotierungsdaten – zeigen, dass die Aufgabenschwierigkeit zwischen zwei Erhebungszeitpunkten im Mittel über alle Aufgaben hinweg abnimmt. Werden die Analysen separat für die drei Aufgabenmerkmale durchgeführt, zeigen sich hingegen relativ ähnliche Werte hinsichtlich der Veränderung in den Aufgabenschwierigkeiten.

Das vorläufige Fazit ist, dass die Aufgabenschwierigkeiten über die Zeit abnehmen, was einen Hinweis auf die Instruktionssensitivität der entwickelten Testaufgaben darstellt. Die Pilotierungsdaten deuten jedoch auf einen nur geringen Einfluss der drei fokussierten Aufgabenmerkmale hin. Inwieweit sich dieses unerwartete Ergebnis auch in der deutlich umfangreicheren Haupterhebung findet, wird sich nach Abschluss der Datenerhebung im Sommer 2022 zeigen.

Fokusgruppendiskussionen, Längsschnittstudie mit einem Pretest-Posttest-Design, Mathematikleistungstest, Fragebogenerhebung mit Schülerinnen und Schülern sowie Lehrpersonen, Analysen mit Mehrebenen-IRT-Modellen

Kooperation:
Leibniz-Institut für Bildungsforschung und Bildungsinformation (DIPF)

Laufzeit:
2020 bis 2022

Finanzierung:
Schweizerischer Nationalfonds (SNF), Deutsche Forschungsgemeinschaft (DFG)

Leitung:
Jan Hochweber (PHSG), Johannes Hartig (DIPF)

Team:
Stephanie Leininger (PHSG), Marit Kristine List (DIPF), Alexander Naumann (DIPF)

«Lernlupe» und «Lernpass plus»: Leuchttürme der Bildungsdigitalisierung

Die Lernfördersysteme «Lernlupe» für den 2. Zyklus und «Lernpass plus» für den 3. Zyklus sind ein wichtiger Bestandteil der Ostschweizer Bildungslandschaft, nicht zuletzt angesichts der standardisierten Standortbestimmungen der Schülerinnen und Schüler via «Stellwerk» und mit Blick auf die Plattform «Jobskills plus» zur Unterstützung der Berufswahl.

Zielsetzung der Lernfördersysteme, die ein Kooperationsprodukt der Lehrmittelverlage St.Gallen und Zürich darstellen, ist es, den Schülerinnen und Schülern sowie den Lehrpersonen auf unterschiedlichen Zielstufen Angebote für eine adaptive Kompetenzüberprüfung und eine darauf abgestimmte individuelle Förderung in den schulischen Kernfächern bereitzustellen. Zugleich sollen in diesem Zusammenhang auch Funktionen zur Planung von Lernprozessen und zur Kommunikation zwischen Lehrenden und Lernenden zur Verfügung gestellt werden.

Seit einigen Jahren begleitet das IKO den Einsatz und die Weiterentwicklung der Lernfördersysteme in den Bereichen der wissenschaftlichen Grundlagen, der Psychometrie und der Qualitätssicherung. Seit August 2021 ist eine breitere Kooperationsvereinbarung in Kraft, in deren Rahmen die PHSG auch für die Entwicklung der Aufgabenpools verantwortlich ist. Michael Kickmeier-Rust leitet das Gesamtprojekt an der PHSG.

Im Kontext der Lernfördersysteme setzt das IKO Dienstleistungsaufträge um und erarbeitet anwendungsnahe Forschungsbeiträge. Beispielsweise wurden Pilotierungs- und Normierungsstudien zu den Aufgabenpools der Lernfördersysteme durchgeführt, um die Aufgabenqualität zu untersuchen und psychometrische Kennwerte zu generieren. Diese wiederum liefern die Grundlagen für die adaptive Erfassung des Lernstands. Zudem wurden Evaluationsstudien zur Nutzung und zur Anwendungsfreundlichkeit der Systeme durchgeführt. Einen besonderen Schwerpunkt in der Periode 2020/21 bildete die Einführung eines neuen multidimensionalen adaptiven Testalgorithmus, der in Zusammenarbeit mit dem deutschen Leibniz-Institut für Bildungsforschung und Bildungsinformation (DIPF) entwickelt wurde. In diesem Kontext wurden verschiedene Vergleichsanalysen mit dem bisherigen Testalgorithmus und umfangreiche Simulationsstudien zu den Eigenschaften des Algorithmus durchgeführt. Im Jahr 2021 wurde der neue Testalgorithmus schliesslich für die Anwendung freigegeben.

Kooperation:
Lehrmittelverlag St.Gallen, Lehrmittelverlag Zürich

Laufzeit:
2014 bis 2024

Finanzierung:
Lehrmittelverlag St.Gallen

Leitung:
Michael Kickmeier-Rust

Team:
Michael Beck, Thea Böni, Fabian Grünig, Ann Christin Hochweber, Jan Hochweber

Die individuelle Förderung von Lernenden nimmt in der Bildung einen immer wichtigeren Stellenwert ein. Das Ziel von F3K war es, die fachdidaktischen Grundlagen zu schaffen bzw. zu konsolidieren, damit Daten aus der Kompetenzdiagnostik gezielt für die individuelle Förderung eingesetzt werden können. Im Projekt wurden zwei wesentliche Bausteine umgesetzt: Mit dem CAS-Lehrgang «Förderorientierte Kompetenzdiagnostik» wurde zum einen ein Weiterbildungsgefäss für Interessierte in der Bildungsforschung und -praxis geschaffen. Parallel dazu wurde zum anderen mit dem Netzwerk «Lernwege» eine Online-Plattform für einen engen fachlichen Austausch der beteiligten Disziplinen etabliert.

Laufzeit
2017 bis 2021

Finanzierung
swissuniversities (gemäss HFKG Art. 59)

Leitung
Christian Brühwiler, Jan Hochweber (PHSG), Tina Hascher (Universität Bern)

Ziel des Projekts ist es, die berufliche Entwicklung von Personen in der Erwachsenenbildung durch einen internationalen Austausch und Beispiele guter Praxis zu fördern. Dies geschieht über wechselseitige Weiterbildungsveranstaltungen der Projektpartnerinnen und Projektpartner unter der Leitung der Universität Liepaja, Lettland. Ein besonderer Fokus liegt dabei auf Innovation, Flexibilität und dem Einsatz neuer Medien und Technologien.

Laufzeit
2019 bis 2022

Finanzierung
EU Erasmus+

Leitung
Michael Kickmeier-Rust

Die Überprüfung des Erreichens der Grundkompetenzen (ÜGK) ist eine zyklisch stattfindende Leistungsuntersuchung für das Schweizer Bildungsmonitoring. Anhand von Leistungstests wird abgeklärt, inwieweit die nationalen Bildungsziele in den Kantonen erreicht werden. Ergänzend werden mittels Fragebögen Kontextinformationen über die Schülerinnen und Schüler und ihr Umfeld erfasst. In den Jahren 2016 und 2017 fanden die ersten zwei ÜGK-Haupterhebungen statt. Untersucht wurden die Kompetenzen der Schülerinnen und Schüler im Fachbereich «Mathematik» im 11. Schuljahr HarmoS sowie in den Fachbereichen «Schulsprache» und «Fremdsprachen» im 8. Schuljahr HarmoS. An beiden Erhebungen hatten sich jeweils alle Schweizer Kantone mit einer repräsentativen Stichprobe von je rund 22’000 Schülerinnen und Schülern beteiligt. Die zukünftigen Haupterhebungen der ÜGK finden auf der Schulstufe HarmoS 11 (H11) im Frühjahr 2023, auf der Schulstufe HarmoS 4 (H4) voraussichtlich im Frühjahr 2024 statt. Von 2020 bis 2022 finden die Präpilotierung und die Piloterhebung für die Testaufgaben der ÜGK H4 statt.

Laufzeit
seit 2014

Finanzierung
Schweizerische Konferenz der kantonalen Erziehungsdirektoren (EDK)

Leitung
Andrea Erzinger (ICER), Giang Pham (ÜGK-Deutschschweiz), Eliane Arnold (ÜGK H4 Deutschschweiz), Franziska Locher (ÜGK H11 Deutschschweiz)

Die ÜGK (Überprüfung der Grundkompetenzen) erhebt die Grundkompetenzen von Schülerinnen und Schülern am Ende eines Zyklus der obligatorischen Schule. Während die Schülerinnen und Schüler in ÜGK 2016 (Zyklus 3) und 2017 (Zyklus 2) mittels eines Fragebogens zu ihrem sozioökonomischen Status befragt wurden, gestaltet sich eine vergleichbare Erfassung dieser Merkmale bei Kindern der Schulstufe HarmoS 4 schwierig. Das Projekt «Soziokulturelle Merkmale Kids» (SoMeKids) zielt darauf ab, für diese Schulstufe einen altersgerechten Fragebogen zur Erfassung soziokultureller Merkmale zu entwickeln und diesen empirisch zu validieren. Neben traditionellen Indikatoren wie beispielsweise Beruf und Bildung der Eltern werden weitere Indikatoren untersucht, die inhaltlich relevant sind und von Kindern dieser Altersstufe eingeschätzt werden können, zum Beispiel zu Ernährungsverhalten, Freizeitaktivitäten und Leselust. Als Stichprobe werden 130 Schülerinnen und Schüler im Kanton St.Gallen befragt, zur Validierung der Antworten werden den Eltern der Kinder dieselben Fragen gestellt. Die Datenerhebung läuft von Winter 2021 bis Frühjahr 2022.

Laufzeit
2020 bis 2022

Leitung
Manuela Hauser, Dimitra Kolovou

PISA ist eine internationale Schulleistungsstudie, die seit 2000 alle drei Jahre die Kompetenzen von Jugendlichen in den Bereichen «Lesen», «Mathematik» und «Naturwissenschaften» untersucht. Weltweit beteiligen sich an der von der OECD durchgeführten Studie mehr als 80 Länder. Zusätzlich zu den Leistungstests werden mittels Fragebögen Informationen über das familiäre und das schulische Umfeld, aber auch über Lernstrategien der Jugendlichen und ihre Einstellungen zur Schule erfasst. Diese Angaben dienen dazu, Leistungsunterschiede zu erklären und der Bildungspolitik Steuerungswissen zur Verfügung zu stellen. In den Jahren 2021 und 2022 finden die Pilot- und Haupterhebungen von PISA 2022 mit Mathematik als Hauptdomäne statt. Mehr als 6’000 Schülerinnen und Schüler nehmen an der Haupterhebung teil.

Laufzeit
seit 1999 (gesichert bis 2024)

Finanzierung
Schweizerische Konferenz der kantonalen Erziehungsdirektoren (EDK), Staatssekretariat für Bildung, Forschung und Innovation (SBFI)

Leitung
Andrea Erzinger (Nationale Projektleiterin NPM, ICER), Giang Pham (Projektleiterin PISA-Deutschschweiz), Manuela Hauser (operative Projektleiterin von PISA 2022 Field Trial)

Die OECD plant für PISA 2025, neben den bisher getesteten Fähigkeiten zusätzlich Lesen, Hören und Schreiben in Englisch als Fremdsprache überprüfen zu lassen (Foreign Language Assessment). Das Testen der mündlichen Kompetenzen (Hören und Sprechen) bei vielen Schülerinnen und Schülern stellt in organisatorischer und techni¬scher Hinsicht neue Anforderungen an Large-Scale-Assessments. Daher wurde im Rahmen der Piloterhebung zu PISA 2022 im Jahr 2021 eine Vorstudie zum Foreign Language Assessment in der Deutschschweiz durchgeführt.

Laufzeit
2021

Finanzierung
Schweizerische Konferenz der kantonalen Erziehungsdirektoren (EDK), Staatssekretariat für Bildung, Forschung und Innovation (SBFI)

Leitung
Andrea Erzinger (Nationale Projektleiterin NPM, ICER), Giang Pham (Projektleiterin PISA-Deutschschweiz), Dimitra Kolovou (operative Projektleiterin PISA 2025 FLA Vorstudie)

Das Akronym «EMU» steht für «Evidenzbasierte Methoden der Unterrichtsdiagnostik», ein handlungsorientiertes Feedback-Programm für Lehrpersonen, mit dem sie Rückmeldungen von Schülerinnen und Schülern und kollegiale Feedbacks zur Unterrichtsdiagnostik und -entwicklung gewinnen können. Der Einsatz von Feedback führt jedoch nicht immer zu einer Verbesserung, Meta-Analysen weisen auch auf mögliche negative Auswirkungen hin. Um negative Effekte zu vermeiden, müssen die Wirkmechanismen von Feedback besser verstanden werden. Bei diesem Projekt geht es um die Frage, wie sich unterrichtsbezogene Rückmeldungen (Kollegial- und Klassenfeedback) in der täglichen Unterrichtspraxis umsetzen lassen und welche Rolle dabei der Austausch verschiedener Sichtweisen auf den Unterricht spielt. Darüber hinaus sollen anhand empirischer Daten (Feedbackdaten von Schülerinnen und Schülern, Lehrpersonen und hospitierenden Kolleginnen und Kollegen sowie Interviewdaten von Lehrpersonen) die Erfolgsmechanismen der Unterrichtsentwicklung auf der Basis von datenbasierten Rückmeldungen untersucht werden. An der Studie haben fünfzehn Lehrpersonen aus dem Kanton St.Gallen teilgenommen.

Laufzeit
2020 bis 2021

Finanzierung
Förderinstrument «Spark» des Schweizerischen Nationalfonds (SNF)

Leitung
Giang Pham

Der Kern des von der Bildungsdirektion des Kantons Zürich initiierten Pilotprojekts «ALLE» war es, durch eine Weiterentwicklung des Unterrichts gezielt Einfluss auf die Qualität des Lehrens und Lernens zu nehmen, um so die Lernleistungen – insbesondere der leistungsschwächeren Schülerinnen und Schüler – zu verbessern. Zu den im Projektpilot implementierten Massnahmen zählten beispielsweise der Einsatz von Schulassistenzen im Unterricht, die Durchführung von Weiterbildungen und eine datenbasierte Unterrichtsreflexion durch die Lehrpersonen. Die am IKO durchgeführte wissenschaftliche Evaluation des Pilotprojekts war als quasi-experimentelle Längsschnittstudie mit vier Messzeitpunkten angelegt. Datenerhebungen erfolgten zu Beginn der 7. Klassenstufe sowie jeweils am Ende der 7., 8. und 9. Klassenstufe. In einem Vergleichsgruppendesign wurde die Wirksamkeit der Massnahmen durch die Gegenüberstellung zwischen den Ergebnissen der am Pilotprojekt teilnehmenden Schulen und einer Vergleichsgruppe von Schulen untersucht. Die Evaluation folgte mit der Zusammenführung quantitativer und qualitativer Daten (standardisierte Tests, Fragebögen, Einzel- und Gruppeninterviews) einem Mixed-Methods-Ansatz.

Laufzeit
2016 bis 2020

Finanzierung
Bildungsdirektion Kanton Zürich

Leitung
Jan Hochweber, Christian Brühwiler

Ausgehend von der Annahme, dass zur Bewältigung von Herausforderungen der digitalisierten Gesellschaft nicht ausschliesslich fachliche und digitale Kompetenzen, sondern auch überfachliche Kompetenzen notwendig sind, werden im Rahmen dieses Teilprojekts der IT-Bildungsoffensive (ITBO) des Kantons St.Gallen Instrumente zur Erfassung und Unterrichtskonzepte zur Förderung von überfachlichen Kompetenzen entwickelt, erprobt und evaluiert. Das Projekt beinhaltet drei zentrale Bestandteile: a) Entwicklung von Fragebogeninstrumenten zur Erhebung von überfachlichen Kompetenzen, b) Entwicklung und die Implementation von Unterrichtskonzepten zur gezielten Förderung von überfachlichen Kompetenzen und c) Entwicklung einer digitalen Anwendungsumgebung für die Instrumente und Unterrichtskonzepte sowie den Transfer an die Folgeschulen. Die Projektaktivitäten orientieren sich an den Bedürfnissen der Volksschule; entsprechend werden ausgewählte Schulen in allen Phasen des Projekts einbezogen. Das Projekt wird in Kooperation mit dem Institut Professionsforschung & Kompetenzentwicklung (IPK) durchgeführt.

Laufzeit
2021 bis 2025

Finanzierung
IT-Bildungsoffensive des Kantons St.Gallen

Leitung
Deborah Bernhard

Ziel dieses Teilprojekts der IT-Bildungsoffensive (ITBO) des Kantons St.Gallen ist es, das digitale Lernfördersystem «Lernnavi» für die Mittelschulen weiterzuentwickeln. Lernnavi ist ein Instrument zur Förderung eines Teils der basalen fachlichen Studierkompetenzen in Deutsch und Mathematik für Schülerinnen und Schüler von Gymnasien und Fachmittelschulen. Das Teilprojekt strebt das Ziel an, die mithilfe von Lernnavi erreichten Lernfortschritte weiter zu erhöhen, indem Massnahmen entwickelt und im System umgesetzt werden, welche die in Lernnavi verfügbaren Angebote basierend auf Analysen zu den Lernstrategien und zum Lernerfolg nochmals zielgerichtet verbessern und die Motivation der Schülerinnen und Schüler, Lernnavi regelmässig und aktiv zu nutzen, erhöhen. Projektbaustein A umfasst die Erkennung, Analyse und Vorhersage von Strategien und Lernerfolg in Lernnavi (Lead EPFL), Projektbaustein B befasst sich mit der Motivation der Nutzerinnen und Nutzer und Massnahmen zur Weiterentwicklung von Lernnavi (Lead PHSG).

Laufzeit
2021 bis 2024

Finanzierung
IT-Bildungsoffensive des Kantons St.Gallen

Leitung
Barbara Bitzi (Amt für Mittelschulen Kanton St.Gallen), Jan Hochweber (PHSG)

Weitere Themen, die Sie interessieren könnten