Klassenraumbeobachtungen werden in Distrikten im ganzen Land verwendet, um zu bewerten, ob und inwieweit Lehrer eine Unterrichtspraxis demonstrieren, von der bekannt ist, dass sie das Engagement und das Lernen der Schüler unterstützt. Daten, die aus Beobachtungen im Klassenzimmer generiert werden, bieten den Lehrern auch wertvolles Feedback und unterstützen ihre Kompetenzentwicklung. In einigen Kontexten, wie z Washington, D.C., öffentliche Schulen , werden solche Informationen auch bei hochrangigen Personalentscheidungen verwendet, einschließlich der Einstellung eines Lehrers.
Gute Lehre auf konsistente und faire Weise zu messen, ist jedoch nicht einfach. Ein Grund dafür ist, dass der Unterricht nicht statisch ist. Wie ein Lehrer unterrichtet, hängt von den Unterrichtsinhalten und dem Ziel des Unterrichts ab. Beispielsweise möchten wir in einigen Lektionen längere Diskussionen zwischen den Schülern und bei der Einführung neuer Inhalte einen stärker auf den Lehrer ausgerichteten Unterricht sehen. Auch die Interaktion zwischen Schülern und Lehrern entwickelt sich im Laufe eines Schuljahres. Die meisten Lehrer werden jedoch nur ein- oder zweimal im Jahr beobachtet. Die Dynamik des Unterrichts macht es schwierig, den eigenen Unterricht aus nur wenigen Lektionen zu charakterisieren. Auch wenn diese beobachteten Lektionen den typischen oder durchschnittlichen Unterricht einer Person widerspiegeln können, ist Feedback, das auf solchen Informationen basiert, möglicherweise nicht so nützlich, da das, was ein Lehrer zur Unterstützung seiner Schüler im November benötigt, sich durchaus von dem Bedarf desselben Lehrers im Mai unterscheiden kann.
Eine zusätzliche Komplikation bei typischen Beobachtungsstrategien besteht darin, dass nicht alle guten Lehrmethoden sichtbar sind. Menschliche Beobachter können es schwierig finden, alle wichtigen Unterrichtsinteraktionen in geschäftigen Klassenzimmern zu verfolgen und zu bewerten. Selbst erfahrene, hochqualifizierte Bewerter für Forschungsprojekte haben Mühe, mehrere Lehrverhalten gleichzeitig im Auge zu behalten und letztendlich nur leicht beobachtbare Aspekte der Lehre zu priorisieren, die für die Unterstützung des Lernens der Schüler möglicherweise nicht die wesentlichste Bedeutung haben. In der Praxis verlassen sich Distrikte hauptsächlich auf weniger geschulte, zeitaufwendigere Schulleiter, um Unterrichtsbeobachtungen oder Rundgänge durchzuführen. Zeit- und Ressourcenzwänge werden durch die Tatsache verschärft, dass die Schulleitungen dazu neigen, einen kleinen Bereich von Punktzahlen zu verwenden und die Lehrer nur ungern als schlecht einstufen.
Jüngste technologische Fortschritte bieten eine potenziell unschätzbare Ergänzung zu den von Natur aus begrenzten menschlichen Beobachtungen im Klassenzimmer. In unserem neu erschienenen Papier in Bildungsevaluation und Politikanalyse haben wir uns vorgenommen, diese Möglichkeit zu testen. Unsere Idee ist einfach: Da die Sprache im Mittelpunkt vieler Unterrichtsinteraktionen steht, könnten wir möglicherweise die Leistungsfähigkeit von Computern nutzen, um die sprachlichen Merkmale des Unterrichts im Unterricht zu analysieren und direkt Messungen der Unterrichtspraxis abzuleiten. Wenn sich herausstellt, dass solche automatisierten Messungen die gleichen oder sogar überlegene Messqualitäten wie konventionelle Klassenzimmerbeobachtungen haben, könnte es möglich sein, den Lehrern weitaus konsistentere und fortlaufendere Informationen über ihre Praxis bereitzustellen, als dies ein auf Menschen basierendes System jemals könnte, und das zu geringeren Kosten und ein größeres Skalenpotential.
Tatsächlich wurden in vielen anderen Forschungsbereichen Text-als-Daten-Methoden oder die Verarbeitung natürlicher Sprache weit verbreitet, um Konversationsmerkmale zu untersuchen, wie z das kann den Erfolg von Vorstellungsgesprächen verbessern , Ändern Sie die Meinung von jemandem, indem Sie überzeugende Argumente bilden , oder Probleme im Zusammenhang mit psychischen Erkrankungen ansprechen . Im Bildungsbereich haben Wissenschaftler diese Methoden auch erfolgreich angewendet, um eine Vielzahl von Themen zu untersuchen, darunter Funktionen produktiver Online-Lernumgebungen , Einschätzungen der Lehrkräfte zu Leistungslücken bei den Schülern , und Strategien, die Schulen bei Reformbemühungen anwenden . Der Einsatz solcher Methoden ist jedoch in natürlichen Klassenzimmern und bei Lehrerbewertungs- und -verbesserungsbemühungen viel seltener.
In unserer Studie haben wir Fachleute angeheuert, um fast 1.000 englischsprachige Kunstunterrichtsvideos zu transkribieren, die während der Maßnahmen zur effektiven Lehre Projekt . In diesen Lektionen unterrichteten 258 Lehrer 4dasund 5dasKlassen in sechs Schulbezirken, die hauptsächlich Schülern aus Minderheiten und einkommensschwachen Schülern dienen. Aus diesen Transkriptionen haben wir zwei Arten von Messungen der Lehrerpraxis erstellt. Die erste Reihe von Maßnahmen konzentriert sich auf Diskursmuster, z. B. wie oft sich ein Lehrer und Schüler in ihren Gesprächen abwechseln und wie oft ein Lehrer eine analytische Sprache verwendet (z. B. Wörter, die kognitive Mechanismen widerspiegeln, wie Ursache, Wissen und daher) . Um diese Maße zu konstruieren, verwenden wir hauptsächlich Informationen über Sprachquellen (z. B. Lehrer oder Schüler), Zeitstempel sowie Wörter und Satzzeichen, die einer bestimmten sprachlichen Kategorie zugeordnet sind. Das zweite von uns entwickelte Maßnahmenpaket erfasst substantielle Aspekte des Unterrichts, beispielsweise wie gut eine Lehrkraft die Sprache ihrer Schüler widerspiegelt und wie viel Unterrichtsdiskurs auf unterrichtsbezogene Themen ausgerichtet ist.
Wir haben diese Variablen dann zu einigen Lehrfaktoren zusammengefasst. Während Lehrer ihre Art und Weise, wie sie unterrichten, von einer Unterrichtsstunde zur anderen ändern können, haben wir den Durchschnitt der Unterrichtsstunden für einen Lehrer gebildet, um als Ausgangspunkt ein Porträt seines typischen Unterrichtsstils zu erhalten. Drei Faktoren oder Arten von Klassenzimmerdiskursen treten auf – ein Klassenzimmermanagementformat, das darauf hinweist, dass ein Lehrer viel Zeit im Klassenzimmer damit verbringt, Routinen zu etablieren und das Verhalten der Schüler zu steuern; ein interaktives Unterrichtsformat, das viele offene Lehrerfragen und eine reichliche Hin- und Her-Interaktion zwischen einem Lehrer und Schülern enthält; und ein lehrerzentriertes Unterrichtsformat mit viel Lehrergespräch und minimaler Schülerbeteiligung.
Diese Lehrfaktoren scheinen intuitiv zu sein, aber erfassen sie wirklich Merkmale des Unterrichts, die auf die Beobachtungen menschlicher Bewerter ausgerichtet sind? Unser Ergebnis ist ja. Diese drei Klassenzimmerformate weisen durchweg eine Übereinstimmung mit vielen der Domänen und Dimensionen auf, die in mehreren gängigen Beobachtungsprotokollen identifiziert wurden, darunter das Classroom Assessment Scoring System (CLASS), das Framework for Teaching (FFT) und das Protocol for Language Arts Teaching Observations (PLATO). Zum Beispiel weist der Klassenzimmermanagementfaktor die stärksten Korrelationen mit den Verhaltensmanagementdimensionen sowohl in CLASS als auch in PLATO auf. Der interaktive Unterrichtsfaktor hängt hauptsächlich mit dem CLASS-Bereich der Unterrichtsunterstützung zusammen, der den Einsatz von konsistentem Feedback durch die Lehrer und ihren Fokus auf Denkfähigkeiten höherer Ordnung betont, um das Lernen der Schüler zu verbessern. Der lehrerzentrierte Unterrichtsfaktor, der weniger wünschenswerte Unterrichtspraktiken darstellt, hat negative und statistisch signifikante Korrelationen mit dem Unterrichtsdialog (CLASS), der Etablierung einer Lernkultur, der Einbeziehung der Schüler in das Lernen, der Verwendung von Fragen und Diskussionen (FFT) und der intellektuellen Herausforderung ( PLATO). Um es klar zu sagen, wir plädieren nicht für eine einzige optimale Zuteilung von Unterrichtszeit oder einen einzigen Diskursstil. Unterschiedliche Ansätze haben wahrscheinlich einen unterschiedlichen Nutzen während einer Unterrichtsstunde oder eines Schuljahres. Diese Ergebnisse spiegeln den durchschnittlichen Diskursstil im Unterricht eines Lehrers wider.
Neben der Korrelation unserer maschinengenerierten Messungen mit Unterrichtsbeobachtungen haben wir auch getestet, ob diese Unterrichtsfaktoren den Beitrag eines Lehrers zu den Schülerleistungen vorhersagen. Bemerkenswert ist, dass der lehrerzentrierte Unterrichtsfaktor die mit SAT-9 berechneten Mehrwertpunkte der Lehrer negativ vorhersagt, einem Test zur Messung von Fähigkeiten höherer Ordnung.
Obwohl unsere Ergebnisse zeigen, dass Text-als-Daten-Methoden ein vielversprechender Ansatz zur Messung von Lehrpraktiken sind, ist unsere Studie nur ein erster Schritt in Richtung eines automatisierten Systems zur Messung und letztendlich Unterstützung von Lehrqualität. Die von uns entwickelten Maßnahmen sind begrenzt und ihre Präzision muss verbessert werden. Selbst mit verfeinerten Computeralgorithmen, Spracherkennungstechnologien und einem umfassenderen Maßnahmenspektrum müssen Bezirke und Schulen, die ein textbasiertes System implementieren möchten, in die anfängliche Infrastruktur investieren, die es ihnen ermöglicht, Klassenzimmerdaten aufzuzeichnen, zu transkribieren und zu analysieren, während die Wahrung des Datenschutzes von Sprachdaten, bevor sie von den vorgeschlagenen Methoden profitieren können.
Weitere Forschung ist auch erforderlich, um zu verstehen, wie Schulleiter und Lehrer automatisierte Maßnahmen wahrnehmen und auf die von ihnen bereitgestellten Informationen reagieren. Unsere Arbeit zeigt jedoch, dass es möglich ist, konventionelle Beobachtungen im Klassenzimmer durch einen Text-als-Daten-Ansatz zu ergänzen.
Sobald ein solches System eingerichtet ist, können wir uns eine Welt vorstellen, in der automatisierte Unterrichtsmetriken in Echtzeit erstellt werden und Schulleiter und Trainer ihre Zeit darauf konzentrieren, den Lehrern zu helfen, die bereitgestellten Informationen zu verstehen und Strategien zur Verbesserung zu identifizieren. Wir treten nicht dafür ein, dass solche Maßnahmen für Folgebewertungen für Lehrer verwendet werden sollten. Mehr und bessere Rückmeldungen für Lehrkräfte über ihren Unterricht können jedoch dazu beitragen, sicherzustellen, dass alle Schüler Zugang zu einem einheitlichen und qualitativ hochwertigen Unterricht haben.