Haupt K-12 Bildung

Big Bang für wenig Geld: Die Wirkung von Mathe-Lehrbüchern in Kalifornien

Zusammenfassung





Lehrbücher gehören zu den am häufigsten verwendeten Bildungsinputs, aber über ihre Auswirkungen auf das Lernen der Schüler ist bemerkenswert wenig bekannt. Dieser Bericht verwendet Daten, die von Grundschulen in Kalifornien gesammelt wurden, um die Auswirkungen der Auswahl von Mathematiklehrbüchern auf die Leistung der Schüler abzuschätzen. Wir studieren vier der beliebtesten Bücher des Bundesstaates von 2008-2013 und finden das Houghton Mifflin Kalifornische Mathematik – übertrifft durchweg die anderen drei. Die überlegene Leistung von Kalifornische Mathematik bleibt bis zu vier Jahre nach der Adoption bestehen und zeigt sich in den Klassen 3, 4 und 5.



Die von uns identifizierten Auswirkungen auf das Lehrbuch sind pädagogisch bedeutsam und mit äußerst geringen Kosten verbunden. Im Hinblick auf die Kosten sind Lehrbücher relativ günstig und in der Regel ähnlich teuer. Daraus folgt, dass die Grenzkosten für die Wahl eines effektiveren Lehrbuchs gegenüber einer weniger effektiven Alternative im Wesentlichen null sind. In Bezug auf die Leistungsauswirkungen deuten unsere Ergebnisse darauf hin, dass nicht-triviale Zuwächse bei den Schülerleistungen einfach durch die Wahl effektiverer Lehrplanmaterialien erreicht werden können. Die von uns dokumentierten Effektstärken entsprechen dem, was man von einer hypothetischen Politik erwarten kann, die die Qualität des Lehrpersonals deutlich steigert. Während jedoch große Unsicherheit darüber besteht, ob eine entsprechende Steigerung der Lehrerqualität erreichbar ist und wie sie – zumindest kurzfristig – erreicht werden könnte, ist die Wahl eines effektiveren Lehrbuchs eine scheinbar einfache politische Option zur Steigerung der Schülerleistungen.





Ein kritischer Faktor, der die Fähigkeit der Schulverwaltung einschränkt, effektivere Lehrbücher auszuwählen, besteht darin, dass es praktisch keine Beweise dafür gibt, wie sich unterschiedliche Lehrbücher auf die Leistung der Schüler auswirken. Das grundlegende Problem, das die Entwicklung einer Evidenzbasis einschränkt, besteht darin, dass nur sehr wenige Bundesstaaten die Annahme von Schulbüchern und Distrikten verfolgen. Dieser Punkt muss wiederholt werden: Die meisten Bundesstaaten wissen nicht, welche Lehrplanmaterialien in welchen Schulen und Bezirken verwendet werden. Ohne diese Daten ist eine Evaluation der Lehrbuchwirksamkeit nicht möglich. Daher haben Entscheidungsträger in den meisten Bundesstaaten, die in ihre Adoptionsentscheidungen Beweise dafür einbeziehen möchten, wie sich Lehrbücher auf die Leistung der Schüler auswirken, einfach kein Glück.



Unsere Studie ergänzt einen kleinen Forschungsstand, der zeigt, dass sich Lehrbücher in ihrer Wirksamkeit erheblich unterscheiden. Dies ist ein Beispiel für die Art der Analyse, die in anderen Bundesstaaten und im Laufe der Zeit viel umfassender durchgeführt werden könnte, wenn nur Daten zur Schulbuchadoption routinemäßig erhoben würden. Durch die Kombination von Evidenz aus mehreren ähnlichen Studien konnten wir eine Evidenzbasis für zahlreiche Materialien in verschiedenen Kontexten aufbauen und Analysen durchführen, um zu bestimmen, welche Merkmale von Lehrplanmaterialien für die Förderung der Schülerleistungen von Bedeutung sind. Wir schließen mit Vorschlägen für Bezirksbeamte und staatliche Entscheidungsträger, Daten zur Schulbuchadoption zu sammeln und verfügbar zu machen. Die empfohlenen Datenerhebungsbemühungen wären mit einem relativ geringen Aufwand verbunden und würden zu einer wesentlich besseren Evidenz führen, um Schul- und Bezirksentscheidungen in Bezug auf einen wichtigen und häufig verwendeten schulischen Input zu lenken.



Vor etwas mehr als vier Jahren haben Russ Whitehurst und Matt Chingos einen gut formulierten Aufruf zu mehr Forschung über Lehrplanmaterialien und deren Auswirkungen formuliert. [ich] Das Argument für diese Art von Arbeit ist sehr einfach (Hinweis: Dies ist unsere Version des Arguments, nicht ihre):



  1. Nahezu jede Schule des Landes übernimmt nach wie vor Schulbücher in den Kernfächern (egal ob traditionell oder digital), und eine große Mehrheit der Lehrer verwendet sie im täglichen Unterricht.
  2. Vorhandene Forschungen zeigen, dass sich Lehrbücher in ihren Auswirkungen auf die Schülerleistungen auf sinnvolle Weise unterscheiden, wobei gut konzipierte Studien Effekte im Bereich von 0,1 bis 0,2 Standardabweichungen finden. [ii]
  3. Lehrbücher sind keine teure Intervention. Sie haben in der Regel auch einen sehr ähnlichen Preis, sodass die Grenzkosten für die Wahl eines Lehrbuchs gegenüber einem anderen gering sind. Somit ist die potenzielle Kapitalrendite für die Einführung effektiverer Lehrbücher im Vergleich zu anderen Interventionsarten recht groß. [iii]
  4. Lehrplanmaterialien sind eine politisch viel schmackhaftere Reform als viele andere potenzielle politische Reformen wie die Lehrerpolitik und die Schulwahlpolitik.

Chingos und Whitehurst empfehlen den Staaten, eine Dateninfrastruktur aufzubauen, um die Annahme von Lehrbüchern durch Schulen und Bezirke zu verfolgen, die unter anderem verwendet werden kann, um die Auswirkungen verschiedener Materialien auf die Ergebnisse der Schüler zu untersuchen.

Ihre Argumentation ist zwar überzeugend, aber es gab kaum Fortschritte. Zum Zeitpunkt des Schreibens waren nur zwei Staaten bekannt, die Adoptionen von Lehrbüchern verfolgen, Florida und Indiana. Daten aus beiden Bundesländern wurden verwendet, um die Wirksamkeit von Lehrplänen für elementare Mathematik zu untersuchen. [iv] Während einige weitere Staaten entweder damit begonnen haben, die Daten zu sammeln [v] oder die Daten wurden in Sichtweite entdeckt [wir] seitdem ist es bis heute so, dass die meisten Bundesstaaten nicht nachverfolgen, welche Lehrplanmaterialien von welchen Schulen und Bezirken verwendet werden. Auch Verlage geben diese Daten nur ungern zur Verfügung (obwohl wir nur davon ausgehen können, dass sie wissen, welche Distrikte ihre Materialien kaufen), weil sie für vergleichende Wirksamkeitsstudien der Art verwendet werden könnten, über die wir hier berichten.



Als Reaktion auf die Forderung von Whitehurst und Chingos nach mehr Forschung zur Wirksamkeit von Lehrbüchern haben wir kürzlich ein Projekt durchgeführt [kommst du] unter Verwendung von Daten aus Kalifornien, um den Einfluss von Lehrbüchern auf die Schülerleistungen zu untersuchen. Wir sind zufällig über die kalifornischen Lehrbuchdaten gestolpert. Aufgrund eines gerichtlichen Vergleichs aus dem Jahr 2004 und nachfolgender Gesetzgebung ist es erforderlich, dass das Lehrbuch in jedem der Kernfächer von den einzelnen Schulen gemeldet wird. Die Daten werden in School Accountability Report Cards (SARCs) als PDF-Dateien gespeichert, die online beim California Department of Education (CDE) verfügbar sind. Wir hoffen, dass dies die erste von vielen Studien ist, die diese neu entdeckten Daten und andere Daten verwenden, die derzeit erhoben werden. Das Ziel besteht darin, einen größeren Satz von Beweisen über die Wirksamkeit von Lehrbüchern zusammenzustellen, die aus mehreren Staaten und im Laufe der Zeit stammen.



In diesem Brief präsentieren wir Beweise aus der ersten unserer Lehrbuch-Wirksamkeitsstudien in Kalifornien. Insbesondere präsentieren wir Beweise zu den Auswirkungen von Entscheidungen zur Schulbuchadoption, die während des Adoptionszyklus 2008 in der elementaren Mathematik getroffen wurden. Diese Kurzfassung basiert auf einem vollständigen Arbeitspapier, das hier heruntergeladen werden kann. [viii] Um eine Vorschau unserer Ergebnisse zu erhalten, stellen wir fest, dass eines der vier am häufigsten verwendeten Bücher, Houghton Mifflin Kalifornische Mathematik , ist effektiver als die anderen drei populären Bücher, die im Staat verwendet werden. Die Effekte halten über vier Jahre nach der Adoption an und reichen von ungefähr 0,05 bis 0,10 Standardabweichungen der Schülerleistung. Verschiedene Fälschungsübungen überzeugen uns davon, dass diese Effekte kausal sind.

Im Folgenden beschreiben wir die kalifornischen Lehrbuchadoptionsdaten, stellen unsere Analysemethoden vor und fassen dann unsere Ergebnisse zusammen. Wir schließen mit Implikationen für die Politik und zukünftige Forschung zu Lehrbucheffekten.



Daten

Die Daten, die wir zur Schulbuchadoption verwenden, werden als Ergebnis eines Gerichtsverfahrens aus dem Jahr 2004 erhoben, Eliezer Williams et al. vs. Bundesstaat Kalifornien et al. In diesem Gerichtsverfahren verklagten Schülerkläger des San Francisco Unified School District den Staat mit der Begründung, dass der Staat es versäumt habe, gleichen Zugang zu Unterrichtsmaterialien, hochwertigen Lehrern und sicheren und anständigen Schuleinrichtungen zu gewährleisten. Ergebnis des Verfahrens war ein Gesetz aus dem Jahr 2007, das unter anderem vorschreibt, dass Schulen jährlich über die Angemessenheit ihres Unterrichtsmaterials in Kernfächern berichten. In den leistungsschwächsten 30 Prozent der Schulen gibt es auch Prüfungen der Angemessenheit der Schulbücher, aber in anderen Schulen dienen die Daten lediglich der öffentlichen Rechenschaftspflicht. Einzelne SARCs sind die Quelle der Lehrbuchdaten für unsere Analyse.



Während die SARC-Lehrbuchdaten für praktisch alle Schulen des Bundesstaates verfügbar sind, [ix] Es gibt eine Reihe von Problemen mit den Daten, die es ziemlich schwierig machten, ein Lehrbuchpanel zusammenzustellen. Der erste ist, dass die SARCs nur in PDF-Form für mehr als 80 Prozent der Schulen des Bundesstaates verfügbar sind (obwohl es eine Standardvorlage gibt, wird diese nur an etwa 20 Prozent der Schulen verwendet; daher haben Schulen in verschiedenen Bezirken unterschiedliche SARC-Formate mit Lehrbuchinformationen auf verschiedenen Seiten). Die Folge ist, dass die Daten manuell erfasst werden müssen. Daher haben wir in den letzten zwei Jahren Bachelor- und Masterstudenten an der USC dafür bezahlt, die SARC-Daten von allen ~7600 Schulen des Bundesstaates zusammenzustellen, die die Klassen K-8 bedienen. Dies ist natürlich sehr zeit- und arbeitsintensiv.

Die zweite Herausforderung besteht darin, dass es keine einheitliche Vorschrift für die Berichterstattung über Schulbuchtitel gibt. Manchmal wird nur der Herausgeber gemeldet, manchmal der Titel und manchmal der Titel und die Version. Gelegentlich werden Titel gemeldet, die nach unserem besten Wissen nicht existieren. Kalifornien ist ein staatlicher Adoptionsstaat, was bedeutet, dass der Staat eine Liste genehmigter Lehrbücher herausgibt, zu deren Kauf er Schulen und Bezirke ermutigt. Wenn wir davon ausgehen, dass eine Schule, die einen Verlag auf der staatlichen Liste aufführt und ein Adoptionsjahr entsprechend der letzten staatlichen Adoption aufführt, bedeutet dies, dass sie das Buch von der staatlichen Liste übernommen hat, dann können wir die überwiegende Mehrheit der Lehrbücher codieren. [x] Aber auch mit dieser Annahme haben rund 14 Prozent der Schulen ein oder mehrere nicht identifizierbare gelistete Lehrbücher, das sind etwa 9 Prozent aller gelisteten Lehrbücher.

google wie spät es ist

Selbst bei Büchern, von denen wir überzeugt sind, dass sie korrekt identifiziert wurden, gibt es oft Dutzende (manchmal Hunderte) von Möglichkeiten, ein bestimmtes Buch in den Daten aufzulisten. Zum Beispiel für Pearson Scott Foresman Addison Wesley deVisionMATH California (das beliebteste Buch des Staates in den Jahren 2012-2013) haben wir 142 verschiedene Arten gezählt, wie dieses Buch in den SARCs aufgeführt wurde. Nur sehr wenige dieser Titel bieten tatsächlich genügend Informationen, um sicher zu sein, welches Buch verwendet wurde, ohne dass die kalifornischen Richtlinien zur Einführung von Lehrbüchern und der Lehrbuchmarkt gründlich bekannt sind. Eine wichtige Erkenntnis aus der Datenerhebungsphase unseres Projekts ist, dass selbst in Kalifornien, wo das staatliche Gesetz die Berichterstattung über Lehrplanmaterialien vorschreibt, die Daten zu Lehrplänen noch lange nicht zur Analyse bereit sind und die Daten kaum übersehen werden. Dies stellt in Frage, ob die Schulbuchberichterstattung wirklich wie beabsichtigt eine Quelle öffentlicher Rechenschaftspflicht sein kann.

Nach einer erheblichen Datenbereinigung haben wir, wenn alles gesagt und getan ist, ungefähr 240 einzigartige Lehrbücher identifiziert, die in Kalifornien in den ungefähr 7600 Schulen der Klassen K-8 zwischen 2012 und 2013 verwendet werden. Diese Bücher wurden größtenteils in den Jahren unmittelbar nach der offiziellen staatlichen Adoption übernommen, wobei die große Mehrheit im Herbst 2008 oder 2009 in Gebrauch genommen wurde. [xi]

Aus dieser Liste konstruieren wir unsere analytische Stichprobe. Um in unsere Analyse aufgenommen zu werden, müssen mehrere Kriterien erfüllt sein: Schulmerkmale und Ergebnisdaten der Schule müssen vor und nach der Adoption vorliegen, das Lehrbuch muss beim SARC identifizierbar sein, die Adoption muss im Zyklus erfolgen ( 2008 oder 2009), muss die Schule in den zu studierenden Grundschulklassen (1-3 für die Hauptanalyse, 1-5 für die Analyse bis zur fünften Klasse) einheitlich sein und die Schule darf nicht in einem Bezirk liegen, der so groß, dass es unmöglich ist, geeignete Vergleichsschulen zu finden. [xii]

Nachdem wir unsere Stichprobe anhand dieser Kriterien eingeschränkt haben, basiert unsere endgültige Kürzung auf der Prävalenz der verschiedenen Lehrbuchoptionen in kalifornischen Schulen – nur vier Lehrbücher wurden in einer ausreichenden Anzahl von Schulen eingeführt, sodass wir eine ausreichende statistische Aussagekraft hätten, um sie zu bewerten: deVisionMATH California herausgegeben von Pearson Scott Foresman, Kalifornische Mathematik herausgegeben von Houghton Mifflin , California Mathematics: Konzepte, Fähigkeiten und Problemlösung herausgegeben von McGraw-Hill, und Kalifornische HSP Math herausgegeben von Houghton Mifflin Harcourt. Letztendlich umfasst unsere analytische Stichprobe 1878 Schulen, die eines dieser vier Bücher verwendet haben.

Wir führen Informationen über die Lehrplanübernahmen der Schulen aus ihren SARCs mit einer Längsschnittdatenbank zusammen, die Schul- und Bezirksmerkmale und Leistungsergebnisse für die Schuljahre 2003 bis 2013 enthält und auf der Grundlage öffentlich verfügbarer Daten des kalifornischen Bildungsministeriums (CDE) erstellt wurde. Wir ergänzen die CDE-Daten mit Daten aus dem United States Census zum mittleren Haushaltseinkommen und zum Bildungsniveau in der näheren Umgebung für jede Schule, die wir auf Postleitzahlenebene verlinken. Die Leistungseffekte werden anhand von schulischen durchschnittlichen Testergebnissen bei staatlich standardisierten mathematischen Bewertungen geschätzt. Wir fokussieren den Großteil der Evaluation auf die Leistungen der 3. Klasse, erweitern unsere Analyse jedoch auch, um die Auswirkungen des Lehrplans auf die Testergebnisse in den Klassen 4 und 5 zu untersuchen.

Methoden

Um unsere Daten zu analysieren, wenden wir drei verwandte analytische Ansätze an. Insbesondere schätzen wir Curriculum-Effekte unter Verwendung von Kernel-Matching, Common-Support-Restricted Ordinary Least Squares (Restricted OLS) und Rest-basiertem Residualized Matching. Die drei Methoden werden im Arbeitspapier ausführlich beschrieben. [xiii] In allen Fällen stimmen wir auf Schulebene ab, obwohl wir sowohl Schul- als auch Bezirksvariablen im Abgleichprozess verwenden. Wir gleichen auf Schulebene ab, weil dies unsere statistische Aussagekraft verbessert und weil einige Bezirke keine einheitlichen Benutzer sind (d. .

Die Idee aller drei Ansätze besteht darin, Schulen auf der Grundlage ihrer Variablen vor der Einführung (z. In dem Papier zeigen wir die Ergebnisse aller typischen Auswuchttests, die überzeugend belegen, dass unser Matching-Ansatz gut funktioniert.

Die Schlüsselannahme für die Identifizierung, die allen unseren Schätzungen zugrunde liegt, ist die bedingte Unabhängigkeitsannahme (CIA), die davon ausgeht, dass keine Variablen in unserem Matching-Prozess ausgelassen werden, die sich sowohl auf die Wahl des Lehrbuchs als auch auf das Ergebnis (Schülerleistung) auswirken. Es gibt mehrere konzeptionelle Gründe dafür, dass die CIA in unserem Antrag plausibel ist, die wir in unserem Papier ausführlich diskutieren. Formaler stellen wir der CIA auch Ergebnisse von Fälschungstests zur Verfügung, die darauf ausgelegt sind, Verstöße aufzudecken. Die Falsifikationstests suchen nach Curriculum-Effekten in Situationen, in denen (a) wir überhaupt keine Effekte erwarten oder (b) wir höchstens geringe Effekte erwarten sollten. Wenn wir zum Beispiel Lehrplaneffekte ungleich null in Situationen schätzen, in denen wir wissen, dass die Auswirkungen null sein sollten, wäre dies ein starker Hinweis darauf, dass die CIA verletzt wird. In den Falsifikationsmodellen schätzen wir die Auswirkungen des Curriculums auf die Testergebnisse vor dem Jahr der Einführung der Materialien des Schwerpunktcurriculums und auf die Testergebnisse in English Language Arts (ELA) anstelle von Mathematik. Wenn die Auswahl unsere Ergebnisse bestimmen würde, würden wir zeitinkonsistente und/oder themenfremde Effekte erwarten. Wir zeigen diese Ergebnisse unten und im Papier; sie liefern keine Beweise dafür, dass unsere Ergebnisse durch unbeobachtete Selektion verzerrt sind.

Ergebnisse

Unser ursprünglicher analytischer Plan war, paarweise Vergleiche zwischen unseren vier Büchern von Interesse (d. h. sechs paarweise Tests) durchzuführen. Aufgrund von zwei Problemen mussten wir jedoch den Kurs ändern. Erstens ist die Kovariatenbalance in einigen der paarweisen Vergleiche schlecht. Zweitens ist unsere statistische Aussagekraft bei den paarweisen Vergleichen begrenzt. Allerdings weisen die paarweisen Vergleiche (dargestellt im Papier) auf Houghton Mifflin . hin Kalifornische Mathematik effektiver als die anderen drei Bücher sind und dass die anderen drei Bücher ein ähnliches Maß an Effektivität aufweisen. Basierend auf dem Schätzmuster der paarweisen Vergleiche haben wir die Analyse umstrukturiert, um einen Vergleich von Houghton Mifflin Kalifornische Mathematik mit einer Zusammenstellung der anderen drei Bücher. Dies verbessert unsere statistische Aussagekraft und vereinfacht die Darstellung (obwohl wir der Vollständigkeit halber auch hier Ergebnisse aus den paarweisen Vergleichen berichten).

Die Ergebnisse unserer wichtigsten Auswirkungsanalyse auf die Ergebnisse von Mathetests der dritten Klasse sind unten in Abbildung 1 dargestellt (die rechten vier Balkensätze mit den Bezeichnungen 1-4 auf der horizontalen Achse und die linken drei Balken in jedem Satz mit sechs Balken). Die Ergebnisse zeigen, dass Houghton Mifflin . einen positiven Einfluss hat Kalifornische Mathematik im Vergleich zu den anderen drei Büchern. Dieser Effekt tritt im ersten Jahr nach der Annahme auf und hält bis zum vierten Jahr an. Der Effekt liegt je nach Jahr und Modell im Bereich von .05 bis .08 Standardabweichungen. Während die Kernel-Matching-Schätzungen eine ähnliche Größenordnung wie die eingeschränkten OLS- und Rest-basierten Residualisierungs-Matching-Schätzungen haben, sind die beiden letzteren statistisch signifikant, da sie durch ihre zusätzlichen Annahmen statistische Aussagekraft gewinnen (in dem Artikel diskutieren wir, warum wir diese Annahmen für vernünftig halten). .

Abbildung 1. Auswirkungen der kalifornischen Mathematik im Vergleich zur zusammengesetzten Alternative auf die Testergebnisse der dritten Klasse im Laufe der Zeit und unter Verwendung verschiedener Schätzer

CCF_20170105_Polikoff_Evidence_Speaks_1

Diese Auswirkungen mögen in ihrem Ausmaß bescheiden erscheinen, erinnern jedoch daran, dass sie für alle Schüler einer Schule gelten. Eine Politik, die auf die niedrigsten 10 Prozent der Schüler abzielt, müsste eine zehnmal größere Wirkung haben, um die gleiche Gesamtleistungsänderung zu erzielen. Diese Effektstärke entspricht etwa einem Drittel bis der Hälfte einer Standardabweichung in der Verteilung der Lehrereffektivität; sie entspricht somit einer sehr großen Veränderung der durchschnittlichen Effektivität der Lehrkräfte in der Belegschaft.

Wir könnten erwarten, dass die Auswirkungen der Lehrplanmaterialien in späteren Jahren größer werden, da die Schüler den Materialien in mehr Klassenstufen ausgesetzt sind (d. h. mit höherer Dosierung). Bei den Schätzungen beobachten wir dieses Muster jedoch nicht. Natürlich ist es möglich, dass tatsächlich ein Dosiseffekt vorliegt, aber wir haben nicht die statistische Kraft, um ihn zu beobachten. Es ist auch möglich, dass nur (oder primär) das Lehrbuch der aktuellen Note für die Leistung der Schüler in staatlichen Prüfungen ausschlaggebend ist. Daher kann es von begrenzter Bedeutung sein, ob ein Schüler in früheren Jahren mit demselben oder einem anderen Lehrbuch in Berührung gekommen ist.

Unsere Ergebnisse aus unserer Analyse der Mathematikergebnisse in der vierten und fünften Klasse, die in der Arbeit verfügbar sind, zeigen im Allgemeinen ähnliche Muster mit einigen Unterschieden zwischen den Klassenstufen. In der vierten Klasse sind die Effektstärken etwas kleiner (0,02 bis 0,06 Standardabweichungen) und nur in bestimmten Jahren statistisch signifikant. In der fünften Klasse reichen die Effektstärken von 0,03 bis 0,05 Standardabweichungen im ersten Jahr bis zu 0,10 Standardabweichungen im vierten Jahr, wiederum statistisch signifikant in jedem Jahr. Die Wirkungen des fünften Grades nehmen von Jahr zu Jahr zu (obwohl die Zunahmen nicht immer statistisch signifikant sind) in einer Weise, die auf eine Dosiswirkung hindeutet. In keinem der Modelle über einen der drei Grade oder vier Jahre hinweg gibt es einen negativen Koeffizienten für Houghton Mifflin Kalifornische Mathematik im Vergleich zum Verbund der anderen drei Lehrbücher.

Abbildung 1 zeigt auch unsere Fälschungstests (die wir für die Klassen vier und fünf auch in der vollständigen Arbeit wiederholen). Die Auswirkungen auf die ELA nach der Adoption werden in den rechten vier Balkensätzen und der rechten Hälfte jedes Satzes gezeigt. Ob diese Schätzungen null sein sollten oder nicht, ist unklar ex ante denn es könnte zu Spillover-Effekten des Curriculums kommen, aber sie sollten höchstens geringer sein als die mathematischen Effekte. In den ersten vier Balkensätzen in der Abbildung sind für beide Probanden die Prä-Adoptionseffekt-Schätzungen angegeben. Die Schätzungen vor der Adoption sollten alle Null sein, wenn kein Selektionsbias vorliegt, da die von uns untersuchten Behandlungen noch implementiert werden müssen. Alle Fälschungsschätzungen sind substantiell klein und statistisch unbedeutend, was den Erwartungen entspricht, wenn die CIA zufrieden ist.

Diskussion

Unsere Arbeit leistet mehrere wichtige Beiträge. Zunächst haben wir einen Datensatz zu Schulbuchadoptionen in Kalifornien zusammengestellt, dem größten US-Bundesstaat mit der größten Anzahl von Schulen. Wir haben Mittel erhalten, um diese Daten auch in Zukunft zu sammeln. Wir werden die Daten weiter analysieren und weitere Fächer und andere Noten studieren. Wir planen auch, die Daten interessierten Forschern zur Verfügung zu stellen, damit andere neue Forschungsrichtungen verfolgen können. Es gibt viele Fragen in diesem Bereich von großer Bedeutung, die nicht mit Auswirkungen auf die Schülerleistungen zu tun haben – zum Beispiel: Gibt es einen gerechten Zugang zu aktuellen Lehrplanmaterialien? Wie unterscheiden sich Charter- und traditionelle öffentliche Schulen in ihren Adoptionsmustern? Wir hoffen, dass diese neu verfügbaren Daten eine neue Welle datengestützter Forschung über die Einführung von Lehrbüchern und deren Auswirkungen auslösen können. Die aktuelle Forschungsliteratur mangelt es an quantitativen Analysen von Schulbüchern schmerzlich.

Zweitens demonstriert unsere Arbeit wieder eine Methode (zuvor demonstriert von Bhatt, Koedel und Lehmann [xiv] ), die in anderen Bundesländern, Jahrgangsstufen und Fächern angewendet werden können. Wir glauben zum jetzigen Zeitpunkt, dass die Methode so weit entwickelt ist, dass sie breit angewendet werden kann. Auf diese Weise – das Studium von Lehrbucheffekten in mehreren Umgebungen – können wir ein besseres Verständnis dafür entwickeln, was wo und für wen funktioniert. Außer in Kalifornien haben wir Daten zu Schulbuchadoptionen in Texas, Illinois, New York und Florida gesammelt. Ob die uns vorliegenden Daten ausreichend vollständig sind, um diese Art von Untersuchung in jeder Umgebung zu ermöglichen, ist unklar, aber wir werden es versuchen.

Eine der häufigsten Fragen, die uns bei der Präsentation dieser Arbeit gestellt wird, lautet: Worum geht es? Kalifornische Mathematik das macht es effektiv? Derzeit gibt es einfach keine Möglichkeit, diese Frage zu beantworten, und wir verzichten daher auf Spekulationen. Es gibt zweifellos unzählige Möglichkeiten, wie Kalifornische Mathematik unterscheidet sich von den anderen untersuchten Lehrbüchern, und es ist unmöglich zu wissen, welche dieser Dimensionen, wenn überhaupt, von Bedeutung sind. Es kann sein, dass Kalifornische Mathematik bessere pädagogische Techniken für die Vermittlung von Kerninhalten enthält, besser auf staatliche Standards oder den staatlichen Test abgestimmt ist oder für Lehrerinnen und Lehrer einfach treuer umsetzbar ist. Wenn wir jedoch mehr Studien zu Lehrbucheffekten hätten und diese Studien mit Analysen der Materialien selbst gepaart würden, wäre es denkbar, dass wir beginnen könnten, besser zu verstehen, welche Materialien funktionieren und warum.

Drittens erweitert unsere Arbeit die bisherige Literatur in mehrfacher Hinsicht, die wir für wichtig halten. Diese Analyse verfolgt die Leistungsauswirkungen für vier Jahre nach der Adoption, was länger ist als bei jeder früheren Studie. Wir verfolgen auch Leistungseffekte über drei Jahrgangsstufen, wieder mehr als jede andere Studie zuvor. Wir hoffen, dass zukünftige Studien weiterhin nach diesen längerfristigen Auswirkungen suchen können.

Empfehlungen für Bezirksentscheider

Schulbezirke im ganzen Land entscheiden alle paar Jahre über die Lehrbücher, die sie in den akademischen Kernfächern übernehmen. Diese Entscheidungen sind eine Herausforderung, da so wenige Informationen zur Wirksamkeit vorliegen. Wenn Informationen zur Wirksamkeit verfügbar werden, empfehlen wir natürlich den Entscheidungsträgern des Distrikts, diese zu verwenden. Dies muss nicht nur bedeuten, dass wir nach unserer Analyse das effektivste Buch übernehmen, sondern die Auswirkungen auf die Schülerleistungen ernsthaft in den Entscheidungsprozess einbeziehen. Unsere Interviews mit Distriktleitern in Kalifornien legen nahe, dass diese oft mehrere Faktoren berücksichtigen und es keinen Grund zu der Annahme gibt, dass sie nicht an Wirkungsdaten, falls verfügbar, interessiert wären.

Wir glauben auch, dass die Entscheidungsträger des Distrikts eine aktivere Rolle bei der Bereitstellung von Informationen aus Lehrplanmaterialien für die Forschung spielen könnten. Eine Möglichkeit, dies zu erleichtern, wäre, Druck auf den Staat auszuüben, mehr Ressourcen für die Datenerhebung und -analyse bereitzustellen. Vielleicht wäre es möglich, dass Berufsverbände (entweder Kreisverwaltungsverbände oder Fachverbände wie der Nationalrat der Mathematiklehrer) in diesem Bereich eine Vorreiterrolle spielen, indem sie Daten aus den Multidistrikten sammeln; oder, wenn die Umstände günstig sind, sogar bei der Organisation von Experimenten helfen, die uns helfen, mehr über die Wirksamkeit des Lehrplans zu erfahren. Es gibt viele mögliche Wege nach vorne. Letztlich kommt es auf die Frage an, wer dafür verantwortlich ist, dass die Schülerinnen und Schüler an unseren Schulen effektive Unterrichtsmaterialien verwenden. Wer auch immer diese Personen sind, sie sollten beunruhigt sein, wie wenig wir über die Wirksamkeit verschiedener Materialien wissen, zumal die Handvoll Studien – einschließlich der hier beschriebenen – ein großes Potenzial für effektivere Lehrplanmaterialien aufzeigen Schülerleistung verbessern.

Königinmutter faule Zähne

Empfehlungen für Staaten

Die Ergebnisse dieser Analyse sind unserer Meinung nach interessant und wichtig, aber Houghton Mifflin Kalifornische Mathematik wird in Kalifornien (oder anderswo unseres Wissens) nicht mehr verkauft. Von den vier untersuchten Lehrbüchern glauben wir nur deVisionMATH wird immer noch verkauft, wenn auch in einer auf Common Core ausgerichteten Version. [xv] Daher sind die Erkenntnisse zu diesem speziellen Buch nicht so nützlich, wie sie es wären, wenn die vier Bücher noch weit verbreitet wären.

Zukünftige Arbeiten müssen zeitgerechter erfolgen, um Einfluss auf die Politik zu nehmen. Obwohl wir immer in unserer Fähigkeit sein werden, zeitnahere Analysen durchzuführen, weil Forschung dieser Art von Natur aus rückwärtsgewandt ist (d. h. wir brauchen Zeit, um die Ergebnisse nach der Behandlung zu beobachten), gibt es verschiedene politische Maßnahmen, die die Durchlaufzeit verbessern können. Zum einen könnten die SARC-Veröffentlichungstermine nach oben verschoben werden – derzeit werden sie mit einer Verzögerung von einem Jahr veröffentlicht (z. B. werden die SARCs 2015-16 vom Frühjahr bis zum Sommer 2017 veröffentlicht). Ein weiteres Problem ist, dass die Arbeit zum Sammeln und Bereinigen der kalifornischen Daten mehrere Monate pro Fach und Klassenspanne dauert, selbst bei voller Auslastung. Wir hoffen, dass Kalifornien (und andere Bundesstaaten) diese Arbeit erleichtern, indem sie Datensysteme erstellen und verfügbar machen, die rechtzeitig genaue Lehrbuchinformationen enthalten. Wenn dies der Fall wäre, könnte diese Art von Analyse viel schneller durchgeführt werden, was sie für politische Entscheidungen vor Ort nützlicher machen würde.

Die kalifornischen Daten sind von schlechter Qualität und selbst die Texas-Daten (auf die wir hier nicht eingehen, aber viel besser sind) lassen zu wünschen übrig. Wir glauben, dass es relativ einfach wäre, die Datenerhebung aus Lehrbüchern als Teil der regelmäßigen Datenerhebungsaktivitäten der Bundesstaaten von Schulen und Bezirken einzubeziehen. Insbesondere mit einer ISBN-Nummer und einem Adoptionsjahr für jedes Lehrbuch, das in jedem Fachgebiet und jeder Klassenstufe verwendet wird, wäre es einfach, ein Panel mit landesweiten Lehrbuchadoptionen zusammenzustellen. Ein solcher Datensatz hätte viele Verwendungszwecke für die Forschung, könnte aber auch in Politik und Praxis verwendet werden, um Schulen oder Bezirke zu kombinieren, die dieselben Lehrpläne zum Zwecke der beruflichen Entwicklung oder der gemeinsamen Nutzung von Ressourcen übernehmen. Diese Art der Datenerhebung wäre zwar nicht kostenlos, aber recht unauffällig und angesichts der Bedeutung von Schulbüchern im Schulalltag durchaus lohnenswert.

[ich] Chingos, M. M. & Whitehurst, G. J. (2012). Blind wählen: Lehrmaterialien, Lehrereffektivität und der gemeinsame Kern. Washington, DC: Brookings.
[ii] Agodini, R., Harris, B., Atkins-Burnett, S., Heaviside, S. und Novak, T. (2010). Leistungseffekte von vier Mathematiklehrplänen der Grundschule: Erkenntnisse für Erst- und Zweitklässler . Washington, DC: National Center for Education Evaluation and Regional Assistance, U.S. Department of Education, Institute of Education Sciences.
Bhatt, R. & Koedel, C. (2012). Groß angelegte Evaluationen der curricularen Effektivität: Der Fall der elementaren Mathematik in Indiana. Bildungsevaluation und Politikanalyse, 34 (4), 391-412.
Bhatt, R., Koedel, C., & Lehmann, D. (2013). Ist die Qualität der Lehrpläne einheitlich? Beweise aus Florida. Bildungsökonomie Review, 34 (1), 107-121.
[iii] Boser, U., Chingos, M., & Straus, C. (2015). Der verborgene Wert der Curriculumreform: Bekommen Bundesstaaten und Distrikte das meiste Geld für ihr Curriculum? Washington, DC: Zentrum für den amerikanischen Fortschritt.
[iv] Siehe Bhatt & Koedel, 2012; Bhatt, Koedel & Lehmann, 2013.
[v] Meines Wissens haben New Mexico und Louisiana damit begonnen, die Daten zu sammeln.
[wir] Kalifornien und Texas sammeln die Daten schon seit einiger Zeit, wie sich herausstellt. Die kalifornischen Daten werden in unserem Papier beschrieben. In Texas sammelt der Staat alle Daten zum Kauf von Lehrbüchern auf staatlicher Ebene, und die Daten können von der staatlichen Website oder über die Informationsfreiheitsanfrage (für historische Daten) abgerufen werden.
[kommst du] Dieses Material basiert auf Arbeiten, die von der National Science Foundation unter der Grant No. 1445654 und der Smith-Richardson Foundation unterstützt werden. Alle Meinungen, Ergebnisse und Schlussfolgerungen oder Empfehlungen in diesem Material sind die der Autoren und spiegeln nicht unbedingt die Ansichten der Geldgeber wider.
[viii] https://economics.missouri.edu/paper/wp-16-12
[ix] Es gibt eine kleine Anzahl von Schulen, die anscheinend überhaupt keine SARCs anbieten, und eine weitere kleine Anzahl, die SARCs, aber keine Lehrbuchinformationen anbietet. Zusammen machen diese 2014-15 etwas weniger als 7 Prozent der Schulen aus.
[x] Diese Annahme ist angemessen, da die überwiegende Mehrheit der kalifornischen Schulen, insbesondere vor dem Common Core, von der staatlich anerkannten Liste übernommen wurde (bis vor kurzem konnten kategoriale Lehrbuchmittel nur für Bücher auf der staatlichen Liste verwendet werden).
[xi] Wir beschränken alle Analysen auf Schulen, die Bücher im Rahmen des Zyklus eingeführt haben (d. h. diese zwei Jahre).
[xii] Dadurch werden die Unified School Districts von Los Angeles und Long Beach eliminiert, die viel größer sind als andere Bezirke in der Analysestichprobe.
[xiii] https://economics.missouri.edu/paper/wp-16-12
[xiv] Siehe Bhatt & Koedel, 2012; Bhatt, Koedel & Lehmann, 2013.
[xv] Andere Arbeiten legen nahe, dass die auf Common Core ausgerichtete Version von deVisionMATH ist eigentlich nicht besonders gut auf den Common Core ausgerichtet. Polikoff, M. S. (2015). Wie gut sind Lehrbücher an den Common Core Standards in Mathematik ausgerichtet? Amerikanisches Journal für Bildungsforschung, 52 (6), 1185-1211.