Der heutige Finanzforschungskomplex verknüpft die Finanzierung eng mit der Wirkung, was auch Beweise dafür enthält, dass politische Entscheidungsträger und Politiker die fragliche Forschung zitieren. Was Forschungspolitiker hervorheben, beeinflusst daher, was letztendlich gefördert wird. Jüngste Reden und Kommentare deuten jedoch darauf hin, dass selbst Schlüsselpersonen in technokratischen Institutionen, die die Wissensgenerierung finanzieren, am Ende Material zitieren können, das keinen Platz in einer ernsthaften Diskussion verdient. Dies impliziert entweder einen Mangel an Urteilsvermögen oder eine echte Vorliebe für schlagzeilenträchtige Zahlen gegenüber sorgfältigen, nuancierten Ergebnissen. In der aufgeladenen Welt von heute geben beide Anlass zur Sorge.
Studie 1: Ein McKinsey-Bericht die behauptet, dass die Gleichstellung der Geschlechter die Weltwirtschaft um 12 Billionen US-Dollar steigern wird, wurde kürzlich von einer wichtigen Person zitiert, die für Entwicklungshilfe in Großbritannien zuständig ist.
Studie 2: Ein Bericht der Weltbank die behauptet, dass die Gleichstellung der Geschlechter das globale Vermögen um 160,2 Billionen US-Dollar erhöhen wird, wurde vom Top-Management der Institution stark zitiert.
Diese Zahlen unterscheiden sich teilweise, weil die eine versucht, das Einkommen zu erfassen, und die andere versucht, den Reichtum zu erfassen, aber das tiefere Problem besteht darin, dass beide Studien von aktuellen auf imaginäre Welten extrapolieren. 1963 wies Martin Feldstein darauf hin, dass Schätzungen von Kostenstudien (Krankheitskosten, Kriminalitätskosten, Arzneimittelkosten) grundsätzlich falsch seien, weil sie keine praktikablen kontrafaktischen Maßnahmen bewerteten. Sie gingen davon aus, dass die verletzende Aktivität zum Nulltarif entfernt wurde. Dies steht in scharfem Kontrast zu konkrete Auswertungen, die sich auf Maßnahmen zur Verringerung der Kriminalität oder des Drogenkonsums konzentrieren und den Nutzen und die Kosten dieser Programme sorgfältig berechnen. Es überrascht nicht, dass die Zahlen, die aus der zweiten Art von Studien hervorgehen, viel kleiner sind als gedachte Extrapolationen aus dem Nichts. Es lohnt sich zu zitieren Feldsteins Review zu Weisbrods Economics of Public Health: Measurement the Economic Impact of Diseases :
Die von Dr. Weisbrod vorgeschlagene Methode zur Berechnung der krankheitsbedingten Geldverluste (direkte Pflegekosten und indirekte Verluste durch Fehlzeiten und vorzeitigen Tod), die durch die vollständige Beseitigung oder Verhinderung einer Krankheit eingespart würden, unterliegt erheblichen Einwände aus wirtschaftlichen und statistischen Gründen.
Aber noch wichtiger ist, dass dieser Versuch scheitert, weil er für die tatsächlichen Probleme der öffentlichen Ordnung irrelevant ist. Anstelle einer Methode zum Vergleich alternativer möglicher Programme erhalten wir einen Algorithmus zur Berechnung des Nutzens unerreichbarer Ziele; Es mag interessant sein zu wissen, wie viel mehr die Gesellschaft durch Krebs verliert als durch Tuberkulose, aber da es kein einziges Programm gibt, mit dem wir beide Krankheiten beseitigen können, sind diese Schätzungen von geringem Nutzen. Die vorgeschlagene Methode lässt das grundlegende Merkmal einer Nutzen-Kosten-Analyse aus: ein Modell oder eine Produktionsfunktion, die die Handlungen des Entscheidungsträgers mit dem daraus resultierenden Nutzen verknüpft.
Das folgende, fast lächerliche Beispiel veranschaulicht, was der Schlaf „kostet“? Sie könnten den Stundenlohn aller Menschen auf der Welt berechnen, davon ausgehen, dass sie 8 Stunden am Tag schlafen und schätzen, was passieren würde, wenn sie stattdessen 7 Stunden am Tag schlafen und die zusätzliche Stunde bei der Arbeit verbringen. Bei einem 8-Stunden-Arbeitstag erhöht diese zusätzliche Stunde 12,5 Prozent oder (ungefähr) 12 Billionen US-Dollar zum weltweiten BIP (in Kaufkraftparitäten) von 107 Billionen US-Dollar. Dies ist das Äquivalent zu dem, was diese beiden Studien tun. Eine Alternative besteht darin, eine bestimmte Politik zu bewerten, die zu einer Stunde weniger Schlaf führt (z. B. vielleicht laute Alarme?) und zu bewerten, was mit dem tatsächlichen BIP passiert. Ich vermute, dass die Auswirkungen geringer wären. Für die Gleichstellung der Geschlechter wären die gleichwertigen Studien wie die von Hsieh et al. ebenso wie Der Weltentwicklungsbericht der Weltbank zum Thema Gender (von denen ich ein Teammitglied war).
Aber das Ergebnis, eine Stunde weniger Schlaf wird das globale BIP um 12 Billionen Dollar erhöhen, wird mehr Schlagzeilen machen.
Wenn Politiker solche Berichte als glaubwürdige Beweise anführen, wertet dies einen Forschungsprozess ab, der Jahre dauern kann, vom Sammeln von Daten bis hin zu ständigen Überarbeitungen und Verfeinerungen, die auf Kommentare von Kollegen, Gutachtern und Redakteuren eingehen. Es ist lang, aber jeder Schritt zwingt die Forscher, die zugrunde liegenden Faktoren zu verstehen und ihre Schlussfolgerungen zu nuancieren, was letztendlich der Arbeit größere Glaubwürdigkeit verleiht. Aber wenn die Machthaber signalisieren, dass all dies nicht notwendig ist – Berichte, die nicht der Kontrolle unserer Kollegen unterliegen, sind in Ordnung, wenn wir große Zahlen produzieren und sicherstellen, dass wir eine schöne Grafik haben –, ist dies schließlich die Richtung, in die einige Forschung wird sich drehen. Auch wenn sich viele gegen den Trend sträuben, besteht die Gefahr, dass ihnen immer weniger Gelder zufließen. Dies wird eine noch größere Kluft zwischen akademischen Forschern und zahlreichen Berichterstattern schaffen, da der Unterschied zwischen den kleineren Erfolgen der ersteren und den Billionen-Dollar-Ansprüchen der letzteren schließlich kollidiert. Auf lange Sicht werden sie alle mit dem gleichen Pinsel von Fake News bemalt und die politikbasierte Beweismenge wird einen weiteren Sieg errungen haben.
Verantwortungslose Zitate resultieren vor allem aus der Schwierigkeit, mit sich schnell entwickelnden Feldern Schritt zu halten und unzureichender Übersetzungsarbeit. In diesem Sinne sind hier einige Vorschläge, die auf aktuellen Debatten auf diesem Gebiet basieren.
1. Warten Sie bis zur Begutachtung und Veröffentlichung: Bitte zitieren Sie keine Forschung, die noch nicht von Experten begutachtet und veröffentlicht wurde. Die Veröffentlichung ist keine Qualitätsgarantie, aber Redenschreiber können – und sollten – prüfen, ob die Tagebuch ist räuberisch oder bleiben Sie alternativ bei renommierten Zeitschriften, die es schon eine Weile gibt. Wenn all dies schwierig ist, warum finanzieren Sie nicht eine unabhängige Website wie www.econofact.org , es mit der Verantwortung für die Synthese von Forschungsergebnissen für öffentliche Engagements beauftragen und nur aus Material zitieren, das auf der Website diskutiert wird? Dies wäre eine Teillösung des Problems der Beurteilung von Qualitätsforschung und würde es der Öffentlichkeit ermöglichen, die Quelle des zitierten Materials zu verstehen. Diese Empfehlung mag bei Kollegen unpopulär sein, da Arbeitspapiere oft zitiert werden, aber ich finde sie fair, zumal Arbeitspapiere werden nach dem Begutachtungsprozess oft stark überarbeitet .
2. Vorsicht bei kleinen Proben: Je kleiner die Stichprobe ist, desto wahrscheinlicher ist es, dass statistisch signifikante Ergebnisse qualitativ groß sind, wenn der wahre Effekt null ist. Angenommen, der wahre Effekt ist null und Sie führen 1000 Mal ein Experiment mit 20 Personen durch. Da kleine Stichproben zu großen Standardfehlern führen, sind die einzigen statistisch signifikanten Ergebnisse diejenigen mit großen Effektstärken. Wenn Zeitschriften eher positive Ergebnisse veröffentlichen (den Publikationsbias), sind die meisten großen Effekte bei kleinen Stichproben verdächtig. Eine gute Faustregel ist, Small-N-Forschung erst dann zu zitieren, wenn sie mehrmals repliziert wurde. Ich behaupte nicht, dass solche Ergebnisse nicht veröffentlicht werden sollten – sie sollten –, aber die erforderliche Fülle an Vorsicht geht oft verloren, wenn sie als das nächste große Ding zitiert werden.
3. Nennen Sie die Fehler: Umgekehrt werden die meisten Large-N-Forschungen keine großen Zahlen produzieren; Viele Forschungen werden entdecken, dass Dinge, von denen wir dachten, dass sie funktionieren sollten, wirklich nicht funktionieren. Politiker zitieren selten Forschungsergebnisse, die das Scheitern von Programmen und damit die eingesparten Millionen von Dollar an Fehlfinanzierungen dokumentieren. Dafür gibt es viele, viele Beispiele, und es würde Wunder für die Moral von Forschern bewirken, die keine Ergebnisse finden (wie die meisten es tun), zu verstehen, dass dies kritisch und wichtig für die Politik ist. Vielleicht könnte es auch dazu beitragen, den Publikationsbias gegenüber Nullergebnissen abzuschwächen. (Ein Beispiel ist ein (falsches) Papier, das zeigt, dass institutionelle Entbindungen die Gesundheitsergebnisse in Indien verbesserten und das laut Google Scholar am 3. Juli 569 Zitate erhielt, verglichen mit vier sorgfältigen Papieren, die keinen Einfluss von institutionellen Entbindungen auf die Gesundheitsergebnisse in Indien, Malawi ., zeigen , und Ruanda mit weniger als 150 Städten darunter.)
4. Hüten Sie sich vor der Silberkugel. Nichts erregt uns mehr als eine Silberkugel. Leider gibt es sie selten und es dauert nach dem ersten Eingriff eine Weile, bis der Glanz dieses schwer fassbaren Metalls nachlässt. Also, ja, es gibt Programme mit viel Versprechen, aber dieses anfängliche Versprechen sollte eher zu ekstatischen Rufen nach weiterer Forschung als nach direkter Billigung führen.
Diese Vorschläge sind wahrscheinlich umstritten. Aber eine Atmosphäre schwindelerregender Gewissheit um große Zahlen und große Effekte ist gefährlich, besonders wenn spätere Studien, die die ursprünglichen Wunder entlarven, typischerweise weniger gespielt werden – und daher weniger wahrscheinlich von vornherein unternommen werden. Wenn ich diese Reden mit Kollegen anspreche, ist die Antwort meistens ein Augenrollen, ein Kopfschütteln und die unausweichliche Schlussfolgerung: Sie sind Politiker. Aber wenn es eine Gruppe gibt, die die Macht der Worte und die Bedeutung der Signalisierung von Absichten und Vorlieben durch Schreiben und öffentliches Reden versteht, dann sind es genau die Politiker. Und wir tun ihnen keinen Gefallen, indem wir nicht darauf hinweisen, warum ihre Zitate problematisch sind. Wir sollten mit ihnen zusammenarbeiten, um die neuesten Entwicklungen der Forschung in ihr öffentliches Engagement einfließen zu lassen. Politiker müssen verantwortungsbewusst zitieren; Forscher müssen sie zur Rechenschaft ziehen, wenn sie es nicht tun.