Können wir den Umfragen vertrauen? Im besten Fall lautet die Antwort: 'Nicht unbedingt ohne eine angemessene Menge detaillierter Informationen darüber, wie sie durchgeführt wurden.' Dieser allgemeine Vorsichtshinweis gilt jederzeit für jeden Umfragenutzer. Aber heute, da Umfragen in den Medien zunehmen und methodische Bedenken in der Umfragebranche zunehmen, ist Vorsicht geboten. Dies soll nicht bedeuten, dass die allgemeine Qualität der Umfragedaten abnimmt oder dass die Probleme, mit denen Meinungsforscher konfrontiert sind, keine Antworten haben. Dennoch müssen Verbraucher von Umfragedaten vorsichtiger denn je sein.
Vermehrte Umfragen
In Zeiten rasant fortschreitender Technologie und sinkender Kosten für Computer, Ferngespräche und Statistiksoftware ist es für Start-up-Unternehmen einfacher denn je, ins Umfragegeschäft einzusteigen. Da die meisten Umfragen heute telefonisch stattfinden, ist es für jemanden, der in das Umfragegeschäft einsteigen möchte, günstig und einfach, eine Probe zu kaufen, einen kurzen Fragebogen für eine CATI-Anwendung (Computer Assisted Telephone Interviewing) zu schreiben, Interviewdienste von a . zu kaufen Fieldhouse, und erhalten Sie einen Bericht, der auf den Randwerten für jede Frage und einer begrenzten Anzahl von Kreuztabellen basiert.
Infolgedessen ist die Gelegenheit, die Ergebnisse einer schlecht durchgeführten Umfrage zu sehen, häufiger geworden, auch wenn wir nicht genau einschätzen können, ob sich die Wahrscheinlichkeit geändert hat, eine zu sehen. Das Problem wird verschärft, weil Journalisten und andere, die über die öffentliche Meinung berichten, im Allgemeinen nicht gut in der Bewertung von Umfrageergebnissen geschult sind und daher „schlechte“ Umfrageergebnisse nicht immer aussortieren können, bevor sie in den Nachrichtenstrom gelangen und zu „Fakten“ werden. Somit wächst das Risiko, dass lokale Umfragen zu nationalen oder lokalen Themen weniger gut durchgeführt werden oder weniger gut berichtet werden als diejenigen, die von großen nationalen Organisationen durchgeführt werden.
Weder Umfragekonsumenten noch Journalisten, die über Umfragen schreiben, haben Zugang zu Qualitätskontrollkriterien oder Zertifizierungsverfahren, um bestimmte Firmen oder Einzelpersonen zu bewerten. Infolgedessen müssen sich alle darauf verlassen, dass Nachrichtenorganisationen Umfragen auf der Grundlage der Standards für die Offenlegung von Umfrageergebnissen auswerten, die von Organisationen wie der American Association for Public Opinion Research (AAPOR) und dem National Council of Public Polls (NCPP) angenommen wurden. Und sie sollten alle Bedenken melden, die sie in Bezug auf solche Artikel haben. Die so zur Verfügung gestellten Informationen zu Details wie Stichproben, Frageformulierungen, Felddaten und Antwortquoten sind für die wenigen informierten Umfrageteilnehmer, die sie interpretieren können, nützlich.
Rückläufige Antwortraten
Sinkende Rücklaufquoten geben der gesamten Umfrageforschungsbranche Anlass zur Sorge, seien es akademische Forscher, politische Berater, die für Kandidaten arbeiten, oder Nachrichtenorganisationen. Neuere Zusammenstellungen von Rücklaufquoten in Telefonumfragen des Council for Marketing and Opinion Research legen nahe, dass Studien mit kurzen Feldzeiträumen inzwischen durchschnittlich etwa 10 Prozent betragen, obwohl die meisten Medienumfragen Rücklaufquoten zwischen 30 und 45 Prozent aufweisen. Obwohl Analysten viele Faktoren hinter diesem langfristigen Trend identifiziert haben – wie die negativen Auswirkungen von Telemarketing, die sich als Meinungsforscher ausgeben, und die zunehmende Nutzung verschiedener Geräte zur Anrufüberwachung – verstehen wir noch nicht genau, wie viel jeder zum Gesamtrückgang beiträgt. Forscher beginnen auch zu verstehen, dass sinkende Teilnahmeraten wahrscheinlich verschiedene Arten von politischen Umfragen auf unterschiedliche Weise beeinflussen.
Bei Vorwahlumfragen, die das Ergebnis eines Rennens prognostizieren, deuten vorläufige Untersuchungen darauf hin, dass dieselben Faktoren, die die Teilnahme an Umfragen verringern können, auch die Teilnahme an Wahlen verringern können. Sinkende Rücklaufquoten scheinen daher die Genauigkeit der Schätzungen des Ergebnisses der jüngsten Präsidentschaftswahlen nicht zu gefährden. Weitere Forschung wird helfen zu klären, ob eine sinkende Wahlbeteiligung die Vorwahlschätzungen bei Wahlen mit geringerer Wahlbeteiligung, die in Nichtpräsidentschaftsjahren abgehalten werden, beeinflusst oder ob sie im Laufe der Zeit andere Auswirkungen auf zukünftige Vorwahlschätzungen haben wird.
Vorwahlumfragen sind insofern ungewöhnlich, als ihre Richtigkeit anhand des Wahlergebnisses selbst überprüft werden kann. (Dieses Merkmal kann allgemein ein falsches Vertrauen in Umfragen schaffen, da ähnliche externe Validierungen in vielen anderen Umfragesituationen nicht anwendbar sind.) Wenn es um Umfragen zu gesamtstaatlichen Politiken geht, kennen wir die potenziellen Auswirkungen sinkender Umfrageteilnehmerzahlen nicht weil wir keine Möglichkeit haben, die Richtigkeit der Umfragen zu überprüfen. Wenn Umfragen beispielsweise die Reaktion der Öffentlichkeit auf oder die Bewertung von Maßnahmen wie Militäreinsätzen im Irak oder einer vorgeschlagenen Steuersenkung bewerten, gibt es keine gleichwertige unabhängige Methode, um die Gültigkeit der Messungen zu messen. Es gibt jedoch einige Hinweise darauf, dass die Ergebnisse politischer Umfragen konservativere oder republikanische Ansichten widerspiegeln als in der Gesamtbevölkerung vorhanden sind – eine Tendenz, die nicht überraschen würde, da seit langem bekannt ist, dass Republikaner eher wählen als Demokraten ( eine Tatsache, die in den Wahrscheinlichkeitsschätzern berücksichtigt wird, die von den meisten Meinungsforschungsinstituten verwendet werden).
Aufstrebende Technologie
Viele Meinungsforschungsinstitute nutzen neue Technologien, um Kosten zu senken und die Datenerhebung zu beschleunigen. Einige neue Technologien ermöglichen es auch, mehr Arten von Daten zu sammeln. Webbasierte Umfragen können beispielsweise visuelle oder akustische Reize verwenden, die mit anderen Fragebogendesigns nicht möglich sind, was sie zu einer hervorragenden Möglichkeit macht, politische Werbespots zu bewerten, insbesondere wenn sie in einem vollständigen experimentellen Design angewendet werden. Viele Organisationen setzen auch auf webbasierte Umfragen, um die Bearbeitungszeit zwischen der Erstellung eines Fragebogens und dem Beginn der Datenanalyse und der Erstellung eines ersten Ergebnisberichts zu verkürzen.
Bei unsachgemäßer Anwendung bietet diese Technologie jedoch mehrere potenzielle Fallstricke für die Datenqualität. An erster Stelle stehen Stichprobenfragen im Zusammenhang mit der Auswahl der Befragten. Meinungsforscher gewinnen Befragte auf drei Arten. Sie nehmen „Freiwillige“ auf, die sich selbst auswählen, um allgemein verfügbare Fragebögen auf einer Website zu beantworten. Sie rekrutieren Freiwillige, manchmal für eine einzelne Umfrage und manchmal für ein Panel, aus dem nachfolgende Stichproben gezogen werden. Und sie verwenden eine Wahrscheinlichkeitsstichprobe, um die Befragten am Telefon auszuwählen und den Internetzugang für diejenigen bereitzustellen, die ihn benötigen.
Da die Verfügbarkeit von Webverbindungen in der Gesellschaft nicht gleichmäßig oder zufällig verteilt ist, kann die Existenz einer digitalen Kluft eine Quelle für Verzerrungen bei den Stichproben von Freiwilligen darstellen. Diese Technik führt beispielsweise zu eher republikanischen und konservativeren Stichproben, wie wir unter so unterschiedlichen Umständen wie Umfragen nach der Debatte im Jahr 2000 und seither allgemeinere Bewertungen der öffentlichen Politik gesehen haben. Die daraus resultierende Voreingenommenheit begünstigt tendenziell die derzeitige Bush-Regierung und könnte gegen eine demokratische Regierung wirken. Andere mögliche Probleme sind die Ermüdung durch die Notwendigkeit, auf regelmäßige und häufige Umfragen zu antworten, um den Panelstatus zu erhalten – eine Anforderung, die unter bestimmten Umständen sogar zu professionellen Befragten führen kann. Zu diesen Themen bedarf es weiterer Forschung, aber zumindest sollte ein Umfragenutzer über die Rekrutierung und Auswahl von Befragten für webbasierte Umfragen Bescheid wissen.
Meinungsforscher müssen sich auch mit dem Aufkommen von Mobiltelefonen auseinandersetzen. Trotz der zunehmenden Verbreitung dieser Geräte in den Vereinigten Staaten (annähernd 75 Prozent) verlassen sich weniger als 5 Prozent der Amerikaner ausschließlich auf ein Mobiltelefon. Aber dieser Anteil wächst – und stellt Meinungsforscher vor neue Probleme. Erstens haben Handybörsen kein allgemeines Verzeichnis, und sie sind von Stichproben ausgeschlossen, die die meisten öffentlichen Meinungsforschungsinstitute kaufen können. Zweitens sind Menschen, die auf Mobiltelefone angewiesen sind, mobiler als der Rest der Bevölkerung, und viele nutzen Telefone, die ihnen von ihrem Unternehmen zur Verfügung gestellt werden. Wenn die geografische Übereinstimmung zwischen den zugewiesenen Vorwahlen der Telefone und dem Wohnort ihrer Besitzer wahrscheinlich schlecht ist, kann dies für Unternehmen, die Umfragen mit nationalen Stichproben durchführen, ein Problem sein oder auch nicht, aber es könnte für diejenigen sein, die staatliche oder lokale Umfragen und die effektive Einwahl aus ihrem Zielgebiet.
Ein weiteres Problem im Zusammenhang mit der neuen Technologie ist die Anruferkennung. Dieses Screening-Gerät, das Haushalte darüber informiert, wer anruft, ermöglicht es, Anrufe von außerhalb ihrer Umgebung oder von unbekannten Nummern zu vermeiden. Als Reaktion auf die Bitten der Bürgerinnen und Bürger, sich vor Telemarketing zu schützen, entwickelt die Bundesregierung eine Liste der Nichtanrufe. Meinungsforscher müssen eine solche Listenmitgliedschaft jetzt nicht respektieren, aber zukünftige Missbräuche durch Meinungsforscher oder Telemarketing könnten dies ändern. Auch diese Technologie übt einen Abwärtsdruck auf die Rücklaufquoten aus.
Neue Abstimmungsmethoden und Meinungsforscher zur Vorwahl
Die Meinungsforscher vor den Wahlen stehen vor zwei relativ neuen Problemen, die sie beide bewältigen können, indem sie ihrer Arbeit mehr finanzielle Mittel widmen. Ob Unternehmen bereit sind, mehr zu zahlen, um Daten mit weniger Fehlern oder Verzerrungen zu sammeln, bleibt abzuwarten.
Seit fast 10 Jahren erlauben neue Verwaltungsverfahren den Amerikanern, ihre Stimmabgabe zu ändern. Immer mehr Bürger wählen vor dem Wahltag – oder besser gesagt, dem Tag der Stimmenauszählung.
Durch Verfahren wie Early Voting (bei der Maschinen bereits drei Wochen vor dem Wahltag an günstigen Orten wie Einkaufszentren oder Einkaufszentren aufgestellt werden), Briefwahl (bei der jeder registrierte Wähler bis 20 Tage vor dem Wahltag einen Stimmzettel erhält .) ) und die permanente Briefwahl (bei der die Wähler vor dem Wahltag eine Zusendung eines Stimmzettels beantragen können, ohne anzugeben, dass sie nicht in der Stadt sind) geben immer mehr Wähler ihre Stimmzettel vorzeitig ab. Bei den Wahlen im Jahr 2000 hat etwa ein Sechstel der nationalen Wähler vorzeitig gewählt, und der Anteil wächst. In ausgewählten Staaten kann der Anteil viel größer sein. Begünstigt wird dieser Trend auch durch andere administrative Änderungen, wie beispielsweise die Registrierung am Wahltag, bei der Bürger in letzter Minute entscheiden können, ob sie wählen möchten, auch wenn sie sich noch nicht registriert haben.
Diese Entwicklungen bedeuten nicht, dass Telefonumfragen vor den Wahlen veraltet sind oder verblassen werden. Sie schlagen vor, dass Telefon-Umfrageforscher hybride Designs verwenden müssen, die verschiedene Screening-Fragen beinhalten (Haben Sie schon gewählt? Sind Sie für die bevorstehende Wahl registriert?). Der Voter News Service nutzte solche Techniken bei vergangenen Wahlen, ebenso wie Firmen in großen Bundesstaaten – wie Kalifornien, Texas und Florida – mit vielen frühen Wählern. Schließlich können Telefonumfragen durch Austrittsumfragen von Wählern ergänzt werden, die frühere Wahllokale verlassen. Solche Probleme sind nicht unüberwindbar, erfordern jedoch zusätzliche Kosten sowie die Notwendigkeit ausgefeilterer Designs, die wahrscheinlich die Modellierung des Wahlergebnisses auf der Grundlage immer unterschiedlicherer Datenquellen erschweren werden.
Ein zweites Thema für die Meinungsforscher vor den Wahlen – eines, das bei den Wahlen 2002 auftauchte – ist die Entwicklung von 24-Stunden-Taskforces der Republikanischen Partei, um gewerkschaftsbasierten Kampagnen zur Stimmabgabe entgegenzuwirken. Freiwillige Rekruten wurden über das Internet gebeten, in den letzten 72 Stunden der Kampagne mindestens drei Anrufe zu tätigen, um wahrscheinliche republikanische Wähler zu ermutigen, zu den Urnen zu gehen. Die Wirksamkeit dieser Bemühungen wurde nicht systematisch analysiert, aber sie könnten zumindest in einigen Staaten, insbesondere im Süden, von Nutzen gewesen sein. Die Schwierigkeit besteht darin, dass Meinungsforscher vor den Wahlen, insbesondere diejenigen, die mit Zeitungen verbunden sind, traditionell bis Freitag oder Samstag eine Umfrage für die Sonntagszeitung erstellen. Da ihre Umfragen in der Regel enden, wenn diese Mobilisierungsbemühungen beginnen, könnten ihre Umfragen den republikanischen Stimmenanteil unterschätzen. Meinungsforscher könnten dem Problem entgegenwirken, indem sie den Zeitraum für die Wahlvorwahlen sogar bis Montagabend verlängern, aber das würde eine Reihe von Nachrichtenregeln über den besten Zeitpunkt für die Veröffentlichung von Berichten über die Kampagne widerlegen, um das größte Publikum zu erreichen. Und es würde auch die Kosten für die Datenerfassung erhöhen.
Umfrageteilnehmer verlassen
Wahlausgangsumfragen erfüllen zwei unterschiedliche Funktionen: Sie liefern Informationen darüber, wer die Wahl gewonnen hat, und sie erklären diesen Erfolg. Exit Polling wurde als eine Technik entwickelt, um einzelne Wähler beim Verlassen der Wahllokale in Stichproben von Wahlbezirken abzufangen. Seit Ende der 1960er Jahre haben die Wahlausgänge den elektronischen Medien einen großen Vorteil bei der Wahlberichterstattung verschafft, einschließlich der Möglichkeit, Nachrichten über die Ergebnisse zu veröffentlichen, lange bevor alle Stimmen ausgezählt wurden. Aber die von den Meinungsforschern gesammelten und analysierten Informationen sind nicht nur für die Vorhersage von Rassen nützlich, sondern auch für die Analyse der Wählerabsicht und des Wählerverhaltens nach Einstellungsmerkmalen sowie einer ganzen Reihe demografischer Faktoren.
Es bleibt noch viel zu tun, bis die Nachrichtenmedien bereit sind, Umfragen zur Wahlausgänge zu nutzen, um die Stimmabgabe bei den Präsidentschaftswahlen 2004 zu analysieren. Die Arbeit ist entscheidend, denn die Exit-Umfragen – in ihrer erklärenden Funktion, nicht in ihrer Vorhersage – sind zu einer unabhängigen Stimme der Öffentlichkeit geworden, um zu erklären, was passiert ist und warum. Ohne diese Stimme werden Journalisten und politische Kommentatoren zum alten Stil der politischen Berichterstattung zurückkehren und sich auf Parteifunktionäre und Strategen verlassen, um die kausalen Verbindungen und Erklärungen dafür bereitzustellen, warum eine Partei oder ein Kandidat gegenüber einer anderen erfolgreich war.
Während der letzten beiden Wahlen wurde die Ausgangsumfrage des Wählernachrichtendienstes von zwei Problemen verfolgt. Beide wurden als Teil der Überprüfungen nach 2000 sowohl intern als auch in Zeugenaussagen des Kongresses identifiziert, und keiner ist noch gelöst. Die erste war, ob die Verwaltungssoftware und -hardware, die VNS (immer noch ein DOS-basiertes System für einen Großrechner) unterstützt hatte, dieser Aufgabe gewachsen war. Der zweite, der noch nicht viel diskutiert wurde, war die Frage, ob die statistische Modellierung des VNS-Systems angemessen war. Für die VNS-Prognosen beruhten nicht nur auf Umfragen bei Austritten, sondern auch auf statistischen Modellen, die eine detaillierte Historie für jeden Bezirk enthielten, einschließlich Informationen über die Wahlbeteiligung und die parteiische Verteilung der Stimmen im Zeitverlauf; vorherige Schätzungen des Ergebnisses jedes Rennens, basierend auf Informationen, die Umfragen vor der Wahl und eine Vielzahl von Expertenbewertungen umfassten; und, in sehr engen Rennen, rohe Stimmensummen. Obwohl diese Modelle konzeptionell angemessen waren, verwendeten sie nicht die neuesten statistischen Theorien und Modelle, wie es beispielsweise die britische BBC tut.
Kurz nach dem Wahltag 2002 begannen die Netzwerke eine weitere Überprüfung und beschlossen schließlich, VNS aufzulösen. An ihrer Stelle haben sie sich bereit erklärt, eine neue Wahlkampf-Operation zu unterstützen, den National Elections Pool (NEP), der von Warren Mitofsky und Joe Lenski geleitet wird, zwei Veteranen mit nationaler und internationaler Erfahrung. Es bedarf jedoch einer weiteren öffentlichen Diskussion darüber, ob die statistischen Modelle für die neue Operation überarbeitet werden sollen.
Die Aufgabe für Mitofsky und Lenski ist nicht beneidenswert. Das alte VNS-Softwaresystem war, unabhängig von seinem aktuellen Besitz und seiner Verfügbarkeit, der Aufgabe, große Datenmengen mit der aktuellen Technologie zu verarbeiten, nicht gewachsen. Und im Jahr 2002 war VNS selbst mit fast zweijähriger Vorlaufzeit nicht in der Lage, ein neues System zu entwickeln, um relativ wenige Schätzungen für eine Wahl außerhalb des Jahres zu erstellen. Die bevorstehenden Präsidentschaftswahlen und Vorwahlen geben dem neuen Team weniger als ein Jahr Zeit, um ein weiteres neues System zu entwickeln, um eine größere Anzahl verbesserter Schätzungen zu erstellen - obwohl Mitofsky und Lenski einen solchen Service für CNN im Jahr 2002 für 10 Bundesstaaten über ihr RealVote-System anbieten konnten . Und weil sich das neue Team voraussichtlich hauptsächlich auf die Datenerhebung und -verarbeitung konzentrieren wird, wird es weniger Zeit und Aufwand für die Schätzmodelle aufwenden.
Was auch immer passiert, die neue Organisation wird wahrscheinlich immer noch die einzigen Schätzungen der Ergebnisse und Erklärungen abgeben, und auch das ist ein Problem. Mindestens eine andere Quelle sollte Daten unabhängig sammeln, um eine andere Schätzung der Ergebnisse zu erstellen. Die andere Quelle sollte auch einen anderen Fragebogen verwenden, der theoretisch zusätzliche Nachrichtenurteile über angemessenen Inhalt widerspiegelt. Die beiden Schätzungen zusammen würden eine umfassendere Erklärung und zuverlässigere Schätzungen darüber liefern, was passiert ist und warum.
Die Internationalisierung des Polling
Die jüngste Militäraktion im Irak hat das Interesse von Nachrichtenorganisationen an der Meinung ausländischer Öffentlichkeiten, insbesondere im Nahen Osten oder in Staaten wie Afghanistan und Pakistan, über die Vereinigten Staaten und ihre Politik erhöht. Aber das Meinungsforschungswesen in diesen Regionen ist noch nicht gut entwickelt und stützt sich in der Regel auf Stichproben aus einigen wenigen großen städtischen Gebieten und nicht aus dem ganzen Land. Der National Council of Public Polls hat kürzlich darauf hingewiesen, dass das Thema für die Datenerhebungsfirma oft pragmatisch sein kann. Neben der Reduzierung der Reisekosten können diese einfacheren Designs auch Übersetzungs- und Sprachprobleme reduzieren. Aber die daraus resultierenden Daten erfordern auch, dass Journalisten, die darüber berichten möchten, was andere über Amerikaner denken, vorsichtig sein müssen mit dem Grad und der Art der Verallgemeinerungen, die sie ziehen.
wann endete die tudor-dynastie
Mehr Umfragen, mehr Probleme
Häufig durchgeführte Meinungsumfragen mit weit verbreiteten Ergebnissen sind ein Kennzeichen einer gesunden Demokratie. Sie bieten Bürgern die Möglichkeit, mit ihren gewählten Vertretern zu kommunizieren und umgekehrt. Ihr Wert in dieser Hinsicht hängt jedoch von der Sammlung hochwertiger Daten ab, die gut analysiert und angemessen interpretiert werden.
In letzter Zeit ist die Verfügbarkeit von Umfragen stufenweise gestiegen, begleitet von Problemen mit möglichen Qualitätseinbußen. Solche Entwicklungen sind nicht beispiellos: Neue Technologien wurden und werden verfügbar sein, um Daten schneller und billiger zu produzieren, während die resultierenden Einsparungen nicht der Reduzierung verschiedener Arten von Fehlern dienen. Niemand versteht noch vollständig, welche Konsequenzen die verschiedenen oben skizzierten Probleme haben könnten. Die Verbraucher von Umfragen haben nach wie vor keine andere Möglichkeit, als darauf zu achten, woher die Daten stammen und wie sie analysiert wurden.