Rössler, Methoden der empir. Kommunikationsforschung V / 1 Patrick Rössler Methoden der Datenerhebung und -auswertung Vorlesung BA Kommunikationswissenschaft (G21) Rössler, Methoden der empir. Kommunikationsforschung V / 2 Schema der verschiedenen Reliabilitäts-Verfahren InterCodiererReliabilität Person Person Person Person Person Person Item Item Item Item Item Item t1 1 2 3 4 5 6 1 2 3 4 5 6 Person 1 Person 2 Gruppe 1 Person 3 Parallel-Test (lt. Brosius/Koschel) Person 4 Gruppe 2 Person 5 Test-Retest / Person 6 Intra-Codierer-Reliabilität Indikatormenge 1 Split-Half-Test Indikatormenge 2 Item Item Item Item Item Item A1 A2 A3 B1 B2 B3 Indikatormenge 1 Parallel-Test (lt. Diekmann) Indikatormenge 2 t2 Rössler, Methoden der empir. Kommunikationsforschung V / 3 Formen der Zufallsauswahl 1. Einfache, systematische Zufallsauswahl Lotterieauswahl Listenauswahl („ziehe jedes n-te Element“) Ordnung der Elemente muss unabhängig von Untersuchungsmerkmalen sein! Beispiel: Random Digit Dialing - Telefonbefragung auf Basis des Telefonbuchs; systematische Bestimmung von Privatanschlüssen, Addition von 1 (Geheimnummern); Problem: Mehrfachanschlüsse, Handys Gebietsauswahl nach „Random-Route“-Verfahren wenn keine zuverlässigen Listendaten vorliegen oder nicht verfügbar sind; Zufallsweg nach Begehungsanweisung, Trennung von Adressermittlung und eigentlicher Befragung aber: meist keine Befragung von „Haushalten“ Rössler, Methoden der empir. Kommunikationsforschung V / 4 Formen der Zufallsauswahl 2. Mehrstufige Zufallsauswahl relevant bei grossen oder unbekannten Stichproben Beispiel: „ADM-Mastersample“ der deutschen Institute Ziel: repräsentative Bevölkerungs-Personenstichproben 1. Stufe: Auswahl der Stimmbezirke = Bestimmung der Primäreinheiten gewichtete Zufallsauswahl von 120 Stichproben à 210 Stimmbezirken PPS-Sample (probability proportional to size) 2. Stufe: Auswahl der Haushalte = Bestimmung der Sekundäreinheiten pro Stimmbezirk „ Random Walk“ für Haushalte als Stichprobenelemente 3. Stufe: Auswahl der Zielperson Zufallsauswahl innerhalb eines Haushalts: „Schwedenschlüssel“ n. Alter / „Last-Birthday“-Methode, Gewichtung? Rössler, Methoden der empir. Kommunikationsforschung V / 5 Formen der Zufallsauswahl 3. Geschichtete Zufallsauswahl Zerlegung der Gesamtstichprobe anhand eines zentralen Merkmals der Fragestellung („Schichtung“), danach Zufallsauswahl für jede Schicht Voraussetzung: Verteilung des Schichtmerkmals in der Grundgesamtheit ist bekannt, Merkmal für jedes Element bekannt Beispiel: Schichtung nach Berufszugehörigkeit für Medizinerstudie disproportional geschichtete Stichprobe: Überbetonung relevanter Gruppen höherer Stichprobenansatz für interessierendes Schichtmerkmal, um valide Aussagen über diese Gruppe treffen zu können Gruppenvergleiche möglich, aber für Repräsentativschluss auf Population sind Gewichtungsfaktoren erforderlich -> Redressment Rössler, Methoden der empir. Kommunikationsforschung V / 6 Formen der Zufallsauswahl 4. Klumpenauswahl Spezialfall der mehrstufigen Zufallsauswahl: zufällige Auswahl von Klumpen („Cluster“) = raumzeitlich eng umgrenzte Ansammlung von Elementen der Grundgesamtheit, die ein strukturell verkleinertes Abbild der jeweiligen Grundgesamtheit bilden innerhalb der Klumpen Vollerhebung aller Elemente sinnvoll, wenn Grundgesamtheit schwer erreichbar (Kosten) Beispiele: Wahlverhalten von Sportvereinsmitgliedern -> Zufallsauswahl der Vereine Testmarkt „Haßloch“ als bewußter, nicht-zufälliger Klumpen Rössler, Methoden der empir. Kommunikationsforschung V / 7 Bewusste Auswahl: Quotenstichproben • Hauptanwendung in der Marktforschung, aus finanziellen / organisatorischen Gründen (Ausnahme: Telefoninterview) • Stichprobe wird nach vorgegebenen Regeln gezogen, die der Merkmalsverteilung in der Grundgesamtheit entsprechen Einschränkung des Freiheitsgrads der Interviewer Beispiel: Quotierung einer allgemeinen Bevölkerungsstichprobe nach Geschlecht, Alter, Beruf, Familienstand Quotenvorgaben als Kombination aller vier Merkmale (einzelne Anteile)! • Auswahl der Zielpersonen bleibt Sache des Interviewers Annahme: Interviewer trifft durch Vorgaben annähernd Zufallsauswahl (leichte Erreichbarkeit, Bekannte, Fälschung)? Rössler, Methoden der empir. Kommunikationsforschung V / 8 Weitere bewusste Auswahlverfahren • Konzentrationsprinzip: nach sachlogischen Überlegungen wird die zufällige Stichprobenziehung auf den Teil der Grundgesamtheit konzentriert, in dem der überwiegende Teil der Elemente vermutet wird (finanzielle / organisatorische Gründe) • typische Fälle: Beschränkung der Untersuchung auf Elemente mit den speziellen Merkmalen, die für die Fragestellung besonders relevant sind (z.B. Randgruppen), kein Repräsentationsschluss angestrebt • Extremfälle: Beschränkung der Untersuchung auf Elemente, die die Merkmale, die für die Fragestellung besonders relevant sind, in extremer Form aufweisen; Ziel: Abstecken des Merkmalsraums (Sonderfälle: Schneeballprinzip, Experteninterviews) Rössler, Methoden der empir. Kommunikationsforschung V / 9 Willkürliche Auswahl • Merkmalsträger werden nach ihrer Verfügbarkeit ohne besondere Systematik ausgewählt kein Repräsentationsschluss auf irgendeine Grundgesamtheit möglich, da Verzerrungen unvemeidlich Beispiel Strassenumfrage: keine Zufallsauswahl, weil nicht alle Elemente die gleiche Chance besitzen, ausgewählt zu werden „Self-selected Sample“: Zeitungsbeilage, Website-Postings, TED • Anwendungsgebiete: immer dann, wenn keine Repräsentativität angestrebt wird z.B. journalistisches Interview insbesondere: Test von Zusammenhangshypothesen in einem Experimentaldesign -> Kontrolle von definierten Randbedingungen, bei gleicher Verteilung zwischen Kontroll- und Experimentalgruppe Rössler, Methoden der empir. Kommunikationsforschung V / 10 Problem: Stichprobenausfälle • „Undercoverage“ Diskrepanz zwischen Ziel- & Untersuchungspopulation Beispiel „Bevölkerungsstichprobe“: deutsch, >18, Privathaushalt; nicht: Wohnsitzlose, Anstaltsinsassen, Soldaten, Ausländer usw. • „Non-Response“ Ausfall durch Verweigerung, Nicht-Erreichbarkeit usw. Bruttostichprobe: Zahl gezogener Elemente stichprobenneutrale (zufällige) Ausfälle: de facto kein Teil der Population Rücklauf: Zahl realisierter Interviews Ausschöpfungsquote: Rücklauf / (Bruttostichprobe - neutrale Ausfälle) Ausfall: Verweigerung, nicht erreichbar (z.B. AB, abwesend, krank) Problem: systematische Ausfälle, Fragestellung, Item-Non-Response Ausschöpfung als ein zentrales Gütekriterium für Umfrageforschung Rössler, Methoden der empir. Kommunikationsforschung V / 11 Zusammenfassung • Grundgesamtheit und Stichprobe • Repräsentativität durch Zufallsauswahl • Stichprobentheorie der Zufallsauswahl • Verfahren der Zufallsauswahl einfache, mehrstufige, geschichtete, Klumpenauswahl • bewusste Auswahl: Quote, Konzentrationsprinzip, typische und extreme Fälle • willkürliche Auswahl • Stichprobenausschöpfung und Ausfälle