Datenerhebung 4. Messinstrumente und Auswahlverfahren
Werbung
Datenerhebung 4. Messinstrumente und Auswahlverfahren Das Messproblem in den Sozialwissenschaften Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Definition von "Messen": "Messen besteht im Zuordnen von Zahlen zu Objekten, so dass bestimmte Relationen zwischen den Zahlen analoge Relationen zwischen den Objekten reflektieren". Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Department für Wirtschafts- und Sozialwissenschaften Messrelationen 1. Entweder: 2. Wenn: 3. Wenn: 4. Wenn: 5. Wenn: 6. Wenn: 7. 8. Wenn: 9. Universität für Bodenkultur Wien a = b oder a ? b a = b, dann b = a a = b und b = c, dann a = c a > b, dann b < a a > b und b > c, dann a > c a = p und b > 0, dann a + b > p a+b = b+a a = p und b = q, dann a + b = p + q (a + b) + c = a + (b + c) Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Identität Ordnung Additivität Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Messrelationen Beispiel für Relationen: 1 - 9 sind Zahlen, mit denen Befragte in einem Datenfile nummeriert sind. Die Aussage, dass Person Nr. 9 dreimal soviel wie Person Nr. 3 sei, ist sinnlos (Additivität). Ebenso wenig sinnvoll: Nr. 9 ist mehr als Nr. 3 (Ordnung). Einzig sinnvolle Beziehung: Nr. 9 ist etwas anderes ist als Nr. 3 (Identität) Personen wurden nur nummeriert, um sie unterscheiden zu können. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Variablen Definition: Ein Merkmal, von dem vorausgesetzt wird, dass es messbar ist und dass es verschiedene Werte, und zwar mindestens zwei, annehmen kann Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Variablen Einteilungsmöglichkeiten von Variablen: •Nach ihrer Stellung innerhalb von Erklärungsversuchen; z.B.: unabhängige, abhängige Variablen (z.B. Einkommen [unabhängige.] Urlaubsaktivitäten [abhängige] •Nach der Art der Merkmalsausprägung: qualitative und quantitative sowie diskrete und stetige Variablen Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Variablen Qualitative Variablen: •klassifikatorisch (Klassenbildung), in dichotomer Ausprägung (nur zwei Werte möglich; z.B. männlich – weiblich) oder mehrere Klassen vorsehen •Typologisch: Merkmal ist so definiert, dass es Objekten im Sinne eines Mehr oder Weniger zugeschrieben werden kann (Merkmale mit Intensitätscharakter); Beispiel: "Interesse für Heimwerkertätigkeit". Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Variablen Klassifikatorische Variablen Typologische Variablen Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Variablen Quantitative Variablen: Zuschreibung der Merkmalswerte erfolgt über metrische Begriffe, also über Maßeinheiten (Länge, Einkommen, Zeit etc.). Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Variablen Diskrete Variablen: Daten werden durch einen Zählvorgang gewonnen, bei dem Zwischenwerte nicht möglich sind (Beispiele: Häufigkeiten, Personen in einem Haushalt, Betriebseinheiten) Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Variablen Stetige Variablen: Maßstab wird angelegt, der jedes beliebige Intervall zwischen zwei Zahlenreihen zulässt; dies ist meist erst bei Vorliegen von Maßeinheiten möglich (Beispiele: Länge, Einkommen, Zeit etc.) Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Skalenformen Skalenform Ausprägung des Merkmals Nominalskala Qualitatives Merkmal Ordinalskala Qualitatives Merkmal im Sinne von Mehr oder Weniger Empirisch Beispiel interpretierbare Eigenschaften Postulat der Geschlecht Identität (1?2) 1 = männlich 2 = weiblich Postulate der Schulnoten Identität und 1 = sehr gut Ordnung ... 5 = nicht gen. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Statistische Auswertemöglichkeiten - Häufigkeiten - Modalwert Wie oben, zusätzlich: - Rangordnung - Median - Rangkorrelation Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Skalenformen Skalenform Ausprägung des Merkmals Intervallskala Quantitatives Merkmal, durch Maßeinheiten fassbar Rational-/ VerhältnisSkala Quantitatives Merkmal, 0-Punkt empirisch interpretierbar Empirisch Beispiel interpretierbare Eigenschaften Temperatur Postulate der Identität, Ordnung und Additivität Postulate der Identität, Ordnung und Additivität Institut für Marketing & Innovation Länge, Alter Statistische Auswertemöglichkeiten Wie oben, zusätzlich: - Mittelwertberechn. - Standardabw. - Varianzanalyse - Faktorenanalyse - Regressionsanalyse etc. Wie oben, zusätzlich: Messung von Einzelobjekten erfolgt unabhängig von den Messwerten anderer Objekte I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Validität Definition Validitätsprüfung: Verfahren zur Prüfung der Gültigkeit (Validität) einer Messung. Sollen klarstellen, ob das Messinstrument tatsächlich das misst, was man zu messen glaubt. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Validität Zwei Hauptfragen: •Sind Unterschiede in Messwerten auf Unterschiede der Individuen oder auf Eigenheiten des Messinstruments zurückzuführen ? •Erlaubt die Auswahl der Indikatoren und Operationalisierungsvorschriften den Schluss auf das angezielte Konstrukt ? Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Validität Typen der Validitätsprüfung: • Außenkriterium –kriterienbezogene Validität Externes Kriterium, von dem man weiß, dass es in sehr engem Zusammenhang mit dem Merkmal steht, welches die Skala messen soll. Besteht z.B. eine hohe Korrelation zwischen Religiosität und sexuellen Einstellungen, dann ist eine Skala zur Messung sexueller Freizügigkeit dann valide, wenn sie bei stark religiösen Personen auch eine geringe sexuelle Freizügigkeit feststellt und umgekehrt. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Validität Verfahren der Validitätsprüfung: • Vorhersagevalidität Man prognostiziert aufgrund der Skalenwerte, die Personen zugeordnet wurden, deren Verhalten. Wurden z.B. im Rahmen einer Befragung Einstellungen gegenüber Ausländern ermittelt, so wird in weiterer Folge beobachtet oder durch eine andere Erhebung befragt, wie sich die ursprünglich befragten Personen in konkreten Situationen (z.B. in einer Gaststätte) verhalten. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Validität Typen der Validitätsprüfung: • Extremgruppen Die Skala wird an zwei Stichproben von Personen erprobt, von denen man weiß oder annehmen kann, dass sie extrem niedrige oder extrem hohe Werte der zu messenden Größe aufweisen. Beispiel: Validierung einer Skala zur Messung des Lebensstandards anhand von Obdachlosen einerseits und von Vielverdienern andererseits. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Validität Typen der Validitätsprüfung: • Konstruktvalidität Sie wird auch logische Validität genannt. Die Testergebnisse werden durch die Formulierung neuer oder Heranziehen vorhandener Hypothesen durch einen weiteren Test überprüft. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Reliabilität Definition Reliabiltiätsprüfung: Prüfung, ob der Vorgang des Messens selbst korrekt durchgeführt wurde, ob also z.B. das Instrument bei Handhabung durch verschiedene Durchführende oder bei mehrmaliger Vorlage weitgehend gleiche Ergebnisse liefert, ob es stabil gegen Zeiteinflüsse ist usw. Beobachtungen müssen intersubjektiv und wiederholbar sein. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Reliabilität Typen der Reliabilitätsprüfung: • Test-Retest Man legt einer Stichprobe von Personen dieselben Fragen mit den denselben Variablenausprägungen zweimal – zu unterschiedlichen Zeitpunkten - vor und korreliert die Ergebnisse. Beabsichtigt ist hier eine Prüfung der Zeitstabilität. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Reliabilität Typen der Reliabilitätsprüfung: • Paralleltest Einer Stichprobe von Untersuchungspersonen werden zwei streng vergleichbare Tests vorgelegt, die dieselben Merkmale mit unterschiedlichen Instrumenten erheben. Das Ausmaß der Reliabilität wird anhand der Höhe der Korrelation der Ergebnisse errechnet Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Reliabilität Typen der Reliabilitätsprüfung: • Konsistenzprüfungen Vor allem Verfahren der Testhalbierung mit unterschiedlichen Skalenausprägungen.Es wird überprüft, inwieweit die Antworten der ersten und zweiten Stichprobe korrelieren. Zusätzlich: Prüfung. Ob logisch unverträgliche Antworten im Antwortverlauf gemacht werden. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Skalierungsverfahren Messung von Einstellungen •Einstellungen instabiler als Persönlichkeitsmerkmale •Messung der Intensität und der Richtung von •Zuverlässigkeits- und Gültigkeitsprüfungen notwendig Beispiel für Instabilität: Änderung der Einstellung zur Notwendigkeit des Irakkrieges in der US-Bevölkerung mit zunehmender Dauer der Konflikte Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Indices •Maßzahlen auf einem höheren Messniveau •Zusammenfassung mehrerer Variablen zu einer neuen, möglichst intervallskalierten Variablen •Möglichst ohne Informationsverlust Beispiel für einen Index: Verbraucherpreisindex, der Preisentwicklungen eines ganzen Warenkorbes (Ausgangsvariablen) zu einer Maßzahl verdichtet. Daraus wird die Inflationsrate berechnet. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Skalierungsverfahren - Urteilsmethoden Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Vorüberlegungen zum Reaktionsschema: • Einzelobjekte oder Aussagen – Akzeptanz ja/nein (Nominalskala) • Paarweiser Vergleich von Einzelobjekten (Nominalskala) • Herstellung einer Rangfolge für mehrere Objekte oder Aussagen (Ordinalskala) • Bewertung mehrerer Objekte/Aussagen nach einer numerisch oder verbal abgestuften Skala (Einstufen) (Ordinalskala) Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Skalierungsverfahren - Urteilsmethoden Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Komponenten von Einstellungen: • Überzeugungen – kognitive Komponente • Gefühle – affektive/gefühlsmäßige Komponente • Bereitschaft in Bezug auf ein Objekt zu handeln (z.B. Kaufbereitschaft) – aktionale Komponente Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Skalierungsverfahren - Urteilsmethoden Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Bei der Einstellungsmessung wird die Einstellung als nicht direkt beobachtbares Merkmal angenommen, das über Indikatoren (z.B. beobachtbares verbales Verhalten, verbal geäußerte Überzeugungen, Zustimmung oder Ablehnung von Behauptungen etc.) erfasst wird. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Skalierungsverfahren - Urteilsmethoden Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Schritte zur Erstellung einer Skala: • Einstellung begrifflich präzisieren und definieren • Suche von geeigneten Indikatoren, die für Vorliegen bzw. verschiedene Ausprägungen der Einstellung sprechen (Statements/Aussagen/ Behauptungen über den Meinungsgegenstand) • Plausibilitätsüberlegungen oder • Gruppendiskussionen, einzelne nichtstandardisierte Interviews Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Skalierungsverfahren - Urteilsmethoden Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Brauchbarkeit einer Skala - Fragen: • genügend viele Indikatoren/Abstufungen (items) ? • können Abstufungen diskriminieren, d.h. Personen unterschiedlicher Einstellungen unterscheiden ? • Plausibilitätsüberlegungen oder Gruppendiskussionen, einzelne nicht-standardisierte Interviews • Stabilität gegenüber Zeiteinfluss (Konstanz bei nochmaliger Befragung) und verbalen Formulierungen (Reliabilität) • Messen die Indikatoren überhaupt die gemeinte Einstellung und nicht etwas anderes ("Validität„) ? Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften PAARVERGLEICH Ziel des Verfahrens ist es, festzustellen, ob die Befragten in der Lage sind, einen Satz von Stimuli (Aussagen, Objekte) in Bezug auf ein interessierendes Merkmal, in eine konsistente Rangordnung auf eine Linie zu bringen, die das Merkmal in seinen verschiedenen Ausprägungen repräsentiert. Diese Aussagen/Objekte werden immer paarweise vorgelegt. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften PAARVERGLEICH Objekte der Außenwelt: z.B. die Namen von fünf Firmen: A, B, C, D, E. Anzugeben ist, welche Firma jeweils als vertrauenswürdiger erlebt wird: A oder B ? B oder C ? C oder D ? D oder E ? A oder C ? Institut für Marketing & Innovation A oder D ? A oder E ? B oder E ? B oder D ? C oder E ? I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften PAARVERGLEICH Aussagen, die darauf geprüft werden sollen, wie wichtig sie dem Befragten für eine Entscheidung sind; z.B. fünf Eigenschaften eines Produktes: A, B, C, D, E. Befragte soll entscheiden, welche Eigenschaft wichtiger ist, um Preis X zu bezahlen: A oder B ? B oder C ? usw. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften PAARVERGLEICH Ausgangspunkt: Die Häufigkeit, mit der ein Stimulus, also ein Objekt bzw. eine Aussage, dem anderen vorgezogen wird bzw. mit der er als "größer", "besser" etc. beurteilt wird, soll eine Funktion des Ausmaßes sein, in dem es das fragliche Merkmal tatsächlich besitzt. Seine Position auf einer Skala ergibt sich als eine Funktion des Verhältnisses, in dem es den anderen Stimuli vorgezogen wird. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften PAARVERGLEICH Beispiel: Befragt wurden 120 Leser von zwei Holzfachzeitschriften (A und B) über vier Rubriken : Technik Statistische Informationen Markt Heimwerkerbeilage Jede Person hat zu entscheiden, was sie lieber las: Technik oder Technik oder etc. Markt ? Statistische Informationen ? Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften PAARVERGLEICH Verteilung der Häufigkeiten für Zeitung A Technik Markt Stat.Inf. Heimw.b. Spaltensumme Technik 30 45 30 105 Markt 135 30 60 225 Stat.Inf. 120 30 60 210 Heimw.b. 45 60 75 180 Transformation in Prozentwertmatrix in Relation zur gesamten Anzahl der Beurteilungen (720). Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften PAARVERGLEICH Die Prozentverteilung für Zeitung A Technik Markt Stat.Inf. Heimw.b. Spaltensumme Technik 4 6 4 14 Markt 19 4 8 31 Stat.Inf. 17 4 8 29 Heimw.b. 6 8 10 24 In Zeitschrift A ist offenbar die Rubrik „Markt“ Spitzenreiter. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften PAARVERGLEICH Die Prozentverteilung für Zeitung B Spaltensumme Technik 33 Markt 15 Stat.Inf. 10 Heimw.b. 42 In Zeitschrift B ist offenbar die Rubrik „Technik“ Spitzenreiter. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften PAARVERGLEICH Voraussetzungen für Anwendung: • Stichprobengröße nicht unter 100 Personen • nicht zu viele Items vorgelegt werden - schon bei 10 Aussagen 45 Vergleiche pro Person (Überforderung) • Befragte müssen imstande sein, den einzelnen Items eine gewisse Bedeutung beizumessen. • nicht zu komplexe und zu schwierig zu beurteilende Objekte und Kriterien (Gefahr inkonsistenter Reihungen). Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften PAARVERGLEICH Vorteile: • Reaktionsschema kann auch bei verbal und intellektuell Ungeschulten vorausgesetzt werden. Für andere Skalen oft wesentlich kompliziertere Leistungen gefordert • Trotzdem können die Daten relativ anspruchsvollen Analysen unterzogen werden Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften PAARVERGLEICH Nachteile: • Anzahl der zu prüfenden Items soll nicht über fünf bis sieben hinausgehen • Komplexe Fragestellungen können daher entweder nicht geprüft werden oder • bei Einbeziehung von mehr Items besteht die Gefahr der Überforderung oder inkonsistenter Reihungen. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften RANGORDNEN Befragten werden mehr als zwei Stimuli (Objekte oder Aussagen) gleichzeitig vorgelegt. Alle Stimuli werden anhand eines vorgegebenen Merkmals geordnet (in eine Rangordnung gebracht); z.B.: Sie sehen hier fünf verschiedene Autolackfarben. Welche Farbe gefällt Ihnen am besten ? Und dann ? Und dann ? Und dann ? Und dann ? Ordinalskala: 1-5 Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften RANGORDNEN Aus einem Stimulusfeld werden nur einige Stimuli geordnet; z.B.: Sie sehen hier fünf verschiedene Autolackfarben. Wählen Sie bitte jene zwei aus, die Ihnen am besten gefallen. Welche Farbe gefällt Ihnen am besten ? Und dann ? Rangordnung 1-3 (3 = Rest); ebenfalls Ordinalskala Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften EINSTUFEN Befragten wird ein Maßstab vorgegeben, mit dem sie den Ausprägungsgrad eines Merkmals bei einem Objekt oder den Grad ihrer Akzeptanz für eine Aussage angeben. Dieser Maßstab enthält eine Reihe von intensitätsmäßig abgestuften Kategorien (z.B. Schulnoten von 1= sehr gut bis 5 = nicht genügend). Die Abstufungen entsprechen einer Ordinalskala. Verschiedene Vorgehen möglich: Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften EINSTUFEN Die Objekte werden einzeln, nacheinander, vorgegeben und bewertet; z.B.: Wie bewerten Sie die Farben der folgenden Autolacke ? Geben Sie wie bei Schulnoten 1, wenn er Ihnen sehr gut gefällt, 2, wenn er Ihnen gut gefällt, .... und 5 wenn er Ihnen gar nicht gefällt. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften EINSTUFEN Alle Objekte werden zusammen vorgelegt; z.B.: Sie sehen hier fünf Farben von Autolacken ? Wenn Sie Schulnoten vergeben müssten, wie würden Sie diese jeweils bewerten ? Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften EINSTUFEN Präsentationsmöglichkeiten von Ordinalskalen numerisch: 1 2 3 4 5 numerisch mit verbaler Markierung der Endpunkte gefällt sehr gut 1 2 Institut für Marketing & Innovation 3 gar nicht 4 5 I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften EINSTUFEN Präsentationsmöglichkeiten von Ordinalskalen graphisch-numerisch: 1 | 2 | 3 | 4 | 5 | nur verbal: Als Abstufung in eine Richtung: stimme vollkommen zu - stimme teilweise zu - stimme zu mit großen Einschränkungen - stimme nicht zu. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften EINSTUFEN Präsentationsmöglichkeiten von Ordinalskalen Als Abstufung in beide Richtungen mit einer Art Mittelwert: Weit überdurchschnittlich - überdurchschnittlich - durchschnittlich (Mittelwert) unterdurchschnittlich – weit unterdurchschnittlich Mit Durchlaufen einer Art Nullpunkt: trifft vollkommen zu - trifft zu - weder das eine noch das andere trifft zu (Nullpunkt) - trifft kaum zu - trifft überhaupt nicht zu. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften EINSTUFEN Präsentationsmöglichkeiten von Ordinalskalen Flächenskala: würde ich kaufen würde ich kaufen würde ich kaufen würde ich kaufen würde ich kaufen Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften EINSTUFEN Gesichtspunkte zur Gestaltung von Ordinalskalen: • nicht zu viele Kategorien (vier bis fünf zu empfehlen) • Wenn differenzierte Abstufungen notwendig, zunächst im Sinne eines Dafür oder Dagegen entscheiden lassen und erst dann eine differenzierte, wieder vier- bis fünfstufige, Abstufung (insges. 8-10 Abstufungen) Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften EINSTUFEN Gesichtspunkte zur Gestaltung von Ordinalskalen: • Bei bipolare Skalen mit einem zentralem Punkt ist zu entscheiden, ob Nullpunkt, Mittelpunkt oder Indifferenzpunkt -3 -2 -1 0 1 2 3 1 2 3 4 5 Nullpunkt Mittelpunkt (3) Stimme zu – stimme weder zu noch lehne ich ab stimme nicht zu Institut für Marketing & Innovation Indifferenzpunkt (.. weder ... noch) I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften EINSTUFEN Gesichtspunkte zur Gestaltung von Ordinalskalen: • Bei numerischen Vorgaben Verwendung verankerter Semantik nicht. Üblich bei uns: Schulnote 1, also ein niedriger Wert ist die beste Leistung. Problematisch, wenn 5 als bester, 1 jedoch als schlechtester Wert angesehen. • Negative Werte nicht immer vorteilhaft, da Befragte mit geringer mathematischer Erfahrung oft nicht imstande sind, diese Zahlen konsistent zu handhaben. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften EINSTUFEN Gesichtspunkte zur Gestaltung von Ordinalskalen: • Verbale Definition der Anfangs- und Endkategorien, sollten keine unrealistisch extremen Formulierungen enthalten, andererseits auch keine allzu vorsichtigen, da dies eine schlechte Ausnützung der übrigen Kategorien nach sich zieht. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Vergleich: RANGORDNEN - EINSTUFEN Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Wenn Realitätsnähe und Konkretheit oberstes Ziel, ist Rangordnen vorzuziehen. Keine Überforderung verbal und intellektuell ungeschulter Befragter bei Einstufungen sehr oft überfordert sind. Allerdings entweder sehr viele Befragte notwendig oder viele Urteile sind abzugeben. Einzelobjekte können nicht skaliert werden. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Vergleich: RANGORDNEN - EINSTUFEN Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Einstufen bietet den Vorteil, dass auch Einzelobjekte vorgegeben werden können. Auch bei diffizileren Problemen, bei denen es auf die Erfassung von Nuancen ankommt, oft die logisch angemessenere Methode, da es die Chance gibt, subtile Unterschiede auszudrücken. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Exkurs: Systematische Urteilsfehler bei Verwendung von Nominal- und Ordinalskalen Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Halo-Effekt: • Neigung, einen Gegenstand durchgehend in allen Aspekten positiv oder negativ zu beurteilen • Besonders stark, wenn die Befragten zu dem zu Gegenstand eine geringe Beziehung oder Information darüber haben; auch, wenn sie ihm positiv oder negativ besonders emotionell gegenüberstehen • Besonders stark, wenn lange Liste von ähnlichen Beurteilungen (Ermüdungserscheinungen) Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Exkurs: Systematische Urteilsfehler bei Verwendung von Nominal- und Ordinalskalen Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Logik-Fehler: • Befragten konstruieren in Fragesequenzen oder Skalierungen einen "Sinn" hinein • beurteilen dann Aspekte gleichartig, wenn sie glauben, dass sie zusammenhängen, obwohl als unabhängige Bezugspunkte gemeint sind. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Exkurs: Systematische Urteilsfehler bei Verwendung von Nominal- und Ordinalskalen Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Fehler der Zentraltendenz : • Vermeidung von extremen Urteilen sowohl im positiven wie im Negativen • konstant mittlere Beurteilungen. • Teilweise Vermeidung: Verwendung von Skalen mit einer geraden Anzahl von Ausprägungen – es gibt keinen Mittel-/ Zentralwert; z.B.: trifft vollständig zu – trifft eher zu – trifft weniger zu – trifft gar nicht zu. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Exkurs: Systematische Urteilsfehler bei Verwendung von Nominal- und Ordinalskalen Milde-Fehler: • Nur positiver Teil der Skala wird ausgenützt, nicht der negative • Scheu, ein negatives Urteil abzugeben • Vorsichtige Formulierung der negativen Kategorien Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Datenerhebung 4. Messinstrumente und Auswahlverfahren Exkurs: Systematische Urteilsfehler bei Verwendung von Nominal- und Ordinalskalen Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Fehler durch den Aufbau der Skala • allgemeine Gewohnheiten des Leseverhaltens: Betonung von links oben und Vernachlässigung von rechts unten Frage: Privatwaldbesitzer haben bei der Bewirtschaftung ihres Waldes eine Fülle von Problem zu bewältigen. Welches sind für Sie die wichtigsten Probleme ? (Mehrfachnennungen möglich) O O O O schlechte Holzpreise Waldsterben Wildschäden Standortsprobleme Institut für Marketing & Innovation O O O O schlechte Erschließung Zeitmangel fehlende Maschinen Kalamitäten I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Verfahren der summierten Einschätzungen: Likert-Skala Anzahl Statements, von denen man annimmt, dass sie zu der zu untersuchenden Dimension einen Bezug haben. Befragten müssen z.B. nach folgender Skala beurteilen: +2 +1 0 - 1 - 2 stimme stark zu stimme zu ich weiß nicht (neutral) lehne ab lehne stark ab Institut für Marketing & Innovation Kann auch von 1-5 skaliert sein; jedenfalls ganze Zahlen mit gleichen Abständen und einer Richtung I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Verfahren der summierten Einschätzungen: Likert-Skala Beispiel: Ein Marktforscher soll die Einstellungen von Personen zum Werkstoff Holz messen. Um Verzerrungseffekte zu vermeiden wurden nicht nur positive, sondern gleich viele negative Statements zu Holz entwickelt, zu denen die Befragten ihre Zustimmung/Ablehnung ausdrücken sollen. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Verfahren der summierten Einschätzungen: Likert-Skala Nach Tests ergeben sich folgende Items/Stimuli/Statements: (1) Holz ist heimelig (2) Holzverwendung bedeutet Waldzerstörung (3) Holz ist ein kalter Baustoff (4) Holzverwendung bedeutet schonende Nutzung einer erneuerbaren Ressource (5) Ich würde Holz im Wohnungsausbau verwenden (6) Holz im Wohnbau ist gefährlich, da es leicht brennt (7) Ich würde Holz im Wohnungsbau nicht verwenden (8) Holz im Wohnbau ist günstig, da es bei Bränden seine Tragfähigkeit lange beibehält Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Verfahren der summierten Einschätzungen: Likert-Skala Skala positive Aussagen Skala negative Aussagen (umgedreht) +2 stimme stark zu +2 lehne stark ab +1 stimme zu +1 lehne ab 0 weder/noch 0 weder/noch - 1 lehne ab - 1 stimme zu - 2 lehne stark ab - 2 stimme stark zu Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Verfahren der summierten Einschätzungen: Likert-Skala Ergebnisse für 2 Personen: Stimulus 1 2 3 4 5 6 7 8 Summe der Einstellungen Einschätzungen Person A Person B + 2 + 1 - 1 + 1 + 2 + 1 - 1 0 + 2 - 2 0 - 2 + 1 - 2 0 - 2 + 5 - 5 Mögliche Einstellungssummen zwischen +16 und - 16 Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Skalogramm-Methode von Guttmann Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Merkmale mit Intensitätscharakter werden gemessen. Anwendung von Ordinalskalen Beispiel: Einer Gruppe Testpersonen werden folgende Aussagen zum Zwecke der Einstellungsmessung zu einem Holzfenster BIOGLAS vorgelegt, wobei entweder Zustimmung oder Ablehnung geäußert werden kann. Die Aussagen werden nach ihrer Intensität geordnet. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Skalogramm-Methode von Guttmann Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Aussagen steigender Intensität (1) Ich kenne BIOGLAS aus der Werbung --------- "leichteste" Aussage (2) Ich kenne (zumindest) ein Fachgeschäft, das BIOGLAS-Fenster vertreibt (3) Ich habe mir BIOGLAS-Fenster im Fachgeschäft angesehen (4) Ich habe selbst BIOGLAS-Fenster ----------- "schwerste" Aussage Akzeptierung eines Items höheren Intensitätsgrades setzt (theoretisch) auch die Akzeptierung aller Items geringeren Intensitätsgrades voraus. Wenn jemand selbst ein BIOGLASFenster besitzt, ist anzunehmen, dass auch die Aussagen (1) (3) zutreffen. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Skalogramm-Methode von Guttmann Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften •Reaktionsschema: nur Zustimmung oder Ablehnung •Stimmt ein Befragter zu, wird der Aussage der Wert 1 zugeordnet, lehnt er ab, der Wert 0. •Stimmt das zugrundeliegende Modell, müsste eine Person, die die „schwerste“ Aussage akzeptiert, auch alle "darunter liegenden" leichteren akzeptieren; ebenso müsste eine Person, die eine mittlere oder leichtere Aussage ablehnt, auch alle "darüber liegenden" schwereren ablehnen. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Skalogramm-Methode von Guttmann Mögliche (idealtypische) Antwortmuster oder oder oder oder (leichteste) Aussage 1 Aussage 2 1 1 1 1 1 1 1 0 0 0 Aussage 3 1 1 0 0 0 (schwerste) Aussage 4 1 0 0 0 0 Anwortmuster wie 0 1 1 1, also Ablehnung der leichtesten und Akzeptierung der schwereren; "non-scalar types„. Sollten im Vorfeld eliminiert werden. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Skalogramm-Methode von Guttmann Ergebnistabelle der Skalogramm-Methode für 10 Personen 1 Person 1 2 3 4 5 6 7 8 9 10 Fehler 1 1 1 1 1 1 (0) 1 1 0 1 Aussage Nr. 2 3 1 1 (0) 1 1 1 1 (0) 0 0 2 Institut für Marketing & Innovation 1 1 1 (0) 0 0 (0) 1 0 0 2 4 1 1 1 1 0 0 1 0 0 0 0 Punktewert 4 4 3 3 2 2 2 1 1 0 5 Summe I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Skalogramm-Methode von Guttmann Ausmaß der Fehlerhaftigkeit: Reproduzierbarkeitskoeffizient in unserem Fall = = - Anzahl aller Fehler --------------------------------Anzahl der Reaktionen 1 - 5 -----(10*4) = = 1 0.875 1 0.125 85% richtige ist Mindestwert: im obigen Beispiel erfüllt Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Skalogramm-Methode von Guttmann Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Einwände gegen Methode: Praktisch: Es ist schwierig, mehr als 4-5 Statements unterschiedlicher Intensität zu formulieren (oft nur unterschiedliche Formulierungen gleicher Intensität) Methodisch: deterministisches Modell, sieht keine Zufallsprozesse vor. Jede Abweichung muss als Fehler eliminiert werden. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Semantisches Differential •mehrdimensionales Einstellungsverfahren •Erfasst emotionale Reaktionen auf vorgegebene Begriffe zu einem Sachverhalt (Assoziationen) Bewertung vorgegebener Begriffspaare (Gegensätze) durch Ordinalskalen (meist 5 oder 7-teilig) Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Stark -2 | genau zu Department für Wirtschafts- und Sozialwissenschaften Semantisches Differential Beispiel: Universität für Bodenkultur Wien -1 | 0 +1 | | trifft etwas weder/noch etwas zu zu zu +2 | Schwach genau zu Befragte werden veranlasst, die Richtung ("stark" oder "schwach„) und zugleich die Intensität der Zuordnung zu bestimmen. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Semantisches Differential Beispiel: Vorgelegt wird der Name eines Möbelhauses. Die Instruktion lautet: "Entscheiden Sie bitte, wie dieses Möbelhaus auf Sie wirkt, wie Sie ihn erleben und beurteilen. Gehen Sie einfach nach Ihrem Gefühl vor und überlegen Sie nicht zu lange. Sie finden eine Reihe von Gegensatzpaaren. Entscheiden Sie bei jedem Paar: Erleben Sie (Name) z.B. eher als groß oder klein ? Und wenn 'groß' zutrifft; trifft es genau zu oder nur etwas zu ? Oder finden Sie, dass weder 'groß' noch 'klein' zutrifft ? Urteilen Sie bitte bei jedem Paar." Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Semantisches Differential Bei Auswahl und Anordnung der Paare zu beachten: Zur Verhinderung systematischer Urteilsfehler • Am Anfang Aussagen, die keine allzu starke und eindeutige Bewertung verlangen (Halo-Effekt). • positive Eigenschaften nicht nur links • ähnliche Eigenschaften nicht unmittelbar hintereinander • Wenn machbar, sollte die negative Alternative so positiv wie möglich formuliert werden. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Semantisches Differential Bei Auswahl und Anordnung der Paare zu beachten: Hypothesen darüber bilden, was die Ausprägung einzelner Begriffe in Bezug auf ein konkretes Objekt bedeuten soll. Nicht immer sind Begriffspaare eindeutig belegt. Soll z.B. die Zuordnung des Aspekts "konservativ" bei der Beurteilung einer Firma als positiv oder negativ gelten? Mit Ausnahme etwa der Beurteilung von Geisterbahnen ist "hell" und "düster" aber eindeutig. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Department für Wirtschafts- und Sozialwissenschaften Semantisches Differential Beispiel einer grafischen Auswertung Institut für Marketing & Innovation Universität für Bodenkultur Wien I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Indices Index = metrische Variable, auf der die Werte mehrerer Variablen durch eine gemeinsame Maßzahl ausgedrückt werden kann. Messung eines komplexen Merkmals - mehrere Indikatoren werden gemessen und kombiniert (z.B. Preisentwicklung eines Warenkorbes für den Verbraucherpreisindex) Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Indices Funktionen der Indexbildung: • Reduzierung und Zusammenfassung des Datenmaterials ohne Verlust an Information. •Vergleichbarkeit von Messungen sowohl im Querschnitt (zum selben Zeitpunkt) als auch über der Zeit (mehrere Zeitpunkte) Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Indices Häufig verwendet zur Charakterisierung sozialer Schichten (Oberschicht, Mittelschicht, Breitenschicht). Meist Kombination folgender Indikatoren: •Einkommen •Schulbildung •Berufsmilieu Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Indices Beispiel: Sozialisationsindex aus "Der Forstwirt - Der Arbeitsmarkt“ Sozialisationsindex als Maßstab für politische Handlungsbereitschaft Es sollte untersucht werden, ob sich dieser Index nach Arbeitgebertypen unterscheidet. Zunächst operationale Definition politischer Handlungsbereitschaft durch folgende Indikatoren (abnehmender Intensität) : Teilnahme an einem Streik Mitmachen bei einer Bürgerinitiative Schreiben eines Briefes an Politiker Überzeugung anderer von eigener politischer Meinung Sprechen mit anderen über politische Probleme Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Indices Begriff "politische Handlungsbereitschaft" durch Typologien ausgefüllt: Jene, die die o.a. Handlungen in einem bestimmtesn Ausmaß bereits getan haben, wurden als "informell aktiv" denen gegenübergestellt, die solche Handlungen nicht getan haben ("informell passiv"). Es wurde nun untersucht, ob die Absolventen, die informell aktiver sind als andere, bei einem Arbeitsgeber bessere oder schlechtere Chancen haben, einen Arbeitsplatz zu bekommen. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Indices Berechnung des Sozialisationsindex: AKA AKA+PASA Sozialisationsindex = --------------------------AKB__ AKB+PASB PASA = AKB = PASB = Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften AKA = jene, die bei bestimmten Arbeitsgeber ihren ersten Arbeitsplatz gefunden haben und informell aktiv sind jene, die bei Arbeitsgeber ihren ersten Arbeitsplatz gefunden haben und informell passiv sind. jene, die sich bei Arbeitsgeber beworben haben und informell aktiv sind. jene, die sich bei Arbeitsgeber beworben haben und informell passiv sind Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Indices Der Sozialisationsindex zeigt nun, wieweit die Entscheidung der Arbeitgeber politisch aktive Absolventen begünstigt oder benachteiligt. Ein Wert > 1 weist auf Begünstigung politisch Aktiver hin. Berufsposition Privater Forstbetrieb Österreichische Bundesforste Landwirtschaftskammer Wildbach- und Lawinenverbauung Behörde Wissenschaft Waldzustandsinventur Institut für Marketing & Innovation Index 1.04 0.64 0.90 0.94 0.79 1.15 1.16 I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Auswahlverfahren Grundgesamtheit = Menge aller gleichartigen Indivi-duen, Objekte oder Ereignisse, auf die sich die Beobachtungen beziehen soll. Die Summe dieser Merkmalsträger wird manchmal auch als "Population" oder "Kollektiv" bezeichnet. Grundgesamtheit muss je nach Aufgabestellung einer Untersuchung unterschiedlich definiert werden. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Auswahlverfahren Beispiel: Definition Grundgesamtheit Lt. land- und forstwirtschaftl. Betriebszählung gab es 1990 in Ö ca. 278.000 land- und forstwirtschaft.Betriebe (= Grundgesamtheit für Untersuchungen, die für alle Betriebe Land- und Forstwirtschaft repräsentativ sein sollen). Für Fragestellung über Holzvermarktung, hätte diese Grundge-samtheit wenig Sinn, da auch Betriebe enthalten, die nur landwirtschaftliche Flächen und keinen Wald besitzen oder Holz verkaufen. Grundgesamtheit = Teilpopulation Waldbesitzer. Weiters zu entscheiden, ob nur „Eigenwald-besitzer“ oder auch "ideelle" Waldbesitzer (nur Nutzungsrechte). Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Auswahlverfahren Beispiel: Definition Grundgesamtheit Umfrage unter Boku-StudentInnen: folgende unterschiedliche Grundgesamtheiten (je nach Fragestellungen): • Erstsemestrige (egal welcher Studienrichtung) • StudentInnen einer Studienrichtung (egal ob Bakk., Mag. Diplom oder Doktorat) • alle (aktive) Boku-StudentInnen, ohne Studienunterbrechern und außerordentlichen Hörern • alle Boku-StudentInnen, inkl. Studienunterbrechern und • außerordentlichen Hörern Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Auswahlverfahren - TOTALERHEBUNG Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Vollständige Erhebung der Grundgesamtheit Praktische Voraussetzung: kleine, überschaubare Beobachtungsgruppe oder gesetzliche Autorisierung für große Gruppe (z.B. Erhebungen Statistik Austria (Volkszählung, Land- und Forstwirtschaftliche Betriebszählung etc.). Probleme/Grenzen: Kosten und Zeit, auch Ergebnisse. Eignen sich dann nicht, wenn Probleme einer raschen zeitlichen Wandlung unterzogen sind. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Auswahlverfahren - TOTALERHEBUNG Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Vollständige Erhebung der Grundgesamtheit Hohe durchführungstechnische Fehler, z.B. Verweigerungen, Nichterreichung, Fehler der Erhebungsorgane etc. Steigen mit der Größe der Grundgesamtheit. Totalerhebungen können ungenauer sein als eine sorgfältig durchgeführte Stichprobenerhebung. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Beispiel TOTALERHEBUNG Forschungsfrage: Warum ist die Kooperation bei der gemeinschaftlichen Holzvermarktung aus dem Bauernwald, im Vergleich zur Landwirtschaft relativ unbedeutend ? Methodik: Schriftliche Befragung sämtlicher direkt und indirekt mit der gemeinschaftlichen Holzvermarktung betroffenen Institutionen (Raiffeisengenossenschaften, Landwirtschaftskammern, Forstbehörde) auf Bundes-, Landes- und Bezirksebene. Hypothese: Die geringe Bedeutung der gemeinschaftlichen Holzvermarktung ist auch in der Struktur der damit befassten Institutionen begründet. Insgesamt 550 Fragebogen verschickt. Erfolg der Erhebung hing vor allem von der Unterstützung durch verschiedene Verbände ab. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Fazit: Anwendung TOTALERHEBUNG Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Entweder: relativ kleine und überschaubare Grundgesamtheit handelt (z.B. Umweltorganisationen in Österreich auf Bundesebene, Forstbetriebe > 500 ha etc.) Oder: Erhebung läuft im Zuge einer anderen Erhebung mit (z.B. Befragung aller Erstsemestrigen an der BOKU im WS 2003 im Rahmen der Erstinskription). Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften STICHPROBENEERHEBUNG • Vorteile gegenüber Totalerhebung • billiger • weniger zeitaufwendig. • genauer. • einzige Erhebungsmöglichkeit, wenn die Erhebung entweder zur Zerstörung der Erhebungseinheit führt (z.B. Crash-Tests) oder wenn Testeffekt zu befürchten ist (z.B. wiederholte Erhebungen zur Erinnerungswirkung von Werbeanzeigen sollten bei verschiedenen Personen durchgeführt werden). Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren STICHPROBENEERHEBUNG - Auswahlplan Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften STICHPROBENEERHEBUNG – Bestimmung der Auswahlbasis Operationalisierung der Stichprobenauswahl (Wie kommt man an die Erhebungseinheiten heran ?) Beispiele: • Adressenverzeichnisse (z.B. des Studiendekanats der BOKU) • Telefonbuch/Telefon CD-Rom etc. • Verzeichnis der Wohnbevölkerung in einer Gemeinde • Flächenangaben zu geographischen Einheiten (für korrekte Gewichtung) Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften STICHPROBENEERHEBUNG – Festlegung der Größe Stichprobengröße bedingt die Höhe des statistischen Fehlers. Grundsätzlich zwei Möglichkeiten: 1) Fehler ist vorgegeben (v. Auftraggeber); ⇒ Stichprobengröße wird berechnet 2) Stichprobengröße ist vorgegeben (z.B. durch beschränkte Kapazitäten oder Geldmittel der Durchführenden; in unserer Befragung der BOKUStudentInnen) ⇒ Stichprobenfehler wird berechnet Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren STICHPROBENEERHEBUNG – Festlegung der Größe Art der zu erhebenden Variablen: Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften • heterogener Fall: Untersuchungsmerkmal ist quantitativ (z.B. Einkommen, Alter etc.). Beispiel: Baumarkt möchte durchschnittliches Haushaltseinkommen seiner Kunden wissen; soll durch Mittelwertbildung aus einer Stichprobe errechnet werden. • homograder Fall: Untersuchungsmerkmal ist qualitativ (z.B. Geschlecht, Familienstand etc.). Beispiel: Ein Baumarkt möchte wissen, wie groß der Anteil der verheirateten Kunden an den gesamten Kunden ist. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren STICHPROBENEERHEBUNG – Festlegung der Größe Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Formel für heterogenen Fall: e = σ t* ----------- √(n) Institut für Marketing & Innovation Wobei: e= vorgegebener absoluter Fehler σ= Streuung (Standardabw.) n= Stichprobenumfang t= T-Wert I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren STICHPROBENEERHEBUNG – Festlegung der Größe Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Berechnung Stichprobenumfang durch Umformung: n = t² * σ² ---------e² Bekannt sein müssen: T-Wert (und damit Irrtumswahrscheinlichkeit), Streuung (bzw. das Quadrat der Streuung, Varianz), absoluter Fehler Streuung ist vor der Erhebung unbekannt und muss daher aus ähnlichen Ergebnissen geschätzt bzw. mittels Pilotstudie festgestellt werden. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren STICHPROBENEERHEBUNG – Festlegung der Größe Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Beispiel: Stichprobenumfang heterogener Fall: Ein Baumarkt möchte das mittlere Haushaltseinkommen seiner Kunden mit einer Genauigkeit von +/- € 30.- (e) erheben (ein Fehlerprozentsatz kann nicht angegeben werden, da der Mittelwert unbekannt ist). Irrtumswahrscheinlichkeit 5 % (= Signifikanzniveau von 95%, t = 2). Aus einer anderen Erhebung sei bekannt, dass die Streuung (Õ) des Haushaltseinkommens € 200.- Euro beträgt. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren STICHPROBENEERHEBUNG – Festlegung der Größe Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Beispiel: Stichprobenumfang heterogener Fall: n = t²*σ² --------e² = 2²*200² -----------30² = Der Stichprobenumfang würde 178 betragen. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer 178 Datenerhebung 4. Messinstrumente und Auswahlverfahren STICHPROBENEERHEBUNG – Festlegung der Größe Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Formel für homograden Fall: e = √ [q*(1-q)] σ t* ---------- = t* ---------------- √(n) √ (n) Streuung (σ) wird durch den Term √ [q*(1-q)] ausgedrückt wird. q ist dabei der n = prozentuale Anteil eines Merkmales bei qualitativen Fragen. Ungünstigster Fall (größte Varianz) wenn q = 0.5; q*(1-q) ist dann 0.25. Dieser Wert wird aus Sicherheitsgründen für die Berechnung des Stichprobenumfangs angenommen. t²*[q*(1-q)]² --------------------e² Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren STICHPROBENEERHEBUNG – Festlegung der Größe Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Beispiel: Stichprobenumfang homograder Fall: Ein Baumarkt möchte zusätzlich zum mittleren Haushaltseinkommen auch den prozentuellen Anteil der "Singles" mit einem Fehler von +/- 5% erheben. Irrtumswahrscheinlichkeit 5 % (= Signifikanzniveau von 95%, t = 2). q = 0.5 Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren STICHPROBENEERHEBUNG – Festlegung der Größe Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Beispiel: Stichprobenumfang homograder Fall: n = t²*[q*(1-q)]² -------------------e² = 2²*(0.25)² --------------------0.05² = 100 In diesem Fall würde der Stichprobenumfang nur 100 betragen. Bei der Erhebung meh­rerer Merkmale ist der größte sich ergebende Stichprobenumfang zu wählen, in unserem Beispiel also n = 178. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren STICHPROBENEERHEBUNG – Festlegung der Größe Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Zusatzinfos zu Beispielen: Bei einem Signifikanzniveau von 99% (t = 3) ergäbe sich ein Stichprobenumfang von 400. Bei einer Verringerung des Fehlers für das Einkommen auf 15.- € (bei Signifikanzniveau 95%) einer von 711. Ersichtlich ist, dass bei zunehmenden Ansprüchen an die Genauigkeit der Schätzung der Umfang der Stichprobe und damit die Kosten überproportional steigen. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren STICHPROBENEERHEBUNG – Festlegung der Größe Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften • Die Größe der Stichprobe ergibt sich hier unabhängig von der Größe der Grundgesamtheit. Um die Größe der Grundgesamtheit ebenfalls in die Überlegungen einzubeziehen, kann ein Korrekturfaktor eingebaut werden. • Bei der Festlegung des Stichprobenumfangs ist zu berücksichtigen, dass sich durch Ausfälle bei Befragten und durch das Nichtbeantworten einzelner Fragen, die tatsächliche Anzahl der verwertbaren Informationen pro Merkmal verringern kann. Stichprobenumfang sollte immer etwas über dem errechneten Mindestumfang liegen. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften STICHPROBENEERHEBUNG – Entscheidung über Auswahlprinzip, Auswahlverfahren und Auswahltechniken Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften STICHPROBENEERHEBUNG – Durchführung der Auswahl Nachdem alle theoretischen Überlegungen abgeschlossen sind, erfolgt nun die eigentliche Auswahl der Erhebungseinheiten (z.B. Adressen oder Telefonnummern, Personen nach Quoten etc.). Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren STICHPROBENEERHEBUNG – Auswahlverfahren ohne Zufallsprinzip Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Willkürliche Auswahl (Auswahl auf Geratewohl) • • • Erhebungseinheiten ausgewählt, die besonders leicht und bequem zu erreichen sind. Typisches Beispiel: Ansprechen von gerade vorbeikommenden Passanten auf bestimmte Themen (häufig im Fernsehen) Kein Anspruch auf Repräsentativität !! Meist nur in der explorativen Phase von Forschungsvorhaben verwendet, oder falls für das Entscheidungsproblem statistisch abgesicherte Ergebnisse nicht notwendig sind. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren STICHPROBENEERHEBUNG – Auswahlverfahren ohne Zufallsprinzip Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Konzentrationsverfahren • • Bestimmte Teile der Grundgesamtheit werden systematisch aus der Erhebung ausgeklammert. Typisches Beispiel ist etwa eine Markterhebung, die sich nur auf wenige Marktführer konzentriert und alle anderen auslässt. So erhob etwa Hogl (1993) bei einer Befragung der österreichischen Sägeindustrie nur Betriebe mit mehr als 5000 fm Einschnitt. Diese Kategorie umfasst zwar nur 17% der Betriebe, aber 80% des österreichischen Einschnitts. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren STICHPROBENEERHEBUNG – Auswahlverfahren ohne Zufallsprinzip Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Typische Auswahl • Erhebungseinheiten werden herangezogen, von denen man annimmt, dass sie am ehesten repräsentativ sind. So könnte sich eine Marktuntersuchung etwa auf einzelne Betriebe beschränken, die von der Interessensvertretung dieser Branche als typisch angesehen werden. • Vorteile liegen in der Kostenersparnis, die Gefahr darin, dass die Auswahl von "typischen" Merkmalsträgern vom subjektiven Urteil des Forschers abhängt. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren STICHPROBENEERHEBUNG – Auswahlverfahren ohne Zufallsprinzip Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Quotenauswahl • • • Auswahl erfolgt analog zur Verteilung einiger Merkmale der Grundgesamtheit (z.B. Alter, Geschlecht, Ausbildung, Beruf, Gemeindegrößenklasse) Verteilung dieser Merkmale in der Grundgesamtheit muss bekannt sein (Beispiel BOKU-StudentInnenumfrage; Verteilung der Merkmalke aus der Hörerstatistik bekannt). Jede/r InterviewerIn enthält eine Quotenanweisung mit Zahl der Interviews, Quotenmerkmalen und die Quoten. Innerhalb dieser Vorgaben ist Auswahl der Personen/Objekte frei. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren STICHPROBENEERHEBUNG – Auswahlverfahren ohne Zufallsprinzip Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Quotenanweisung - getrennte Merkmalsverteilung Art des Betriebes 320 80 560 40 Vollerwerbsbetriebe Zuerwerbsbetriebe Nebenbetriebe Betriebe juristischer Personen Größenklasse 920 56 6 <20 ha 21-50 ha >50 ha Bundesland 219 75 NÖ/W B Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren STICHPROBENEERHEBUNG – Auswahlverfahren ohne Zufallsprinzip Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Quotenanweisung - getrennte Merkmalsverteilung Einfache Methode, kann aber zu starken Verzerrungen führen, wenn etwa die 80 Zuerwerbsbetriebe alle < 20 ha groß sind und alle in NÖ/W liegen. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren STICHPROBENEERHEBUNG – Auswahlverfahren ohne Zufallsprinzip Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Kombinierte Quotenanweisung • Aus den Daten der Grundgesamtheit muss ausgefiltert werden, wie viele der 320 Vollerwerbsbetriebe in den 3 Größenklassen und den 8 Bundesländerkategorien liegen. Anweisung könnte dann lauten: 100 Vollerwerbsbetriebe der Größenklasse 21-50 ha in NÖ/W. • Kombinierte Quotenauswahl muss sich notwendigerweise auf wenige Merkmale beschränken, da sonst Suche nach geeigneten Interviewpartnern schwierig & zeitaufwendig wird. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren STICHPROBENEERHEBUNG – Auswahlverfahren ohne Zufallsprinzip Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Nachteile der Quotenauswahl • Kein Zufallsmechanismus, daher keine mathematisch-statistische Absicherung. • Freie Wahl des Interviewers innerhalb der Quoten führt zu Verzerrungen (z.B. Vermeidung unsympathischer, schwer erreichbarer Personen etc.). Personen, die Antwort verweigern, werden durch Antwortbereite ersetzt. Ergebnisvergleiche zwischen Quotenverfahren und Zufallsverfahren mit denselben Fragebögen zeigen jedoch keine nennenswerten Unterschiede zwischen den Verfahren. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren STICHPROBENEERHEBUNG – Zufallsverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Generelles zu Zufallsverfahren: Bei der Zufallsauswahl (random sampling, Stichprobenauswahl) hat jedes Element der Grundgesamtheit eine berechenbare, von Null verschiedene Wahrscheinlichkeit, in die Auswahl zu gelangen. Daher statistische Berechnung des Zufallsfehlers (Stichprobenfehler) möglich. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren STICHPROBENEERHEBUNG – Zufallsverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Generelles zu Zufallsverfahren – Vor- und Nachteile: • • • • Berechenbarkeit des Stichprobenfehlers Vermeidung grober Verzerrungen höhere Kosten für Planung und Durchführung keine Substituierbarkeit einmal ausgewählter Einheiten Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren STICHPROBENEERHEBUNG – Zufallsverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Einfache Zufallsauswahl: • Einfachster und auch sehr häufig verwendeter Typus der Zufallsauswahl. Jedes Element der Grundgesamtheit hat die gleiche Wahrscheinlichkeit, in die Auswahl zu gelangen. • Bevorzugter Stichprobenumfang zwischen 150 und 3000. Bei noch größeren Stichproben Gefahr, dass der systematische Fehler anwächst (z.B. durch mangelnde Sorgfalt oder unabsichtliche Mehrfachbefragung). Verminderung des Zufallsfehlers wird überkompensiert . Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren STICHPROBENEERHEBUNG – Zufallsverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Klumpenauswahl Bei Klumpenauswahl (cluster sampling) werden die Untersuchungseinheiten nicht einzeln ausgewählt, sondern jeweils in Gruppen bzw. "Klumpen". Beispiel: Marktforschungsuntersuchung hat die konkrete Verwendung von Schnittholz zum Thema. Über die Abnehmer ist nichts bekannt, es liegt aber eine Adressliste aller Sägewerke in Ö vor. Klumpen sind die einzelnen Sägewerke. Mittels Zufallsmethode wird Anzahl von Sägewerken aus der Grundgesamtheit ausgewählt und deren gesamte Abnehmerschaft befragt. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren STICHPROBENEERHEBUNG – Zufallsverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Klumpenauswahl Vorteile: • Auswahlbasis ist häufig einfacher zu beschaffen (z.B. Adresslisten von Sägewerken, statt sämtlicher Abnehmer aller Sägewerke). • Durchführung ist weniger aufwendig (so können etwa die wichtigsten Charakteristika sämtlicher Abnehmer eines Sägewerkes in diesem Sägewerk erhoben werden). Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren STICHPROBENEERHEBUNG – Zufallsverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Klumpenauswahl Nachteile: • Durch die Klumpenbildung leidet i.d.R. die Repräsentativität der Auswahl aus der Grundgesamtheit leidet, was eine Vergrößerung des Stichprobenfehlers bewirkt. Neben der einfachen Zufallsauswahl für die Praxis wichtigste Auswahltyp, besonders bei großen Grundgesamtheiten. Oft bildet etwa eine Landkarte oder ein Stadtplan die einzige Grundlage für die Auswahl. Durch Aufteilung in kleine Felder (z.B. Raster) können Klumpen gebildet werden. Diese Form der Klumpenauswahl wird auch als Flächenstichprobe bezeichnet. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren STICHPROBENEERHEBUNG – Zufallsverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Geschichtete Auswahl Kennzeichen: • Grundgesamtheit wird in unterschiedliche Teilmengen (Schichten) aufgeteilt. • Aus jeder Schicht erfolgt einfache Zufallsauswahl. • Der Quotenauswahl ähnlich, nur erfolgt die Auswahl innerhalb der Schichten zufällig. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren STICHPROBENEERHEBUNG – Zufallsverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Geschichtete Auswahl Vorteile: • Größere Genauigkeit als einfache Zufallsauswahl bei gleichem Stichprobenumfang • Liefert Informationen über die einzelnen Schichten. Schichten können sein: geographische Einheiten (z.B. Bundesländer), soziologische Einheiten (Altersstufen, Berufe). Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren STICHPROBENEERHEBUNG – Zufallsverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Mehrstufige Auswahl (multistage sampling) • Grundgesamtheit in unterschiedliche (Primäreinheiten) aufgeteilt Teilmengen • Auswahl der Primäreinheiten durch Zufallsauswahl • Auswahl der eigentlichen Untersuchungseinheiten aus jeder ausgewählten Primäreinheit erfolgt durch weitere Zufallsauswahl. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren STICHPROBENEERHEBUNG – Zufallsverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Mehrstufige Auswahl (multistage sampling) Im Unterschied dazu werden bei der Klumpenauswahl alle Elemente der ausgewählten Klumpen verwendet, bei der geschichteten Auswahl alle Schichten (bzw. Primäreinheiten) herangezogen Auswahl der Primäreinheiten durch Zufallsauswahl Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren STICHPROBENEERHEBUNG – Zufallsverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Mehrstufige Auswahl (multistage sampling) Vorteile, wenn Grundgesamtheit hierarchisch gegliedert ist (z.B. Bundes-, Landes-, Gemeindeebene). Eine Flächenstichprobe kann sowohl als Klumpenstichprobe als auch in Form einer mehrstufigen Auswahl erfolgen. Beispiel: Auswahl von Sägewerken nach Gemeinden. Primäreinheiten sind die Gemeinden Österreichs. Auswahl der Gemeinden erfolgt durch Zufallsauswahl, ebenso die Auswahl der Sägewerke in den ausgewählten Gemeinden . Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften STICHPROBENEERHEBUNG – Techniken der Zufallsauswahl Auswahl mit Zufallszahlen Für die Auswahl nach Zufallszahlen stehen Zufallszahlentabellen bzw. Programme mit Zufallszahlen zur Verfügung. Bei diesen handelt es sich um Zufallszahlen, die mit Hilfe von Computern errechnet wurden. Ihre Abfolge In Tabellen ist sowohl in vertikaler, horizontaler und diagonaler Richtung zufällig. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften STICHPROBENEERHEBUNG – Techniken der Zufallsauswahl Ausschnitt aus Zufallszahlentabelle Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften STICHPROBENEERHEBUNG – Techniken der Zufallsauswahl Auswahl mit Zufallszahlen Voraussetzung: Auswahlbasis muss eine fortlaufend durchnummerierte Kartei oder Liste aller Elemente der Grundgesamtheit sein. Erstellung einer solchen Liste sehr aufwendig und nicht immer möglich. Beispiel: Aus einer nummerierten Kartei/Datenbank von 4000 Elementen soll eine Stichprobe im Um­fang n = 40 gezogen werden. Es sind folglich 40 vierstellige Zahlen < 4000 aus der Tabelle auszuwählen. Beginnt man nach obiger Tabelle links oben und geht zeilenweise vor, so ergeben sich die Zahlen 1009, 3754, 842, 1280 3106 usw. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften STICHPROBENEERHEBUNG – Techniken der Zufallsauswahl Systematische Auswahl Bequemer als mit Zufallszahlen. Es muss zwar eine Liste oder Kartei als Auswahlbasis geben, diese muss aber nicht durchnummeriert sein. Beispiel: Aus einer nicht nummerierten Kartei/Datenbank von 4000 Elementen soll eine Stichprobe im Umfang n = 40 gezogen werden. Aus der Auswahlbasis wird jedes 100. Element (4000/40) ausgewählt. Begonnen wird mit einem Element, das sich an irgendeiner Stelle < 100 befindet. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Pretest • Test des entwickelten Instruments vor der Hauptuntersuchung • begrenzte Zahl von Fällen, die strukturell denen der endgültigen Stichprobe entsprechen • die Kosten für die Korrektur von Fehlern in einer Untersuchung ohne Pretest sind stets erheblich höher als die eines Pretests selbst - sofern sich die Fehler überhaupt noch korrigieren lassen. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Pretest – methodische Punkte Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften • Legitimation des Forschungsvorhabens: Können Personen zu einer nicht-manipulativen Mitarbeit bewegt werden? Waren die Einleitungsstrategien richtig ? • Erhebungssituation: Ort, Zeit, verzerrende, störende Einflüsse • Rollen: Werden Forscher und/oder Mitarbeiter akzeptiert? Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Pretest – methodische Punkte Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften • Instrument: ¾ Passen alle Antworten zu den vorgegebenen Codes? ¾ Passt das gesamte Kategorienschema für das untersuchte Material? ¾ Sind die Kategorien eindeutig genug, um hohe Gleichförmigkeit unter den Beurteilern, Beobachtern oder Codierern zu erreichen (Reliabilität)? Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Pretest – methodische Punkte Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften • Instrument (Fortsetzung) – speziell Befragung: ¾ Werden die Fragen überhaupt verstanden? ¾ Haben die untersuchten Personen genügend Information ? ¾ Gibt es Widerstände gegen einzelne Fragen ? ¾ Grad der Aufmerksamkeit (Kürzung notwendig ?) ¾ Bevorzugung bestimmter Skalenausprägungen (z.B. Extrempositionen, mittlere Bereiche) ? ¾ Sind Instruktionen für Interviewer bzw. Befragte eindeutig ? Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Pretest – methodische Punkte Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften • Stichprobe: Sind Personen überhaupt erreichbar? Viele Ausfälle ? (Gründe) • Kontrollen: Welche Möglichkeiten zur Kontrolle der Reliabilität und Validität bestehen? Man kann z. B. Personen nach einem Experiment befragen, Pretest­Interviews durch Rückfragen prüfen (auch Verhalten des/r InterviewerIn) Bei schriftlichen Befragungen: Aufsuchen von Antwortenden. Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Pretest – mögliche Konsequenzen • • • • • Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Änderung des (Teile des) Forschungsplans Schulung der Mitarbeiter Verlegung des Erhebungsortes oder -zeitpunktes Modifikation der Stichprobe Überhaupt neuer Forschungsplan ⇒ neuer Pretest Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer Datenerhebung 4. Messinstrumente und Auswahlverfahren Universität für Bodenkultur Wien Department für Wirtschafts- und Sozialwissenschaften Pretest – Umfang • Abhängig von Zeit und Geldmitteln • Zahl der Fälle sollte so hoch sein, dass einfache Häufigkeitsauszählungen möglich sind • Faustregel (wenn Zeit und Geld vorhanden) 10% des Stichprobenumfanges Institut für Marketing & Innovation I Ao.Univ. Prof. DI. Dr. Peter Schwarzbauer
