Untersuchungsablauf Untersuchungsablauf
Werbung
Untersuchungsablauf Hypothesen: mathematische Form Die mathematische Form von Hypothesen • • • Hypothesen zu Häufigkeiten Hypothesen zu Mittelwerten Hypothesen zu Korrelationen A) Hypothesen zu Häufigkeiten Beispiel 1 Gerichtete Alternativhypothese: Ein direktes Objekt O zu einem potenziell transitiven Verb V wird häufiger ausgelassen, wenn der Argumentreferent von O im Kontext erwähnt ist, als wenn er im Kontext nicht erwähnt ist. Mathematische Form der Alternativhypothese: nkein Referent im Kontext bei nicht realisiertem DO < nReferent im Kontext bei nicht realisiertem DO Mathematische Form der Nullhypothese: nkein Referent im Kontext bei nicht realisiertem DO ≥ nReferent im Kontext bei nicht realisiertem DO Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 1] Untersuchungsablauf Hypothesen: mathematische Form Beispiel 2 Gerichtete Alternativhypothese: Wenn eine Konstruktion mit einem transitiven phrasalen Verb von einer räumlichen Präpositionalphrase gefolgt wird, dann verwenden Muttersprachler öfter VOP, als wenn keine solche Präpositionalphrase folgt. Mathematische Form der gerichteten Alternativhypothese: nräumliche PP nach VPO < nräumliche PP nach VOP Mathematische Form der ungerichteten Alternativhypothese: nräumliche PP nach VPO ≠ nräumliche PP nach VOP Mathematische Form der Nullhypothese zur gerichteten Alternativhypothese: nräumliche PP nach VPO ≥ nräumliche PP nach VOP Mathematische Form der Nullhypothese zur ungerichteten Alternativhypothese: nräumliche PP nach VPO = nräumliche PP nach VOP Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 2] 1 Untersuchungsablauf Hypothesen: mathematische Form Beachten Es wird vorausgesetzt, dass gleich viele Beispiele untersucht werden, z. B.: • bei einer Korpusuntersuchung: 100 Korpusbelege VPO und 100 Belege VOP • bei einer Korpusuntersuchung: 100 Korpusbelege mit potenziell transitivem Verb und Argumentreferent im Kontext und 100 mit potenziell transitivem Verb ohne Argumentreferent im Kontext Oft wird die Nullhypothese auch bei gerichteten Alternativhypothesen lediglich als Abwesenheit eines Unterschieds aufgefasst, also immer als: nx = ny Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 3] Untersuchungsablauf Hypothesen: mathematische Form B) Hypothesen zu Mittelwerten Beispiel 1 Gerichtete Alternativhypothese: Wenn das direkte Objekt eines Verbs lang ist [gemessen über die Silbenzahl] werden Sprecher häufiger VPO verwenden als wenn es kurz ist. Mathematische Form der Alternativhypothese: MittelwertLänge des DO bei VPO > MittelwertLänge des DO bei VOP Mathematische Form der Nullhypothese: MittelwertLänge des DO bei VPO ≤ MittelwertLänge des DO bei VOP Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 4] 2 Untersuchungsablauf Hypothesen: mathematische Form C) Hypothesen zu Korrelationen Beispiel 1 Untersucht wird die Länge von syntaktischen Konstituenten in Abhängigkeit von den beiden Variablen Satzgliedfunktion (Subjekt versus Objekt) und Satztyp (Vorkommen in Haupt- versus Nebensatz). A) Additives Zusammenwirken der Variablen Die kürzesten Konstituenten sind Subjekte in Hauptsätzen die längsten Objekte in Nebensätzen. Haupt- vs. Nebensatzstatus wirken bei Subjekten und Objekten gleichermaßen. Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 5] Untersuchungsablauf Hypothesen: mathematische Form B) Interaktives Zusammenwirken der Variablen (Typ 1) Objekte sind im Durchschnitt länger als Subjekte, unter der Nebensatzbedingung aber geringfügig kürzer. Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 6] 3 Untersuchungsablauf Hypothesen: mathematische Form C) Interaktives Zusammenwirken der Variablen (Typ 2) Objekte sind im Durchschnitt länger als Subjekte, unter der Nebensatzbedingung aber deutlich länger als unter der Hauptsatzbedingung. Gries, Stefan Th. 2008. Statistik für Sprachwissenschaftler. Göttingen: Vandenhoeck & Ruprecht, S. 24ff. Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 7] Aufbau des Experiments Voraussetzungen Voraussetzungen für die Durchführung des Experiments • Sie haben die wissenschaftlichen Arbeiten zum Phänomen ausgewertet. • Sie haben alle Hypothesen formuliert. • Sie haben alle in die Untersuchung einfließenden Variablen operationalisiert. • Sie haben die möglichen Störvariablen identifiziert. Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 8] 4 Aufbau des Experiments Tokensets Tokensets Das schematische Token-Set stellt die Ausprägungen möglicher Variablenkombinationen dar und damit die Experimentalbedingungen für die Zusammenstellung der konkreten Datensätze. Schematisches Tokenset mit einer unabhängigen Variable Gerichtete Alternativhypothese: Ein direktes Objekt O zu einem potenziell transitiven Verb V wird häufiger ausgelassen, wenn der Argumentreferent von O im Kontext erwähnt ist, als wenn er im Kontext nicht erwähnt wird. Experimentalbedingung Referent im Kontext 1 ja 2 nein Gries, Stefan Th. 2008. Statistik für Sprachwissenschaftler. Göttingen: Vandenhoeck & Ruprecht, S. 53ff. Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 9] Aufbau des Experiments Tokensets Schematisches Tokenset mit zwei unabhängigen Variablen Gerichtete Alternativhypothese: Ein direktes Objekt O zu einem potenziell transitiven Verb V wird häufiger ausgelassen, (i) wenn der Argumentreferent von O im Kontext erwähnt ist als wenn er im Kontext nicht erwähnt wird und/oder (ii) wenn das Verb präfixlos ist. Experimentalbedingung Referent im Kontext Präfix 1 ja ja ja 2 nein 3 ja nein 4 nein nein oder Ref. im Kontext Ref. nicht im Kontext mit Präfix Präfixverb mit Objektreferent im Kontext Präfixverb ohne Objektreferent im Kontext ohne Präfix Simplexverb mit Objektreferent im Kontext Simplexverb ohne Objektreferent im Kontext Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 10] 5 Aufbau des Experiments Tokensets Gerichtete Alternativhypothese: Der Wohlgeformtheitsunterschied zwischen Activity- und Accomplishment-Lesarten von VPs aus Verb und gequanteltem Objekt ist bei Simplexverben geringer als bei präfigierten Verben. (1) a. b. Er aß einen Apfel in zwei Minuten Er aß zwei Minuten lang einen Apfel geringer Wohlgeformtheitsunterschied (2) a. b. Er verzehrte einen Apfel in zwei Minuten Er verzehrte zwei Minuten lang einen Apfel großer Wohlgeformtheitsunterschied Mathematische Form der gerichteten Alternativhypothese: DIFF(MittelwertWohlgef.-Simplexverb-Accompl., MittelwertWohlgef.-Simplexverb-Activity) < DIFF(MittelwertWohlgef.-Präfixverb-Accompl., MittelwertWohlgef.-Präfixverb-Activity) Mathematische Form der Nullhypothese zur gerichteten Alternativhypothese: DIFF(MittelwertWohlgef.-Simplexverb-Accompl., MittelwertWohlgef.-Simplexverb-Activity) ≥ DIFF(MittelwertWohlgef.-Präfixverb-Accompl., MittelwertWohlgef.-Präfixverb-Activity) Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 11] Aufbau des Experiments Tokensets Schematisches Tokenset mit zwei unabhängigen Variablen Experimentalbedingung Lesart Morphologie 1 Activity Simplexverb 2 Accomplishment Simplexverb 3 Activity Präfigiertes Verb 4 Accomplishment Präfigiertes Verb Das konkrete Token-Set stellt einen Satz von Daten dar, der die Variablenausprägungen des schematischen Token-Sets abbildet. Simplexverb Präfixverb Activity Er aß zwei Minuten lang einen Apfel Er verzehrte zwei Minuten lang einen Apfel Accomplishment Er aß einen Apfel in zwei Minuten Er verzehrte einen Apfel in zwei Minuten Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 12] 6 Aufbau des Experiments Hinweise zur Sprecherbefragung Hinweise zur Sprecherbefragung A) B) C) D) E) F) Umgang mit Störvariablen Auswahl der Versuchsitems Zuordnung von Probanden zu Versuchsitems Reihung der Versuchsitems und Distraktoren Durchführung der Befragung Analyse und Interpretation Featherston 2007. Data in generative grammar: The stick and the carrot. Theoretical Linguistics 33(3): 269-318. Gries, Stefan Th. 2008. Statistik für Sprachwissenschaftler. Göttingen: Vandenhoeck & Ruprecht, 53ff. Schütze, Carson T. 1996. The Empirical Base of Linguistics. Grammaticality Judgments and Linguistic Methodology. Chicago, London: Chicago University Press. S. 183ff. Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 13] Aufbau des Experiments Umgang mit Störvariablen Umgang mit Störvariablen Hinweis A1 (Ausschalten von Störvariablen): Im Idealfall werden Störvariablen ausgeschaltet. Beispiel: Sie wissen, dass seltene und nicht allgemein verständliche Fremdwörter einen Einfluss auf semantische Wohlgeformtheitsurteile haben, auch wenn sie die Beurteilbarkeit des Untersuchungsphänomens gar nicht beeinträchtigen. Sie verwenden nur Lexeme aus dem hoch- bis mittelfrequenten Bereich des Wortschatzes. Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 14] 7 Aufbau des Experiments Umgang mit Störvariablen Hinweis A2 (Konstanthalten von Störvariablen): Können Störvariablen nicht ausgeschaltet werden, hält man ihre Ausprägung über alle Versuchsitems konstant. Beispiel: Sie wissen das Habitualität versus Nicht-Habitualität einen Einfluss auf die Weglassbarkeit von Objekten hat. Habitualität ist aber keine unabhängige Variable in Ihrem Experimentdesign. (1) a. b. ??Er hat viele Probleme verursacht, aber er hat halt vergessen. Er hat viele Probleme verursacht, aber er vergisst halt gerne. In den Testsätzen werden daher nur nicht-habituelle Kontexte verwendet. Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 15] Aufbau des Experiments Umgang mit Störvariablen Hinweis A3 (Registrieren von Störvariablen): Können oder sollen Störvariablen nicht konstant gehalten werden, registriert man ihre Ausprägung für eine spätere Überprüfung. Beispiel: Sie vermuten, dass die Unterscheidung von Präfix-, Partikel- und Simplexverben möglicherweise in manchen Bereichen des Wortschatzes eine Rolle für die Weglassbarkeit von Objekten spielt, wollen sich aber nicht auf eine der drei Klassen beschränken. Sie registrieren den morphologischen Status des Objekts, um hinterher (vielleicht für eine weitere Untersuchung) abschätzen zu können, ob und wo eine solche Variable eine Rolle spielt. Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 16] 8 Aufbau des Experiments Auswahl der Versuchsitems Auswahl der Versuchsitems Hinweis B1 (Lexikalische Varianz): Bei Untersuchungen, in denen die Bedeutung lexikalischer Einheiten keine Untersuchungsvariable ist, sollte das lexikalische Material über Token-Sets hinweg variiert werden. Störvariable: Untersuchungen haben verschiedenartigen Einfluss lexikalischen Materials (v. a. auf Sprecherurteile zur grammatischen Phänomenen) gezeigt, insbesondere Abhängigkeiten von: • • • Gebräuchlichkeit / Frequenz Wortlänge Konkretheit/Abstraktheit des Bezeichneten Schütze, Carson T. 1996. The Empirical Base of Linguistics. Grammaticality Judgments and Linguistic Methodology. Chicago, London: Chicago University Press. S. 184. Featherston 2007. Data in generative grammar: The stick and the carrot. Theoretical Linguistics 33(3): 269-318. S. 291ff. Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 17] Aufbau des Experiments Auswahl der Versuchsitems Hinweis B2 (Kontextunterstützung): Bei Untersuchungen, in denen bestimmte Kontextfaktoren keine Untersuchungsvariablen sind, sollte der Kontext so gestaltet werden, dass er die Wohlgeformtheit des Versuchsitems unterstützt. • Sätze die kontextfrei als nicht wohlgeformt beurteilt werden, werden in bestimmten Kontexten als wohlgeformt bewertet. • Die ungesteuerte eigene Suche der Probanden nach plausiblen Kontexten wird so kontrolliert. Schütze, Carson T. 1996. The Empirical Base of Linguistics. Grammaticality Judgments and Linguistic Methodology. Chicago, London: Chicago University Press. S. 185, 150ff . Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 18] 9 Aufbau des Experiments Auswahl der Versuchsitems Hinweis B3 (Verarbeitbarkeit): Soweit bestimmte grammatische Strukturen keine Untersuchungsvariable sind, sollten die präsentierten Ausdrücke möglichst gut syntaktisch verarbeitbar sein. Zu vermeiden sind in diesem Fall: • • • • • seltene Wortstellungsvarianten extrem weite Satzklammern ungewöhnliche Extrapositionen Sätze mit Garden-Path-Effekten lange, komplexe Rekursionen Schütze, Carson T. 1996. The Empirical Base of Linguistics. Grammaticality Judgments and Linguistic Methodology. Chicago, London: Chicago University Press. S. 186. Warner, John & Arnold A. Glass 1987. Context and distance-to-disambiguation effects in ambiguity resolution: Evidence from grammaticality judgements of garden path sentences. Journal of Memory and Language 26: 714-738. Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 19] Aufbau des Experiments Auswahl der Versuchsitems Hinweis B4 (Syntaktische Harmonisierung): Soweit bestimmte grammatische Strukturen keine Untersuchungsvariable sind, sollten die präsentierten Ausdrücke möglichst ähnliche oder ähnlich komplexe syntaktische Strukturen haben. Hinweis B5 (Minimalpaarbildung): Im Idealfall sind die Token in einem Token-Set Minimalpaare, d. h. sie unterscheiden sich nur bezüglich der Ausprägung der unabhängigen Variablen. • Unkontrollierte Effekte durch anderes sprachliches Material im Satz werden weitgehend ausgeschlossen (Störvariablen). • Feinere semantische Unterschiede können leichter aufgespürt werden. Objekt pronominal Objekt lexikalisch Konstruktion: VPO John picked up it John picked up the book Konstruktion: VOP John picked it up John picked the book up Schütze, Carson T. 1996. The Empirical Base of Linguistics. Grammaticality Judgments and Linguistic Methodology. Chicago, London: Chicago University Press. S. 186. Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 20] 10 Aufbau des Experiments Auswahl der Versuchsitems Hinweis B6 (Akzeptabilitätsbalance): Die Anzahl der vom Untersucher als wohlgeformt und als nicht wohlgeformt eingeschätzten Ausdrücke sollte ungefähr gleich sein. • Verhindert Automatisierung der Antworten bei einer längeren Abfolge von wohlgeformten bzw. nicht wohlgeformten Ausdrücke. Schütze, Carson T. 1996. The Empirical Base of Linguistics. Grammaticality Judgments and Linguistic Methodology. Chicago, London: Chicago University Press. S. 184. Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 21] Zuordnung von Probanden zu Versuchsitems Aufbau des Experiments Zuordnung von Probanden zu Versuchsitems Hinweis C1 (Anzahl Token-Sets): Die Anzahl der konkreten Token-Sets ist ein Vielfaches der Variablenausprägungskombinationen. • Also: besteht das schematische Token-Set aus 4 Items/Variablenausprägungskombinationen, gibt es 4 konkrete Token-Sets mit insgesamt 16 Items 8 konkrete Token-Sets mit insgesamt 32 Items 12 konkrete Token-Sets mit insgesamt 48 Items … • Möglichst viele konkrete Token-Sets. (Würden wir nur ein Token-Set nehmen, könnten wir im Beispiel oben nur etwas über die Aspektualität von essen und verzehren sagen.) • Aufteilbarkeit der Items auf Probanden muss gewährleistet sein (s. Hinweis C2). Gries, Stefan Th. 2008. Statistik für Sprachwissenschaftler. Göttingen: Vandenhoeck & Ruprecht, S. 56. Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 22] 11 Aufbau des Experiments Zuordnung von Probanden zu Versuchsitems Hinweis C2 (Aufteilung Token-Set): Jeder Proband erhält maximal einen Item pro konkretem Token-Set. • verhindert, dass Probanden den Zweck des Experiments erkennen Hinweis C3 (Aufteilung Variablenausprägungskombination): Jeder Proband sieht jede Variablenausprägungskombination. • verhindert, dass durch Konfrontation mit der immer gleichen Variablenausprägungskombination Gewöhnungseffekte entstehen Gries, Stefan Th. 2008. Statistik für Sprachwissenschaftler. Göttingen: Vandenhoeck & Ruprecht, S. 56. Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 23] Aufbau des Experiments Zuordnung von Probanden zu Versuchsitems Hinweis C4 (Variablenausprägungskombination pro Proband): Jeder Proband sieht jede Variablenausprägungskombination mehr als einmal und gleich häufig. Hinweis C5 (Verteilung der Items): Alle Items werden von mehr als einer Versuchsperson und von gleich vielen Versuchspersonen beurteilt. • Nur dann können ungewöhnliche Bewertungen interpretiert und Besonderheiten bei den Daten versus Besonderheiten bei den Versuchspersonen zugeordnet werden. Gries, Stefan Th. 2008. Statistik für Sprachwissenschaftler. Göttingen: Vandenhoeck & Ruprecht, S. 56. Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 24] 12 Aufbau des Experiments Beispielverteilung Items/Probanden Zuordnung von Probanden zu Versuchsitems Konkr. Token-Set A Konkr. Token-Set C Konkr. Token-Set B Konkr. Token-Set D Item A1 aeimq Item A2 bfjnr Item B1 dhlpt Item B2 aeimq Item C1 cgkos Item C2 dhlpt Item D1 bfjnr Item D2 cgkos Item A3 cgkos Item A4 dhlpt Item B3 bfjnr Item B4 cgkos Item C3 aeimq Item C4 bfjnr Item D3 dhlpt Item D4 aeimq Konkr. Token-Set E Konkr. Token-Set F Konkr. Token-Set G Konkr. Token-Set H Item E1 aeimq Item E2 bfjnr Item F1 dhlpt Item F2 aeimq Item G1 cgkos Item G2 dhlpt Item H1 bfjnr Item H2 cgkos Item E3 cgkos Item E4 dhlpt Item F3 bfjnr Item F4 cgkos Item G3 aeimq Item G4 bfjnr Item H3 dhlpt Item H4 aeimq Konkr. Token-Set I Konkr. Token-Set J Konkr. Token-Set K Konkr. Token-Set L Item I1 aeimq Item I2 bfjnr Item J1 dhlpt Item J2 aeimq Item K1 cgkos Item K2 dhlpt Item L1 bfjnr Item L2 cgkos Item I3 cgkos Item I4 dhlpt Item J3 bfjnr Item J4 cgkos Item K3 aeimq Item K4 bfjnr Item L3 dhlpt Item L4 aeimq Stefan Engelberg, HS Semantik und Sprecherurteile, FS 2010, Universität Mannheim [Folie 25] 13
