Qualitäts- und Evaluationsforschung

SPL 22 Publizistik- und Kommunikationswissenschaft – LV-Infos
Juli 2011
Inhalte der Lehrveranstaltung Qualitäts- und Evaluationsforschung – EVA
Inhalte:
Begriff Qualität allgemein
Messung von Qualität
Qualität in Journalismus
Qualität in Public Relations
Qualität in Werbung
Public Value
Ansätze von journalistischer Qualitätsforschung
Messung von Qualität im Journalismus
Qualitätssicherung
Begriff Evaluation
Begriff Erfolgskontrolle
Ziele in der Öffentlichkeitsarbeit
Ziele in der Werbung
Messung von „Erfolg“
Instrumente der Evaluation
Evaluationsmodelle
Über die VO: EVA – Qualitäts- und Evaluationsforschung
(Julia Wippersberg)
Dieser Forschungsbereich beschäftigt sich mit jenen Eigenschaften und Ansprüchen, denen
Journalismus und Auftragskommunikation (Public Relations und Werbung) genügen muss (=
Qualitätsforschung) und den Aspekten, wie man diese Qualitätskriterien dann messen kann
(= Evaluationsforschung).
Qualität ist kein eindeutiger Begriff, (in der Alltagssprache) wird er häufig mit grundsätzlich
positiven Wertungen gleichgesetzt, was aber nicht korrekt ist. Bei Qualität handelt es sich um
die Beschaffenheit einer Sache und ist nicht per se wertend oder messend. Qualität steht
stets im Spannungsfeld mit Zeit und Kosten. Grundsätzlich ist zu beachten, dass
Qualitätskriterien nicht absolut und statisch, sondern flexibel einsetzbar sind, einem
historischen Wandel unterliegen und multiperspektivisch diskutiert werden müssen.
Qualität ist somit ein „leerer Begriff“, der erst mit Qualitätskriterien „gefüllt“ werden muss, die
je nach Ausgangspunkt unterschiedlich sein können. Daher ist eine Entscheidung über die
Wahl der Perspektive zu treffen, gerade im Journalismus sind unterschiedliche Zugänge
möglich. Dabei besteht aber auch die Gefahr, dass sich jeder seine eigene Qualität definiert.
Dies führt unmittelbar zur Frage, wer Qualitätsdimensionen und Kategorien bestimmen soll.
Qualitätsdebatten boomen zur Zeit gerade im Journalismus; Qualität und Qualitätskriterien
sind aber umstritten, weil Journalismus eine öffentliche Aufgabe erfüllt und parallel dazu ein
Geschäftsmodell ist.
Es zeigt sich schließlich, dass es keinen allgemeingültigen abschließenden Zugang zu
Qualität im Journalismus gibt. Als unterschiedliche Ausgangspunkte sind die folgenden
denkbar (vgl. Rager, 1994; Ruß-Mohl, 1992; Schatz / Schulz, 1992; Heinrich, 1996):
• Normativ-demokratiepolitische Qualitätsbegründung
SPL 22 Publizistik- und Kommunikationswissenschaft – LV-Infos
Juli 2011
• Journalismuswissenschaftliche Perspektive von Qualität
• Qualität nach Mediengattungen
• Publikumsqualität
• Medienökonomische Aspekte von Qualität
Diese Perspektiven sind Ausgangspunkte für Partialmodelle von Journalismus, die sich mit
journalistischen Produkten, dem journalistischen Handeln, den Bedürfnissen des Publikums
oder ökonomischen Aspekten befassen. Integralmodelle versuchen, die genannten
einzelnen Blickwinkel zu verknüpfen. Bisher liegen nur wenige solcher Modelle vor. Qualität
wird dabei nicht als Eigenschaft des Angebots selbst, sondern als eine Eigenschaft der
Beziehung zwischen Angebot und Rezipienten gesehen. Diese Beziehung beinhaltet sowohl
Kriterien, die direkt am jeweiligen publizistischen Produkt gemessen werden als auch
Ansprüche, die von Rezipienten definiert werden. Dabei spielen normative
Rahmensetzungen, Akteure mit ihren professionellen Standards und Ansprüche und
Erwartungen der Rezipienten eine Rolle. (vgl. bspw. Arnold 2008)
Herausforderungen, Spannungsfelder und offene Fragen stellen sich rund um Widersprüche
bzw. Unverträglichkeiten von Qualitätsdimensionen, bei der Forderung nach Objektivität, bei
Fragen rund um Qualität von Unterhaltung oder von Online-Journalismus sowie im
Zusammenhang von Qualität und Transparenz.
Während es in der Journalismusforschung zahlreiche Modelle von Journalismus und eine
lebhafte Diskussion des Themas gibt, finden sich im Bereich der Auftragskommunikation
keinerlei differenzierten Modelle zur Qualität von Public Relations oder Werbung. Umgekehrt
gibt es hier ein großes Repertoire an (zum Teil sehr elaborierten) Evaluationsinstrumenten,
mit denen die Wirkungen von Auftragskommunikation gemessen werden können. Solche
Instrumente zur Messung der Qualität fehlen hingegen im Journalismus.
Unter Evaluation versteht man den „Prozeß der Beurteilung des Wertes eines Produktes,
Prozesses oder eines Programmes“ (Wottawa / Thierau, 1998: 13); sie besteht aus den 3
Elementen Analyse (Messung und Beobachtung, Monitoring und Kontrolle), Bewertung der
Ergebnisse sowie Steuerung, und Rückkopplung.
Evaluation ist ein typischer Fall von angewandter (Sozial-)Forschung, die den Kriterien der
Wissenschaftlichkeit und Nützlichkeit verpflichtet ist. So wird Evaluation zur Überprüfung von
Zielerreichung bzw. zum Monitoring der Maßnahmen eingesetzt; die Ergebnisse sollen der
(laufenden) Verbesserung der Kommunikationsaktivitäten dienen.
Evaluation ist also Planungs- und Entscheidungshilfe, bewertet Handlungsalternativen, ist
ziel- und zweckorientiert, hat zum Ziel, praktische Maßnahmen zu überprüfen, zu verbessern
oder über sie zu entscheiden, kann der Legitimation von Aufträgen oder Aktivitäten dienen,
soll dem aktuellen Stand von wissenschaftlichen Techniken und Forschungsmethoden
angepasst sein und wird häufig als die „letzte Phase“ in einem Prozess angesehen. Sie
umfasst dabei Kontrolle, Analyse und Bewertung des (vorangegangenen) praktischen
Handelns.
SPL 22 Publizistik- und Kommunikationswissenschaft – LV-Infos
Juli 2011
Besonders hervorzuheben ist die Mehrfachfunktion von Evaluation, nämlich:
• Legitimation,
• Rückkopplung,
• Qualitätssicherung.
Evaluation dient dem Versuch, die Kommunikationsarbeit zu legitimieren und die Kosten für
die Kommunikationsaktivitäten zu rechtfertigen. Dies erscheint als notwendig, da kein
Unternehmensbereich bei vergleichbarer Investitionshöhe eine so große Ungewissheit über
den Erfolg hat. Die Rückkopplung stellt ein zentrales Element für die Steuerung und
Optimierung der Kommunikationsarbeit dar: die Kombination einer Bewertung der
Handlungen und der Beurteilung über einen Erfolg ergeben eine Möglichkeit der Optimierung
der eigenen Handlungen in der Zukunft. „Die Kontrolle führt kein Eigenleben, sie ist die
rechte Hand der Strategie.“ (Schmidbauer / Knödler-Bunte, 2004: 223) Schließlich ist
Evaluation als Instrument der Qualitätssicherung und der Qualitätsüberprüfung zu
bezeichnen: Evaluation dient der Messung und Sicherung von Qualität.
In der Public Relations wurde die Notwendigkeit und Möglichkeit der Evaluation ausführlich
diskutiert, mittlerweile besteht aber Einigkeit darüber, dass Evaluation sowohl notwendig als
auch möglich ist. Am häufigsten werden Medienresonanzanalysen und Befragungen in der
Evaluation von PR eingesetzt. Untersucht werden zumeist die Wirkungsstufen der
Auftragskommunikation, dazu wurden gerade für die PR zahlreiche verschiedene Modelle
entwickelt (bspw. Cutlip / Center / Broom; DPRG).
Ein aktuelles Stichwort in der Diskussion rund um das Thema Evaluation in der PR ist
„Kommunikations-Controlling“. Kommunikations-Controlling „steuert und unterstützt den
arbeitsteiligen Prozess des Kommunikationsmanagements, indem Strategie-, Prozess-,
Ergebnis- und Finanztransparenz geschaffen sowie geeignete Methoden und Strukturen für
die Planung, Umsetzung und Kontrolle der Unternehmenskommunikation bereitgestellt
werden.“ (Zerfaß, 2005: 205)
Eine weitere aktuelle Diskussion dreht sich um die Frage, ob und wie PR zur Wertsteigerung
eines Unternehmens beitragen kann und wie dies gemessen und ausgewiesen werden kann.
In der Werbung ist Evaluation als „Werbewirkungsforschung“ bekannt, hier gibt es keinerlei
Diskussion über die Sinnhaftigkeit oder Notwendigkeit, es werden zahlreiche
Werbemitteltests zur Überprüfung eingesetzt. Besondere Schwierigkeiten ergeben sich aus
der Isolation der Wirkungen einzelner Werbeaktivitäten und der Zurechnung von Wirkungen
zu bestimmten Maßnahmen. Der Werbewirkungsmodelle liegen verschiedene Stufenmodelle
der Werbewirkung zugrunde, das bekannteste ist das AIDA-Modell (A – Attention, I –
Interest, D – Desire, A – Action). Berechtigte Kritik besteht an den Stufenmodellen, weil ein
hierarchischer und chronologischer Ablauf vorausgesetzt wird, die Abfolge der Veränderung
von Wissen, Meinungen, Verhalten ist aber nicht zwingend.
Literatur:
Zerfaß, Ansgar (2005): Rituale der Verifikation. Grundlagen und Grenzen des Kommunikations-Controllings. In:
Rademacher, Lars (Hg.) (2005): Distinktion und Deutungsmacht. Studien zu Theorie und Pragmatik der
Public Relations. Wiesbaden: Verlag für Sozialwissenschaften. S. 183 – 222.
SPL 22 Publizistik- und Kommunikationswissenschaft – LV-Infos
Juli 2011
Wottawa, Heinrich / Thierau, Heike (2003): Lehrbuch Evaluation. Bern, Göttingen, Toronto, Seattle: Verlag Hans
Huber. 3., korrigierte Auflage.
Arnold, Klaus: Qualität im Journalismus – ein integratives Konzept. In: Publizistik 4/2008. S. 488 – 508.
Heinrich, Jürgen: Qualitätswettbewerb und/oder Kostenwettbewerb auf dem Mediensektor? In: Rundfunk und
Fernsehen 2/1996. S. 165 – 184.
Rager, Günther: Dimensionen der Qualität. Weg aus den allseitig offenen Richter-Skalen. In: Bentele, Günter /
Hesse, Kurt R. (Hg.): Publizistik in der Gesellschaft. Konstanz 1994. S. 189 – 209.
Ruß-Mohl, Stephan: Am eigenen Schopfe ... Qualitätssicherung im Journalismus - Grundfragen, Ansätze,
Näherungsversuche. In: Publizistik 1/1992. S. 83 – 96.
Schatz, Heribert / Winfried Schulz: Qualität von Fernsehprogrammen. Kriterien und Methoden der Beurteilung von
Programmqualität im dualen Fernsehsystem. In: Media Perspektiven 11/1992. S. 690 – 712.
Schmidbauer, Klaus / Knödler-Bunte (2004): Das Kommunikationskonzept. Konzepte entwickeln und
präsentieren. Potsdam: university press.