Täuschung und Manipulation mit Zahlen Teil 2
Werbung
Täuschung und Manipulation mit Zahlen Teil 2 Kleines Statistikseminar zum kritischen Umgang mit Zahlen 4.5.2011 Dr. med. H.-J. Koubenec Mammasprechstunde im Immanuel Krankenhaus Berlin Folien: Mammographie-Screening.de unter der Überschrift „Fachwissen zum Thema“ Konflikterklärung Der Referent erklärt, dass er in den letzten 10 Jahren keine Pharmareferenten empfangen hat. Es wurden keine Sachgeschenke, Vortragshonorare oder sonstige geldwerte Vorteile von der Pharmaindustrie angenommen. Es wurden keine Auftrags-Studien durchgeführt. Es bestehen oder bestanden auch sonst keinerlei direkten oder indirekten (zum Beispiel Aktienbesitz) Verbindungen zur Pharmaindustrie. Koubenec 2011 Einflüsse auf das Verschreibungsverhalten Die Anwendung diagnostischer Verfahren und der Einsatz von Heilmitteln sollte auf guten und unabhängigen Informationen beruhen, der so genannten evidenzbasierten-Medizin. Der Goldstandard hierfür ist die randomisierte, kontrollierte Studie (RCT). Die Signifikanz von Ergebnissen, der p-Wert ist der Fetisch von Studien. Wer mit Zahlen umgehen kann, kann mit Zahlen informieren, aber auch spielen und täuschen. Die Industrie nutzt für ihre Werbung geschickt die EBM. Der folgende Teil soll mit Einflussmöglichkeiten auf Studien und deren Ergebnisse vertraut machen, die Irrtumswahrscheinlichkeit des p-Wertes erklären und auf die Unterschiede absoluter und relativer ProzentAngaben hinweisen. Koubenec 2011 Themen aus dem Rollenspiel Neues Medikament Signifikanz Probandenzahl Cholesterin-Senkung RRR versus ARR Nebenwirkungen NNT Effektstärke Lebensqualität Auftraggeber Ist die Studie publiziert worden? Koubenec 2011 Themen aus dem Rollenspiel Neues Medikament: Ungenügende Prüfung in Phase 4 Vertreter versteht nicht, wovon er statistisch redet: Signifikanz 0,5 ist nicht signifikant! Was bedeutet der p-Wert (Signifikanz-Niveau)? Der p-Wert ist die Wahrscheinlichkeit, dass die Studie zufällig ein positives Ergebnis zeigt, obwohl die untersuchten Behandlungen sich in Wirklichkeit nicht unterscheiden. Koubenec 2011 Ist der p-Wert = Irrtums-Wahrscheinlichkeit? Neues Medikament: Ungenügende Prüfung in Phase 4 Vertreter versteht nicht, wovon er statistisch redet: Signifikanz 0,5 ist nicht signifikant! Was bedeutet der p-Wert (Signifikanz-Niveau)? Der p-Wert ist die Wahrscheinlichkeit, dass die Studie zufällig ein positives Ergebnis zeigt, obwohl die untersuchten Behandlungen sich in Wirklichkeit nicht unterscheiden. Und was ist die Irrtums-Wahrscheinlichkeit? Koubenec 2011 Ist der p-Wert = Irrtums-Wahrscheinlichkeit? Der Anteil falscher Ergebnisse an allen Testergebnissen Die Signifikanz täuscht eine Sicherheit des Ergebnisses vor, die so nicht existiert. Für alle guten und sehr guten Studien, die auf dem 5-Prozent-Niveau signifikant sind und mit denen wir unser therapeutisches Tun begründen, gilt, dass die Wahrscheinlichkeit, dass es sich um ein Zufallsergebnis handelt, nicht bei fünf Prozent, sondern irgendwo zwischen zehn Prozent (sehr selten) und 40 Prozent (häufig) liegt. Deutsches Ärzteblatt Jg. 101 Heft 13 26. März 2004, A 837 Koubenec 2011 Themen aus dem Rollenspiel Neues Medikament: Ungenügende Prüfung in Phase 4 Vertreter versteht nicht, wovon er statistisch redet: Signifikanz 0,5 ist nicht signifikant! Zu hohe Probandenzahl: kleine Unterschiede werden signifikant! Surrogatsparameter: Parameter ohne klinische Relevanz z.B. Cholesterin-Senkung RRR versus ARR: bei ARR Zeitfaktor, Patientenzahl Koubenec 2011 Themen aus dem Rollenspiel NNT (number needed to treat) schwere Nebenwirkungen: zum Beispiel Impotenz Effektstärke Lebensqualität Auftraggeber: wer hat Studie organisiert, wer bezahlt? Ist die Studie publiziert worden? Koubenec 2011 Warum Studien mit neuen Medikamenten? Zulassungs-Studien: Hersteller beantragen Zulassung Voraussetzung: Wirksamkeit für eine Indikation (gegenüber Placebo) Keine Voraussetzung: Nutzen-Nachweis (besser als vorhandene Therapie) Koubenec 2011 Beeinflussung von Studienergebnissen A) Manipulation der Studie selbst B) Darstellung und Kommunikation der Ergebnisse C) Zwang zur Weiterverordnung D ) Bewertung des Nutzens Koubenec 2011 Beeinflussung von Studienergebnissen A) Manipulation der Studie selbst B) Darstellung und Kommunikation der Ergebnisse C) Verordnungsbias D ) Bewertung des Nutzens Koubenec 2011 Fälschung von Studien 24.03.2009 07:55 Uhr Wissenschaft: Skandal um Fälschungen Der Madoff der Medizin Er galt als Koryphäe der Schmerzmedizin. Doch jetzt hat sich herausgestellt, dass der bekannte US-Anästhesist Scott Reuben so redlich war wie der Finanzakrobat Bernie Madoff mit seinem Schneeballsystem: Der Wissenschaftler hat über 13 Jahre hinweg Studien schlicht erfunden. Von Hanno Charisius Der Amerikaner Scott Reuben galt als Koryphäe der Schmerzmedizin, 70 Fachartikel hat er publiziert. Noch vor kurzem hätten ihn viele Kollegen als einen der Einflussreichsten ihres Fachs genannt. Jetzt hat sich gezeigt, dass Reuben die Ergebnisse von mindestens 21 seiner Studien frei erfunden hat. Koubenec 2011 Verfälschung von Studienergebnissen Deutsches Ärzteblatt Jg. 107 (38), 24. September 2010, A 1804 Koubenec 2011 Verfälschung von Studienergebnissen Deutsches Ärzteblatt Jg. 107 (38), 24. September 2010, A 1804 Koubenec 2011 Koubenec 2010 Verfälschung von Studienergebnissen Deutsches Ärzteblatt Jg. 107 (16), 23. April 2010, A 279 Koubenec 2011 Verfälschung von Studienergebnissen Deutsches Ärzteblatt Jg. 107 (16), 23. April 2010, A 279 Koubenec 2011 Manipulation von Studien durch Design z.B. Unterdosierung der Kontrollgruppe Zu viele Probanden machen auch kleine Unterschiede signifikant! Testung versus Placebo, obwohl Vergleichsmedikamente verfügbar sind Testung von Surrogatsparameter, obwohl klinischer Endpunkt möglich Unterdosierung bei Testung auf Nebenwirkungen „Seeding Trials“ als Marketinginstrument Koubenec 2011 „Seeding Trials“ Marketingstudien Testung nicht in Studienzentren sondern bei 600 niedergelassenen Ärzten als lokale Meinungsbildner Folie ohne überlagernde Textfelder Entwurf der Studie durch Marketingabteilung der Firma Merck Veröffentlichung: Annals of Internal Medicine. (2003; 139: 539-46). Ethikkommission und Teilnehmer wurden nicht über das Ziel der Studie informiert Betrogen wurden: Patienten, Ärzte, die Zeitschrift, und Mitbewerber, und Patienten gefährdet Koubenec 2011 „Seeding Trials“ Marketingstudien Testung nicht in Studienzentren sondern bei 600 niedergelassenen Ärzten als lokale Meinungsbildner Entwurf der Studie durch Marketingabteilung der Firma Merck Veröffentlichung: Annals of Internal Medicine. (2003; 139: 539-46). Ethikkommission und Teilnehmer wurden nicht über das Ziel der Studie informiert Betrogen wurden: Patienten, Ärzte, die Zeitschrift, und Mitbewerber, und Patienten gefährdet Koubenec 2011 „Seeding Trials“ Marketingstudien Testung nicht in Studienzentren sondern bei 600 niedergelassenen Ärzten als lokale Meinungsbildner Entwurf durch Marketingabteilung Merckder hatStudie in einer eigenen Studie bestätigt, dass derdiese Firma Merckdas Verschreibungsverhalten der Studie teilnehmenden Annals Ärzte maßgeblich beeinflusst hat Veröffentlichung: of Internal Medicine. (2003; 139: 539-46). Ethikkommission und Teilnehmer wurden Vioxx wurde wegen schwerer Nebenwirkungen nicht über das Ziel der Studie informiert inzwischen vom Markt genommen. Merck hat Millionen an Schadensersatz geleistet Betrogen wurden: Patienten, Ärzte, die Zeitschrift, und Mitbewerber, und Patienten gefährdet Koubenec 2011 Manipulation von Studien durch Rekrutierung Unsaubere Randomisierung SSRI nur schwere Depressionen Koubenec 2011 Manipulation von Studien durch mehrfache Endpunkte Gezielte Auswahl der Endpunkte Veränderung der Haupt-Nebenendpunkte Verwendung unwichtiger Endpunkte Weglassen ungünstiger Endpunkte Intransparente spätere Änderung Endpunkte post hoc-Analyse: z.B. Subgruppen Multiple Testing: viele Signifikanzen Koubenec 2011 Manipulation von Studien durch Surrogatparameter als Endpunkte Was ist ein Surrogatparameter? Ersatzparameter, ohne klinische Relevanz. z.B. Laborwert, Röntgen-Diagnose, EKG, Histologie, Temperatur (Fieber) Voraussetzung für die Verwendung von Surrogatparametern: statistisch signifikanter, kausaler Zusammenhang mit medizinischem Phänomen (Krankheit, Symptome). Koubenec 2011 Manipulation von Studien durch Bias-Probleme Was ist ein Bias? Verzerrung durch zufälliges Zusammentreffen von Parametern, ohne kausale Beziehung zueinander Die Brustkrebs-Mortalität von Raucherinnen ist geringer als die von Nichtraucherinnen Die Hormoneinnahme nach den Wechseljahren erhöht die Brustkrebs-Sterblichkeit Die Hormoneinnahme nach den Wechseljahren verlängert das Leben Koubenec 2011 Manipulation von Studien durch Studiendauer Koubenec 2011 Kaplan-Meier-Kurve Bsp. Cholesterinsenker Kurven kreuzen sich „die Behandlung war erfolgreich doch unglücklicherweise starb der Patient“ TheLancet im Nov. 1978 über Clofibrat Koubenec 2011 Beeinflussung von Studienergebnissen A) Manipulation der Studie selbst B) Darstellung und Kommunikation der Ergebnisse C) Verordnungsbias D ) Bewertung des Nutzens Koubenec 2010 Effektstärke Die Effektstärke wird meist als Nutzen bzgl. Überleben angegeben. Medikament Anwendung Entdeckung Kosten in € (Patient/Jahr) bzw. Behandlung Nutzen (Überleben) Insulin Typ 1 Diabetes 1920 500 Jahrzehnte Lipidsenker Kardiologie 1990 5000 Jahre Erbitux R Darmkrebs 2000 50.000 1,2 Monate Avastin R Lungenkrebs 2000 70.000 2 Monate Herceptin R Brustkrebs 2000 42.000 5 Monate Enzymtherapie Stoffwechsel 2010 500.000 ??? Koubenec 2011 Die Relative Risikoreduktion (RRR, engl.: relative risk reduction) beschreibt, um wieviel Prozent das Risiko durch eine Intervention verringert wird. Eine Änderung der Mortalität von 2% auf 1,6% ist eine Änderung des Relativen Risikos um 20% (in diesem Falle Reduktion), d.h. Senkung der Sterblichkeit um 20%. Eine Verdoppelung eines Ereignisses ist eine Erhöhung um 100%. Koubenec 2011 Die Relative Risikoreduktion (RRR, engl.: relative risk reduction) Damit kann ich nichts anfangen Relativ-20% Was bedeutet das in der Praxis? Koubenec 2011 Die Relative Risikoreduktion bzw. die Relative Risikoerhöhung Koubenec 2011 Die Relative Risikoreduktion bzw. die Relative Risikoerhöhung 1995 hatte das englische Komitee für Sicherheit in der Medizin eine Warnung veröffentlicht, dass Pillen der dritten Generation das Risiko für lebensbedrohliche Thrombosen in den Beinen oder der Lunge verdoppeln - das sind 100 %. …Die Nachricht verursachte große Angst und Schrecken, so dass die Frauen die Pille nicht mehr einnahmen, was zu unerwünschten Schwangerschaften und Abbrüchen führte. (Fureli 1999) Qu: Gigerenzer 2008 Koubenec 2011 Die Relative Risikoreduktion bzw. die Relative Risikoerhöhung Was sind diese 100 %? Die Studien…hatten gezeigt, dass von 7000 Frauen, die die frühere Pille einnahmen eine eine Thrombose hatte, diese Anzahl hat sich verdoppelt bei den Frauen die die neue Pille nahmen. Die absolute Risikoerhöhung war nur eine von 7000, während der relativen Anstieg 100 % betrug. Die Pillen-Narbe führte zu geschätzten 13.000 zusätzlichen Abbrüchen! Vorher war die Anzahl seit 1990 stetig gefallen. Für jeden Abbruch wurde eine zusätzliche Schwangerschaft ausgetragen, vorwiegend bei Teenagern unter 16 Jahren. Die resultierenden Kosten für die Abbrüche wurden damals auf circa 6.000.000 € geschätzt. Ironischerweise führten die Schwangerschaften und die Abbrüche zu einem erhöhten Risiko von Thrombosen, was wesentlich größer war als das der Pille der dritten Generation. Koubenec 2010 Die Relative Risikoreduktion (RRR, engl.: relative risk reduction) Was uns fehlt ist die praktische Bedeutung einschätzen zu können, analog zur Effektstärke: z.B. ARR, NNT/NNS Kommunikation in natürlichen Häufigkeiten Koubenec 2011 Die Absolute Risikoreduktion (ARR, en: absolute risk reduction) bezeichnet das absolute Ändern eines Ereignisses durch eine Intervention bzw. Behandlung oder auch durch ein Verhalten bezogen auf alle Untersuchten. Eine Änderung der Mortalität von 2 % auf 1,6 % ist eine Änderung des Absoluten Risikos um 0,4 % (in diesem Falle ARR) Die ARR muss in Beziehung gesetzt werden zur Anzahl der untersuchten bzw. behandelten (Kranken) und zur Zeit (Therapie-/Untersuchugsdauer) Beispiel pill-scare: Erhöhung des absoluten Risikos von 1 auf 2 Thrombosen pro 7000 Frauen pro Jahr. Koubenec 2011 Senkung der Sterblichkeit an Brustkrebs durch Mammographie-Screening 1000 ohne Screening 4 mit Screening In 10 Jahren sterben 3 Senkung der Sterblichkeit 1 Pro ? Koubenec 2011 Senkung der Sterblichkeit an Brustkrebs durch Mammographie-Screening Absolute Risikoreduktion Absolut-% 0,1% Relative Risikoreduktion Relativ-% 25% Senkung der Sterblichkeit 1000 3 4 1 Pro ? Koubenec 2011 Die Art der Darstellung von Zahlen bestimmt deren Wirkung auf uns Soll der Nutzen herausgestellt werden, benutzt man die Relative Risikoreduktion Relativ-% 25% Soll ein Wert als klein herausgestellt werden, benutzt man die Absolute Risikoreduktion Absolut-% 0,1% Welche Darstellung ist für die Entscheidung des Patienten die relevante? Koubenec 2011 Die Art der Darstellung von Zahlen bestimmt deren Wirkung auf uns Lässt uns den Nutzen überschätzen Relative Risikoreduktion Relativ-% 25% Gibt’s den Nutzen realistisch an Absolute Risikoreduktion Absolut-% 0,1% Die Absolute Risikoreduktion muss ergänzt werden durch die Zeit der Intervention, z.B. pro Jahr. Koubenec 2011 NNT NNS (number needed to treat/screen) NNH (number needet to harm) Die NNT ist Anzahl der notwendigen Behandlungen Sie gibt an, wie viele Patienten pro Zeiteinheit (z. B. 1 Jahr) mit der Testsubstanz oder Testmethode behandelt werden müssen, um das gewünschte Therapieziel bei einem Patienten zu erreichen bzw. um ein Ereignis (z. B. Herzinfarkt) zu verhindern. NNH (Pillen-Beispiel): 7000, d.h. es müssen 7000 Frauen ein Jahr lang behandelt werden, damit eine Thrombose auftritt. Koubenec 2011 RRR vs. ARR/NNT: wie wird publiziert? In circa der Hälfte der Studien wird nur die RRR publiziert. In der anderen der Hälfte wird entweder die ARR oder die NNT publiziert. Koubenec 2011 Zusammenfassung was ist eine gute Studie Wurden die Kriterien der Randomisierung, Verblindung und eines vorab definierten Designs erfüllt? Gab es eine Vergleichsgruppe und wie kam diese zustande? Wurde der Erfolg einer Therapie oder eines Diagnoseverfahrens anhand vorher definierter Kriterien bewertet? Koubenec 2011 Zusammenfassung was ist eine gute Studie Wie viele Teilnehmer/innen haben die Studie abgebrochen und wie wurden diese bei der Datenanalyse berücksichtigt? Ist klar beschrieben, für welche Patient/innen die Studienergebnisse überhaupt gültig sind? Wurde die Studie vor der Durchführung von einer unabhängigen Ethikkommission begutachtet? Koubenec 2011 Beeinflussung von Studienergebnissen A) Manipulation der Studie selbst B) Darstellung und Kommunikation der Ergebnisse C) Zwang zur Weiterverordnung D ) Bewertung des Nutzens Koubenec 2010 Beeinflussung von Studienergebnissen Weiterverordnung-Bias In Arztbriefen aus Kliniken (Entlassungsbriefen) werden oft unter „letzte Medikation“ Handelsnamen von Medikamenten aufgeführt, die Ihr Patient zuletzt bekommen hat oder sogar auf die er eingestellt wurde. Diese Medikation wird vom behandelnden Arzt in aller Regel übernommen, insbesondere wenn es sich um „Einstellungen“ handelt. Faktisch haben sie keine Wahl. Sind die Medikamenten-Entscheidungen in der Klinik immer nur Evidenz basiert? Koubenec 2011 Beeinflussung von Studienergebnissen Weiterverordnung-Bias Wie groß sind die Einflüsse der Pharmaindustrie auf Stationsärzte Ober-und Chefärzte? Jede Klinik hat eine Arzneimittel-Kommission, die über die Listung der Medikamente in der Klinik-internen ArzneimittelListe entscheidet. Aber wirklich über alle? Welche Rolle spielt der Chef-Apotheker? Hier endet meine schriftliche Einlassung! Koubenec 2011 Beeinflussung von Studienergebnissen A) Manipulation der Studie selbst B) Darstellung und Kommunikation der Ergebnisse C) Zwang zur Weiterverordnung D ) Bewertung des Nutzens Koubenec 2011 Beeinflussung von Studienergebnissen Bewertung des Nutzens Was ist Fortschritt im Bezug auf ein neues Medikament? Nutzen-Risikoanalyse: kann die Impotenz von 50% der Anwender in Kauf genommen werden, damit einer länger lebt? Kosten-Nutzen-Analyse: z.B. was sind 2 Monate am Lebensende wert? Wie und wo kann man begrenzte Resourcen am „effenktivsten“ einsetzen? Koubenec 2011 Zusammenfassung und Tipps Zahlen sind wichtig in der Medizin, mit ihnen kann man informieren, spielen aber auch täuschen. Die EBM wird oft missbraucht. Betrachten Sie Studienergebnisse mit der nötigen Skepsis. Studien werden oft manipuliert: z.B. durch Design, Rekrutierung, mehrfache, intransparente Endpunkte, Surrogatparameter und Bias. Studien, die von Anbietern finanziert werden kommen signifikant häufiger zu verzerrten Ergebnissen. Koubenec 2011 Zusammenfassung und Tipps Meiden sie „Informationen“ von Anbietern, mehr als 50 % zitierter Studienergebnisse sind falsch. Achten Sie bei Studienergebnissen auf die Angabe von ARR/NNT und die Effektstärke. Lassen sie sich nicht täuschen durch Angabe von RRR. Es gibt zahlreiche unabhängige Informationsquellen über rationale Arzneimittel-Therapie, nutzen Sie diese! Koubenec 2011 Unabhängige Informationsquellen Koubenec 2011 Arzneimittelkommission der deutschen Ärzteschaft Wissenschaftlicher Fachausschuss der Bundesärztekammer Je Circa 49 € Koubenec 2011 Arzneimittelkommission der deutschen Ärzteschaft Wissenschaftlicher Fachausschuss der Bundesärztekammer Alle Ausgaben sind kostenlos im.pdf-Format herunterladbar: Arzneimittelkommission d. d. Ä. www.akdae.de/Arzneimitteltherapie/ Koubenec 2011 Zusammenfassung und Tipps Beschäftigen Sie sich weiterhin mit statistischem Basiswissen. Das wird ihnen helfen, in Diagnostik und Therapie evidenzbasiert zu (be-)handeln. Achten Sie auf ausführliche Angabe von Interessenkonflikten von Autoren. Koubenec 2011 Zusammenfassung und Tipps Auch im privaten Handeln - siehe Autonutzung nach dem 11.September kann die Kenntnis statistischer Zusammenhänge hilfreich sein. Im Extremfall lebensrettend. Koubenec 2011 Ich bedanke mich für Ihre Aufmerksamkeit! Koubenec 2011
