F. Conraths
Werbung
Validierung molekulardiagnostischer Methoden für das akkreditierte Labor Franz J. Conraths FriedrichFriedrich-LoefflerLoeffler-Institut Bundesforschungsinstitut fü für Tiergesundheit Institut fü für Epidemiologie Wusterhausen Riemser Diagnostiktage 2005 Warum Tests validieren? Validity Systematic error (Bias) Reliability (ideal) chance (reality) Thrusfield, M., Veterinary Epidemiology, 1995 1 Laboratory Accreditation ISO 17025 Quality Manual Procedures Control of nonnon-conforming work Corrective actions Preventive actions Estimation of uncertainty Quality records Tests and specifications ISO/IEC International Standard 17025 (1999). General Requirements for the Competence of Testing and Calibration Laboratories. International Organisation for Standardisation (ISO), ISO Central Secretariat, 1 rue de Varembé, Case Postale 56, CH - 1211, Geneva 20, Switzerland. Stadien der Testvalidierung 1. Machbarkeitsstudien 2. Testentwicklung und Standardisierung Optimieren von Reagenzien, Gerä Geräten und Protokollen Wiederholbarkeit – vorlä vorläufige Schä Schätzungen Bestimmen kritischer Kontrollparameter Analytische Sensitivitä Sensitivität und Spezifitä Spezifität Messbereich 3. Bestimmen der Leistungsfä Leistungsfähigkeit Diagnostische Sensitivitä Sensitivität und Spezifitä Spezifität Wiederholbarkeit und Reproduzierbarkeit 4. Monitoring der Validitä Validität der Leistungsfä Leistungsfähigkeit 5. Überwachung und Bestä Bestätigung der Validierungskriterien http://www.oie.int/eng/normes/mmanual/A_00014.htm 2 Optimieren von Reagenzien und Geräten Optimieren von Reagenzien Auswahl der Reagenzien Qualitä Qualitätsstandards: Produktzertifizierung z.B. ISO 9000 andere Zertifikate Qualitä Qualitätsgesicherte Produktion Kontrollproben: 4-5 aus verschiedenen Regionen des geplanten Messbereichs, Negativkontrolle; Negativkontrolle; evtl. nationale oder internationale Standards einbeziehen Wahrer Status sollte bekannt sein; gut definiert Möglichst keine Pools Aliquotierung Optimieren SchachbrettSchachbrett-Titration konzentrationsabhä konzentrationsabhängiger Reagenzien Bestimmung der fü für den Untersuchungszweck gü günstigsten Parameter (Konzentrationen, pH, pH, Temperatur …) Alle Optimierungsversuche unter identischen Bedingungen durchfü durchführen, stets nur einen Parameter ändern Ergebnisse auch verwertbar zur Bestimmung kritischer Kontrollparameter Kontrollparameter 3 Vergleichbarkeit quantitativer Daten In einem Testdurchgang: Bezü Bezüge zu Ergebnissen der Kontrollproben herstellen: Standardkurve S/PS/P-Ratio Index … Zwischen Testdurchgä Testdurchgängen Toleranzen der Messwerte fü für Kontrollen festlegen und Messwerte der Kontrollen zwischen Testdurchgä Testdurchgängen vergleichen Optimieren von Geräten Auswahl der Gerä Geräte Qualitä Qualitätsstandards: Produktzertifizierung z.B. ISO 9000 andere Zertifikate Qualitä Qualitätsgesicherte Produktion Kalibrierung Ermittlung der Abweichung der Anzeige eines Messgerä Messgeräts vom wahren Wert der Messgröß e: Rückfü Messgröße: ckführung auf nationales Normal Dem Gerä rmal)) Gerät Objekt mit bekannten Maß Maßen vorlegen (No (Normal Abweichung der Anzeige vom bekannten Maß Maß bestimmen Ergebnis und die zugehö zugehörige Messunsicherheit dokumentieren Optimieren variabler Parameter Zeit Temperatur pH Ergebnisse auch verwertbar zur Bestimmung kritischer Kontrollparameter 4 Optimieren von Protokollen Definition des Prüfvorgangs Wo beginnt die Analyse? Probennahme Eingesendete Probe Vorbereitungsschritte zu Analyse erforderlich Beispiele: DNADNA-Extraktion aus Gewebeprobe, Zentrifugieren von Blutproben zur Serumgewinnung Vorbereitungsschritte nicht erforderlich Serumprobe Auswahl geeigneter Kontrollen zur Überwachung des gesamten Analysevorgangs Kontrolle der Vorbereitungsschritte (Prozesskontrolle) Kontrolle der Analyse im engeren Sinn 5 Beispiel: Diagnostische PCR Vermeidung falsch-positiver PCR-Ergebnisse LaborLabor-bezogene Probleme Das Protokoll beginnt mit der Probenaufbereitung!!! Prü Prüfung der Probenqualitä Probenqualität vor und wä während der Probenaufbereitung. Kreuzkontaminationen verhindern! ‚Carry over‘ over‘ (Verschleppen von Probenmaterial) verhindern! Beispiel: Diagnostische PCR Vermeidung falsch-positiver PCR-Ergebnisse LaborLabor-bezogene Probleme Lösungsmö sungsmöglichkeiten: glichkeiten: separate Rä Räume, separate Pipetten, spezielle Pipettenspitzen, separate Laborkleidung etc. Mitfü Mitführen von Prozesskontrollen Dekontamination (UV, Chlorbleiche) TubeTube-Öffner verwenden singlesingle-tube tests (?) Vermeiden von nestednested-PCRs UracilUracil-DNA Glycosylase katalysyiert das Entfernen von Uracil aus ss- und dsds-DNA, DNA, die in Gegenwart von dUTP2 synthetisiert wurde. 6 Beispiel: Diagnostische PCR TestTest-bezogene Probleme Unzureichende Optimierung Unzureichende Leistungsfä Leistungsfähigkeit des Tests Lösung: Beispiel: Steigern der Spezifitä Spezifität durch Hybridisierung oder Sequenzierung, , RFLP, … Sequenzierung Beispiel: Diagnostische PCR Vermeidung falsch-negativer PCR-Ergebnisse Inhibition, Sensitivitä Sensitivitätsverlust Das Protokoll beginnt mit der Probenaufbereitung!!! Pipettierfehler Lösung: Mitfü Mitführen von Prozesskontrollen FremdFremd-Nukleinsä Nukleinsäuren als Kontrolle zusetzen DNA mimics Armored RNA DNA als Kontrolle nutzen, die natü natürlich in allen Proben vorkommt Für realtime und MultiplexPCR real Multiplex HousekeepingHousekeeping-Gene WirtsWirts-DNA, DNA, z.B. ß-Actin, Actin, GAPDH, ribosomale RNA 7 Kontrollen für diagnostische PCR Hoorfar et al. 2004. APMIS 112: 808–14 Wiederholbarkeit prüfen Repeatability: Repeatability: „agreement between replicates within and between runs of the assay“ assay“ http://www.oie.int/eng/normes/mmanual/A_00014.htm 4-5 Ansä Ansätze jeder Probe in mindestens 5 Ansä Ansätzen an 5 verschiedenen Terminen prü prüfen. Variationskoeffizient (CV) bestimmen: Standardabweichung der Replicas / arithmetisches Mittel der Replicas Ziel: CV unter 20% in diesem Stadium der Testvalidierung Fertig validierte Tests: CV sollte < 10% sein !!! 8 Analytische Sensitivität und Spezifität Analytische Sensitivität Smallest detectable amount of the analyte in question http://www.oie.int/eng/normes/mmanual/A_00014.htm Bestimmung: Endpunktverdü Endpunktverdünnung Bestimmung der Verdü Verdünnung, in welcher der Analyt gerade noch oder gerade nicht mehr nachweisbar ist. Antikö Antikörperbestimmungen Geringste Menge des Analyten, Analyten, die nachgewiesen werden kann. Erregernachweise, PCR 9 Analytical specificity degree to which the assay does not crosscross-react with other analytes http://www.oie.int/eng/normes/mmanual/A_00014.htm Bestimmung: Untersuchung von Proben von Individuen, die mit verwandten Krankheitserregern infiziert sind oder waren Untersuchung ausgewä ausgewählter, mehr oder weniger verwandter Organismen (z.B. verschiedene Protozoen bei einer PCR fü für T. gondii) gondii) Die Bestimmung der analytischen Sensitivität und Spezifität stellt für sich allein keine ausreichende Validierung dar!!! 10 Messbereich festlegen Basis Ergebnisse der Optimierung Werte der Kontrollen Ggf. Eichkurve Diagnostische Sensitivität und Spezifität 11 Übereinstimmung zwischen Tests KappaKappa-Statistik Agreement beyond chance ohne Goldstandard κ liegt zwischen -1 und 1 0: chance 0-0.2: slight 0.210.21-0.4: fair 0.410.41-0.6: moderate 0.610.61-0.8: substantial >0.81: almost perfect 1: complete agreement http://www.clive.ed.ac.uk/winepiscope/ 2 Methoden vergleichen: - 2 PCRs - PCR mit Direktnachweis Diagnostische Se und Sp Goldstandard benö benötigt Ca. 300 pos. und 1000 neg. neg. Proben anhand Goldstandard zuordnen („Disease“ Disease“) Mit neuer Methode testen Ergebnisse in 2x22x2-Tafel eingeben D-Se, D-Sp, Sp, positiven und negativen Vorhersagewert berechnen http://www.clive.ed.ac.uk/winepiscope/ 12 Diagnostische Se und Sp Disease (Goldstandard) ja nein Summen positiv A B A+B negativ C D C+D B+D N Test Summen A+C Diagnostische Se Diagnostische Sp (%) =100*A/(A+C) (%) =100*D/(D+B) Wahre Prävalenz (%) =100*(A+C)/N scheinbare Prevalence (%) = 100*(A+B)/N A: wahr positiv B: falsch positiv C: falsch negativ D: wahr negativ N: Summe Positiver Vorhersagewert (%) = 100*A/(A+B) Negativer Vorhersagewert (%) = 100*D/(C+D) Likelihood Ratio (LR+) = (A/A+C)/(B/B+D) Likelihood Ratio (LR-) = (C/A+C)/(D/B+D) Einflüsse auf D-Se und D-Sp D-Se Infektionsstadium D-Sp Geografische Lokalisation Dauer der Infektion verschiedene cocoendemische Krankheiten Intensitä Intensität der Infektion Impfung Wirtsfaktoren Nutzung gesunder/nicht infizierter Kontrollen oder Nutzung von Tieren mit einer Krankheit, die ein ähnliches klinisches Bild hervorruft 13 Probleme mit Goldstandards Wenn der alternative Test sensitiver als der Goldstandard ist, erscheint dies als verminderte D-Spezifitä Spezifität. Wenn der alternative Test spezifischer als der Goldstandard ist, erscheint dies als verminderte DD-Sensitivitä Sensitivität. Goldstandard positiv negativ Summen positiv A B A+B negativ C D C+D Summen A+C B+D N alternativer Test Sensitivität (%)=100*A/(A+C) Spezifität (%)=100*D/(D+B) Leistungsfähigkeit und Prävalenz % 100 80 Test: Se: 98% Sp: 95 % 60 TP = 20% +PV= 83,05% TP = 1 % +PV= 16,51% 40 20 apparent prevalence pos. predictive value neg. predictive value 0 0 10 20 30 40 50 60 70 80 90 100 True prevalence [%] 14 Leistungsfähigkeit und Prävalenz % 100 80 Test: Se: 98% Sp: 95 % 60 TP = 20% +PV= 83,05% TP = 1 % +PV= 16,51% 40 20 apparent prevalence pos. predictive value neg. predictive value 0 0 10 20 30 40 50 60 70 80 90 100 True prevalence [%] ‚Goldstandard-freie‘ Validierung Bayesianische Ansä Ansätze Orr KA, O‘Reilly KL, Scholl DT. 2003. Estimation of sensitivity and specificity of two diagnostics tests for bovine immunodeficiency virus using Bayesian techniques. techniques. Prev Vet Med. 61, 7979-89. Smith T & Vounatsou P. 2003. Estimation of infection and recovery rates for highly polymorphic parasites when detectability is imperfect, using hidden Markov models. Stat Med 22, 17091709-24. Frö Frössling J, Bonnett B, Lindberg A & Bjö Björkman C. 2003. Validation of a Neospora caninum iscom ELISA without a gold standard. standard. Prev Vet Med 57, 141141-53. Latent classclass-Analyse Hui, S.L., Walter, S.D. 1980. Estimating the error rates of diagnostic tests. Biometrics 36, 167–171. Enøe, C., Georgiadis, M.P. and Johnson, W.O. 2000. Estimation of sensitivity and specificity of diagnostic tests and disease prevalence when the true disease state is unknown. Prev. Vet. Med. 45, 61–81. 15 ROC Analyse ReceiverReceiver-Operator Charakteristik Se gegen 11- Sp auftragen Nützlich fü für quantitative Tests: Quantitative PCR Tests, die eine kontinuierliche Größ en Größen (Messergebnisse) liefern, die dichotomisiert (pos./neg .) werden mü (pos./neg.) müssen. Ergebnis der ROCROC-Analyse Die Flä Fläche unter der Kurve ist ein Maß Maß für das Diskriminierungsvermö Diskriminierungsvermögen des Tests Nutzung zur CutCut-offoff-Bestimmung ROC-Kurve - - keine Diskriminierung ◊ Test-Ergebnisse http://www.chemsilico.com/CS_prGT/GT_graphics/ROC-curve.gif 16 Explorative plotting Scatter plot Data of test A plotted versus data of test B as pairs for any tested sample - Agreement Difference-Mean plot Differences of any sample pairs examined in tests A and B plotted vs. means of these data pairs (Bland & Altman, 1986) - Agreement, repeatability Externe Validierung Eignungsprüfungen Ringversuche Multi-centred studies 17 Continuous monitoring Combined Shewhart-CUSUM Control Chart Überwachung der mit Referenzmaterial erzielten Ergebnisse (Kontrollen) Cumulative sums Warnregeln Ablehnungsregeln Westgard et al., 1977, Clin. Chem. 23/10, 1881-87 Schlussfolgerungen Testzulassung gemäß gemäß TierimpfstoffTierimpfstoff-VO und Validierung für die Testanwendung im Labor sind verschieden. Die fü für die Zulassung von Tests gemäß gemäß TierimpfstoffTierimpfstoff-VO erforderlichen Daten kö können nur einen Teil der Testvalidierung beinhalten, die im akkreditierten Labor erforderlich ist. Unter den Bedingungen der Akkreditierung dü dürfen nur validierte Tests eingesetzt werden. Die Validitä Validität muss in jedem Labor nachgewiesen werden. Die Validierung muss zeigen, dass der Test „fit for purpose“ purpose“ ist. Die Einzelheiten, wie die Validierung zu erfolgen hat, legt die Prü Prüfleitung fest. 18
