Untersuchung likelihood-basierter Teststatistiken zur Bestimmung

Arbeit zur Erlangung des akademischen Grades
Bachelor of Science
Untersuchung likelihood-basierter
Teststatistiken zur Bestimmung von
oberen Ausschlussgrenzen
Lukas Calefice
Juni 2017
Lehrstuhl für Experimentelle Physik V
Fakultät Physik
Technische Universität Dortmund
Erstgutachter:
Zweitgutachter:
Abgabedatum:
Dr. Johannes Albrecht
Prof. Dr. Kevin Kröninger
29. Juni 2017
Kurzfassung
Diese Bachelorarbeit untersucht die Konstruktion von Konfidenzintervallen oder
oberen Ausschlussgrenzen mit likelihood-basierten Teststatistiken, die gegenüber
einigen etablierten Methoden den Vorteil haben negative obere Ausschlussgrenzen
zu vermeiden und diese effizient zu berechnen. Dazu werden die Verteilungen der
Ausschlussgrenzen und die Coverage der Teststatistiken untersucht. Es wird dabei
ein physikalisches Modell zur Anwendung dieser Methoden auf Verzweigungsverhältnisse seltener Zerfälle anhand der Suche nach dem Zerfall 𝐵𝑠0 → 𝜇− 𝜇+ 𝜇− 𝜇+
entwickelt. Die Ergebnisse dieser Arbeit zeigen, dass die Methoden für einen großen
Bereich an möglichen Untergrundereignissen, Coverage oder Overcoverage haben
und konservativ betrachtet zuverlässig Ausschlussgrenzen setzen, jedoch für kleine
Untergründe bei kleinen Signalstärken Undercoverage haben.
Abstract
This bachelor thesis investigates the construction of confidence intervals or upper
limits with likelihood based test statistics, which in comparison with established
methods, have the advantage of excluding negative upper limits and calculating
them efficiently. Therefore the upper limits distributions and the coverage of the
test statistics are examined. Furthermore a physical model for the application of
these methods on branching ratios of rare decays based on the search for the decay
𝐵𝑠0 → 𝜇− 𝜇+ 𝜇− 𝜇+ is developed. The results of the thesis show that for a great range
of possible background events the methods have coverage or overcoverage. From
a conservative point of view that means that the test statistics reliably determine
upper limits for those cases. However, for less background and low signal yield they
undercover.
iii
Inhaltsverzeichnis
1 Einleitung
1
2 Experimenteller Hintergrund
2.1 Das Standardmodell der Elementarteilchenphysik . . . . . . . . . . .
2.2 Seltene Zerfälle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.3 Das LHCb-Experiment am Large Hadron Collider . . . . . . . . . .
2
2
3
4
3 Statistische Grundlagen
3.1 Konfidenzintervalle und obere Ausschlussgrenzen .
3.2 Berechnung von Konfidenzintervallen mit p-Werten
3.3 Likelihood-Funktion . . . . . . . . . . . . . . . . .
3.4 Coverage . . . . . . . . . . . . . . . . . . . . . . . .
5
5
6
7
7
.
.
.
.
.
.
.
.
4 Einführung in die untersuchten Teststatistiken
4.1 Methoden zur Konstruktion von Konfidenzintervallen
Ausschlussgrenzen . . . . . . . . . . . . . . . . . . . .
4.2 Untersuchte Teststatistiken . . . . . . . . . . . . . . .
4.3 Wald-Approximation / Wilks-Theorem . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
und
. . .
. . .
. . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
oberen
. . . . .
. . . . .
. . . . .
8
8
9
10
5 Untersuchung der Teststatistiken
5.1 Ausschlussgrenze für die Anzahl an Signalkandidaten bei festem
Untergrund . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.2 Ausschlussgrenze auf ein Verzweigungsverhältnis bei festem Untergrund
5.3 Einführung einer Unsicherheit auf die Normierungskonstante . . . .
5.4 Unsicherheit auf den erwarteten Untergrund im Signalfenster . . . .
13
6 Zusammenfassung und Ausblick
25
Literatur
26
iv
13
18
19
22
1 Einleitung
In der Elementarteilchenphysik lassen sich einige Phänomene am Standardmodell
der Elementarteilchenphysik [11, 16, 19] erklären. Ein großer Teil der Forschung in
der Teilchenphysik ist jedoch auf neue Physik, die über die Grenzen des Standardmodells hinausgeht, ausgerichtet, denn dieses lässt Fragen zur Materie-AntimaterieAsymmetrie und zur Dunklen Materie bzw. Dunklen Energie offen und kann weder
die Gravitation noch die Massen der Teilchen erklären. Daher wird nach Schwächen
des Standardmodells gesucht, um Ansätze für neue Modelle zu bekommen, die diese
Fragen klären.
Besonders geeignet zur Suche nach möglicher neuer Physik sind Suchen nach seltenen Zerfällen. Immer wenn im untersuchten Signalbereich keine Signale gemessen
werden können, werden seltene Zerfälle untersucht, indem obere Ausschlussgrenzen
für die Verzweigungsverhältnisse der Zerfälle bestimmt werden. Das Bestimmen
dieser Ausschlussgrenzen erfordert zuverlässige statistische Methoden, die zu einer
definierten Sicherheit jene Grenzen setzen. Es gibt bereits einige Methoden, die zur
Bestimmung von Ausschlussgrenzen gut geeignet sind, jedoch auch einige Nachteile
mit sich bringen.
Ziel dieser Arbeit ist es, alternative likelihood-basierte Methoden [7] im Vergleich zum
Profile-Likelihood-Ratio zu untersuchen und ihre Anwendbarkeit auf Verzweigungsverhältnisse zu überprüfen. Die Methoden sollen in das Framework GammaCombo [2]
eigebaut werden, das einige Methoden zur Bestimmung von Ausschlussgrenzen enthält und mit den in dieser Arbeit untersuchten Methoden erweitert werden soll. Das
in dieser Arbeit verwendete Anwendungsbeispiel zur Bestimmung der oberen Ausschlussgrenzen wird anhand der Suche nach dem seltenen Zerfall 𝐵𝑠0 → 𝜇− 𝜇+ 𝜇− 𝜇+
[1, 5] validiert, um möglichst realistische Tests durchzuführen.
1
2 Experimenteller Hintergrund
In diesem Kapitel werden kurz das Standardmodell der Elementarteilchenphysik,
seltene Zerfälle und das LHCb-Experiment beschrieben, um einen Überblick über
das experimentelle Umfeld zu geben, in dem diese Arbeit Anwendung finden soll.
2.1 Das Standardmodell der Elementarteilchenphysik
Das Standardmodell der Elementarteilchenphysik ist eine Theorie, welche die Elementarteilchen und die Wechselwirkungen zwischen diesen beschreibt [11, 16, 19].
Die Abbildung 2.1 zeigt diese. Sie heißen Elementarteilchen, da sie die einzigen
sind, die nach dem Standardmodell nicht weiter zusammengesetzt sind und somit
die gesamte Materie bilden. Es wird primär zwischen den 12 Spin- 12 -Fermionen
mit deren dazugehörigen Antiteilchen, den 5 Eichbosonen mit Spin 1 und dem
Higgs-Boson mit Spin 0 unterschieden.
Abbildung 2.1: Die Elementarteilchen des Standardmodells gruppiert in Quarks,
Leptonen, Eichbosonen und das Higgs-Boson. [20]
Wie Abbildung 2.1 zeigt, sind die Fermionen im Weiteren in 6 Quarks und 6
Leptonen aufgeteilt, die wiederum in drei Generationen angeordnet sind. Die Quarks
tragen sowohl eine elektrische Ladung als auch eine Farbladung, während die 3
2
2.2 Seltene Zerfälle
geladenen Leptonen, das Elektron 𝑒− , das Myon 𝜇− und das Tau 𝜏 − , nur eine
elektrische Ladung und die 3 ungeladenen Leptonen, die Neutrinos 𝜈𝑒 , 𝜈𝜇 , 𝜈𝜏 , nur
eine schwache Ladung tragen. Alle Fermionen tragen einen schwachen Isospin. Die
Wechselwirkung zwischen Teilchen im Standardmodell findet über den Austausch
von Eichbosonen statt. Dabei koppelt das Gluon 𝑔 an die Farbladung und vermittelt
damit die starke Wechselwirkung. Die elektromagnetische Wechselwirkung findet
durch den Austausch von Photonen 𝛾, die an die elektrische Ladung koppeln,
statt und die schwache Wechselwirkung wird durch die an den schwachen Isospin
koppelnde 𝑊 ± - und 𝑍 0 -Bosonen beschrieben. Das Higgs-Boson 𝐻 wechselwirkt über
den Higgs-Mechanismus [12]. Quarks können nur in gebundenen Zuständen, die
Hadronen genannt werden, auftreten, da die Kopplung der starken Wechselwirkung
mit wachsendem Abstand der Quarks stark ansteigt (Confinement). Es wird dabei
zwischen Baryonen, die aus drei Quarks oder drei Antiquarks bestehen, und Mesonen,
die aus einem Quark-Antiquark-Paar bestehen, unterschieden.
2.2 Seltene Zerfälle
Seltene Zerfälle sind Zerfälle, die im Standardmodell stark unterdrückt sind. Sie
eignen sich besonders gut um das Standardmodell der Elementarteilchenphysik zu
testen. Wenn das Verzweigungsverhältnis für einen Zerfall nach dem Standardmodell
verschwindend gering ist und dieser trotzdem gemessen wird, kann dies ein Hinweis
für neue Physik sein. Dementsprechend sind Beiträge neuer Physik bei seltenen
Zerfällen besonders leicht zu sehen. Solch ein seltener Zerfall ist der Zerfall
𝐵𝑠0 → 𝜇− 𝜇+ 𝜇− 𝜇+ . Die theoretische Vorhersage für das Verzweigungsverhältnis nach
dem Standardmodell [9] liegt bei
ℬSM (𝐵𝑠0 → 𝜇− 𝜇+ 𝜇− 𝜇+ ) < 3,5 ⋅ 10−11 .
(2.1)
Da dies noch viel zu klein ist, um den Zerfall zu messen, wird eine obere Ausschlussgrenze für dessen Verzweigungsverhältnis bestimmt. Bei der Suche nach
𝐵𝑠0 → 𝜇− 𝜇+ 𝜇− 𝜇+ wurde diese Ausschlussgrenze auf Run 1 Daten bei einer integrierten Luminosität von 1/fb zu [1]
ℬSM (𝐵𝑠0 → 𝜇− 𝜇+ 𝜇− 𝜇+ ) < 2,5 ⋅ 10−9 .
(2.2)
bei einem Konfidenzlevel von 95 % bestimmt. Gegen das Standardmodell wird MSSMPhysik getestet, für die nach theoretischer Vorhersage Beiträge bis zu ℬSM (𝐵𝑠0 →
𝑆𝑃 ) ≈ 10−4 [8] möglich sind. Diese kann durch die bestimmte Auschlussgrenze
für diesen Zerfall abgelehnt werden. Der Zerfall 𝐵𝑠0 → 𝜇− 𝜇+ 𝜇− 𝜇+ soll in dieser
Arbeit als Realbeispiel dienen, um daran das Bestimmen von Ausschlussgrenzen
3
2 Experimenteller Hintergrund
realistisch zu entwickeln. Die Abbildung 2.2 zeigt die Feynman-Graphen der beiden
Zerfallsmöglichkeiten.
Abbildung 2.2: Die nicht-resonanten Zerfallsmöglichkeiten des Zerfalls 𝐵0𝑠 →
𝜇− 𝜇+ 𝜇− 𝜇+ : auf der linken Seite der nicht-resonante Zerfall nach dem Standardmodell mit dem FCNC 𝑏 → 𝑠; auf der rechten Seite der Zerfall über ein skalares
𝑆 und ein pseudoskalares 𝑃 Sgoldstino nach dem Minimal Supersymmetrischen
Modell. [1]
2.3 Das LHCb-Experiment am Large Hadron Collider
Das LHCb-Experiment ist neben ATLAS, CMS und ALICE eines der vier großen
Experimente des Large Hadron Colliders (LHC) am CERN. Am LHC werden
vor allem Protonen miteinander kollidiert, um nach neuen Teilchen zu suchen oder
physikalische Eigenschaften bekannter Teilchen präzise zu vermessen. Bei den ProtonProton-Kollisionen werden Schwerpunktsenergien von aktuell 13 TeV erreicht. Zur
Untersuchung der Teilchen, die bei den Proton-Proton-Kollisionen entstehen, werden
Detektoren benötigt. Der LHCb-Detektor [3] ist ein Vorwärtsspektrometer und
konzentriert sich auf Präzisionsmessungen und seltene Zerfälle. Eines der Ziele des
Experimentes ist die Untersuchung seltener Zerfälle von Hadronen, die b-Quarks
enthalten.
Vom Wechselwirkungspunkt der beiden Protonen fliegen die produzierten Teilchen
zunächst durch den Vertex Locator, ein Spurdetektor, der zur präzisen Messung des
Ortes an dem die Teilchen zerfallen, dient. Hinter dem Vertex Locator befinden sich
Detektorkomponenten, die zur Spurfindung oder zur Teilchenidenfikation verwendet
werden. Dazu gehören die beiden Čerenkov-Detektoren RICH1 und RICH2 zur
Bestimmung der Masse über das Messen der Teilchengeschwindigkeit, der Magnet,
der die Teilchen je nach Impuls unterschiedlich stark ablenkt, weitere Spurdetektoren
TT, T1, T2, T3, das elektronische Kalorimeter ECAL und hadronische Kalorimeter
HCAL zur Energiemessung und die 5 Myon-Kammern M1–M5 zum Nachweis von
Myonen.
4
3 Statistische Grundlagen
In diesem Kapitel werden statistische Grundkonzepte, auf denen diese Arbeit aufgebaut ist, eingeführt. Es werden zunächst die Konfidenzintervalle und die Bestimmung
dieser über den p-Wert erläutert. Danach werden das Konzept der LikelihoodFunktion und der Begriff Coverage erklärt. Diese Einführung in die Statistik basiert
auf den Ausführungen von V. Blobel und E. Lohrmann [4] sowie G. Cowan [6, 7].
3.1 Konfidenzintervalle und obere Ausschlussgrenzen
Ein Konfidenzintervall ist ein geschätztes Intervall für den wahren Wert 𝜇w eines
unbekannten Parameters 𝜇. Es lässt sich basierend auf einem Messwert 𝜇gem für
diesen Parameter konstruieren. Zur Bestimmung des Intervalls gibt es zwei verschiedene Zugänge. Es wird dabei zwischen dem bayesschen und dem frequentistischen
Ansatz unterschieden. Der bayessche Ansatz geht davon aus, dass ein Konfidenzintervall zu einer festgelegten Wahrscheinlichkeit den wahren Wert des Parameters
enthält und nennt dieses Kredibilitätsintervall. Aus frequentistischer Sicht werden
Konfidenzintervalle mit den Konfidenzgrenzen 𝜇a und 𝜇b so konstruiert, dass der
wahre Wert des zu schätzenden Parameters zu einer definierten Häufigkeit, dem
Konfidenzlevel 1 − 𝛼, in den konstruierten Intervallen enthalten sein soll.
∫
𝜇b
𝑓(𝜇|𝜇gem )d𝜇 = 1 − 𝛼.
(3.1)
𝜇a
Dabei beschreibt 𝑓(𝜇|𝜇gem ) die Wahscheinlichkeitsdichtefunktion für den unbekannten Parameter 𝜇 unter der Bedingung, dass 𝜇gem gemessen wird. Es werden in dieser
Arbeit ausschließlich frequentistische Methoden untersucht und zentrale Konfidenzintervalle konstruiert. Letzteres bedeutet, dass der wahre Wert des Parameters zu
gleicher Häufigkeit 𝛼/2 überhalb der oberen bzw. unterhalb der unteren Konfidenzgrenze zu finden ist. Obere Ausschlussgrenzen 𝜇oben sind die Grenzen von einseitig
nach oben begrenzten Konfidenzintervallen mit dem Konfidenzlevel 1 − 𝛼, wobei
∫
𝜇oben
𝑓(𝜇|𝜇gem )d𝜇 = 1 − 𝛼
(3.2)
−∞
die Ausschlussgrenze festlegt.
5
3 Statistische Grundlagen
3.2 Berechnung von Konfidenzintervallen mit p-Werten
f(Tµ |µ)
Für die Berechnung der Intervallgrenzen wird eine Teststatistik 𝑇𝜇 benötigt, welche
verschiedene Hypothesen 𝜇 für den unbekannten Parameter testet. Eine solche
Teststatistik hängt dabei von der Hypothese und dem Messwert 𝜇gem ab. Die
Verteilung der Statistik unter der Annahme der Hypothese 𝜇 kann durch eine
Wahrscheinlichkeitsdichtefunktion 𝑓(𝑇𝜇 |𝜇) beschrieben werden. Über diese lässt sich
der p-Wert, der bestimmt, wann 𝜇 verworfen wird, berechnen. Der p-Wert beschreibt
die Wahrscheinlichkeit einen Messwert 𝜇gem oder einen extremeren als diesen zu
erhalten unter der Annahme, dass die Hypothese 𝜇 für die gemessene Größe wahr
ist. Extremer soll dabei heißen, dass die Abweichung zur getroffenen Hypothese
größer ist als bei 𝜇gem , wie die Abbildung 3.1 zeigt.
f(Tµ |µ)
pµ
0.8
0.6
0.4
0.2
0
0.5 Tgem 1
1.5
2.0
2.5
3.0
3.5
4.0
4.5
Tµ
Abbildung 3.1: Veranschaulichung des p-Wertes als Integral über die Verteilung
aller extremeren Werte für 𝑇𝜇 als 𝑇gem der Teststatistik. Kleine p-Werte sprechen
gegen die Hypothese. Sobald der p-Wert unter ein Signifikanzniveau 𝛼 sinkt, wird
eine Konfidenzgrenze gesetzt.
Die in dieser Arbeit verwendeten Teststatistiken werden in Kapitel 4.2 eingeführt.
Der funktionale Zusammenhang für den p-Wert 𝑝𝜇 ergibt sich zu
∞
𝑝𝜇 = ∫
𝑇gem
6
𝑓(𝑇𝜇 |𝜇)d𝑇𝜇 .
(3.3)
3.3 Likelihood-Funktion
3.3 Likelihood-Funktion
Eine Likelihood-Funktion ℒ(𝑥1 , ..., 𝑥n |𝜇, 𝜃) beschreibt die Wahrscheinlichkeit unter
den Parametern 𝜇 und 𝜃 = {𝜃1 , ..., 𝜃𝑚 } die Stichprobe 𝑥1 , ..., 𝑥n zu erhalten. Dabei
soll 𝜇 für den zu untersuchenden Parameter von physikalischer Relevanz stehen und
das Parameterset 𝜃 alle weiteren Parameter, von denen die Verteilungen 𝑓(𝑥𝑖 |𝜇, 𝜃)
der gemessenen Größen 𝑥1 , ..., 𝑥n abhängen, einschließen. Eine Likelihood-Funktion
berechnet sich mit
𝑛
ℒ(𝑥1 , ..., 𝑥𝑛 |𝜃) = ∏ 𝑓(𝑥𝑖 |𝜇, 𝜃).
(3.4)
𝑖=1
̂ }, die die Likelihood-Funktion maximieren,
Die Parameter 𝜇̂ und 𝜃 ̂ = {𝜃1̂ , ..., 𝜃𝑚
werden Maximum-Likelihod-Schätzer genannt und mit der Forderung
dℒ(𝜇gem |𝜇, 𝜃)
∣
d𝜇
!
= 0,
(3.5)
𝜇=𝜇̂
analog für 𝜃, berechnet.
3.4 Coverage
Die Coverage1 -Wahrscheinlichkeit 𝐶 gibt an, wie viele der konstruierten Konfidenzintervalle zum Konfidenzlevel 1 − 𝛼 tatsächlich den wahren Wert des zu schätzenden
Parameters enthalten. Diese Wahrscheinlichkeit kann vom Konfidenzlevel verschieden sein. Der Fall, dass 𝐶 mit dem Konfidenzlevel übereinstimmt, 𝐶 = 1 − 𝛼, wird
Coverage genannt. Außerdem sind Undercoverage als 𝐶 < 1 − 𝛼 und Overcoverage
als 𝐶 > 1 − 𝛼 definiert. Undercoverage bedeutet, dass die zu untersuchende Größe
stärker eingeschränkt wird als das Konfidenzlevel vorgibt, Overcoverage, dass die
Ausschlussgrenzen konservativer gesetzt werden als gefordert. Einige Methoden
zur Bestimmung der Ausschlussgrenzen haben konzeptionell bedingte Einschränkungen der Coverage. Deswegen ist es wichtig, die in dieser Arbeit untersuchten
Teststatistiken auf Coverage zu überprüfen, um die Grenzen der Methoden zu
analysieren.
1
In der fachspezifischen Literatur hat sich der Begriff Coverage etabliert. Es werden in dieser
Arbeit durchgehend die Begriffe Coverage, Overcoverage und Undercoverage ebenso wie der
Ausdruck Coverage haben verwendet, da für diese im Deutschen keine passenden Entprechungen
existieren.
7
4 Einführung in die untersuchten Teststatistiken
In diesem Kapitel wird ein kurzer Überblick über die herkömmlichen Methoden
zur Konstruktion von Konfidenzintervallen und deren Einschränkungen gegeben.
Außerdem werden die in dieser Arbeit verwendeten Teststatistiken erläutert.
4.1 Methoden zur Konstruktion von Konfidenzintervallen
und oberen Ausschlussgrenzen
Aus frequentistischer Sicht gibt es drei verbreitete Methoden Konfidenzintervalle
zu konstruieren: Das Profile-Likelihood-Ratio [14], die Feldman-Cousins-Methode
[10] und die 𝐶𝐿𝑠 -Methode [15]. Die Konstruktion der Methoden basiert auf der in
Kapitel 3.2 beschriebenen Methode über den p-Wert. Für das Profile-LikelihoodRatio wird aus den in Kapitel 3.3 definierten Likelihood-Funktionen ein Quotient
von der Hypothese 𝜇 des zu messenden Parameters zu dem besten MaximumLikelihood-Schätzer 𝜇̂ gebildet. Es ergibt sich daraus eine spezielle Teststatistik, die
im Folgenden 𝑡𝜇 genannt wird.
̂
ℒ(𝜇, 𝜃)̂
𝑡𝜇 = −2 ln
.
ℒ(𝜇,̂ 𝜃)̂
(4.1)
̂
Die Parameter 𝜇̂ und 𝜃 ̂ sind die zuvor erklärten Maximum-Likelihood-Schätzer, 𝜃 ̂
maximiert die Likelihood-Funktion für die jeweilige Hypothese 𝜇. Diese Teststatistik
soll in dieser Arbeit als Vergleich zu den analysierten Teststatistiken dienen. Das
Profile-Likelihood-Ratio lässt negative Werte für den Parameter 𝜇 zu. Oft werden
jedoch physikalische Größen, wie in dieser Arbeit das Verzweigungsverhältnis, untersucht, für die nur positive Werte zulässig sind. Ein weiterer Nachteil dieser Methode
ist, dass sie für eine kleine Anzahl an gemessenen Ereignissen keine Coverage hat.
In der Feldman-Cousins-Methode wird eine Konstruktion nach Neyman [13] verwendet und um einen Likelihood-Quotient-basierten Ordnungsparameter erweitert.
Diese Neyman-Konstruktion stellt für die Messgröße 𝜇gem Akzeptanzintervalle mit
dem Konfidenzlevel 1 − 𝛼 zu jeder möglichen Hypothese 𝜇 für den gesuchten Parameter wie in 3.1 auf. Die Grenzen 𝜇a und 𝜇b des Akzeptanzintervalls unterliegen
dem Ordnungsparameter 𝑅, mit
𝑅(𝜇a ) = 𝑅(𝜇b )
8
für
𝑅=
̂
ℒ(𝜇, 𝜃)̂
,
ℒ(𝜇,̂ 𝜃)̂
(4.2)
4.2 Untersuchte Teststatistiken
der sich wieder aus einem Likelihood-Ratio ergibt. Die Feldman-Cousins-Methode
hat den Vorteil, dass sie durch die Neyman-Konstruktion konzeptionell Coverage hat.
Allerdings ist sie sehr rechenaufwändig, da die Akzeptanzintervalle alle numerisch
unter der Bedingung (4.2) berechnet werden müssen. Die 𝐶𝐿𝑠 -Methode [15] normiert
den mit der Profile-Likelihood-Methode berechneten p-Wert 𝑝𝜇 . Die Normierung
erfolgt durch den p-Wert 𝑝bkg , bei dem nur Untergrund angenommen wird. Dadurch
kann die Abhängigkeit der Auschlussgrenzen von Untergrundfluktuationen vermindert werden. Es ergibt sich wie in Gleichung (4.3) ein neuer p-Wert 𝐶𝐿𝑠 , der gegen
das Signifikanzniveau 𝛼 getestet wird.
𝐶𝐿𝑠 =
𝑝𝜇
.
1 − 𝑝bkg
(4.3)
Die 𝐶𝐿𝑠 -Methode hat konzeptionell immer Overcoverage.
4.2 Untersuchte Teststatistiken
Die in dieser Arbeit untersuchten Teststatistiken
̂̂
⎧−2 ln ℒ(𝜇,𝜃(𝜇))
{
̂
ℒ(0,𝜃(0))
𝑡𝜇̃ =
̂̂
⎨
{−2 ln ℒ(𝜇,𝜃(𝜇))
⎩
ℒ(𝜇,̂ 𝜃)̂
𝜇̂ < 0
𝜇̂ ≥ 0
̂̂
⎧−2 ln ℒ(𝜇,𝜃(𝜇))
{
̂
ℒ(0,𝜃(0))
{
̂̂
und 𝑞𝜇̃ = −2 ln ℒ(𝜇,𝜃(𝜇))
⎨
ℒ(𝜇,̂ 𝜃)̂
{
{
0
⎩
𝜇̂ < 0
0 ≤ 𝜇̂ ≤ 𝜇 ,
(4.4)
𝜇̂ > 𝜇
eingeführt von G. Cowan et al. als die Asymptotic formulae[..][7], sind Erweiterungen
des Profile-Likelihood-Ratios und sollen negative Ausschlussgrenzen für beschränkte
Parameter mit 𝜇 ≥ 0 vermeiden. Des Weiteren bieten diese eine Alternative zur
Feldman-Cousins-Methode, da sie deutlich schneller zu berechnen sind. In dieser
Arbeit werden die mit diesen Statistiken konstruierten Ausschlussgrenzen und deren
Coverage untersucht.
Die Teststatistik 𝑡𝜇̃ ist zur Konstruktion von zweiseitigen Konfidenzintervallen
gedacht, soll in dieser Arbeit jedoch auch auf die Anwendbarkeit für obere Ausschlussgrenzen untersucht werden, um Fehler beim Konfidenzlevel zu vermeiden,
wenn nach dem Bestimmen der oberen Ausschlussgrenze auch die untere gefragt
ist. Wie in (4.4) zu sehen, funktioniert diese Methode für 𝜇̂ > 0 wie das ProfileLikelihood-Ratio. Für den Fall, in dem negative Schätzer auftreten, werden diese im
Nenner des Ratios mit 0 gleichgesetzt. Das bedeutet, dass wenn, wie in dieser Arbeit
der Parameter 𝜇 das Verzweigungsverhältnis eines untersuchten Zerfalls beschreibt,
in diesem Fall ausschließlich Untergrund gemessen wird. Es ist dementsprechend zu
erwarten, dass bei der Bestimmung von Ausschlussgrenzen für eine geringe Anzahl
9
4 Einführung in die untersuchten Teststatistiken
an Signal- und Untergrundereignissen diese Teststatistik höhere Ausschlussgrenzen
liefert als das Profile-Likelihood-Ratio.
Die ebenfalls in (4.4) zu findende Teststatistik 𝑞𝜇̃ ist für die Konstruktion von oberen
Ausschlussgrenzen konzipiert. Sie fordert zusätzlich zu 𝑡𝜇̃ , dass die Ausschlussgrenze
für den wahren Parameter nicht geringer sein darf, als der beste Schätzer 𝜇̂ für
diesen. Durch diese Ausschlusskriterien ist zu erwarten, dass die Teststatistiken 𝑡𝜇̃
und 𝑞𝜇̃ für viele Untergrundereignisse Overcoverage haben.
4.3 Wald-Approximation / Wilks-Theorem
Zur Berechnung der p-Werte werden die Verteilungen 𝑓(𝑇𝜇 |𝜇) und Verteilungsfunktionen 𝐹 (𝑇𝜇 |𝜇) der Teststatistiken benötigt. Um für diese eine analytische Form zu
finden, wird die Approximation
̂̂
ℒ(𝜇, 𝜃(𝜇))
(𝜇 − 𝜇)̂ 2
1
− 2 ln
=
+ 𝒪( √ )
2
̂
𝜎
𝑁
ℒ(𝜇,̂ 𝜃)
(4.5)
nach A. Wald [18] bzw. S. Wilks [21] verwendet, wobei 𝑁 der Gesamtanzahl an
Ereignissen entspricht. Dabei beschreibt 𝜎 den Fehler auf den Maximum-LikelihoodSchätzer 𝜇.̂ Aus der Approximation folgt, dass die Werte 𝑡𝜇 des Profile-LikelihoodRatio einer 𝜒2 -Verteilung mit einem Freiheitsgrad wie in Gleichung (4.6) folgen. Es
ergibt sich der Zusammenhang für die dazugehörige Verteilungsfunktion.
1
1 − 𝑡𝜇
𝑓(𝑡𝜇 |𝜇) = √
e 2
2𝜋 √𝑡𝜇
(4.6)
𝐹 (𝑡𝜇 |𝜇) = 2Φ (√𝑡𝜇 ) − 1
Dabei entspricht die Funktion Φ dem Gaußschen Fehlerintegral. Die Verteilungen
der anderen Teststatistiken sind durch die getroffenen Erweiterungen nicht mehr
𝜒2 -verteilt. Für die Teststatistiken 𝑡𝜇̃ und 𝑞𝜇̃ folgen mit der Approximation
⎧ √ 1 e−𝑡𝜇̃
{
{ 2𝜋√𝑡𝜇̃
̃
𝑓(𝑡𝜇 |𝜇) =
⎨
̃
−𝑡𝜇
1
{
+
{ 2√2𝜋√𝑡 ̃ e
𝜇
⎩
𝑡𝜇̃ ≤ 𝜇2 /𝜎2
−1
1
2
√
e
2𝜋(2𝜇/𝜎)
̃ +𝜇2 /𝜎2 )2
(𝑡𝜇
(2𝜇/𝜎)2
̃
⎧ √ 1
e−𝑡𝜇
{
̃
2 2𝜋√𝑡𝜇
1
𝑓(𝑞𝜇̃ |𝜇) = 𝛿(𝑞𝜇̃ ) +
(𝑞𝜇
̃ +𝜇2 /𝜎2 )2
⎨
2
−1
2
(2𝜇/𝜎)2
{√ 1
e
⎩ 2𝜋(2𝜇/𝜎)
𝑡𝜇̃ > 𝜇2 /𝜎2
0 < 𝑞𝜇̃ ≤ 𝜇2 /𝜎2
,
,
(4.7)
(4.8)
𝑞𝜇̃ > 𝜇2 /𝜎2
die in den Abbildungen 4.1a und 4.1b gezeigt sind. Die Abbildungen 4.1a und 4.1b
verifizieren die angenommenen Verteilungen und deren Implementierung, indem sie
10
4.3 Wald-Approximation / Wilks-Theorem
zeigen, dass die analytischen Verteilungen mit den generierten Statistiken übereinstimmen. Für die Verteilungsfunktionen der Teststatistiken 𝑡𝜇̃ und 𝑞𝜇̃ ergeben sich
durch Integration
⎧2Φ (√𝑡 ̃ ) − 1
𝑡𝜇̃ ≤ 𝜇2 /𝜎2
{
𝜇
⎨Φ (𝑡 ̃ ) + Φ ( 𝑡𝜇̃ +𝜇2 𝜎2 ) 𝑡 ̃ > 𝜇2 /𝜎2 ,
{
𝜇
𝜇
2𝜇𝜎
⎩
⎧
0 < 𝑞𝜇̃ ≤ 𝜇2 /𝜎2
{2Φ (√𝑞𝜇̃ )
𝐹 (𝑞𝜇̃ |𝜇) =
.
𝑞𝜇
̃ +𝜇2 𝜎2
⎨
2 /𝜎 2
{
Φ
(
)
𝑞
̃
>
𝜇
𝜇
2𝜇𝜎
⎩
(4.9)
1.4
Nnorm
Nnorm
𝐹 (𝑡𝜇̃ |𝜇) =
f(t̃ µ |µ)
t̃ µ
1.2
1.2
1.0
0.8
0.8
0.6
0.6
0.4
0.4
0.2
0.2
0.0
0
1
2
3
4
̃
(a) Verteilung von 𝑡𝜇
5
6
t̃ µ
χ 2 − Verteilung
q̃ µ
1.4
1.0
0.0
(4.10)
0
1
2
3
4
5
6
q̃ µ
(b) Verteilung von 𝑞𝜇̃
̃ und Vergleich mit der analytiAbbildung 4.1: (a) Verteilung der Teststatistik 𝑡𝜇
schen Funktion der Verteilung aus Gleichung (4.7); (b) Verteilung der Teststastitik
𝑞𝜇̃ , bei der alle Werte mit 𝜇̂ > 𝜇 herausgenommen wurden, sodass die restlichen
𝑞𝜇̃ > 0 wieder eine 𝜒2 -Verteilung bilden. 𝑁norm steht dabei für die Anzahl an Einträgen in einem Bin. Die Verteilungen wurden jeweils so normiert, dass Produkte
von Binbreite und Binlänge summiert 1 ergeben.
Die Abbildung 4.2 zeigt die Verteilung der Teststatistik 𝑡𝜇 mit dem naiven Ansatz
den untersuchten Parameter 𝜇 beim Generieren auf positive Werte zu beschränken.
Es ist dabei zu erkennen, dass die erhaltene Verteilung der Teststatistik 𝑡𝜇 keiner
𝜒2 -Verteilung mehr entspricht, da das Wilks-Theorem lediglich für unbeschränkte
Parameter gültig ist. Dementsprechend ist dieser naive Ansatz nicht sinnvoll, um
den untersuchten Parameter auf 𝜇 > 0 zu beschränken.
11
Nnorm
4 Einführung in die untersuchten Teststatistiken
χ 2 − Verteilung
tµ
1.4
1.2
1.0
0.8
0.6
0.4
0.2
0.0
0
1
2
3
4
5
6
tµ
Abbildung 4.2: Verteilung von 𝑡𝜇 mit dem naiven Ansatz, den Parameter zu
beschränken. 𝑁norm steht dabei für die Anzahl an Einträgen in einem Bin. Die
Verteilung wurde so normiert, dass Produkte von Binbreite und Binlänge summiert
1 ergeben.
12
5 Untersuchung der Teststatistiken
Dieses Kapitel widmet sich den Ergebnissen der Untersuchung der einzelnen Teststatistiken. Die Untersuchung ist dabei so aufgebaut, dass die Wahrscheinlichkeitsdichtefunktion des gemessenen Wertes 𝜇gem immer weiter erweitert wird. Die Ergebnisse
werden dabei zunächst am Modell, bei dem eine Grenze auf die Anzahl an Signalkandidaten bei einem bekannten Untergrund bestimmt wird, erklärt und danach
die Veränderungen der Ergebnisse unter Erweiterung der Verteilung gezeigt.
5.1 Ausschlussgrenze für die Anzahl an Signalkandidaten
bei festem Untergrund
Die Basis der Untersuchungen besteht darin, die Anzahl an gemessenen Ereignissen
𝑁gem in einem gewählten Signalfenster zu zählen. Zählexperimente folgen immer einer
Poisson-Verteilung. Da die Anzahl an Signalkandidaten 𝑁sig nicht direkt gezählt
werden kann, wird eine obere Ausschlussgrenze für diese aus 𝑁 = 𝑁sig + 𝑁bkg
bestimmt. Dabei wird die Anzahl an Untergrundereignissen 𝑁bkg im Signalfenster
zunächst als bekannt angenommen.
Abbildung 5.1: Die Massenverteilung der 𝐵0 - bzw. 𝐵0𝑠 -Mesonen beim Zerfall in
vier Myonen. Die rote Kurve kennzeichnet die Anzahl an erwarteten UntergrundEreignissen. Die gestrichelten Linien grenzen das Signalfenster für die beiden
Mesonen ein. In dieser Arbeit wird nicht zwischen nahen und fernen Seitenbändern
unterschieden, sondern Gesamtseitenbänder betrachtet. [1]
13
5 Untersuchung der Teststatistiken
Das Signalfenster ist der Massenbereich, in dem nach dem Mutterteilchen eines
Zerfalls gesucht wird und ist in der Abbildung 5.1 veranschaulicht. Die Methoden
zur Bestimmung der oberen Ausschlussgrenzen für die Anzahl an Signalkandidaten
sind so implementiert, dass zunächst zufällig ein Messwert 𝜇gem nach der zugrunde
liegenden Poisson-Verteilung mit dem angenommenen wahren Wert 𝜇w generiert
wird. Basierend auf diesem Messwert wird mit Hilfe eines Maximum-Likelihood-Fits
die wahrscheinlichste Anzahl an Signalkandidaten 𝜇̂ geschätzt. Damit können die
Teststatistiken aus Kapitel 4.2 für beliebige Hypothesen 𝜇 für die wahre Anzahl
an Signalkandidaten aufgestellt werden. Die Berechnung der p-Werte wird mit der
Formel (3.3) durchgeführt. Die obere Ausschlussgrenze wird dann gesetzt, wenn
𝑝𝜇 < 𝛼 ist, wobei in dieser Arbeit ein 𝛼 = 5 % verwendet wird. Um die Coverage bei verschiedenen wahren Werten 𝜇w zu erhalten, wird die relative Häufigkeit
von Ausschlussgrenzen, die größer sind als 𝜇w , zu der gesamten Anzahl an bestimmten Ausschlussgrenzen gebildet. Die Ausschlussgrenzen sind dabei wie in den
Abbildungen 5.2a und 5.2b verteilt.
0
2
4
6
8
10
µt12
0
5
10
15
20
25
30
µt35
0
2
4
6
8
10
µt̃12
5
0
5
10
15
20
25
30
µt̃35
160
140
120
100
80
60
40
20
0
5
0
5
10
15
20
25
30
µq̃35
NBin
2
NBin
300
250
200
150
100
50
0
160
140
120
100
80
60
40
20
0
5
NBin
2
NBin
300
250
200
150
100
50
0
160
140
120
100
80
60
40
20
0
NBin
NBin
300
250
200
150
100
50
0
2
0
2
4
6
8
(a) 1 Untergrundereignis
10
µq̃12
(b) 20 Untergrundereignisse
Abbildung 5.2: Verteilungen der oberen Ausschlussgrenzen der drei Teststatistĩ , 𝑞𝜇̃ für die wahre Anzahl an Signalkandidaten 𝜇w = 1 bei verschiedenen
ken 𝑡𝜇 , 𝑡𝜇
Untergründen: (a) 𝑁bkg = 1 und (b) 𝑁bkg = 20. Für diese Verteilungen wurden
für jede Methode jeweils 1000 Ausschlussgrenzen gesetzt. 𝑁Bin steht für die Anzahl
an Ausschlussgrenzen in einem Bin. Für 1 Untergrundereignis ist die Verteilung in
28 Bins, für 20 Untergrundereignisse in 32 Bins aufgeteilt.
14
5.1 Ausschlussgrenze für die Anzahl an Signalkandidaten bei festem Untergrund
µ̄
Die Forderungen an die untersuchten Teststatistiken sind in den Abbildungen 5.2a
und 5.2b zu erkennen. Während bei der Teststatistik 𝑡𝜇 aus Gleichung 4.1 noch obere
Ausschlussgrenzen 𝜇 < 0 auftreten, sind diese in den erweiterten Statistiken 𝑡𝜇̃ und
𝑞𝜇̃ aus Gleichung 4.4 nicht mehr zu erkennen. Die Verteilungen der Ausschlussgrenzen
zeigen außerdem, dass sich für eine höhere Anzahl an Untergrundereignissen die
Grenzen nach oben verschieben. In den Verteilungen zu 𝑁bkg zeigen sich noch Werte
aus dem diskreten Spektrum, die sich von der restlichen Verteilung jeweils abheben,
deren genauer Ursprung im Rahmen dieser Arbeit jedoch nicht erklärt werden kann.
Zur weiteren Untersuchung werden die Mittelwerte 𝜇̄ der gesetzten Ausschlussgrenzen
für wachsenden Untergrund betrachtet. Der Verlauf ist in Abbildung 5.3 zu sehen.
25
20
15
tµ
t̃ µ
q̃ µ
10
5
0
0
20
40
60
80
100
Nbkg
Abbildung 5.3: Verlauf des Mittelwertes 𝜇̄ der bestimmten Ausschlussgrenzen in
Abhängigkeit der Anzahl an Untergrundereignissen 𝑁bkg .
Die Abbildung zeigt, dass die Mittelwerte der erhaltenen Ausschlussgrenzen von
𝑡𝜇̃ über denen von 𝑡𝜇 liegen. Dieses Verhalten kommt dadurch zustande, dass negative Grenzen für 𝑡𝜇̃ ausgeschlossen und somit nach oben geschoben werden. Die
Ausschlussgrenzen von 𝑞𝜇̃ müssen kleiner sein, da diese Teststatistik ausschließlich
zur Bestimmung einseitiger Konfidenzintervalle gedacht ist, während 𝑡𝜇 und 𝑡𝜇̃ für
zweiseitige konzipiert sind. Wie diese Abbildung außerdem zeigt, nimmt der Mittelwert der bestimmten oberen Ausschlussgrenzen für die Anzahl der Signalkandidaten
bei steigender Anzahl an Untergrundkandidaten in Form einer Wurzelfunktion zu.
Dies lässt sich damit erklären, dass die Grenzen über den p-Wert mit der Vertei-
15
5 Untersuchung der Teststatistiken
C in %
lung der Observable 𝑁
√ zusammenhängen, welche eine Poisson-Verteilung ist. Diese
verbreitert sich mit 𝑁 für mehr Ereignisse, sodass auch die Ausschlussgrenze
dieser Abhängigkeit folgt. Zur Untersuchung der Coverage werden für verschiedene
Untergrundgrößen je 200 obere Ausschlussgrenzen bestimmt und dafür analysiert,
ob der wahre Wert 𝜇w < 𝜇oben ist. Die erreichten Coverage-Wahrscheinlichkeiten
für die verschiedenen Teststatistiken sind in Abbildung 5.4 gezeigt.
100
95
90
1−α
85
tµ
t̃ µ
80
C in %
75
10 0
10 1
10 2
Nbkg
100
95
90
85
1−α
80
75
q̃ µ
10 0
10 1
10 2
Nbkg
̃ und
Abbildung 5.4: Coverage-Wahrscheinlichkeiten für die Teststatistiken 𝑡𝜇 , 𝑡𝜇
𝑞𝜇̃ in Abhängigkeit der Anzahl an Untergrundereignissen. Die wahre Anzahl an
Signalereignissen wurde zu 𝜇w = 1 definiert.
16
5.1 Ausschlussgrenze für die Anzahl an Signalkandidaten bei festem Untergrund
Für die Berechnung der Coverage-Wahrscheinlichkeit wird die bayessche Formel
𝐶=
𝑘+1
𝑛+2
mit der Varianz
𝑉 (𝐶) =
(𝑘 + 1)(𝑘 + 2)
(𝑘 + 1)2
−
(𝑛 + 2)(𝑛 + 3) (𝑛 + 2)2
(5.1)
µ̄ oben
nach [17] verwendet, wobei 𝑘 die Anzahl an Ausschlussgrenzen ist, für die der
wahre Wert kleiner ist als die bestimmte Grenze, und 𝑛 die gesamte Anzahl an
bestimmten Ausschlussgrenzen. Diese Berechnung ermöglicht es auch einen Fehler auf
die Effizienz bei 𝐶 = 0 und 𝐶 = 1 zuzulassen. Es ist auch sinnvoll beliebige positive
Dezimalzahlen für 𝑁bkg anzunehmen, da diese Anzahl an Ereignissen erwarteten
Untergründen entsprechen, die aus dem Fit der Seitenbänder auf das Signalfenster
übertragen werden. Wie die Coverage-Wahrscheinlichkeiten für das Beispiel 𝜇w = 1
zeigen, haben alle drei Teststatistiken für den Bereich 𝑁bkg ≥ 2 Coverage oder
Overcoverage. Außerdem fällt auf, dass die Teststatistik 𝑡𝜇̃ immer Overcoverage hat.
Es treten auch nicht erklärbare Sprünge für 𝐶 auf. Ab Untergründen mit weniger
als zwei Ereignissen sinkt die Coverage-Wahrscheinlichkeit, sodass die Methoden
𝑡𝜇 und 𝑞𝜇̃ dort Undercoverage oder, wie für die beiden Werte von 𝑡𝜇 für 𝑁bkg < 0,
Overcoverage haben, weil das Wilks-Theorem nicht mehr anwendbar ist.
30
25
20
15
tµ
t̃ µ
q̃ µ
10
5
0
2
4
6
8
10
12
14
16
µw
Abbildung 5.5: Verlauf des Mittelwertes auf die bestimmten Ausschlussgrenzen
in Abhängigkeit von der wahren Anzahl an Signalereignissen 𝜇w bei 𝑁bkg = 10
Untergrundereignissen im Signalfenster. Die Fehler auf den Mittelwert sind dabei
sehr klein und daher schwer zu erkennen.
Um das Bestimmen der Ausschlussgrenzen mit den Teststatistiken zu verstehen,
17
5 Untersuchung der Teststatistiken
ist es wichtig zu beobachten, wie diese sich bei steigender wahrer Anzahl an Signalkandidaten 𝜇w entwickelt. Der Verlauf des Mittelwertes 𝜇oben der bestimmten
Ausschlussgrenzen in Abhängigkeit der Signalereignisse 𝜇w ist in der Abbildung 5.5
gezeigt. An den Verläufen der Mittelwerte ist zu erkennen, dass die beiden Teststatistiken 𝑡𝜇 und 𝑡𝜇̃ sich sehr ähnlich verhalten, jedoch deutlich über den Mittelwerten
der Teststatistik 𝑞𝜇̃ liegen. Es lässt sich allerdings vermuten, dass sich 𝑡𝜇 und 𝑡𝜇̃ für
wenig Signalereignisse unterscheiden und für viele ineinander übergehen, da dort
keine negativen Schätzer 𝜇̂ mehr auftreten. Deshalb ist es sinnvoll die gemittelte
Differenz 𝜇t − 𝜇t̃ der Ausschlussgrenzen zwischen 𝑡𝜇̃ und 𝑡𝜇 zu betrachten, welche
in 5.6 gezeigt ist.
µt − µt̃
1.5
1.0
0.5
0.0
0.5
0
2
4
6
8
10
12
14
µw16
Abbildung 5.6: Verlauf der Differenz der Mittelwerte auf die bestimmten Aus̃ in Abhängigkeit der Anzahl an Signalereignissen 𝜇
schlussgrenzen mit 𝑡𝜇 und 𝑡𝜇
bei festem Untergrund 𝑁bkg = 10.
Die Abbildung zeigt einen klaren Trend dafür, dass sich für größere Signalstärken die
Teststatistiken 𝑡𝜇 und 𝑡𝜇̃ angleichen. Bei festem Untergrund 𝑁bkg = 10 verhalten
diese sich ab ca. 𝜇 = 7 nahezu gleich.
5.2 Ausschlussgrenze auf ein Verzweigungsverhältnis bei
festem Untergrund
Um Aussagen darüber treffen zu können, wie wahrscheinlich ein Zerfall ist, werden
obere Ausschlussgrenzen auf Verzweigungsverhältnisse bestimmt. Dafür müssen die
zuvor bestimmten Ausschlussgrenzen auf die Anzahl an Signalereignissen durch
Multiplikation mit einer Normierungskonstante 𝛼, die für den jeweiligen Zerfall variiert, in Ausschlussgrenzen für das dazugehörige Verzweigungsverhältnis umgerechnet
18
5.3 Einführung einer Unsicherheit auf die Normierungskonstante
werden. Die Normierungskonstante [5]
𝛼=
𝜀norm ℬnorm 𝑓norm
𝜀sig 𝑁norm 𝑓sig
(5.2)
beinhaltet die Effizienz der Selektion des Zerfalls 𝜀sig , für den die obere Ausschlussgrenze des Verzweigungsverhältnisses bestimmt werden soll, und die Effizienz der
Selektion des Zerfalls 𝜀norm , der als Normierung verwendet wird. Des Weiteren ist
das Verhältnis der Hadronierungswahrscheinlichkeiten 𝑓norm und 𝑓sig in 𝛼 enthalten.
Außerdem gibt ℬnorm das Verzweigungsverhältnis und 𝑁norm die Anzahl an Signalkandidaten des normierenden Zerfalls an.
Für diese Arbeit wird der seltende Zerfall 𝐵𝑠0 → 𝜇− 𝜇+ 𝜇− 𝜇+ als Beispiel zugrunde
gelegt, um die Untersuchung auf ein Verzweigungsverhältnis zu adaptieren. Bei
der Analyse dieses Zerfalls [5] wurde der Zerfall 𝐵+ → 𝐽 /𝜓(→ 𝜇+ 𝜇− )𝐾 + als Normierung gewählt. Die daraus erhaltene Normierungskonstante ergibt sich nach [5]
zu
𝛼𝑠 = (8,66 ± 0,80) ⋅ 10−10 .
(5.3)
Die Observable zur Bestimmung der Ausschlussgrenzen ist weiterhin die Anzahl an
gemessenen Ereignissen 𝑁. Sie setzt sich jetzt jedoch aus dem Verzweigungsverhältnis
ℬsig geteilt durch die Normierungskonstante 𝛼𝑠 und der Anzahl an Untergrundereignissen 𝑁bkg zusammen, sodass diese Observable durch die Poisson-Verteilung
𝑓(𝑁 |ℬ) = 𝑃(𝑁 ∣
ℬ
+ 𝑁bkg )
𝛼𝑠
(5.4)
beschrieben wird. Dabei ist zunächst nur das Verzweigungsverhältnis ℬ variabel.
Die Anwendung der Teststatistiken zur Bestimmung der oberen Ausschlussgrenzen
auf das Verzweigungsverhältnis zeigen hier außer der Skalierung noch keine Veränderungen zu den Ergebnissen aus Kapitel 5.1, da die Normierungskonstante konstant
gehalten wird.
5.3 Einführung einer Unsicherheit auf die
Normierungskonstante
Die Normierungskonstante 𝛼𝑠 ist eine experimentell gemessene Größe, die im Rahmen einer Unsicherheit wie in (5.3) genau bestimmt ist. Die zur Bestimmung
der Ausschlussgrenzen zugrunde liegende Verteilung soll die Unsicherheit auf die
Normierungskonstante 𝜎𝛼𝑠 berücksichtigten, weshalb jene unter Annahme einer
19
5 Untersuchung der Teststatistiken
Gaußverteilung G für die Normierungskonstante mit Erwartungswert 𝛼𝑠 und Varianz
2 erweitert wird. Daraus ergibt sich dementsprechend die Verteilung
𝜎𝛼
𝑠
𝑓(𝑁 , 𝛼𝑠,gem |ℬ, 𝛼𝑠 ) = 𝑃(𝑁 ∣
ℬ
2 ),
+ 𝑁bkg ) ⋅ 𝐺(𝛼𝑠,gem |𝛼𝑠 , 𝜎𝛼
𝑠
𝛼𝑠
(5.5)
die zwei Observablen beschreibt und bei der neben dem Verzweigungsverhältnis, der
relevanten Parameter für die Ausschlussgrenze, auch die Normierungskonstante 𝛼𝑠
geschätzt werden muss.
150
100
50
0
2
0
2
4
6
8
10
12
14
150
100
50
2
0
2
4
6
8
10
12
14
0
5
10
15
20
25
30
µt35
120
100
80
60
40
20
0
5
0
5
10
15
20
25
30
µt̃35
5
0
5
10
15
20
25
30
µq̃35
NBin
µt̃
NBin
200
150
100
50
0
120
100
80
60
40
20
0
5
NBin
µt
NBin
200
0
120
100
80
60
40
20
0
NBin
NBin
200
2
0
2
4
6
8
10
(a) 1 Untergrundereignis
12
14
µq̃
(b) 20 Untergrundereignisse
Abbildung 5.7: Verteilung der oberen Ausschlussgrenzen der drei Teststatis̃ , 𝑞𝜇̃ für das Verzweigungsverhältnis zum Vergleich mit Kapitel 5.1
tiken 𝑡𝜇 , 𝑡𝜇
umgerechnet auf die Signalkandidaten bei 1000 bestimmten Grenzen. Für ein
Untergrundereignis und 20 Untergrundereignisse wurden jeweis 32 Bins gewählt.
Bei der Anwendung der Teststatistiken 𝑡𝜇 , 𝑡𝜇̃ und 𝑞𝜇̃ auf die erweiterte Verteilung aus
(5.5) ergeben sich Verteilungen der oberen Ausschlussgrenzen wie in den Abbildungen
5.7a und 5.7b. Die Verteilungen der bestimmten Ausschlussgrenzen zeigen, dass für
𝑡𝜇 weiterhin negative Werte auftreten und dies bei 𝑡𝜇̃ und 𝑞𝜇̃ unterbunden wird.
Durch die Berücksichtigung der Unsicherheit der Normierungskonstante verändert
sich die Verteilung der Ausschlussgrenzen so, dass diese nicht mehr wie in 5.2a
und 5.2b diskret ist. Außerdem verbreitert sich die Verteilung. Die Auswirkungen
20
5.3 Einführung einer Unsicherheit auf die Normierungskonstante
C in %
auf die Coverage-Wahrscheinlichkeit bei Berücksichtigung der Unsicherheit auf die
Normierungskonstante sind in der Abbildung 5.8 gezeigt.
100
95
90
1−α
85
tµ
t̃ µ
80
C in %
75
10 0
10 1
10 2
Nbkg
100
95
90
85
1−α
80
75
q̃ µ
10 0
10 1
10 2
Nbkg
̃
Abbildung 5.8: Coverage-Wahrscheinlichkeiten für die Teststatistiken 𝑡𝜇 , 𝑡𝜇
und 𝑞𝜇̃ in Abhängigkeit der Anzahl an Untergrundereignissen bei umgerechnet
𝑁sig = 1 und Berücksichtigung der Unsicherheit auf die Normierungskonstante
𝛼𝑠 .
Die Coverage-Wahrscheinlichkeiten zeigen, dass sich das Verhalten der Teststatistik
𝑡𝜇̃ durch die Hinzunahme der Unsicherheit von 𝛼𝑠 nicht verändert hat und weiterhin
durchgehend Overcoverage hat. Bei Vergleich der Verläufe für die Teststatistiken 𝑡𝜇
und 𝑞𝜇̃ mit denen aus der Abbildung 5.4 fällt auf, dass für große Untergründe diese
21
5 Untersuchung der Teststatistiken
sich wie zuvor verhalten, für kleine Untergründe die Coverage-Wahrscheinlichkeiten
unter Betrachtung der Unsicherheit aus 𝛼𝑠 jedoch größer sind als zuvor. Die Methoden haben zwar immer noch Undercoverage für kleine Untergründe, jedoch deutlich
weniger als ohne Berücksichtigung der Unsicherheit. Außerdem ist zu erkennen, dass
die Sprünge in der Coverage-Wahrscheinlichkeit für 𝑞𝜇̃ verschwinden. Dies kann in
dieser Arbeit jedoch nicht begründet werden.
5.4 Unsicherheit auf den erwarteten Untergrund im
Signalfenster
Als letzter Schritt zur Untersuchung der Teststatistiken wird eine Unsicherheit auf
die Anzahl an erwarteten Untergrundereignissen im Signalfenster zugelassen. Die
Anzahl an Untergrundereignissen im Signalfenster ist nicht fest bestimmbar, da
nur die Summe aller Ereignisse gemessen werden kann. Deswegen muss von den
Ereignissen in den Seitenbändern, also den Bereichen außerhalb des Signalfensters,
in denen nur Untergrund ist, auf die Anzahl an Untergrundereignissen in diesem
geschlossen werden.
Die Anzahl an Ereignissen in den Seitenbändern 𝑁̃ kann gezählt werden und
unterliegt damit einer Poisson-Verteilung P, die Umrechnungskonstante 𝑛 von
Seitenbändern zum Signalfenster ist eine messbare Größe, für deren Unsicherheit
wiederum eine Gaußverteilung mit Varianz 𝜎𝑛2 angenommen wird. Sie lässt sich
bestimmen, indem die Exponentialfunktion für den kombinatorischen Untergrund
mit den Messwerten in den Seitenbändern gefittet wird und dieser somit auch für das
Signalfenster bekannt ist. Die Umrechnungskonstante 𝑛 ergibt sich dann durch das
Verhältnis von Untergrund im Signalfenster zu Untergrund in den Seitenbändern.
Die Steigung der Exponentialfunktion variiert innerhalb eines Fehlers. Um den
Fehler von 𝑛 zu erhalten, werden alle Verhältnisse der Untergründe im Rahmen des
Fehlers der Steigung berechnet und der größte Abstand zum besten Fit als Fehler 𝜎𝑛
der Umrechnungskonstante 𝑛 genommen. Die durch die Erweiterung resultierende
Verteilung
̃ , 𝑛gem |ℬ, 𝛼𝑠 , 𝑁̃ , 𝑛𝑠 )
𝑓(𝑁 , 𝛼𝑠,gem , 𝑁gem
= 𝑃(𝑁 ∣
ℬ
2 )𝑃(𝑁̃
2
̃
+ 𝑛𝑁̃ )𝐺(𝛼𝑠,gem |𝛼𝑠 , 𝜎𝛼
gem |𝑁 )𝐺(𝑛gem |𝑛, 𝜎𝑛 )
𝑠
𝛼𝑠
(5.6)
hängt nun von vier Observablen und vier zu schätzenden Parametern ab. Die Verwendung der mit den Unsicherheiten auf die Anzahl der erwarteten Untergrundereignisse
im Signalfenster erweiterten Verteilung auf die Teststatistiken 𝑡𝜇 , 𝑡𝜇̃ und 𝑞𝜇̃ führt
zu den in den Abbildungen 5.9a und 5.9b gezeigten Verteilungen der bestimmten
22
5.4 Unsicherheit auf den erwarteten Untergrund im Signalfenster
oberen Ausschlussgrenzen. Im Vergleich zu den Verteilungen in Kapitel 5.3 fällt auf,
dass die Verteilungen sich weiter verbreitern und kontinuierlicher werden. Dieses
Verhalten ist zu erwarten, denn durch die Kombination von mehreren Parametern
mit einer Unsicherheit vermischen sich diese, sodass mehr mögliche Ergebnisse in
den Berechnungen von 𝑝𝜇 und damit auch für die Ausschlussgrenzen möglich sind.
Es ist außerdem an den Verteilungen zu erkennen, dass sich für eine hohe Anzahl
an Untergrundereignissen die drei Methoden Verteilungen der Ausschlussgrenzen
liefern, die sich stärker ähneln als zuvor.
0
2
4
6
8
10
12
14
µt
0
2
4
6
8
10
12
14
µt̃
0
10
20
30
µt40
10
0
10
20
30
µt̃40
120
100
80
60
40
20
0
10
0
10
20
30
µq̃40
NBin
NBin
140
120
100
80
60
40
20
0
120
100
80
60
40
20
0
10
NBin
NBin
140
120
100
80
60
40
20
0
120
100
80
60
40
20
0
NBin
NBin
140
120
100
80
60
40
20
0
0
2
4
6
8
10
12
(a) 1 Untergrundereignis
14
µq̃
(b) 20 Untergrundereignisse
Abbildung 5.9: Verteilung der oberen Ausschlussgrenzen der drei Teststatis̃ , 𝑞𝜇̃ für das Verzweigungsverhältnis zum Vergleich mit Kapitel 5.1
tiken 𝑡𝜇 , 𝑡𝜇
umgerechnet auf die Signalkandidaten bei 1000 bestimmten Grenzen. Für ein
Untergrundereignis wurden 32 Bins und für 20 Untergrundereignissen 30 Bins
gewählt.
Die Mittelwerte der Verteilungen lassen sich hier berechnen, um einen Vergleich
mit der in der Analyse zu 𝐵𝑠0 → 𝜇− 𝜇+ 𝜇− 𝜇+ herzustellen. Wie bereits in Kapitel 5.2
gezeigt wurde, steigt der Mittelwert der Ausschlussgrenze mit steigender Anzahl an
Untergrundereignissen. Für die Verteilung in Abbildung 5.9a liegt der Mittelwert
umgerechnet auf das Verzweigungsverhältnis bei 𝜇̄ ≈ 4,34 ⋅ 10−9 . Dies liegt bereits
in der Größenordnung der Ausschlussgrenze aus der Analyse in Gleichung 2.2. In
der Analyse wurde die Anzahl an erwarteten Untergrundereignissen im Signalfenster
zu 𝑁bkg = 0.47 ± 0.23 ± 0.48, bestimmt [5]. Wenn dieser Wert als erwarteter
23
5 Untersuchung der Teststatistiken
C in %
Untergrund im Signalfenster angenommen wird, ergibt sich der Mittelwert der
Ausschlussgrenze für das Verzweigungsverhältnis zu 𝜇̄ (𝑁bkg = 0.47) = 2,08 ⋅ 10−9 ,
wobei der Fehler auf den Mittelwert um drei Größenordnungen kleiner ist bei 1000
bestimmten Ausschlussgrenzen. In der Abbildung 5.10 ist schließlich die Auswirkung
der erweiterten Verteilung auf die Coverage-Wahrscheinlichkeit gezeigt. Es lässt sich
daran erkennen, dass die Teststatistik 𝑡𝜇̃ weiterhin durchgehend Overcoverage hat,
jedoch nicht mehr ausschließlich die maximal mögliche. Für 𝑞𝜇̃ und 𝑡𝜇 hat sich die
Coverage-Wahrscheinlichkeit im Vergleich zu Kapitel 5.3 nicht bedeutend verändert,
lediglich ein wenig verbessert.
100
95
90
1−α
85
tµ
t̃ µ
80
C in %
75
10 0
10 1
10 2
Nbkg
100
95
90
85
1−α
80
75
q̃ µ
10 0
10 1
10 2
Nbkg
̃
Abbildung 5.10: Coverage-Wahrscheinlichkeiten für die Teststatistiken 𝑡𝜇 , 𝑡𝜇
und 𝑞𝜇̃ in Abhängigkeit von der Anzahl an Untergrundereignissen bei umgerechnet
𝑁sig = 1 und Berücksichtigung der Unsicherheiten auf die Normierung und den
Untergrund.
24
6 Zusammenfassung und Ausblick
Zur Bestimmung von oberen Ausschlussgrenzen gibt es bereits Methoden, wie in
Kapitel 4 diskutiert, die jedoch einige Nachteile mit sich bringen. Einer dieser Nachteile ist, dass für positive beschränkte Parameter negative obere Ausschlussgrenzen
zugelassen werden. Dieser Aspekt trifft vor allem auf das Profile-Likelihood-Ratio
𝑡𝜇 zu. Als Lösung dafür können die Asymptotic formulae [...] [7] 𝑡𝜇̃ und 𝑞𝜇̃ verwendet, die die Einschränkung des Parameters bei der Bestimmung der oberen
Ausschlussgrenze berücksichtigen. Wie in den Verteilungen der Ausschlussgrenzen in
der Abbildung 5.2b gezeigt wurde, treten negative Ausschlussgrenzen bei wenigen
Signalereignissen, aber vielen Untergrundereignissen, auf und werden durch die
untersuchten Statistiken erfolgreich vermieden.
Obere Ausschlussgrenzen werden in der Teilchenphysik unter anderem zur Bestimmung von Verzweigungsverhältnissen benötigt. Die im Rahmen dieser Arbeit
implementierten Methoden sind für die Anwendung auf seltene Zerfälle ausgelegt.
Bei diesen können für den Fall, dass im Signalfenster keine Signale gemessen werden,
über das Verzweigungsverhältnis trotzdem Aussagen über die Wahrscheinlichkeit des
Zerfalls machen. Dazu wurden die gesetzen Ausschlussgrenzen sowie die Coverage
der Teststatistiken untersucht.
Die Untersuchungen der Coverage-Wahrscheinlichkeiten in den Abbildungen 5.4, 5.8
und 5.10 ergeben, dass alle Teststatistiken für viele Untergrundereignisse Coverage
oder Overcoverage haben. Dabei fällt auf, dass 𝑡𝜇̃ immer Overcoverage hat. Auf
der Stabilität der Teststatistik 𝑡𝜇̃ lässt sich die Vermutung anstellen, dass diese
mit einem festgesetzten Konfidenzlevel von 90 % durchgehend Coverage für 95 %
liefert. Für wenige Signal- und Untergrundereignisse haben die Methoden wie erwartet Undercoverage. Der Grund dafür ist die nicht mehr gegebene Anwendbarkeit
des Wilks-Theorems. Die Betrachtung von Unsicherheiten hat keinen bedeutenden
Einfluss auf die Coverage-Wahrscheinlichkeit.
Es wurde außerdem gezeigt, dass die Verteilungen der gesetzten Ausschlussgrenzen
für eine zunehmende Anzahl an Untergrundereignissen breiter werden. Dies gilt
auch für die Hinzunahme von Unsicherheiten in der Normierungskonstante und des
erwarteten Untergrunds im Signalfenster. Des Weiteren werden die Verteilungen für
diese beiden Fälle kontinuierlich. Die Abbildung 5.5 zeigt, dass die Teststatistiken
𝑡𝜇 und 𝑡𝜇̃ bei einer zunehmenden Anzahl an Signalereignissen ineinander übergehen.
Die Ergebnisse zeigen, dass sich die untersuchten Teststatistiken zum Bestimmen von
oberen Ausschlussgrenzen für Verzweigungsverhältnisse eignen. Diese bieten im Vorteil zu anderen Methoden, dass sie eine effiziente Berechnung von Ausschlussgrenzen
ermöglichen. Basierend auf dieser Arbeit werden die Methoden in das Framework
GammaCombo eingearbeitet und LHCb zur Verfügung gestellt.
25
Literatur
[1] R. Aaij et al. „Search for decays of neutral beauty mesons into four muons“.
In: Journal of High Energy Physics 2017.3 (2017), S. 1.
[2] T. Karbach et al. GammaCombo Framework. 2017. url: https://gammacombo.
github.io/.
[3] The LHCb Collaboration: A. Augusto Alves Jr. et al. „The LHCb Detector at
the LHC“. In: Journal of Instrumentation 3.08 (2008), S08005.
[4] Volker Blobel und Erich Lohrmann. Statistische und numerische Methoden
der Datenanalyse. 1. Auflage. Teubner-Studienbücher, 1998.
[5] The LHCb Collaboration. „Search for the rare decay 𝐵𝑞0 → 𝜇+ 𝜇− 𝜇+ 𝜇− “. In:
LHCb-ANA-2015-040 (2016).
[6] Glen Cowan. Statistical Data Analysis. 1st Edition. Oxford University Press,
1998.
[7] Glen Cowan et al. „Asymptotic formulae for likelihood-based tests for new
physics“. In: The European Physical Journal C 71.2 (2011), S. 1554.
[8] S. V. Demidov und D. S. Gorbunov. „Flavor violating processes with sgoldstino
pair production“. In: Phys. Rev. D 85 (7 Apr. 2012), S. 077701.
[9] Yusuf Dinçer und L.M. Sehgal. „Electroweak effects in the double Dalitz decay
Bs→l+l−l+l−“. In: Physics Letters B 556.3 (2003), S. 169–176.
[10]
Gary J. Feldman und Robert D. Cousins. „Unified approach to the classical
statistical analysis of small signals“. In: Phys. Rev. D 57 (7 Apr. 1998), S. 3873–
3889.
[11]
S.L. Glashow. „Partial-symmetries of weak interactions“. In: Nuclear Physics
22.4 (1961), S. 579–588.
[12]
Peter W. Higgs. „Broken Symmetries and the Masses of Gauge Bosons“. In:
Phys. Rev. Lett. 13 (16 Okt. 1964), S. 508–509.
[13]
J. Neyman. A Selection of Early Statistical Papers on J. Neyman. Series A.
University of California Press, 1967.
[14]
C.Particle Data Group: C. Patrignani et al. Patrignani. „The Review of
Particle Physics: 39. Statistics“. In: Chinese Physics C 40 (2016).
[15]
A. L. Read. „Modified frequentist analysis of search results (the CLs method)“.
In: 1st Workshop on Confidence Limits, CERN, Geneva, Switzerland (2000).
[16]
A. Salam und J. C. Ward. „Weak and Electromagnetic Interactions“. In: Il
Nuovo Cimento (1955-1965) 11.4 (1959), S. 568–577.
26
Literatur
[17] T. Ullrich und Z. Xu. „Treatment of Errors in Efficiency Calculations“. In:
ArXiv Physics e-prints: physics/0701199 (2007).
[18] Abraham Wald. „Tests of Statistical Hypotheses Concernig Several Parameters
When the Number of Observations is Large“. In: Transactions of the American
Mathematical Society 54 (3 Nov. 1943), S. 426–482.
[19] S. Weinberg. „A Model of Leptons“. In: Phys. Rev. Lett. 19 (21 Nov. 1967),
S. 1264–1266.
[20] Wikipedia: Standard Model. Juni 2017. url: https://en.wikipedia.org/
wiki/Standard_Model.
[21] Samuel S. Wilks. „The large-sample distribution of the likelihood ratio for
testing composite hypotheses“. In: Ann. Math. Statist. 9 (60-2 1938).
27
Danksagung
Zum Abschluss dieser Bachelorarbeit möchte ich all den Leuten einen Dank aussprechen, die durch ihre Unterstützung zum Enstehen der Arbeit beigetragen haben.
Zunächst möchte ich mich bei Johannes Albrecht bedanken, der mir die Möglichkeit
gegeben hat meine Bachelorarbeit zu einem sehr interessanten Thema in seiner
Arbeitsgruppe schreiben zu können und stets darum bemüht ist alle Bachelorstudenten in den Alltag des Lehrstuhls einzugliedern. Dadurch konnte ich in Form der
Gruppenbesprechungen und zwei Tagen auf der DPG-Woche Erfahrungen in der
Zusammenarbeit und Diskussion mit anderen Studenten sammeln.
Ein weiterer Dank gilt vor allem Titus und Alex, die mir immer dabei geholfen haben
durch die Thematik der Bachelorarbeit durchzublicken und diese zu diskutieren.
Außerdem bedanke ich mich dafür, dass ihr mich durch zahlreiche Kommentare und
Ideen zum Gelingen von Vorträgen und der Bachelorarbeit unterstützt habt. Des
Weiteren möchte ich mich bei Professor Kröninger bedanken, der sich nicht nur
dazu bereit erklärt hat meine Arbeit als Zweitgutachter zu bewerten, sondern auch
durch eine Vorlesung mein Interesse an der Teilchenphysik weiter gefördert hat.
Die Zusammenarbeit mit den anderen Bachelorstudenten möchte ich außerdem
herausheben, denn diese war eine gelungene Kombination von Unterstützung untereinander und entspannter Arbeitsathmosphäre. Dabei bedanke ich mich vor allem
bei Lukas und Hubi, die meine Arbeit Korrektur gelesen haben, genauso wie bei Lars.
Dieser Dank gilt auch Niklas, der mich um viele Kommentare bereichert hat und sich
die Mühe gemacht hat, möglichst alles meiner Bachelorarbeit nachzuvollziehen.
Zuletzt möchte ich mich bei Emma, Hannah und Philipp sowie meinen Eltern
bedanken, die mich zusätzlich immer motiviert haben und bei Fragen fachlicher
oder stilistischer Art immer zur Verfügung standen.
28
Eidesstattliche Versicherung
Ich versichere hiermit an Eides statt, dass ich die vorliegende Abschlussarbeit mit
dem Titel „Untersuchung likelihood-basierter Teststatistiken zur Bestimmung von
oberen Ausschlussgrenzen“ selbstständig und ohne unzulässige fremde Hilfe erbracht
habe. Ich habe keine anderen als die angegebenen Quellen und Hilfsmittel benutzt,
sowie wörtliche und sinngemäße Zitate kenntlich gemacht. Die Arbeit hat in gleicher
oder ähnlicher Form noch keiner Prüfungsbehörde vorgelegen.
Ort, Datum
Unterschrift
Belehrung
Wer vorsätzlich gegen eine die Täuschung über Prüfungsleistungen betreffende
Regelung einer Hochschulprüfungsordnung verstößt, handelt ordnungswidrig. Die
Ordnungswidrigkeit kann mit einer Geldbuße von bis zu 50 000 € geahndet werden.
Zuständige Verwaltungsbehörde für die Verfolgung und Ahndung von Ordnungswidrigkeiten ist der Kanzler/die Kanzlerin der Technischen Universität Dortmund. Im
Falle eines mehrfachen oder sonstigen schwerwiegenden Täuschungsversuches kann
der Prüfling zudem exmatrikuliert werden (§ 63 Abs. 5 Hochschulgesetz –HG–).
Die Abgabe einer falschen Versicherung an Eides statt wird mit Freiheitsstrafe bis
zu 3 Jahren oder mit Geldstrafe bestraft.
Die Technische Universität Dortmund wird ggf. elektronische Vergleichswerkzeuge
(wie z. B. die Software „turnitin“) zur Überprüfung von Ordnungswidrigkeiten in
Prüfungsverfahren nutzen.
Die oben stehende Belehrung habe ich zur Kenntnis genommen.
Ort, Datum
Unterschrift