Die Entropie Funktion

Die Entropie Funktion
Michael Förster
24. Juli 2004
1
Einführung
Die Entropie ist ein Grundkonzept der Informationstheorie. Eine gute Einführung in die Informationstheorie ist in [1] zu finden. Die Informationstheorie
behandelt das Konzept der Übertragung von Information von einer Quelle zu
einem Empfänger.
Die Entropie mißt die Unbestimmtheit beziehungsweise den Informationsgewinn bei der Codierung von Quellen. Außerdem kann mit ihr die Leistungsfähigkeit von gestörten Kanälen ausgedrückt werden.
Hierbei ist es gleichgültig, ob ein Zufallsexperiment durch die Unsicherheit
über den Ausgang vor Ausführung oder den Informationsgewinn nach Bekanntwerden des Ausgangs beurteilt wird. Beide Größen können durch dieselbe Maßzahl gemessen werden.
Definition 1 Sei X eine Zufallsvariable mit Werten im Bereich
B und sei mit pb die Wahrscheinlichkeit gemeint, dass X den Wert
b annimmt, formal also P (X = b) = pb . Die binäre Entropie von
X bezeichnen wir mit H[X] und ist definiert durch:
X
H[X] :=
−pb · log2 (pb )
b∈B
mit der Konvention, dass 0 · log2 0 := 0 gelten soll.
Nützlich für folgende Beweise ist die sogenannte Gibbs Ungleichung.
Lemma 2 (Gibbs Ungleichung) Seien p1 , . . . , pM und q1 , . . . , qM WahrscheinPM
PM
lichkeiten mit i=1 pi = i=1 qi = 1. Dann
−
M
X
pi · log2 (pi ) ≤ −
i=1
M
X
pi · log2 (qi )
i=1
mit Gleichheit genau dann, wenn pi = qi für alle i ∈ 1, . . . , M .
Beweis:
Wir benutzen den natürlichen Logarithmus statt den Logarithmus dualis, weil
gilt log2 (x) = ln(x)
ln(2) und die Behauptung durch eine positive Konstante nicht
verändert wird. Weiter gilt ln(x) ≤ x − 1 und ln(x) = x − 1 ⇔ x = 1
Daraus folgt dann ln( pqii ) ≤ pqii − 1 und Gleichheit genau dann, wenn pi = qi .
PM
Nach Voraussetzung gilt i=1 pi = 1, daher können wir die Summe auf beiden
Seiten multiplizieren.
M
X
i=1
pi · ln(
M
M
M
X
X
X
qi
qi
)≤
pi ( − 1) =
qi −
pi = 1 − 1 = 0
pi
pi
i=1
i=1
i=1
| {z } | {z }
=1
1
=1
Abbildung 1: ln(x) ≤ x − 1 Graphisch dargestellt
Mit Gleichheit genau dann, wenn pi = qi für alle i. Daraus folgt
M
X
i=1
2
pi ·ln(
M
M
M
X
X
X
qi
)=
pi (ln qi − ln pi ) =
pi ln qi −
pi ln pi ≤ 0
pi
i=1
i=1
i=1
Grundlegende Eigenschaften
a.) Wenn |B| = 2t dann gilt
H[X] ≤ t
(1)
1
2t
für alle b ∈ B
Mit Gleichheit genau dann, wenn P (X = b) = pb =
Um dies zu zeigen wenden wir Gibbs Ungleichung an mit qb = 21t für alle
b ∈ B. Dazu:
X
X
pb log2 pb ≤ −
pi log2 2−t = (−1) · (−t) = t
b∈B
b∈B
b.) Entropie hat die Konzentrations-Eigenschaft
Wenn H[X] ≤ t, dann muß es ein b geben so dass gilt:
pb = P (X = b) ≥ 2−t
Dazu: Annahme für alle b ∈ B gilt pb < 2−t :
Dann folgt für die Entropie
X
X
H[X] =
−pb · log2 (pb ) >
−pb · log2 (2−t )
b∈B
=(
X
b∈B
−pb ) · (−t) = (
b∈B
X
pb ) · t = t
b∈B
| {z }
=1
2
(2)
Dies ist ein Widerspruch zu (1).
c.) Die Entropie ist subadditiv
Pn
Wenn X = (X1 , X2 , . . . , Xn ), dann H[X] ≤ i=1 H[Xi ] (Beweis kommt in
Kapitel 3).
Definition 3 Wenn E ein Ereignis ist, können wir die bedingte Entropie
von X unter der Bedingung, dass E eingetreten ist definieren durch
X
H[X|E] :=
−P (X = b|E) · log2 (P (X = b|E))
b∈B
Auf die gleiche Weise könen wir bedingte Entropie von X mit gegebenen Y
definieren, wobei Y eine Zufallsvariable ist, welche Werte aus einem Bereich
A annimmt.
X
H[X|Y ] :=
H[X|Y = a] · P (Y = a)
a∈A
=
XX
−P (X = b|Y = a) · log2 P (X = b|Y = a) · P (Y = a)
a∈A b∈B
=
XX
−P (X = b ∩ Y = a) · log2 P (X = b|Y = a)
a∈A b∈B
Wenn bestimmte Werte von Y gegeben sind, stellen wir uns H[X|Y ] als
Unbestimmtheit von X vor, verteilt über den Wertebereich, den Y annehmen
kann.
d.) H[X|X] = 0, weil
XX
H[X|X] = −
−P (X = a|X = a) · log2 P (X = a|X = a) · P (X = a) = 1
{z
}
|
a∈A a∈A
=1
|
{z
}
=0
e.) H[X|Y ] = 0 ⇔ X = f (Y ) für eine Funktion f.
Anders ausgedrückt ist H[X|Y ] = 0 genau dann, wenn X total abhängig
von Y ist.
f.) H[X|Y ] = H[X], wenn X und Y unabhängig sind. Dazu:
XX
=
−P (X = b|Y = a) · log2 P (X = b|Y = a) · P (Y = a)
a∈A b∈B
=
X
P (Y = a) · (−
a∈A
|
X
P (X = b) · log2 P (X = b)) = H[X]
b∈B
{z
=1
} |
{z
=H[X]
3
}
Definition 4
H[X, Y ] := −
XX
P (X = b, Y = a) · log2 P (X = b, Y = a)
a∈A b∈B
g.) Wenn wir mit mehr als nur einer ZV bedingen also eine Schnittmenge über
die Ereignismengen nehmen wird klar, dass gilt:
H[X|Y, Z] ≤ H[X|Y ]
(3)
Die Haupteigenschaft der bedingten Entropie ist die folgende:
H[X, Y ] = H[Y ] + H[X|Y ]
(4)
Beweis: Der Trick ist hier eine Null-Addition
H(X, Y ) = −
0 = − log2 (P (Y = a)) + log2 (P (Y = a))
X
P (X = b, Y = a) · { log2 P (X = b, Y = a) − log2 P (Y = a) + log2 P (Y = a)}
{z
}
|
a∈A,b∈B
=−
XX
=log2 P (X=b|Y =a)
P (X = b, Y = a) · log2 P (X = b|Y = a)−
a∈A b∈B
XX
|
=−
P (X = b, Y = a) · log2 P (Y = a)
a∈A b∈B
{z
=P (Y =a)
XX
}
X
P (X = b, Y = a) · log2 P (X = b|Y = a) −
P (Y = a) · log2 P (Y = a)
|
{z
}
a∈A b∈B
a∈A
=P (Y =a)·P (X=b|Y =a)
|
{z
}
=H[Y ]
=−
X
P (Y = a) ·
a∈A
X
P (X = b|Y = a) · log2 P (X = b|Y = a) + H[Y ]
b∈B
|
=−
{z
=H[X|Y =a] nach Def. 1
X
P (Y = a) · H[X|Y = a] +H[Y ]
a∈A
|
{z
=H[X|Y ] nach Def. 3
= H[X|Y ] + H[Y ]
4
}
}
3
Subadditivität (Subadditivity)
Satz 5 Wenn X und Y zwei Zufallsvariablen sind, die nur endlich viele Werte
annehmen, dann
H[X, Y ] ≤ H[X] + H[Y ]
mit Gleichheit nur wenn X und Y stochastisch unabhängig sind.
Beweis:
Nehmen wir an X und Y nehmen ihre Werte in A bzw. B an. Sei pa,b die
Wahrscheinlichkeit P ((X, Y ) = (a, b)) = pa,b und sei pa die Wahrscheinlichkeit,
dass
also P (X = a) = pa und pb = P (Y = b). Da
P X den Wert a annimmt
P
p
=
p
und
p
a
b∈B a,b
a∈A a,b = pb gilt, folgt
X
X
H[X] + H[Y ] =
−pa log pa +
−pb log pb
a∈A
=
XX
b∈B
−pa,b log pa +
a∈A b∈B
=
XX
−pa,b log pb
b∈B a∈A
−pa,b log pa +
a∈A b∈B
XX
−pa,b log pb
b∈B a∈A
X
=
XX
−pa,b (log pa + log pb )
(a,b)∈A⊗B
X
=
−pa,b · log(pa · pb )
(a,b)∈AxB
P
P
P
P
Weil a,b pa · pb = ( a pa ) · ( b pb ) = 1 · 1 = 1 und a,b pa,b ≤ 1 können
wir Gibbs Ungleichung anwenden und bekommen
H[X] + H[Y ]
=
La(2)
X
−pa,b log(pa · pb ) ≥
(a,b)∈AxB
X
−pa,b log(pa,b )
(a,b)∈AxB
= H[X, Y ]
äquivalente Definition für stochastische Unabhängigkeit von X,Y ist.
Satz 6 Sei X = (X1 , . . . , Xn ) ein Zufallsvektor, der Werte in der Menge B =
B1 ⊗ B2 ⊗ . . . ⊗ Bn annimmt, wobei Xi Werte in Bi annimmmt. Dann
H[X] ≤
n
X
H[Xi ]
i=1
mit Gleichheit genau dann wenn X1 , . . . , Xn paarweise stochastisch unabhängig
sind.
Beweis:
n = 2: Lemma 2
n − 1 → n:
5
n
X
IV
H[Xi ] ≥ H[X1 , . . . , Xn−1 ] + H[Xn ]
i=1
X
=
−pb1 ,...,bn−1 · log(pb1 ,...,bn −1 ) +
X
X
X
−pb1 ,...,bn · log(pb1 ,...,bn −1 ) +
(b1 ,...,bn )∈B
=
−pbn · log(pbn )
bn ∈Bn
(b1 ,...,bn−1 )∈B1 ,...,Bn−1
=
X
−pb1 ,...,bn · log(pbn )
(b1 ,...,bn )∈B
−pb1 ,...,bn · log(pb1 ,...,bn −1 · pbn )
(b1 ,...,bn )∈B
La(2)
≥
X
−pb1 ,...,bn · log(pb1 ,...,bn )
(b1 ,...,bn )∈B
=
H[X1 , X2 , . . . , Xn ]
Eine interessante Erweiterung wurde von Chung, Frankl, Graham und Shearer 1986 bewiesen. Wie zuvor sei X = (X1 , X2 , . . . , Xn ) ein Zufallsvektor der
Werte aus B = B1 ⊗B2 ⊗. . .⊗Bn annimmt und jede Zufallsvariable Xi Werte in
Bi annimmt. Nehmen wir weiter an, dass Bi = {0, 1} für alle i ∈ {1, . . . , n}. Für
eine Teilmenge von Koordinaten S bezeichne XS eine Zufallsvariable (Xi )i∈S .
Satz 7 (Allgemeine Subadditivität) Sei X = (X1 , X2 , . . . , Xn ) und B wie oben
und seien S1 , . . . , Sm mit m ≤ n Teilmengen von [n] = {1, . . . , n} so dass jedes
i ∈ [n] mindestens zu k ≥ 1 Mengen von S1 , . . . , Sm gehört. Dann
H[X] ≤
m
1 X
·
H[XSi ]
k i=1
Was heißt das?
Beispiel (mit n=5 und m=3):
X = (X1 , . . . , X5 ) und B = B1 ⊗ B2 ⊗ B3 ⊗ B4 ⊗ B5 und Bi = {0, 1}.
S1 , S2 , S3 sind Teilmengen von [5]={1,2,3,4,5} so dass i ∈ [5] zu mindestens k
Teilmengen von S1 , S2 , S3 gehört.
Seien die Teilmengen: S1 = {3, 4}, S2 = {1, 2, 3}, S3 = {2, 3, 5}, Dann gilt

1 ∈ S2



2 ∈ S2 , S 3 

3 ∈ S1 , S 2 , S 3
k=1


4 ∈ S1



5 ∈ S3
Mit Satz 7 gilt dann: H[X1 , . . . , X5 ] ≤ H[XS1 ]+H[XS2 ]+H[XS3 ] = H[X3 , X4 ]+
H[X1 , X2 , X3 ] + H[X2 , X3 , X5 ].
6
gilt
Seien die Teilmengen: S1 = {1, 2, 3}, S2 = {2, 3, 4, 5}, S3 = {1, 3, 4, 5}, Dann

1 ∈ S1 , S 3 


2 ∈ S1 , S 2 

3 ∈ S1 , S 2 , S 3
k=2

4 ∈ S2 , S 3 



5 ∈ S2 , S 3
In der Notation von oben heißt XS1 = (X3 , X4 ), wenn für die Teilmenge S1
gilt: S1 = {3, 4}
Beweis:
Für k=1 folgt die Behauptung aus Satz 6. Sei nun k > 1 und v bezeichne die
minimale Anzahl von Si ’s deren Vereinigung [n] ergibt.
Wir werden die Behauptung durch Induktion über k und v zeigen. Wenn
v = 1 dann existiert ein Si mit Si = [n]. O.B.d.A. sei S1 = [n]. Da k > 1 liegen
jetzt alle Elemente aus [n] in mindestens k − 1 Mengen von S2 , . . . , Sm . Nach
Induktion über k können wir folgern:
(k − 1) · H[X1 , . . . , Xn ] ≤
⇔
⇔
S1 =[n]
⇔
k · H[X1 , . . . , Xn ]
≤
k · H[X1 , . . . , Xn ]
≤
k · H[X1 , . . . , Xn ]
≤
m
X
i=2
m
X
i=2
m
X
i=2
m
X
H[XSi ]
H[XSi ] + H[X1 , . . . , Xn ]
H[XSi ] + H[XS1 ]
H[XSi ]
i=1
Sei nun v > 1, wir benötigen also v Mengen von S1 , . . . , Sm vereinigt, um [n]
zu erhalten. Seien dies O.B.d.A. S1 , . . . , Sv also S1 ∪ S2 ∪ . . . ∪ Sv = [n]. Seien
S10 := S1 ∪ S2 und S20 := S1 ∩ S2 . Jedes Element von [n] ist in mindestens k
Mengen von S10 , S20 , S3 , . . . , Sm , weil
p ∈ S1 ∧ p ∈ S2
p ∈ S1 ∧ p ∈
/ S2
p∈
/ S1 ∧ p ∈ S2
p∈
/ S1 ∧ p ∈
/ S2
⇒
⇒
⇒
⇒
p ∈ S10 ∧ p ∈ S20
p ∈ S10 ∧ p ∈
/ S20
p ∈ S10 ∧ p ∈
/ S20
p∈
/ S10 ∧ p ∈
/ S20
Außerdem genügen schon v − 1 von diesen Mengen, um [n] zu erhalten, weil
[n] = S10 ∪ S3 ∪ . . . Sv . Nach Induktion über v gilt:
k · H[X1 , X2 , . . . , Xn ] ≤
m
X
H[XSi ] + H[XS10 ] + H[XS20 ]
i=3
7
Setze X = XS1 −S2 , Y = XS1 ∩S2 , Z = XS2 −S1 und nach ?? gilt:
H[XS1 ∪S2 ] ≤ H[XS1 ] + H[XS2 ] − H[XS1 ∩S2 ]
⇔ H[XS1 ∪S2 ] + H[XS1 ∩S2 ] ≤ H[XS1 ] + H[XS2 ]
(5)
m
X
k · H[X1 , . . . , Xn ] ≤
H[XSi ] + H[XS1 ∪S2 ] + H[XS1 ∩S2 ]
i=3
≤
m
X
H[XSi ]
(6)
i=1
4
Kombinatorische Anwendungen
Mit Satz (6) wurde von Kleitman, Shearer und Sturtevant (1981) benutzt um
verschiedene, interessante Anwendungen in der Extremalen-Kombinatorik zu
entwickeln. Die Grundidee kann durch folgendes einfaches Korollar von 6 verdeutlicht werden.
Korollar 8 Sei F eine Familie von Teilmengen von {1, 2, . . . , n} und sei mit
pi die Menge der Bruchteile von Mengen in F bezeichnet, die i enthalten. Dann
|F| ≤ 2
Pn
i=1
H(pi )
wobei H(y) := −y · log2 (y) − (1 − y) · log2 (1 − y)
Beweis:
Bringen wir jede Menge F ∈ F in Zusammenhang mit ihrem Vorkommen-Vektor
υF , der ein Vektor der Länge n ist.
Beispiel: F = {S1 , S2 , S3 } Familie von Teilmengen von {1, . . . , 5}
S1 = {1} ⇒ υS1 = (1, 0, 0, 0, 0)
S2 = {4, 5} ⇒ υS2 = (0, 0, 0, 1, 1)
S3 = {2} ⇒ υS3 = (0, 1, 0, 0, 0)
Sei X = (X1 , . . . , Xn ) eine Zufallsvariable, die Werte in {0, 1}n annimmt,
wobei P ((X1 , X2 , . . . , Xn ) = υF ) = |F1 | für alle F ∈ F. Klar ist:
H[X]
= −
X
P (X = υF ) · log2 P (X = υF )
F ∈F
1
1
· log2
)
|F|
|F|
1
= |F| · (
· log2 |F|)
|F|
= log2 |F|
= |F| · (−
8
Es gilt hier pi = P (Xi = 1) und 1−pi = P (Xi = 0) und weil hier H[Xi ] = H(pi )
für alle 1 ≤ i ≤ n gilt:
H[X]
H[X1 , . . . , Xn ] = log2 |F|
n
n
X
X
Satz6
Xi =
H(pi )
=
≤
⇒ |F|
=
i=1
log2 |F |
2
i
Pn
≤2
i=1
H(pi )
Dieses Korollar liefert einen schnellen Beweis für die wohlbekannte Abschätzung:
Korollar 9 Für jede Ganzzahl n und für jede reelle Zahl 0 < p ≤
X n ≤ 2n·H(p)
i
1
2
gilt:
i≤np
Beweis: (nach P. Frankl)
Sei F die FamiliePaller Teilmengen
von {1, 2, . . . , n} mit der Ordnung höchstens
p · n also |F| = i≤np ni . Sei weiter pi der Bruchteil der Teilmengen von F,
die i enthalten dann gilt p1 = p2 = · · · = pn .
Beispiel mit n=5 und p= 21 :
n · p = 52 ⇒ Teilmengen haben höchstens die Göße 2.
F = {∅, {1}, {2}, {3}, {4}, {5}, {1, 2}, {1, 3}, {1, 4}, {1, 5}, {2, 3}, {2, 4}, {2, 5}, {3, 4}, {3, 5}, {4, 5}}
5
5
5
|F| =
+
+
= 1 + 5 + 10 = 16
0
1
2
9
n
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
P
1
0
1
0
0
0
0
1
1
1
1
0
0
0
0
0
0
5
2
0
0
1
0
0
0
1
0
0
0
1
1
1
0
0
0
5
3
0
0
0
1
0
0
0
1
0
0
1
0
0
1
1
0
5
4
0
0
0
0
1
0
0
0
1
0
0
1
0
1
0
1
5
5
0
0
0
0
0
1
0
0
0
1
0
0
1
0
1
1
5
|F| · p1
|F| · p2
|F| · p3
|F| · p4
|F| · p5
∅
{1}
{2}
{3}
{4}
{5}
{1, 2}
{1, 3}
{1, 4}
{1, 5}
{2, 3}
{2, 4}
{2, 5}
{3, 4}
{3, 5}
{4, 5}
≤ np
≤ np
≤ np
≤ np
≤ np
≤ np
≤ np
≤ np
≤ np
≤ np
≤ np
≤ np
≤ np
≤ np
≤ np
≤ np
Pn
i=1
|F| · pi ≤ |F| · np
Pn
Durch doppeltes Abzählen erhalten wir i=1 pi ≤ pn und daraus pi ≤ p für
alle i. Weil die Funktion H(p) streng monoton steigend ist für 0 < p ≤ 12 gilt:
H(pi ) ≤ H(p) für alle i ∈ {1, . . . , n}
Mit Korollar 8 erhalten wir:
X n Pn
= |F| ≤ 2 i=1 H(pi ) ≤ 2n·H(p)
i
i≤np
Die folgende einfache Konsequenz aus Satz 7 sagt uns, dass eine Familie nicht
viele Mitglieder haben kann, wenn ihre Projektionen“ klein sind.
” ∩ S |E ∈ F}
Projektion: Fi : F → Si mit Fi := {E
i
Für 1 gilt dann: F1 : F → S1
F1 := {E ∩ S1 |E ∈ F}
Schnitt von Teilmengen von {1,2,3} mit S1 = {1, 2}:

∅ ∩ S1 = ∅



{1} ∩ S1 = {1} 



{2} ∩ S1 = {2}
F1 = {∅, {1}, {2}, {1, 2}}
{1, 2} ∩ S1 = S1 


{1, 3} ∩ S1 = {1} 



{1, 2, 3} ∩ S1 = S1
10
Satz 10 Sei Ω eine endliche Menge und sei S = {S1 , . . . , Sm } Teilmengen von
Ω, so dass jedes Element von Ω in mindestens k>0 Mitgliedern von S enthalten
ist. Sei F eine Familie von Teilmengen von Ω. Für jedes 1 ≤ i ≤ m definieren
wir die Projektion von F auf die Menge Si durch Fi := {E ∩ Si |E ∈ F}. Dann
|F| ≤ (
m
Y
1
|Fi |) k
(7)
i=1
Beweis:
Nehmen wir an, dass Ω = {1, . . . , n} und definieren Bi = {0, 1} für 1 ≤ i ≤ n.
Sei X = (X1 , . . . , Xn ) die Zufallsvariable, die Werte in B = B1 ⊗ B2 ⊗ · · · ⊗ Bn
annimmt. Für jedes E ∈ F sei die Zufallsvariable X mit Wahrscheinlichkeit |F1 |
gleich dem Vorkommen-Vektor von
PmE.
Nach Satz 7 gilt k · H[X] ≤ i=1 H[XSi ]. Im Beweis zu Korollar 8 haben
wir gesehen, dass H[X] = log2 |F|. wohingegen H[XSi ] ≤ log2 |Fi |, wodurch das
gewünschte Ergebnis impliziert.
H[X]
= log2 |F|
m
1X
H[XSi ]
≤
k i=1
≤
m
1X
log2 |Fi |
k i=1
=
m
Y
1
log2 ( |Fi |)
k
i=1
=
log2 (
m
Y
1
|Fi |) k
i=1
Da der Logarithmus streng monoton steigt folgt, dass
k1
Qm
|F| ≤
i=1 |Fi |
Die Allgemeine Subadditivität der Entropie Funktion aus Satz 7 kann dazu
benutzt werden, um einige nicht trivialen Schnittmengen-Sätze “ zu beweisen.
”
Die folgenden 3 Ergebnisse wurden von Chung, Frankl, Graham und Shearer
1986 [3]) gezeigt.
Erinnern wir uns, dass eine Familie F von Teilmengen von irgendeiner Menge
Ω intersecting heißt, wenn folgendes gilt: F ∩ F 0 6= ∅ für alle F, F 0 ∈ F.
Wenn F intersecting ist, dann |F| ≤ 2|Ω|−1 , weil F nicht eine Menge enthalten kann und gleichzeitig ihr Komplement. Darüber hinaus ist diese Abschätzung
optimal. (Man nehme die Familie aller Teilmengen von Ω, die einen Fixpunkt
haben.)
Um die Frage etwas interessanter zu machen, können wir fordern, dass die
Mitglieder von F nicht nur intersect sind, sondern dass diese Schnittmengen
mindestens eine der gegebenen Konfigurationen enthält.
11
Betrachten wir zuerst ein einfaches Beispiel. Sei, wie zuvor [n] = {1, . . . , n}
Satz 11 Nehmen wir an, dass F eine Familie von Teilmengen von [n] ist, so
dass die Schnittmenge von irgendwelchen 2 Mitgliedern dieser Familie ein Paar
von aufeinanderfolgenden Zahlen enthält, d.h. für alle F, F 0 ∈ F existieren einige 1 ≤ i < n so dass F ∩ F 0 ⊇ {i, i + 1}. Dann
|F| ≤ 2n−2
Bemerkung:
Diese obere Schranke ist optimal: Sei F Familie aller Teilmengen, die die Menge
{1,2} enthalten.
Beweis:
Sei S0 und S1 die Menge aller geraden bzw. ungeraden Zahlen in [n].
Betrachte die Projektionen F := {F ∩ S |F ∈ F} von unserer Familie F auf
diese zwei Mengen mit ∈ {0, 1}.
Seien G, G0 ∈ F , dann hat ihre Schnittmenge mit dem Distributivgesetz die
Form G ∩ G0 = (F ∩ S ) ∩ (F 0 ∩ S ) = (F ∩ F 0 ) ∩ S für irgendwelche F, F 0 ∈ F.
Nach Voraussetzung enthält (F ∩ F 0 ) ein Paar aufeinanderfolgender Zahlen und
ist daher nicht leer. Daher ist jede der Mengen F intersecting und so gilt:
|F | ≤ 2|S |−1 für beide ∈ {0, 1}
Die Voraussetzungen von Satz 10 sind erfüllt und so erhalten wir mit k=1
|F| ≤ |F0 | · |F1 | ≤ 2|S0 |−1 · 2|S1 |−1 = 2|S0 |+|S1 |−2 = 2n−2
Satz 10 hat aber noch weitere Konsequenzen. Zum Beispiel nehme man Ω als
Menge von allen n2 Kanten eines vollständigen Graphen Kn . Wir betrachten die
Teilmengen F von Ω und sehen diese als markierte Teilgraphen G = ([n], E) von
Kn an. Markiert heißt hier, dass wir keine isomorphen Graphen identifizieren.
Satz 12 Nehmen wir an, dass F eine Familie von markierten Teilgraphen von
Kn ist, so dass für alle F, F 0 ∈ F der Graph F ∩ F 0 keine isolierten Knoten
besitzt. Dann
n
n
|F| ≤ 2( 2 )− 2
Beweis:
Wähle Si als einen Sterngraph am i-ten Knoten, d.h. Si besteht aus allen n-1
Kanten {i, j}, j 6= i.
Klar ist, dass jede Kante in genau 2 Mengen von S1 , . . . , Sn . Das ist die
Kante, die die 2 gewählten Sterne aus S1 , . . . , Sn verbindet.
Betrachten wir die Projektion Fi := {F ∩ Si |F ∈ F} von F auf diese Sterngraphen i = 1, . . . , n.
12
Wir bemerken, dass wenn G, G0 ∈ Fi , dann hat ihre Schnittmenge die Form
G ∩ G0
=
=
(F ∩ Si ) ∩ (F 0 ∩ Si )
F ∩ (Si ∩ F 0 ) ∩ Si
=
F ∩ (F 0 ∩ Si ) ∩ Si
=
(F ∩ F 0 ) ∩ (Si ∩ Si )
=
(F ∩ F 0 ) ∩ Si
Ass
Komm
Ass
Idempotenz
für irgendwelche F, F 0 ∈ F und daher ist diese nicht leer, weil der Knoten i,
nach Voraussetzung nicht isoliert sein kann im Teilgraph F ∩ F 0 .
Da jedes Fi eine Familie von Teilmengen von Si ist und die paarweisen
Schnittmengen nicht leer sind, sind diese Fi intersecting und daher
|Fi | ≤ 2|Si |−1 = 2n−1−1 = 2n−2 für alle i = 1, . . . , n
(8)
Wenden wir Satz 10 mit k=2 (Jede Kante ist in genau 2 Sterngraphen) an und
beachten folgende Umrechnung,
n
n
n!
n
n · (n − 1) n
n · (n − 1 − 1)
n · (n − 2)
− =
− =
− =
=
2
2
2 · (n − 2)! 2
2
2
2
2
erhalten wir:
|F| ≤ (
(7)
n
Y
i=1
1
|Fi |) 2 ≤ (
(8)
n
Y
n
n
1
2n−2 ) 2 = 2n·(n−2)/2 = 2( 2 )− 2
i=1
Sagen wir, dass eine Familie F von Teilgraphen von Kn triangle-intersecting
heißt, wenn F ∩ F 0 ein Dreieck enthält, für alle F, F 0 ∈ F.
Satz 13 Sei n ≥ 4 eine gerade Zahl und sei F eine Familie von (markierten)
Teilgraphen von Kn .
Wenn F triangle intersecting ist, dann
n
|F| ≤ 2( 2 )−2
Bemerkung:
Es ist nicht bekannt, ob diese Grenze optimal ist.
Beweis:
Wir wählen Si 1 ≤ i ≤ m := 12 · nn so dass diese aus allen möglichen disjunkten
2
Vereinigungen von 2 kompletten (markierten) Teilgraphen auf n2 Knoten jedes
Graphen. Das heißt jedes Si hat die Form KU ∪ KŪ für
irgendeine Teilmenge
von Knoten U ⊆ {1, . . . , n} mit |U | = n2 . Wir haben nn Möglichkeiten, um aus
2
13
n Knoten n2 auszuwählen. Die gewählten Knoten sind in der Menge U und die
nicht gewählten in Ū .
Die Si ’s sind bipartite Graphen. Wir definieren nun wie in den vorherigen
Beweisen eine Projektion auf diese bipartiten Si ’s: Fi := {F ∩ Si |F ∈ F}
Jede der Familien Fi ist intersecting, weil kein Dreieck komplett in einem
bipartiten Graph liegen kann, nach dem Satz von König[6]. Deshalb
|Fi | ≤ 2|Si |−1
Jeder Graph Si hat s := 2 · n/2
Kanten (Disjunkte Vereinigung von 2
2
vollständigen Teilgrapen mit n/2
).
2
Jede Kante von Kn ist in k := n−2
n/2 Si ’s enthalten. Mit Satz 10 folgt
|F| ≤ (
m
Y
1
2|Si |−1 ) k = 2(s−1)m/k
i=1
Substituieren wir die Werte von s, m und k, erhalten wir dass
n
(2 n/2
− 1) · ( 12 n/2
)
(s − 1)m
2
=
n−2
k
n/2
n
n
!
−
(
( n2 )! · ( n2 − 2)!
n!
2
2 − 2)!
=
·
·
( n − 2)!
2 · ( n2 )! · ( n2 )!
(n − 2)!
2 n
n
(
)!
−
(
−
2)!
n
2
=
· 2
2
( n2 )!
n
n
n
2 · ( 2 − 2)!
=
−
( n2 )!
2
n
n
2
=
− n n
2
2 · ( 2 − 1)
n
n
2
=
− n n
2
2 · ( 2 − 1)
n
n!
=
−
2
2! · (n − 2)! · n2 · ( n2 − 1)
n
n−1
=
− n
2
( 2 − 1)
n
n−1
≤
− n 1
2
( 2 − 2)
n
=
−2
2
Literatur
[1] Mathar,Rudolf - Informationstheorie - Teubner, 1996
- ISBN 3-519-02574-4
14
[2] Ash,Robert - Information Theory - John Wiley & Sons, 1965
[3] Noga Alon - Probabilistic Methods in Extremal Finite Set Theory
http://www.math.tau.ac.il/∼nogaa/PDFS/set3.pdf
[4] Jaikumar Radhakrishnan - Entropy and Counting, 2001
http://www.tcs.tifr.res.in/∼jaikumar/Papers/EntropyAndCounting.ps
[5] Chung, Frankl, Graham and Shearer,
Some intersection theorems for ordered sets and graphs,
J. Combinatorial Theory, Ser. A 43 (1986), 23-37
[6] Lutz Volkmann - Diskrete Strukturen - Eine Einführung
ISBN 3-86073-647-7
15