Teil 1: Einleitung

Frank/Maksimova: Informationstheorie
45
________________________________________________________________________________
Teil II: Elemente der
Informationstheorie
Parto II: Elementoj de la
informaciteorio
2.1 Die Begriffe „Information“ und „Feld“
2.11 Information – die „Masse“ der Kybernetik
2.1 La nocioj „informacio“ kaj „kampo“
2.11 Informacio – la „maso“ de la kibernetiko
Für die Kybernetik ist die Information (in
ILo: informacio) eine skalare Größe, d.h. eine
mit einer Dimension (speziell mit der Dimension „bit“) behaftete Zahl. Sie misst einen bestimmten Aspekt eines einzelnen Zeichens
oder einer aus mehreren Zeichen bestehenden
Nachricht (in ILo: informo), oder eines beliebigen anderen Beobachtungsergebnisses,
oder, ganz allgemein, eines Bewusstseinsauftritts (also eines neuen Bewusstseinsinhalts) ähnlich wie in der Physik die skalare Größe
Masse einen bestimmten Aspekt eines Stücks
Materie misst. Die Information hängt außer
von der Nachricht selbst auch noch vom
Empfänger und von der Situation ab, in der
dieser sich bezüglich der Nachricht befindet.
Als Situation kann dabei der Zustand des
Empfängers beim Warten auf eine Nachricht
oder einen sonstigen Bewusstseinsauftritt bezeichnet werden. Statt von Bewusstseinsauftritten kann man auch von neuen Inhalten und
Operationsobjekten „bewusstseinsanaloger“
(d.h. das bewusstseinsbegabte Subjekt objektivierender) Maschinen oder beliebiger sonstiger informationsverarbeitender Systeme
sprechen. Die Kommunikationskybernetik
kann auf diese vorsichtigere, aber auch umständlichere Sprechweise verzichten.
Erwartet ein Empfänger in einer bestimmten Situation eine bestimmte Nachricht mit
Sicherheit (also mit „100%iger Wahrscheinlichkeit“, oder, wie wir sagen werden, mit der
subjektiven Wahrscheinlichkeit w = 1), dann
ist die eintreffende Nachricht für diesen Empfänger in dieser Situation informationslos, d.
h. sie hat für ihn hier die subjektive Informa-
Por la kibernetiko la informacio
(neologismo de ILo, ankoraü ne ekzistanta en naciaj lingvoj) estas skalaro, t.e. nombro kunigita kun dimensio (speciale kun la dimensio „bit“).
Äi mezuras certan aspekton de unuopa
signo aü de, el pluraj signoj konsistanta, mesaäo (informo), aü de ajna
alia rezulto de observado, aü, tute äenerale, de ekkonsciiäo (do de nova enhavo de la konscio – simile kiel en la
fiziko la skalaro maso mezuras certan
aspekton de peco da materio. La informacio dependas, krom de la mesaäo mem, ankaü de la ricevanto kaj
de la situacio, en kiu öi tiu troviäas rilate la mesaäon. Situacion eblas nomi
la staton de la ricevanto dum kiam li
atendas mesaäon aü alian ekkonsciiäon. Anstataü pri ekkonsciiäoj oni
povas ankaü paroli pri novaj enhavoj
kaj operaciobjektoj de „konscianalogaj“ (t.e. la konscihavan subjekton enobjektigantaj) maqinoj aü de ajnaj aliaj
informprilaborantaj sistemoj. La kom-
unikadkibernetiko povas rezigni pri öi
tiu parolmaniero pli prudenta, sed ankaü pli komplika.
Se ricevonto atendas en certa situacio certan informon kun certeco (do
laü „100%a probablo“, aü, kiel ni diros, laü subjektiva probablo w =1), tiam la finfine ricevata informo estas
por öi tiu ricevanto en öi tiu situacio
seninformacia, t.e. äi havas por li öi tie
la subjektivan informacion 0 (vd. la
46
2.1 Die Begriffe „Information“ und „Feld"/La nocioj „informacio“ kaj „kampo“
________________________________________________________________________________
tion 0 (vgl. Bilder 1.2e, f). Dieser Grenzfall
tritt jedoch fast nie ein, denn wir halten es
kaum einmal für völlig ausgeschlossen, dass,
statt des ,,so gut wie sicher“ Erwarteten, etwas
ganz
Unvorhergesehenes
(eine
,,Sensation“, ein ,,Wunder“) eintritt. Ein derartiger, höchst unwahrscheinlicher Bewusstseinsauftritt hätte, würde er ausnahmsweise doch eintreten, einen außerordentlich
hohen Gehalt an Information. Schon die Umgangssprache legt also nahe, mit der Information den Grad der Unvorhersehbarkeit von
Nachrichten oder anderen Bewusstseinsauftritten zu messen. Je unwahrscheinlicher eine
Nachricht ist, desto schwieriger ist sie vorherzusehen, desto mehr Information muss sie
also bei einer sinnvollen Messvorschrift der
Information enthalten.
Alle diese Bedingungen erfüllt das schon
in Kapitel 1.2 eingeführte, nun aber von der
nicht als subjektabhängig gedachten Wahrscheinlichkeit p auf eine beliebige subjektive Wahrscheinlichkeit w verallgemeinerte,
logarithmische Maß der Unwahrscheinlichkeit 1/w:
(2.11.1)
bildojn 1.2e, f). Öi tiu limkazo tamen
apenaü iam realiäas, öar apenaü iam ni
konsideras komplete ekskludite, ke
okazos – anstataü tio, kion oni atendis
„praktike certe“, io tute ne antaüvidita
(„sensacio“, „miraklo“). Tia, ekstreme
malprobabla ekkonsciiäo havus, se äi
escepte tamen okazus, ekstreme altan
enhavon je informacio. Jam la öiutaga
lingvo do sugestas, mezuri per la informacio la neantaüvideblecon de mesaäoj aü aliaj ekkonsciiäoj. Ju pli malprobabla estas informo, des pli malfacile estas, äin antaüvidi, des pli da informacio äi do devas enhavi laü senchava mezurprocedo de informacio.
Öiujn öi kondiöojn plenumas la log-
aritma mezuro de la malprobablo 1/w
enkondukita jam per öapitro 1.2, sed
nun äeneraligita de la probablo p, ne
konsiderata kiel subjektdependa, al ajna subjektiva probablo w:
isub /bit := 2log 1/w (≡ log2 1/w 1) =: ld 1/w
Dabei bezeichnet isub die subjektive Information, w die subjektive Wahrscheinlichkeit einer bestimmten Nachricht (oder eines
anderen Bewusstseinsauftritts eines Außenweltereignisses oder auch einer inneren
Wahrnehmung - sei sie Erinnerung, sei sie
Ergebnis reflexiver Bewusstseinsprozesse)
für einen bestimmten Empfänger (Beobachter) in einer bestimmten Situation. „ld“
ist die Abkürzung von „logarithmus dualis“, bezeichnet also den Logarithmus zur
Öi tie isub signifas la subjektivan informacion, w la subjektivan probablon
de certa mesaäo (aü de alia ekkonsciiäo de evento en la ekstera mondo, sed
ankaü de ena observo – öu de memorayo, öu de rezulto de pripensaj konsciprocezoj) por certa ricevonto (observanto) en certa situacio. „ld“ estas
la mallongigo de „logarithmus dualis“,
do esprimas la logaritmon je bazo 2.
En la öapitro 2.2 estos pruvate, ke
1
1
Man spricht bei beiden Schreibweisen „Logarithmus
zur Basis 2“. Die Logarithmenbasis wird im englischsprachigen und russischen Schrifttum (und immer häufiger auch im Fachschrifttum anderer Sprachen) hinter
die Funktionsabkürzung tiefgestellt, statt vor dieselbe
hoch.
Oni prononcas kaze de ambaü skribmanieroj
„logaritmo je bazo 2“. En la anglalingva kaj rusa
literaturo (kaj kun kreskanta ofteco an-kaü en la
fakliteraturo de aliaj lingvoj) la bazo de la logaritmoj estas malalte skribata post la mallongigon
de la funkcio, anstataü alte antaü öi tiun.
Frank/Maksimova: Informationstheorie
47
________________________________________________________________________________
Basis 2. In Kapitel 2.2 wird bewiesen, dass
(2.11.1) im wesentlich die einzige, mit dem
umgangssprachlichen Wortsinn verträgliche
Messweise der Information ist. Der Teil III
erhärtet schließlich die in Kapitel 1.2 aufgestellte Vermutung, dass die Information
zugleich die Transportschwierigkeit einer
Nachricht (z.B. ins Bewusstsein oder ins
Gedächtnis oder durch einen anderen Kanal
zu einem anderen Empfänger) misst, oder
auch den Aufwand, der für die Speicherung
dieser Nachricht erforderlich ist, also für
ihren Transport durch die Zeit. Banal formuliert: Was für uns viel Information enthält, will uns nicht leicht in den Kopf, fällt
uns schwer, ist für uns schwierig.
Trotz ihrer, in Kapitel 1.1 hervorgehobenen, ontologischen Verschiedenheit im Vergleich zu Masse und Energie (nur diese beiden erfüllen nämlich Substanzerhaltungsgesetze, sind also lediglich aufteilbar, nicht vervielfältigbar), zeigt die grundlegende Messgröße der Kybernetik, also die (mitteilbare)
Information, auch einige Analogien zu den
beiden grundlegenden Messgrößen der Naturwissenschaft. Schon erwähnt wurde der
Umstand, dass es sich jeweils um skalare
Größen mit weitgehend willkürlich festlegbaren Maßeinheiten (bit, Gramm, Wattsekunde) handelt. Daneben gibt es noch andere
messbare Aspekte des materiellen bzw. informationellen Gegenstands: das Volumen eines
materiellen Körpers entspricht der Länge einer Nachricht, seine spezifische Dichte entspricht ihrer „Knappheit“ (Redundanzarmut),
d.h. ihrem mittleren Informationsgehalt pro
Zeichen, und beide können je nach der Situation ihres Empfängers für diesen mehr oder
weniger wertvoll sein. Nach den Axiomen,
die Isaac Newton (1642 – 1727) für die Mechanik aufstellte, ist die Masse als Substanzquantum sowohl ein Maß der Schwere, d.h.
der Schwierigkeit sie zu heben, wie auch ein
Maß der auf ihrer Trägheit beruhenden
(2.11.1) estas esence la ununura mezureblo de la informacio, kiu estas konforma al la öiutaga vortsenco. La parto
III finfine konfirmas la konjekton faritan jam en la öapitro 1.2, ke la informacio ankaü mezuras la transportmalfacilon de mesaäo (ekz. en la
konscion aü en la memoron aü tra alia
kanalo al alia ricevonto), aü ankaü la
investon necesan por stori öi tiun mesaäon, do por transporti äin tra la tempo. Slogane: Kio enhavas por ni multan informacion, tio ne facile eniras
nian kapon, ne facile estas manipulebla de ni, estas por ni malfacila.
Spite äian (en öapitro 1.1 reliefigitan) ontologian diversecon kompare
kun maso kaj energio (nur öi tiuj du ja
plenumas leäojn pri konservado de
substanco, tiel ke ili nur estas disigeblaj, ne multobligeblaj), la baza mezurvaloro de la kibernetiko, do la
(komunikebla - komunigebla!) informacio, montras ankaü kelkajn analogiojn al la du bazaj mezurvaloroj de la
naturscienco. Jam estas menciita la
fakto, ke ambaüflanke temas pri skalaroj kun sufiöe arbitre difineblaj mezurunuoj (bit, gramo, üatsekundo).
Krome ekzistas pluaj aliaj mezureblaj
aspektoj de la materia resp. informeca
objekto: la volumeno de materia korpo
korespondas al la longeco de mesaäo,
la specifa denseco korespondas al öi
ties koncizeco (malriöeco je redundo),
t.e. äia aritma informacienhavo je
signo, kaj ambaü povas esti pli aü
malpli valora por ricevanto laü ties situacio. Laü la aksiomoj starigitaj por
la mekaniko de Isaac Newton (1642 –
1727) la maso kiel substanckvanto
estas kaj mezuro por la graviteco, t.e.
por la malfacileco äin levi, kaj mezuro
48
2.1 Die Begriffe „Information“ und „Feld"/La nocioj „informacio“ kaj „kampo“
________________________________________________________________________________
Schwierigkeit, sie für ihren horizontalen
Transport zu beschleunigen. Analog dazu
kann man sagen, dass die Information als
Grad der Unvorhersehbarkeit ein Maß der
Transportschwierigkeit sowohl durch den
Raum (Übertragungszeitbedarf) als auch
durch die Zeit (Speicherplatzbedarf) ist. Ebenso wie die Größe der Information nicht
allein von der Nachricht sondern auch von
der Situation ihres Empfängers abhängt,
hängt die Größe der Masse nicht nur vom
materiellen Körper ab, sondern auch von der
Situation des Beobachters relativ zu ihm.
Nach einer bekannten Formel aus Einsteins
Relativitätstheorie errechnet sich nämlich für
denselben Körper eine desto höhere Masse, je
rascher sich seine verschiedenen Beobachter
ihm nähern oder sich von ihm entfernen. Analog errechnet sich (wie in Kapitel 2.54 bewiesen wird) für die verschiedenen Empfänger eine desto höhere mittlere subjektive
Information der Zeichen derselben Nachricht
aus ihren jeweiligen subjektiven Zeichenwahrscheinlichkeiten, je stärker diese von
den tatsächlichen prozentualen Auftrittshäufigkeiten dieser Zeichen abweichen. Das Minimum wird hier wie dort für denjenigen Beobachter erreicht, der überhaupt nicht „abweicht“, d.h. relativ zum gerade beobachteten
materiellen Körper ruht bzw. sich an die Auftrittshäufigkeiten der Zeichen einer gerade
empfangenen Nachricht voll gewöhnt, also
den Prozess des Wahrscheinlichkeitslernens
abgeschlossen hat.
Was ist aber unter „Wahrscheinlichkeit“
genauer zu verstehen? Was ermöglicht ihre
Lernbarkeit?
por la malfacilo äin spite äian inerton
akceleri por äin horizontale transporti.
Oni povas analoge diri, ke la informacio kiel grado de la neantaüvideblo
estas mezuro de la transportmalfacileco kaj tra la spaco (sendadtempobezono) kaj tra la tempo (storspacbezono). Same kiel la kvanto de la informacio dependas ne nur de la mesaäo sed ankaü de la situacio de äia
ricevonto, la kvanto de la maso ne nur
dependas de la materia korpo, sed ankaü de la situacio de la obervanto relative al äi. Öar laü konata formulo el
la EINSTEINa teorio de relativeco
kalkuliäas por la sama korpo des pli
granda maso, ju pli rapide äiaj diversaj
observantoj alproksimiäas aü plidistanciäas de äi. Analoge kalkuliäas
(kio estos pruvita en öapitro 2.54) por
la diversaj ricevontoj des pli granda
aritma subjektiva informacio de la signoj de la sama mesaäo el äiaj subjektivaj probabloj, ju pli öi tiuj devias
de la faktaj, laüprocentaj aperoftecoj
de la unuopaj signoj. La minimumon
oni atingas ambaükaze por la observanto, kiu tute ne „devias“, sed ne
moviäas relative al la yus observata
korpo, respektive plene alkutimiäintas
al la aperoftecoj de la signoj de yus ricevata mesaäo, do kompletigintas la
procezon de la probablo-lernado.
Sed kio estas pli precize „probablo“? Pro kio äi estas lernebla?
2.12 Der klassische Wahrscheinlichkeitsbegriff: a-priori-Wahrscheinlichkeiten
2.12 La klasika nocio de probablo: a-
Wahrscheinlichkeit ist ein quantitativer Aspekt eines beliebigen Ereignisses in einer bestimmten Situation. Ein Ereignis kann speziell
(wie normalerweise in der Kommunika-
Probableco estas laükvanta aspekto
de ajna evento en certa situacio. Evento povas esti speziale (kiel normale en
la
komunikadkibernetiko)
ek-
prioraj probabloj
Frank/Maksimova: Informationstheorie
49
________________________________________________________________________________
tionskybernetik) ein Bewusstseinsauftritt sein.
Es kann aber auch ein Ereignis in der Außenwelt sein, unabhängig davon, ob es, und gegebenenfalls von welchem Subjekt (von welchem
Bewusstsein, welcher bewusstseinsanalogen
Maschine oder welchem sonstigen informationsaufnehmenden System) es beobachtet wird. Subjektive Wahrscheinlichkeit ist ein
quantitativer Aspekt eines beobachteten (inneren oder äußeren) Ereignisses in einer bestimmten Situation des beobachtenden Subjekts
(insbesondere seines Lernzustands). Wo der
Subjektbezug wichtig ist, wird in diesem Buch
die subjektive Wahrscheinlichkeit bevorzugt
mit w bezeichnet, zur Unterscheidung von der,
bevorzugt mit p bezeichneten, Wahrscheinlichkeit, von welcher nicht unterstellt
wird, sie hänge von der Existenz und gegebenenfalls Situation eines Beobachters ab. (Der
Begriff Wahrscheinlichkeit ist kein spezifisch
kybernetischer Fachbegriff, wohl aber der Begriff subjektive Wahrscheinlichkeit. Dieser
taucht in der, in die Strukturwissenschaften einzuordnenden, Wahrscheinlichkeitstheorie nicht
auf.) Einem unmöglichen Ereignis wird die
Wahrscheinlichkeit p = 0, einem notwendig
eintretenden Ereignis die Wahrscheinlichkeit
p = 1 zugeschrieben. Die Wahrscheinlichkeit
0 < p < 1 eines möglichen, wenngleich nicht
notwendigen Ereignisses ist desto größer, je
„leichter es eintreten kann.“ Die Wahrscheinlichkeit ist also ein Maß der Möglichkeit (folglich ist die Wahrscheinlichkeitstheorie eine
quantitative modale Logik). Für dieses Maß
wird zunächst nur Ordinalskalniveau angenommen. Es soll also zunächst nur zu entscheiden
gestatten, ob ein bestimmtes Ereignis eher,
gleich gut oder in geringerem Maße möglich
ist als ein bestimmtes anderes. Mit anderen
Worten: Jede monoton von 0 bis 1 steigende
Funktion von p ist ebenfalls ein Maß der Möglichkeit (z.B. p²). Die Unwahrscheinlichkeit
wird üblicherweise als Kehrwert der Wahrscheinlichkeit gemessen:
konsciiäo. Sed povas ankaü temi pri
evento en la ekstera mondo, sendepende de tio, öu äi estas observata –
kaj eventuale de kiu subjekto (de kiu
konscio, kiu konscianaloga maqino aü
de kiu alia informenprenanta sistemo).
Subjektiva probablo estas laükvanta
aspekto de observata (interna aü ekstera) evento en certa situacio de la
observanta subjekto (precipe de la stato de äia lerninteco). Se gravas la rilato al la subjekto, tiam en öi tiu libro la
subjektiva probablo prefere estas signata per w, por diferencigi äin dis de
la prefere per p signita probablo, de
kiu ne estas supozite, ke äi dependas
de la ekzisto de observanto kaj, eventuale, de ties situacio. (La nocio probablo ne estas tipe kibernetika faktermino, sed jes ja la nocio subjektiva
probablo. Öi tiu ne rolas en la probablo-teorio enordigenda en la struktursciencojn). Oni alordigas al malebla
evento la probablon p = 0, al necese
okazonta la probablon p = 1. La probablo 0 < p < 1 de evento ebla, kvankam ne necesa, estas des pli granda, ju
„pli facile äi povas okazi“. La probablo do estas mezuro de la ebleco (sekve la probablo-teorio estas laükvanta
modala logiko). Por öi tiu mezuro komence estas supozita nur la nivelo de
ordigskalo. Äi do komence nur ebligu
decidi, öu certa evento pli facile, aü
samfacile aü je malpli granda grado
eblas ol certa alia. Alivorte: Öiu de 0
äis 1 kreskanta funkcio de p ankaü estas mezuro de la eblo (ekz. p2). La
malprobablo estas laükutime mezurata
per la inverso de la probablo:
2.1 Die Begriffe „Information“ und „Feld"/La nocioj „informacio“ kaj „kampo“
50
________________________________________________________________________________
(2.12.1)
u := 1/p ≥ 1
(Man könnte die Unwahrscheinlichkeit (Oni povus mezuri la malprobablon
auch durch 1–p messen, käme damit aber zu ankaü per 1 – p, sed ricevus per tio
etwas komplizierteren Formeln.) Mit usub := iom pli komplikajn formulojn.) Per
usub := 1/w sekvas el (2.11.1)
1/w folgt aus (2.11.1)
(2.12.2)
isub /bit := ld usub
Die klassische, dem Sinn nach schon von
Blaise Pascal (1623 – 1662) benutzte Definition misst die Wahrscheinlichkeit auf dem
höheren Niveau einer Differenzskala (welche nicht nur zwei Ereignisse hinsichtlich
des Grads ihrer Möglichkeiten vergleichbar
macht, sondern auch zwei Ereignispaare
hinsichtlich der Differenzen dieser Grade),
ja sogar auf Rationalskalniveau (so dass
auch der Ausdruck p/2 und andere Quotientenbildungen sinnvoll sind). Nach dieser
Definition ist die (keine empirischen Beobachtungen voraussetzende) „a-priori-Wahrscheinlichkeit“ eines Ereignisses in einer
bestimmten Situation der Quotient aus der
Zahl der verschiedenen Eintrittsmöglichkeiten dieses Ereignisses dividiert durch
die Summe der Zahlen der Eintrittsmöglichkeiten aller möglichen, sich paarweise
ausschließenden Ereignisse. Wenn man
beispielsweise bei einem Würfelwurf nur
zwischen den Ereignissen unterscheidet, die
geworfene Augenzahl sei (a) 5, (b) durch 3
teilbar, (c) weder 5 noch durch 3 teilbar,
dann ist dieses Ereignisrepertoire offensichtlich (1) vollständig, d.h. es enthält alle
Möglichkeiten, und (2) „paarweise disjunkt“, denn es enthält kein Paar von Ereignissen, die beide zugleich eintreten könnten.
Wenn nämlich (a) eintritt, kann nicht zugleich (b) eintreten, und das Eintreten von
(c) schließt sowohl (a) als auch (b) aus.
Wir werden ab jetzt jedes solche vollständige Repertoire paarweise disjunkter
Ereignisse (nicht nur das Repertoire verschiedener Bewusstseinsauftritte von Zeichen) ein „Alphabet“ nennen, seine Ereignis-
La klasika, esence jam de Blaise
Pascal (1623 – 1662) uzita difino mezuras la probablon sur la pli alta nivelo de diferencskalo (kiu ebligas ne
nur kompari du eventojn rilate la gradojn de ilia ebleco, sed ankaü du parojn de eventoj rilate la diferencojn de
öi tiuj gradoj), kaj eö sur la nivelo de
racionalskalo (tiel ke ankaü la esprimo
p/2 kaj aliaj kvocientoj havas sencon).
Laü öi tiu difino la „apriora probablo“
(kiu ne bezonas empirian observadon)
de evento en certa situacio estas la
kvociento el la nombro de la diversaj
ebloj, kiel öi tiu evento povas okazi,
dividite per la sumo de la nombroj de
la okazebloj de öiuj eblaj eventoj, de
kiuj neniu paro samtempe povas okazi. Se oni ekzemple diferencigas nur
inter la jenaj tri rezultoj de yeto de
ludkubo: la aperanta nombro de poentoj estas (a) 5, (b) dividebla per 3, (c)
nek 5 nek dividebla per 3, tiam öi tiu
repertuaro de eventoj evidente estas
(1) kompleta, t.e. äi enhavas öiujn
eblojn, kaj (2) „pare diseca“, öar äi ne
enhavas paron de eventoj, kiuj povus
samtempe okazi. Öar se okazas (a), ne
samtempe povas okazi (b), kaj la okazo de (c) ekskludas kaj (a) kaj (b).
Ni ekde nun nomos öiun tian kompletan repertuaron de pare disaj eventoj (ne nur la repertuaron de diversaj
ekkonsciiäoj de signoj) „alfabeto“, siajn eventojn „literoj“. Alfabeton 3 ku-
Frank/Maksimova: Informationstheorie
51
________________________________________________________________________________
se „Buchstaben“. Ein Alphabet 3 zusammen
mit der zugeordneten Wahrscheinlichkeitsverteilung p(3) - also die Menge 3 = {z1, z2,
..., zu} aller Buchstaben zk zusammen mit
ihrer jeweiligen Wahrscheinlichkeit p(zk)
= :pk - nennt man mit Chintschin (1957) ein
„Feld“ (oder „Schema“) Z, symbolisch:
(2.12.3)
 z1
Z =
 p ( z1 )
ne kun la alordigita probablodistribuo
p(3) - do la aron 3 = {z1, z2, ..., zu} de
öiuj literoj zk kune kun la al il alordigitaj probabloj p(zk) =: pk – oni nomas
laü Xinöin (1957) „kampo“ (aü „skemo“) Z, simbole:
z 2 ...
p ( z 2 ) ...
zu   3 
=:
p ( zu )   p( 3 )
Nach der Pascalschen Definition hat das
Laü la PASCALa difino la evento
als Beispiel genannte Ereignis (a) die Wahr- (a) de la ekzemplo havas la probablon
scheinlichkeit 1/6, denn nur eine der sechs 1/6, öar nur unu el la ses kubedroj
Würfelseiten trägt fünf Augen, (b) hat die estas markita per kvin poentoj, (b) haWahrscheinlichkeit 2/6 = 1/3, denn es gibt 2 vas la probablon 2/6 = 1/3, öar ekziMöglichkeiten, eine durch 3 teilbare Au- stas 2 ebloj yeti poenton divideblan per
genzahl zu würfeln (3 Augen oder 6 Au- 3 (3 poentojn aü 6 poentojn), kaj por
gen), und für (c) bleiben 3 der 6 möglichen (c) restas 3 de la 6 eblaj yetrezultoj,
Würfelergebnisse, nämlich die Menge {1, nome la aro {1, 2, 4}, do la probablo
2, 4}, also die Wahrscheinlichkeit 3/6 = 1/2. 3/6 = 1/2. La kampo2 W de la de ni
Das Feld2 W der von uns beobachteten observataj yetrezultoj de (bona) ludkuErgebnisse eines (guten) Würfels ist also
bo estas do




 { 5 } { 3 ; 6 } { 1; 2 ; 4 }
a b c 

 = 
W = 

 1
1 1 1 
1
1




3
2

 6
6 3 2
Wir halten aber die Wahrscheinlichkeit des
Sed ni taksas la probablon de la eEreignisses (a) für viel größer als 1/6, wenn vento (a) pli alta ol 1/6, se ni scias, ke
wir wissen, dass der Würfel so gefälscht la ludkubo estas tiom falsigita, ke öiu
wurde, dass jede andere Augenzahl außer 5 alia poento ol 5 estas ekstreme maläußerst unwahrscheinlich gewürfelt wird. probable yetata. La difino de Pascal do
Pascals Definition muss also durch den Zu- bezonas la kompletigon „se öiuj ebloj
satz ergänzt werden: „falls alle Möglichkei- okazas laü egala probablo“. Per öi tio
ten mit der gleichen Wahrscheinlichkeit la difinenda nocio probablo aperas kiel
eintreten.“ Damit erscheint der zu definie- apognocio de sia propra difino. Öi tiu
rende Begriff Wahrscheinlichkeit als Stütz- do estas cirkla difino (dialelo), do
begriff seiner eigenen Definition. Diese ist science ne permesita. Oni nur povus
2
Wie für Zahlen und Mengen werden auch für Felder
kursive Buchstaben dann und nur dann benutzt, wenn es
sich nicht um bestimmte Gegebenheiten handelt, sondern um Variablen. Beispiele werden stets als bestimmte Sonderfälle gegeben.
2
Kiel por nombroj kaj aroj ankaü por kampoj
estas uzataj kursivaj literoj tiam kaj nur tiam, se
ne temas pri certaj donitayoj, sed pri variabloj.
Ekzemploj estas öiam donitaj kiel certaj specialaj
kazoj.
2.1 Die Begriffe „Information“ und „Feld"/La nocioj „informacio“ kaj „kampo“
52
________________________________________________________________________________
also eine Zirkeldefinition (Diallele), also wis- provi elturniäon, konsideri ante kiel
senschaftlich unzulässig. Man könnte nur den apognocion de la nocio probablo la pli
spezielleren Begriff Gleichwahrscheinlichkeit specialan nocion egalprobablo. Sed eö
als Stützbegriff des Wahrscheinlichkeitsbeg- se tia elturniäo elkondukus definitive
riffs anzusehen versuchen. Aber auch wenn el la cirkla difino: Almenaü por la
ein solcher Ausweg aus der Zirkeldefinition praktiko la difino ne plu taügas, ekde
endgültig herausführen würde: Mindestens kiam ni povas pridubi la supozon, ke
für die Praxis eignet sich die Definition nicht regas egalprobableco.
mehr, sobald wir die Annahme einer bestehenden Gleichwahrscheinlichkeit anzweifeln
können.
Dennoch ist der klassische Ansatz der
Tamen, la klasika alirmaniero al la
Wahrscheinlichkeitstheorie wertvoll, denn teorio de probabloj havas sian valoron,
er führt über die schon genannten Wahr- öar äi kondukas trans la jam menciischeinlichkeitseigenschaften hinaus zum fol- tajn probableckarakterizilojn al la jena
genden Additionstheorem einzelner Wahr- adiciteoremo de unuopaj probabloj de
scheinlichkeiten eines Feldes - (2.12.4a, b) - kampo (2.12.4a, b) – kaj al la de tio
und zur daraus ableitbaren Summenformel deduktebla sumo (2.12.5) de öiuj pro(2.12.5) aller Wahrscheinlichkeiten. Besteht babloj. Se evento C konsistas el öiuj
ein Ereignis C aus allen Auftrittsmöglich- ebloj, kiel povas okazi la evento A,
keiten des Ereignisses A und allen Auftritts- kaj öiuj okazoj eblaj por B (simbole: C
möglichkeiten von B (symbolisch: C=A∪B), = A∪B), kaj se A kaj B estas neagorund sind A und B miteinander unverträglich, digeblaj – se ili do ne enhavas komenthalten sie also keine gemeinsame Mög- unan eblon (simbole: A∩B = ∅) - tilichkeit (symbolisch A∩B=∅), dann ist die am la probablo de C egalas al la sumo
Wahrscheinlichkeit von C gleich der Summe de la probabloj de A kaj B, simbole:
der Wahrscheinlichkeiten von A und B, symbolisch:
(2.12.4a)
(C = A∪B)∧ (A∩B = ∅) ⇒ p(C) = p(A) + p(B)
(2.12.4b)
(A∩B = ∅) ⇒ p(A∪B) = p(A) + p(B)
Da wir ein „Alphabet“ 3 als vollständiges
Repertoire paarweise disjunkter Ereignisse zk
definierten, ist das Eintreffen irgend eines
dieser seiner u=u(3) „Buchstaben“ (also des
ersten, oder des zweiten, ..., oder des u-ten)
sicher, die Wahrscheinlichkeit also 1. Dies
ist wegen der paarweise Unverträglichkeit
der Buchstaben nach (2.12.4a, b) die Summe
aller ihrer Einzelwahrscheinlichkeiten:
u
(2.12.5)
∑ p(z
k =1
k
Pro tio, ke ni difinis „alfabeton“ 3
kiel kompletan repertuaron de pare
disaj eventoj zk, la apero de ajna de
öi tiuj u = u(3) „literoj“ (do de la unua, aü de la dua, ..., aü de la u-a)
estas certa, la probablo do 1. Tio estas pro la para neagordigeblo de la
literoj laü (2.12.4a, b) la sumo de
öiuj unuopaj probabloj:
) = p ( z1 ) + p ( z 2 ) + ... + p ( z u ) = 1
Frank/Maksimova: Informationstheorie
53
________________________________________________________________________________
2.13 Der statistische Wahrscheinlichkeitsbegriff: a-posteriori-Wahrscheinlichkeiten
In der Praxis bewährt sich der statistische
Wahrscheinlichkeitsbegriff von Richard E.
von Mises (1883 – 1953). Er geht nicht davon aus, dass ein Ereignis aus verschiedenen Möglichkeiten gleicher Wahrscheinlichkeit besteht, wohl aber von der Annahme, dass sich die Situation, in welcher ein
Ereignis eintritt, beliebig oft wiederholen
kann. Liefert beispielsweise eine Zeichenquelle nacheinander N „Textzeichen“ (englisch: tokens) eines Alphabets 3 mit dem
Umfang u = u(3) „Alphabetzeichen“ (englisch: types), dann tritt unter den N Textzeichen (im Text der Länge N) das Alphabetzeichen zk insgesamt N(zk) mal auf. Dies
ist seine „absolute (Auftritts)Häufigkeit“.
Wegen der Vollständigkeit und paarweise
Unverträglichkeit der Buchstaben eines Alphabets ist
u
(2.13.1)
∑ N (z
k =1
k
h N ( z k ) :=
(2.13.3)
∑h
k =1
N
En la praktiko montriäas taüga la
statistika probablonocio de Richard E.
von Mises (1883 – 1953). Äi ne supozigas, ke evento konsistas el diversaj
ebloj samprobablaj, sed ja supozas, ke
la situacio, en kiu la evento okazas,
povas ripetiäi laüplaöe ofte. Se ekzemple fonto de signoj havigas sinsekve N „tekstsignojn“ (angle: tokens)
el alfabeto 3 havanta u = u(3) „alfabetsignojn“ (angle: types), tiam inter
la N tekstsignoj (en la N signojn longa
teksto) la alfabetsigno zk aperas entute
N(zk) foje. Öi tio estas äia „absoluta
(aper)ofteco“. Pro la kompleteco kaj
para diseco de la literoj de alfabeto estas
Kiel „relativan (aper)oftecon hN(zk)
de la elemento zk en sinsekvo kun longeco N oni difinas
N ( zk )
N
Damit folgt nach Division durch N aus
(2.13.1) unmittelbar
u
aposterioraj probabloj
) := N ( z1 ) + N ( z 2 ) + ... + N ( z u ) = N
Als „relative (Auftritts)Häufigkeit“ hN(zk)
des Elementes zk innerhalb einer Folge mit
der Länge N definiert man
(2.13.2)
2.13 La statistika nocio de probablo:
Pro tio sekvas per divido per N el
2.13.1 senpere
( zk ) = hN ( z1 ) + hN ( z2 ) + ... + hN ( zu ) = 1
Eine spezielle Möglichkeit der Erzeugung
einer Folge von N Ereignissen ist die Erzeugung einer (zufällig herausgegriffenen)
Stichprobe dieses Umfangs. In jedem Falle
betrachtet man die relative Häufigkeit hk
eines Zeichens oder sonstigen Ereignisses in
einer Stichprobe oder in einer sonstigen
Folge als Messwert seiner Wahrscheinlichkeit pk. Dem liegt die Erwartung zugrunde,
Speciala eblo krei sinsekvon de N
eventoj estas la kreado de (hazarde elprenita) specimeno kun öi tiu amplekso. En öiu kazo oni konsideras la relativan oftecon hk de signo aü de alia
evento en specimeno aü en alia sinsekvo esti mezurvaloro de äia probablo
pk. La bazo de tio estas la supozo, ke
ekzistas por öiu litero zk de alfabeto
54
2.1 Die Begriffe „Information“ und „Feld"/La nocioj „informacio“ kaj „kampo“
________________________________________________________________________________
dass es für jeden Buchstaben zk eines
Alphabets eine Zahl pk gibt, so dass für jede
beliebig kleine Messfehlertoleranz ε > 0 die
Wahrscheinlichkeit, dass hN(zk) von pk um
mehr als ε abweicht, beliebig klein wird,
wenn nur N genügend groß ist. Dieser erwartete „Grenzwert“ pk wird als empirische
oder a–posteriori-Wahrscheinlichkeit bezeichnet und bei Voraussagen als theoretische relative Häufigkeit verwendet. Offensichtlich gelten für die hN(zk) und ihre, als
Grenzwerte erwarteten, empirischen Wahrscheinlichkeiten alle schon erwähnten Wahrscheinlichkeitseigenschaften, weshalb der
statistische Wahrscheinlichkeitsbegriff in der
Praxis befriedigt.
Theoretisch enthält aber auch die Definition
der a-posteriori-Wahrscheinlichkeit nach R.
E. v.Mises (mindestens) einen Zirkel. Die zu
definierende Wahrscheinlichkeit ist nämlich
nicht mit Sicherheit der Grenzwert relativer
Häufigkeiten3. Sicher ist nur, dass die relative
Häufigkeit in einer genügend großen Stichprobe von der so als theoretische Häufigkeit
definierten Wahrscheinlichkeit mit beliebig
geringer Wahrscheinlichkeit stärker als tolerierbar abweicht. - Überdies wird vorausgesetzt, dass jedes Ereignis zk an jeder Stelle N ≥
1 der potentiell unendlich langen Ereignisfolge mit gleicher Wahrscheinlichkeit auftritt.
Die Wahrscheinlichkeiten müssen also stabil
(stationär) sein.4
nombro pk tia, ke por öiu, laüplaöe
malgranda tolerebla mezureraro ε > 0
la probablo, ke hN(zk) devias de pk pli
ol ε, estas laüplaöe malgranda, se nur
N estas sufiöe granda. Tiu öi atendata
„limeso“ pk estas nomita empiria aü
aposteriora probablo kaj uzata en prognozoj kiel teoria relativa ofteco. Evidente por la hN(zk) kaj por iliaj, kiel
limesoj atendataj, empiriaj probabloj
validas öiuj jam menciitaj ecoj de probablo; tial la statistika probablonocio
en la praktiko estas kontentiga.
3
Folgendes Beispiel macht dies deutlich. Da es möglich
ist, die Augenzahl 6 zu würfeln, unabhän-gig davon,
was man bisher würfelte, ist es möglich, immer 6 zu
würfeln, so dass der Grenzwert der relativen Häufigkeit
dieses Würfelergebnisses 1 statt 1/6 wird – allerdings
mit Wahrscheinlichkeit 0.
3
La jena ekzemplo evidentigas tion. Pro tio, ke
eblas yeti 6 poentojn, sendepende de tio, kion oni
äis nun yetis, eblas, yeti öiam 6, tiel ke la limeso
de la relativa ofteco de öi tiu yetrezulto fariäas 1
anstataü 1/6 – tamen laü probablo 0.
4
4
Der naheliegende Einwand, es trete beispielsweise in
deutschen Texten der Buchstabe U nach dem Buchstaben Q fast mit der Wahrscheinlichkeit 1 auf, also
weit wahrscheinlicher als sonst, spricht nicht gegen die
Stabilität, sobald man bedingte Wahrscheinlichkeiten
berücksichtigt. Dazu zwingt die Situationsbezogenheit
der Wahrscheinlichkeit.
Teorie tamen ankaü la difino de la
aposteriora probablo laü R. E. v.Mises
enhavas (almenaü unu) cirklon. La difinenda probablo ja estas ne kun certeco la limeso de relativaj oftecoj3. Certe
estas nur, ke la relativa ofteco en sufiöe granda specimeno devias de la tiel
kiel teoria ofteco difinita probablo laü
laüplaöe malgranda probablo pli ol tolereble. – Krom tio estas supozite, ke
öiu evento zk aperas je öiu loko N ≥ 1
de la principe senfina sinsekvo de eventoj laü la sama probablo. La probabloj do devas esti stabilaj („stacionaraj“)4.
La sinsugesta kontraüargumento, ke en ekzemple - germanlingvaj tekstoj la litero U aperas post Q preskaü laü probablo 1, do multe pli
probable ol normale, ne estas argumento kontraü
stabileco, kiam oni konsideras kondiöitajn probablojn. Al tio devigas la situacirelativeco de la
probablo.
Frank/Maksimova: Informationstheorie
55
________________________________________________________________________________
2.14 Implizites Definieren durch Axiome
2.14 Implicita difinado per aksiomoj
Die Unvermeidbarkeit eines Zirkels beim
Versuch, den Begriff der Wahrscheinlichkeit explizit zu definieren, schließt nicht
aus, dass der Sinn dieses Begriffs evident
ist. Auch die Grundbegriffe der Geometrie „Punkt“, „Gerade“, „zwischen“ usf. - sind
evident aber nicht explizit definierbar. Dasselbe gilt für die Grundbegriffe „1“ und
„natürliche Zahl“ in der Analysis - und
auch für die Grundbegriffe „Masse“ und
„Kraft“ in Newtons Mechanik. In allen diesen Fällen können wir einige unbezweifelbare aber nicht beweisbare Aussagen machen, die diese Grundbegriffe verbinden –
z.B. die Behauptungen, zwischen zwei verschiedenen Punkten existiere stets mindestens ein von beiden verschiedener weiterer
Punkt, und es existiere nicht mehr als eine
einzige Gerade, auf welcher die beiden
Punkte liegen. Solche unbeweisbaren, aber
zweifellos wahre Aussagen heißen Axiome.
Nach der formalistischen Axiomentheorie
von David Hilbert (1862 – 1943) sind Axiome implizite Definitionen der Grundbegriffe einer Wissenschaft, wenn diese (nach
ständiger Revision früherer Ergebnisse) axiomatisch-deduktiv aufgebaut ist. Dies ist
nicht nur in den Strukturwissenschaften
Geometrie und Analysis (auf der Basis der
Axiomsysteme von Euklid [er lebte um –
300] bzw. Giuseppe Peano [1858 – 1932]
der Fall, sondern auch in den Substanzwissenschaften theoretische Mechanik (mit den
Axiomen von Isaac Newton [1642 – 1727])
und Elektrodynamik (auf der Basis der
Gleichungen von James Clerk Maxwell
[1831 – 1879]), sowie allgemein - nach hinreichend fortgeschrittener Entwicklung und
Revision – in jeder anderen nomothetischen
Wissenschaft (also auf der linken Seite der
in Bild 1.1 gegebenen Wissenschaftsklassifikation).
La maleblo eviti cirklon, provante
eksplicite difini la nocion de probablo,
ne ekskludas, ke la senco de öi tiu
probablo estas evidenta. Ankaü la bazaj nocioj de la geometrio - „punkto“,
„rekto“, „inter“ ktp. – estas evidentaj
sed ne eksplicite difineblaj. La samo
veras pri la bazaj nocioj „1“ kaj „natura nombro“ en la analitiko - kaj ankaü
por la bazaj nocioj „maso“ kaj „forto“
en la NEWTONa mekaniko. En öiuj öi
kazoj ni povas starigi ne pridubeblajn
sed ankaü ne pruveblajn asertojn, kiu
interrilatigas öi tiujn bazajn nociojn –
ekz. la asertojn, ke inter du diversaj
punktoj ekzistas öiam almenaü unu
plua punkto diferenca de ambaü, kaj
ke ne ekzistas pli ol ununura rekto, sur
kiu troviäas la du punktoj. Tiaj ne pruveblaj, sed sendube veraj asertoj nomitas aksiomoj.
Laü la formalisma aksiomteorio de
David Hilbert (1862 – 1943) aksiomoj
estas implicitaj difinoj de la bazaj nocioj de scienco, se öi tiu deduktadas el
aksiomoj (post reviziado de äia pli
frua rezultaro). Tio ne nur veras por la
struktursciencoj geometrio kaj analitiko (sur la bazo de la aksiomsistemoj
de Eüklid [li vivis en jaroj öirkaü –
300] respektive de Giuseppe Peano
[1858 – 1932]), sed ankaü en la substancikoj teoria mekaniko (kun la aksiomoj de Isaac Newton [1642 –
1727]) kaj elektrodinamiko (sur la bazo de la egalayoj de James Clerk
Maxwell [1831 – 1879]) kaj same, äenerale – post sufiöe progresinta evoluo
kaj revizio – en öiu alia nomoteta
scienco (do öe la maldekstra flanko de
la sciencklasifiko prezentita per bildo
1.1).
56
2.1 Die Begriffe „Information“ und „Feld"/La nocioj „informacio“ kaj „kampo“
________________________________________________________________________________
Die Gültigkeit der Axiome erkennen wir
entweder – nämlich im Falle strukturwissenschaftlicher Axiome - a priori (ohne notwendige Benutzung eines Sinnesorganes),
oder die Axiome verallgemeinern vertraute
Sinneserfahrungen, also Erkenntnisse a posteriori, zu einem (meist vereinfachenden
und in diesem Sinne „theoretischen“) Modell. Implizit definiert werden in diesem
Falle durch die Axiome als dem Konzentrat
der zugrundeliegenden empirischen Erkenntnisse die Komponenten des Modells
(Kraft, Masse) einschließlich der zwischen
ihnen bestehenden Relationen.
Axiome enthalten nicht nur die für eine
eigenständige
Wissenschaft
typischen
Grundbegriffe (die sog. „Kategorien“), die
sie implizit definieren, sondern (ebenso wie
die expliziten Definitionen) auch Stützbegriffe, deren explizite oder implizite Definition in anderen, systematisch voranstehenden Wissenschaften schon erfolgte (z.B. die
logischen Begriffe „nicht“ und „es gibt“ in
den Axiomen von Geometrie und Analysis,
die mathematischen, nämlich schon von der
Analysis definierten Begriffe „Produkt“ und
„Quotient“ in den Axiomen der Mechanik).
Dadurch werden diese Stützbegriff-Lieferanten als Hilfswissenschaften (Grundlagenwissenschaften) brauchbar. Die Stützbegriffe schon der impliziten Definitionen der
spezifischen Grundbegriffe einer Wissenschaft zeigen deren Verwurzelung in ihren
Grundlagenwissenschaften und damit ihre
Stellung im Kohärenzgraphen der nomothetischen Wissenschaften5.
5
Vgl. dessen vorläufige Skizzierung durch Bild 17 in
Frank, 1966, S.96. Ansätze zur Verfeinerung innerhalb
der Klasse der kybernetischen Wissenschaften finden
sich in Frank, 1985, 1995 und 1996a.
La validecon de la aksiomoj ni ekkonas aü – nome kaze de la struktursciencaj aksiomoj - apriore (sen necese uzi sencorganon), aü la aksiomoj
äeneraligas sensacojn, al kiuj ni estas
alkutimiäintaj, do aposteriorajn ekkonojn, al modelo (plejofte plisimpliga kaj tiusence „teoria“). En öi tiu
kazo oni difinas implicite per la aksiomoj, kiuj kvazaü estas la koncentrayo
de la empiria ekkonadbazo, la komponantojn de la modelo (forto, maso) inkluzive la inter ili ekzistantajn rilatojn.
Aksiomoj ne nur enhavas la bazajn
nociojn tipajn por memstara scienco
(la t.n. „kategoriojn“) kaj difinas ilin
implicite, sed (same kiel la eksplicitaj
difinoj) ankaü apognociojn, kies
eksplicita aü implicita difino jam okazis en aliaj, en la sistemo antaüirantaj
scienoj (ekz. la logikajn nociojn „ne“
kaj „ekzistas“ en la aksiomoj de geometrio kaj analitiko, la matematikajn,
öar jam de la analitiko difinitajn nociojn „produto“ kaj „kvociento“ en la
aksiomoj de la mekaniko). Tiel öi tiuj
havigantoj de apognocioj ektaügas
kiel helpsciencoj (bazaj sciencoj). La
apognocioj jam de la implicitaj difinoj
de la tipaj bazaj nocioj de scienco
montras öi ties enradikiäon en siaj bazaj sciencoj kaj per tio äian pozicion
en la koherecgrafo de la nomotetaj
sciencoj5.
5
Vd. kiel provizoran skizon de äi la bildon 17 en
Frank, 1966, p. 96. Aliäoj al plifajnigo ene en la
klaso de la kibernetikaj sciencoj troviäas en
Frank, 1985, 1995 kaj 1996a.
Frank/Maksimova: Informationstheorie
57
________________________________________________________________________________
2.15 Axiomatische Wahrscheinlichkeitstheorie
2.15 Aksiomeca probabloteorio
Diese Überlegungen machen den von Andrej Nikolajewitsch Kolmogoroff (1903 1987) gemachten axiomatischen Ansatz zur
Wahrscheinlichkeitstheorie
verständlich.
Kolmogoroff definiert den Wahrscheinlichkeitsbegriff implizit, indem er die (im wesentlichen oben schon genannten) Grundeigenschaften der Wahrscheinlichkeit als Axiome voranstellt. Als Stützbegriffe erscheinen Fachausdrücken der (Aussagen-,
Prädikaten- und modalen) Logik (alle,
nicht, wenn-dann notwendig, unmöglich
u.a.), der Mengenlehre („∪“ u. a.) und der
Analysis („+“ u.a.). Diese Disziplinen werden damit zu Grundlagenwissenschaften der
Wahrscheinlichkeitstheorie.
Auch der oben bei der Formulierung grundlegender Wahrscheinlichkeitseigenschaften verwendete und demgemäß auch im Axiomsystem von Kolmogoroff auftauchende Begriff
des Ereignisses kann als Stützbegriff (statt als
Grundbegriff) der Wahrscheinlichkeitstheorie
aufgefasst werden. Jedenfalls handelt es sich
nicht um einen Fachbegriff der Logik, Mengenlehre oder Analysis, weil er eine mögliche
Änderung von etwas anspricht, und damit ein
Nacheinander in einer unumkehrbaren Zeit.
Daher kann – systematisch vor der Wahrscheinlichkeitstheorie – eine eigenständige Ereignisalgebra konstituiert werden.
Die Begriffe „Ereignis“ und „Wahrscheinlichkeit“ sind wichtige Stützbegriffe
der Informationstheorie. Sie sind aber selbst
nicht erst kybernetische sondern schon
strukturwissenschaftliche Fachbegriffe. Beide müssen nämlich nicht direkt oder indirekt auf ein Subjekt bezogen werden. Das
mehr oder minder wahrscheinliche Ereignis
kann, wie oben ausdrücklich vermerkt, ebenso gut ein Bewusstseinseintritt wie ein
Ereignis der Außenwelt sein. Die Begriffe
Ereignis und Wahrscheinlichkeit können
Surbaze de öi tiuj konsideroj oni
komprenas la aksiomecan aliäon al
probabloteorio de Andrej Nikolaeviö
Kolmogorov (1903 - 1987). Kolmogoroff difinas la probablonocion
implicite, antaümetante la (esence jam
supre esprimitajn) bazajn trajtojn de la
probablo kiel aksiomojn. Kiel apognocioj aperas fakesprimoj de la logiko (propoza, predikata kaj modala)
(öiuj, ne, setiam, necese, maleble k.a.),
de la teorio de aroj („∪“ k.a.) kaj de la
analitiko („+“ k.a.). Öi tiuj disciplinoj
per tio fariäas bazaj sciencoj de la
probabloteorio.
Ankaü la nocio de evento, kiu supre
aperis en la vortigado de bazaj trajtoj
de la probablo, kaj kiu tial aperas ankaü en la aksioma sistemo de Kolmogorov, povas esti komprenata kiel
apognocio (anstataü kiel baza nocio)
de la probablo-teorio. Öiukaze ne temas pri faknocio de la logiko, teorio
de aroj aü de analitiko, öar äi esprimas
eblan qanäon de io, sekve sinsekvo en
ne inversigebla tempo. Tial eblas konstituigi – sisteme antaü la probabloteorio – originan eventalgebron.
La nocioj „evento“ kaj „probablo“
estas gravaj apognocioj de la informaciteorio. Sed ili mem ne estas maljam kibernetikaj sed jam struktursciencaj faknocioj. Öar ambaü ne nepre
estas rekte aü malrekte rilatigendaj al
subjekto. La pli aü malpli probabla
evento povas, kiel supre reliefigite,
sambone esti ekkonsciiäo kiel evento
de la ekstera mondo. La nocioj evento
kaj probablo do povas – kiel öiu strukturscienca nocio – esti aplikataj kaj
58
2.1 Die Begriffe „Information“ und „Feld"/La nocioj „informacio“ kaj „kampo“
________________________________________________________________________________
also - wie jeder strukturwissenschaftliche
Begriff – sowohl in der Substanzwelt als
auch in der Zeichenwelt angewandt werden.
Erst die Begriffe „subjektive Wahrscheinlichkeit“ und „Information“ sind ohne den
Subjektbegriff undenkbar, gehören also zur
eigenständigen Terminologie der Kybernetik. –
Die Kybernetik kann sich in der Theorie auf
den axiomatischen Wahrscheinlichkeitsbegriff
stützen. Zur Erzielung empirischer Erkenntnisse muss aber (nicht nur:) die Kommunikationskybernetik Wahrscheinlichkeiten unter
Zugrundelegung des statistischen Wahrscheinlichkeitsbegriffs messen. Dies gilt nicht
zuletzt für die Messung der kommunikationskybernetisch besonders wichtigen Wahrscheinlichkeiten von Ereigniskomplexen (insbesondere von endlichen Buchstabenfolgen)
und für die bedingten Wahrscheinlichkeiten
ihrer Teilereignisse (insbesondere von Buchstabenwahrscheinlichkeiten im Wortzusammenhang).
en la mondo de la substanco kaj ankaü
en la mondo de la signoj. Maljam la
nocioj „subjektiva probablo“ kaj „informacio“ ne estas penseblaj sen la
nocio de subjekto, do apartenas al la
origina terminologio de la kibernetiko.
-
2.16 Stochastische Abhängigkeit
2.16 Stokastikaj dependecoj
In einer Folge verschiedener Ereignissen,
zum Beispiel einer Folge von Zeichenauftritten
aus einem Repertoire 3 mit mindestens zwei
verschiedenen Zeichen, kann ein Ereignis in
unterschiedlichen Situationen eintreten, nämlich wenn ihm nicht immer dasselbe Ereignis
vorausging. Je nach dem Vorgängerereignis
kann es mit unterschiedlichen Wahrscheinlichkeiten eintreten: in deutschen Texten folgt
U auf Q mit größerer Wahrscheinlichkeit als
auf E. Jede Situation wird (für informationstheoretische Zwecke mit hinreichender Genauigkeit) durch ein Feld beschrieben, wobei im
vorliegenden Falle alle Felder im Alphabet 3
übereinstimmen, nicht aber alle in der Wahrscheinlichkeitsverteilung p(3). Da es u(3) =: u
mögliche Vorgängerzeichen, also Situationen
gibt, müssen die Wahrscheinlichkeitsverteilungen für die u Felder bestimmt werden, die
En sinsekvo de diversaj eventoj, ekzemple en sinsekvo de aperantaj signoj el repertuaro 3 enhavanta almenaü du diversajn signojn, evento
povas okazi en malsamaj situacioj,
nome se ne öiam antaüiris la sama evento. Depende de la antaüirinta evento äi povas okazi laü malsamaj probabloj: en germanaj tekstoj U sekvas
post Q laü pli alta probablo ol post E.
Öiu situacio estas (por informaciteoriaj celoj sufiöe precize) priskribata per kampo, en nia kazo tiel, ke
öiuj kampoj koincidas rilate la alfabeton 3, sed ne öiuj rilate la probablo-distribuon p(3). Pro tio, ke ekzistas u(3)
=: u eblaj antaüirintaj signoj, do situacioj, necesas determini la probablo-distribuojn por la u kampoj priskribantaj
La kibernetiko povas en la teorio
apogi sin sur la aksiomecan nocion de
probabloj. Sed por atingi empiriajn
ekkonojn tamen la (ne nur:) komunikadkibernetiko devas mezuri probablojn surbaze de la statistika probablo-nocio. Tio ne lastvice validas
por la mezurado de komunikadkibernetike aparte gravaj probabloj de eventkompleksoj (precipe de finiaj litersinsekvoj) kaj por la kondiöitaj probabloj de iliaj eventpartoj (precipe de
la probabloj de literoj en la vortkomplekso).
Frank/Maksimova: Informationstheorie
59
________________________________________________________________________________
diese Situationen beschreiben. Das ist gedanklich in zweierlei Weise möglich.
Man erzeugt aus der ursprünglichen Ereignisfolge u Teilfolgen, nämlich die Folge
der auf z1 folgenden Ereignisse, die Folge
der auf z2 folgenden Ereignisse usf. Man
streicht dazu in der ursprünglichen Zeichenfolge zunächst alle diejenigen Zeichen, denen nicht z1 vorausging6, und erhält die erste Teilfolge. Dann streicht man in der ursprünglichen Folge alle jene Zeichen, denen
nicht z2 vorausging, und erhält die zweite
Teilfolge usf. In jeder dieser u Teilfolgen
wird dann die Wahrscheinlichkeitsverteilung der Ereignisse durch die Verteilung
ihrer relativen Häufigkeiten gemäß dem statistischen Wahrscheinlichkeitsbegriff gemessen.
Man kann diese u Wahrscheinlichkeitsverteilungen auch aus den u Wahrscheinlichkeiten der Ereignisse in der zu betrachtenden Ereignisfolge selbst zusammen mit
den Wahrscheinlichkeiten der Ereignispaare in derselben bestimmen. Zur Ermittlung der letzteren benutzt man ein Fenster,
durch welches zwei aufeinanderfolgende
Zeichen sichtbar sind. Das Fenster legt man
zunächst so, dass das erste Zeichen der zu
betrachtenden Folge auf Platz 2 steht (was
auch immer dabei auf Platz 1 zu stehen
kommt). Dieses Paar benutzt man als Startelement einer Paarfolge. Dann schiebt man
das Fenster um ein Zeichen weiter (nun
steht das erste Zeichen im Fenster auf Platz
1) und erhält so das zweite Paar der Paarfol-
öi tiujn situaciojn. Por tio du manieroj
estas elpenseblaj.
Oni kreas el la origina eventsinsekvo
u partajn sinsekvojn, nome la sinsekvon de la eventoj, kiuj sekvas al z1, la
sinsekvon de la eventoj, kiuj sekvas al
z2 ktp. Por fari tion oni forstrekas en la
origina signosinsekvo unue öiujn tiujn
signojn, kiujn ne antaüiris6 z1, kaj oni
ricevas la unuan partan sinsekvon. Due
one forstrekas en la origina sinsekvo
öiujn tiujn signojn, kiujn ne antaüiris
z2, kaj oni ricevas la duan partan sinsekvon. En öiu el tiuj öi u partaj sinsekvoj estas mezurata tiam la probablodistribuo de la eventoj per la distribuo
de iliaj relativaj oftecoj laü la statistika
nocio de la probablo.
Oni povas determini öi tiujn u probablodistribuojn ankaü el la u probabloj de la eventoj en la konsiderenda origina eventsinsekvo kune kun
la probabloj de la eventparoj en öi tiu.
Por determini öi lastajn oni uzas fenestron, tra kiu du sinsekvaj signoj
estas videblaj. La fenestron oni metas
unue tiel, ke la unua signo de la konsiderenda sinsekvo troviäas sur loko 2
(kio ajn tiel ektroviäas sur loko 1). Öi
tiun paron oni uzas kiel startelementon
de parsinsekvo. Tiam oni qovas la fenestron je unu signo pluen (nun troviäas la unua signo sur loko 1 de la
fenestro) kaj ricevas tiel la duan paron
de la parsinsekvo. Ktp. En öi tiu par-
6
6
Handelt es sich um das erste Zeichen, dann kann man
es streichen, weil ihm ja nichts, also speziell nicht z1,
voraus ging. Oder man betrachtet die Fol-ge als Fortsetzung einer vorausgegangenen Folge, deren letztes Ereignis z1 gewesen sein könnte, so dass man das Startelement der betrachteten Folge vielleicht nicht streichen
darf. Das Schlussergebnis ist bei einer unendlichen, zu
betrachteten Folge dasselbe, bei einer Folge endlicher
Länge N wie-chen die Ergebnisse nur um 1/N voneinander ab.
Se temas pri la unua signo, tiam oni povas äin
forstreki, öar äin ja antaüiras nenio, do speziale
ne z1. Aü oni konsideras la sinsek-von kiel daürigon de antaüirinta sinsekvo, kies lasta evento
povintus esti z1, tiel ke eb-le oni ne rajtas forstreki la startelementon de la konsiderenda sinsekvo.
La finrezulto es-tas kaze de ne finia konsiderenda
sinsekvo la samo, kaze de sinsekvo kun finia
longeco N la rezultoj devias nur je 1/N unu de la
alia.
2.1 Die Begriffe „Information“ und „Feld"/La nocioj „informacio“ kaj „kampo“
60
________________________________________________________________________________
ge - usf. Innerhalb dieser Paarfolge be- sinsekvo oni determinas la probablojn
stimmt man nun die Wahrscheinlichkeiten de öiuj u2 paroj zjzk laü la statistika noaller u2 Paare zjzk gemäß dem statistischen cio de probabloj.
Wahrscheinlichkeitsbegriff.
In beiden Fällen muss man absolute AufEn ambaü kazoj oni devas nombri abtrittshäufigkeiten - N(zk| zj), N(zj), N(zj zk) = solutajn aperoftecojn - N(zk| zj), N(zj),
= N(zk| zj) .N(zj) - in Anfangsfolgen endli- N(zj zk) = N(zk| zj) N(zj) - en komencaj
cher Länge N(zj) bzw. N zählen, um durch sinsekvoj kun finia longeco N(zj) resp.
Division je eine relative Häufigkeit N, por ricevi per divido po unu relativan
hN(zj)(zk|zj) bzw. hN(zj) und hN(zjzk) als oftecon hN(zj)(zk|zj) resp. hN(zj) kaj hN(zj zk)
Messwert der jeweils gesuchten Wahr- kiel mezurvaloron de la probablo p(zk| zj)
scheinlichkeit p(zk| zj) bzw. p(zk) und p(zj zk) resp. p(zk) kaj p(zj zk) seröata en la konzu erhalten. Nun ist aber
cerna kazo. Sed ja estas
(2.16.1)
hN(zj)(zk|zj) := N(zk| zj)/N(zj) =
= N(zj zk)/N(zj) = [N(zj zk)/N]/[N(zj)/N] = hN(zjzk)/ hN(zj)
und folglich
(2.16.2)
(2.16.3)
kaj sekve
p(zk|zj) := p(zjzk)/p(zj)
p(zj zk) := p(zj) p(zk|zj)
Die relative Häufigkeit h(zk|zj) des Ereignisses zk in der Folge der auf zj folgenden
Ereignisse heißt seine bedingte relative
Häufigkeit unter der Bedingung, dass zj vorausging. Die damit gemessene Wahrscheinlichkeit heißt entsprechend bedingte
Wahrscheinlichkeit p(zk|zj) von zk bei Vorausgehen von zj. Sind die Ereignisse speziell Bewusstseinsauftritte, z.B. Zeichen,
dann ist es sinnvoll, nach (2.11.1) die Information in der jeweiligen Situation durch
den Logarithmus des Kehrwerts der bedingten Wahrscheinlichkeit zu messen und bedingte Information zu nennen. Es handelt
sich um die in dieser Situation vom Beobachter mit zk aufgenommene Information.
Wie immer ist dabei die Situation informationstheoretisch ausreichend durch ein Feld
beschrieben.
Dessen
Wahrscheinlichkeitsverteilung ist die Verteilung der bedingten Wahrscheinlichkeiten in der Situation, dass das Vorgängerereignis zj war.
Die hier angestellte Betrachtung lässt verschiedene Verallgemeinerungen zu.
La relativa ofteco h(zk|zj) de evento
zk en la sinsekvo de eventoj sekvantaj
al zj nomitas äia kondiöita ofteco sub
la kondiöo, ke la antaüirinta evento
estis zj. La per äi mezurita probablo
nomitas konforme kondiöita probablo
p(zk|zj) de zk kaze ke antaüiris zj. Se la
eventoj speziale estas ekkonsciiäoj,
ekz. signoj, tiam estas senchave, laü
(2.12.1) mezuri la informacion en la
unuopa situacio per la logaritmo de la
inverso de la kondiöita probablo kaj
nomi äin kondiöita informacio. Temas
pri la informacio, kiun en öi tiu situacio observanto ricevas per zk. Kiel
öiam ankaü en öi tiu kazo la situacio
estas informaciteorie sufiöe priskribita
per kampo. Ties probablo-distribuo
estas la distribuo de la kondiöitaj probabloj en la situacio, ke la antaüirinta
evento estis zj.
Öi tiuj konsideroj ebligas diversajn
äeneraligojn.
Frank/Maksimova: Informationstheorie
61
________________________________________________________________________________
Die Situation des Wartens auf ein EreigLa situacio de la atendado al evennis, nachdem das Ereignispaar zizk (oder ein to, post kiam estas antaüirinta la eEreignistripel oder, allgemein, ein Ereignis- ventparo zizk (aü eventtriopo aü, äen-tupel) vorausging, kann für die Informa- nerale, event-n-opo), estas por la intionstheorie hinreichend genau durch ein formaciteorio sufiöe precize priskriFeld beschrieben werden, dessen Wahr- bebla per kampo, kies probablodistrischeinlichkeitsverteilung aus den bedingten buo konsistas el la kondiöitaj proWahrscheinlichkeiten nach zwei (oder drei babloj post du (aü tri aü, äenerale n)
oder, allgemein, n) Vorgängerereignissen antaüirintaj eventoj. La mezurado obesteht. Die Messung erfolgt analog zu den kazas analoge al la priskribitaj procegeschilderten Verfahren. Entsprechend ver- duroj. Konforme äeneraliäas la egalaallgemeinern sich die Gleichungen (2.16.1-3). yoj (2.16.1-3).
Die Alphabete paarweise disjunkter EreigLa alfabetoj de pare disaj eventoj,
nisse, deren Eintrittsmöglichkeiten durch je kies okazebloj estas laükvante prisein situationsspezifisches Feld quantifiziert kribitaj per po unu situacispecifa
werden, brauchen nicht überein zu stimmen. kampo, ne devas koincidi. Ili eö ne
Sie brauchen auch nicht Alphabete aufeinan- devas esti alfabetoj de sinsekvaj liderfolgender Zeichen oder sonstiger aufeinan- teroj aü de aliaj sinsekvaj eventoj.
derfolgender Ereignisse zu sein. Man kann Oni povas ekzemple samtempe yeti
beispielsweise gleichzeitig einen Würfel und ludkubon kaj moneron kaj interesiäi
eine Münze werfen und sich für das Eintreten pri la okazo de la eblaj eventparoj
der möglichen Ereignispaare wjmk möglicher wjmk de eblaj yetrezultoj wj de ludkuWürfelergebnisse wj und Münzenwurfergeb- bo kaj mk de monero. La situacio
nisse mk interessieren. Die Situation wird estas priskribata per produtkampo
durch das Produktfeld WM beschrieben, des- WM, kies alfabeto estas la produtalsen Alphabet das Produktalphabet (d.h. das fabeto (t.e. la kartezia produto de öi
cartesische Produkt dieser beiden Möglich- tiuj eblaroj) W×M de öiuj eblaj komkeitsmengen) W×M aller möglichen Kom- binoj. Por la probabloj p(wjmk) de tiaj
binationen bildet. Für die Wahrscheinlich- duopeventoj validas analoge al la
keiten p(wjmk) solcher Doppelereignisse gilt speciala kazo de la probabloj de sinentsprechend zum Spezialfall der Wahrschein- sekvaj eventoj
lichkeiten aufeinanderfolgender Ereignisse
(2.16.4)
p(mk|wj) := p(wjmk)/p(wj)
(2.16.5)
p(wj mk) := p(wj) p(mk|wj)
Se la kampoj X kaj Y priskribas cerBeschreiben die Felder X und Y zwei bestimmte Situationen, und gilt für ein be- tajn du situaciojn, kaj se validas por
stimmtes Ereignis xi ∈ X und ein be- certa evento xi ∈ X kaj certa evento yj
stimmtes Ereignis yj ∈ Y
∈Y
(2.16.6)
p(xiyj) = p(xi)p(yj)
(2.16.7)
p(yjxi) = p(yj)
(2.16.8)
p(xiyj) = p(xi)
dann nennt man diese beiden Ereignisse tiam oni nomas öi tiujn du eventojn
voneinander stochastisch unabhängig. Ist stokastike sendependaj unu de la alia.
62
2.1 Die Begriffe „Information“ und „Feld"/La nocioj „informacio“ kaj „kampo“
________________________________________________________________________________
jedes Ereignis xi von einem bestimmten yj
stochastisch unabhängig, dann heißt das
Feld X von diesem Ereignis yj stoschastisch
unabhängig. Ist X von jedem Ereignis yj ∈ Y
stochastisch unabhängig, dann heißen die
beiden Felder voneinander stochastisch unabhängig.
Se öiu evento xi estas de certa yj stokastike sendependa, tiam la kampo X
nomitas stokastike sendependa de öi
tiu evento yj. Se X estas de öiu yj ∈ Y
stokastike sendependa, tiam la du
kampoj nomitas stokastike sendependaj unu de la alia.
2.17 Stochastische und kausale Abhängigkeit oder Unabhängigkeit
2.17 Stokastika kaj kauzeca depende-
Stochastische Unabhängigkeit lässt kausale Unabhängigkeit vermuten. Umgekehrt
kann erwartet werden, dass sich kausale
Abhängigkeit in stochastischer Abhängigkeit zeigt. Beides ist nicht sicher.
Stokastika sendependeco konjektigas kaüzecan sendependecon. Inverse
oni povas konjekti, ke kaüzeca dependeco manifestiäas en stokastika dependeco. Ambaü asertoj ne estas certaj.
Unue ne sekvas el stokastika dependeco dependeco kaüzeca. Öar, se
estas y kaj z du kaüzece necesaj efikoj
de la sama kaüzo x, tiam ekzistanta
stokastika dependeco inter y kaj z ne
esprimas kaüzecan dependecon de unu
tia evento de la alia. Krome, nur la efiko w dependas de äia kaüzo u kaüzece, ne inverse; sed se w ne estas stokastike sendependa de u, tiam pro
(2.16.6) ankaü u ne estas stokastike
sendependa de w.
Ke, due, la kaüzeca dependeco de
efiko de öiuj partaj kaüzoj siaj tute ne
öiam respeguliäas en stokastika dependeco, pruvas la jena ekzemplo. La
elmetita sciigo z = „=“ resp. z = „≠“
de logika qaltreto kontrolanta la koincidon de du binaraj signoj estas kaüzeca sekvo de tio, ke la binaraj signoj
0 resp. 1, kiuj stokastike sendependaj
tra du enmetejoj estas enmetataj ambaüfoje laü la sama probablo ½, koincidas aü ne koincidas. La elmeto z do
estas de la unua enmeto, x, (kaj same
de la dua, y) kiel de sia parta kaüzo
kaüzece dependa. Sed x kaj z evidente
plenumas la kondiöon (2.16.7/8) de sia
Erstens folgt aus stochastischer Abhängigkeit keine Kausalabhängigkeit. Sind nämlich y und z zwei notwendige Kausalfolgen
derselben Ursache x, dann drückt eine bestehende stochastische Abhängigkeit zwischen y und z keine kausale Abhängigkeit
des einen Ereignisses vom anderen aus. Im
übrigen ist nur die Wirkung w von ihrer Ursache u kausal abhängig, nicht umgekehrt;
ist aber w nicht stochastisch unabhängig
von u, dann ist nach (2.16.6) auch u nicht
stochastisch unabhängig von w.
Dass zweitens nicht immer die kausale
Abhängigkeit einer Wirkung von jeder ihrer
Teilursachen sich in einer stochastischen
Abhängigkeit wiederspiegelt, belegt folgendes Beispiel. Die ausgegebene Mitteilung z
= „=“ bzw. z = „≠“ einer logischen Schaltung zur Prüfung der Übereinstimmung
zweier Binärzeichen ist eine Kausalfolge
davon, dass die binären Signale 0 bzw. 1,
die stochastisch unabhängig voneinander
über zwei Eingänge je mit gleicher Wahrscheinlichkeit ½ eingegeben werden, miteinander übereinstimmen bzw. nicht übereinstimmen. Die Ausgabe z ist also von der
ersten Eingabe, x, (und ebenso von der
zweiten, y) als ihrer Teilursache kausal ab-
co aü sendependeco.
Frank/Maksimova: Informationstheorie
63
________________________________________________________________________________
hängig. Offensichtlich erfüllen aber z und x
die Bedingung (2.16.7/8) ihrer stochastischen Unabhängigkeit: „=“ (wie „≠“)
wird ja mit Wahrscheinlichkeit ½ ausgegeben, ob nun die Eingabe x 0 oder 1 ist.
Stochastische Abhängigkeit ist also nicht
notwendig eine kausale (naturwissenschaftliche) wohl aber eine informationelle (kybernetische) Aussage. Wird die bedingte Wahrscheinlichkeit von yj durch vorherige Beobachtung von xi größer als die nicht bedingte
Wahrscheinlichkeit, dann nimmt die Information von yj ab, wenn zuvor xi beobachtet wurde; xi bereitet also gewisssermaßen auf yj vor,
nimmt einen Teil der Information von yj vorweg (wir werden diesen Teil „Transinformation“ nennen), mit anderen Worten: in xi
steckt (Trans-)Information über yj. (So geschieht es beim zusammenhängenden Sprechen, in der Rhetorik und beim Lehren.) Wird
umgekehrt yj für einen Beobachter unwahrscheinlicher, nachdem er xi beobachtete, dann
lenkte ihn xi von yj (durch negative Transinformation) ab. Der Bewusstseinseintritt des kaum
noch Erwarteten wird durch die so (z.B. beim
Tarnen, Lügen, Erzählen des Anfangsstücks
entsprechender Witze und bei den meisten
Zauberkunststücken) veränderte Situation dramatisch erhöht.
stokastika sendependeco: „=“ (same
kiel „≠“) estas ja elmetata laü probablo ½ kaj kaze ke la enmeto x estas
0, kaj kaze ke äi estas 1.
Stokastika dependeco do ne necese
estas kaüzeca (naturscienca) sed ja informeca (kibernetika) propozicio. Se
la kondiöita probablo de yj pro antaüa
observo de xi fariäas pli granda ol la
ne kondiöita probablo, tiam malkreskas la informacio en yj, se antaüe estis
observata xi; xi do certasence preparas
al yj , anticipas parton de la informacio
de yj (ni nomos öi tiun parton „transinformacio“), alivorte: en xi estas
(trans)informacio pri yj. (Tiel okazas
dum kohera parolado, en la retoriko
kaj kaze de la instruado.) Se inverse yj
fariäas por observanto malpli probabla, post kiam li observis xi, tiam
deflankigis lin xi de yj (per negativa
transinformacio). La ekkonsciiäo de
tio, kion oni apenaü plu atendis, estas
tiel, pro la qanäita situacio (ekzemple
kaze de kamuflo, mensogo, rakonto de
la komenca parto de tiaspecaj qercoj
kaj kaze de la plejmulto de la iluziistaj
artifikoj) dramece plialtigata.
2.18 Subjektive Wahrscheinlichkeit und
Wahrscheinlichkeitslernen
2.18 Subjektiva probablo kaj probab-
Die axiomatische Wahrscheinlichkeitstheorie
erlaubt nur die Berechnung von Wahrscheinlichkeiten von Ereignissen aus den Wahrscheinlichkeiten anderer Ereignisse, z.B. nach (2.16.2).
Grundwahrscheinlichkeiten können dabei weitgehend willkürlich unterstellt werden.7 In der
La aksiomeca probabloteorio permesas nur la elkalkulon de probabloj
de eventoj el la probabloj de aliaj eventoj, ekz. laü (2.16.2). Bazajn probablojn oni povas en laräaj intervaloj
arbitre supozi.7 En la komunikadki-
7
7
Ganz entsprechend erlaubt ja auch die axiomatische
Geometrie (anders als die empirische Erdvermessung,
die ursprünglich zu diesem Namen führte, heute aber
Geodäsie heißt) nicht die Messung der Länge des Äquators, sondern nur deren Berechnung aus dem von der
Geometrie ebenfalls nicht messbaren Erddurchmesser.
lolernado.
Tute analoge ja ankaü la aksiomeca geo-metrio
(alie ol la empiria termezurado, kiu prae kondukis al öi tiu nomo sed nomitas nuntempe geodezio) ne permesas la mezuradon de la longeco
de la ekvatoro, sed nur ties elkalkulon el la terdiametro, kiun la geometrio ankaü ne kapablas
mezuri.
2.1 Die Begriffe „Information“ und „Feld"/La nocioj „informacio“ kaj „kampo“
64
________________________________________________________________________________
Kommunikationskybernetik kann es sich insbesondere um subjektive Wahrscheinlichkeiten handeln, die zunächst (zum Zeitpunkt t = 0) unabhängig von den bewusstseinsunabhängigen, also intersubjektiven, vorkybernetisch als „objektiv“ vermuteten Wahrscheinlichkeiten beobachtbarer Ereignisse sein
können. Das beobachtende Subjekt kann sich
aber an diese „objektiven“ Wahrscheinlichkeiten gewöhnen (anstatt sich sein Weltbild
völlig unabhängig von der Außenwelt zu konstruieren!). Eine solche Gewöhnung schafft
auch eine bewusstseinsanaloge Maschine (insbesondere ein geeignet programmierter Rechner) – beispielsweise nach dem folgenden Algorithmus.
Beobachtet wird eine Folge stochastisch
unabhängig aufeinander folgender Zeichen
eines zeitlich konstanten (stationären) Feldes
Z. Das sich an dieses gewöhnende System bestimmt die relative Häufigkeit des Auftritts
des Zeichens (Ereignisses) zk innerhalb eines
Fensters, welches das soeben (ins Fenster)
eingetretene Ereignis und die noch gegenwärtigen M-1 ≥ 0 Vorgänger erkennbar
macht. Bei jedem neu eintretenden Zeichen
wird das Fenster um ein Zeichen weitergeschoben; das älteste der M bisher gegenwärtigen Ereignisse entschwindet dabei. Zugleich
wird die subjektive Wahrscheinlichkeit wk
nach der folgendermaßen rekursiv (für die
Zeitpunkte t = 1, 2, ...) definierten Wahrscheinlichkeitslernfunktion korrigiert:
(2.18.1)
bernetiko povas temi precipe pri subjektivaj probabloj, kiuj komence (je la
tempopunkto t = 0) povas esti sendependaj de la ne konscidependaj, antaükibernetike kiel „objektivaj“ konjektitaj probabloj de observeblaj eventoj.
La observanta subjekto tamen povas
alkutimiäi al öi tiuj „objektivaj“ probabloj (anstataü konstrui al si sian
mondrigardon tute sendepende de la
ekstera mondo!). Tian alkutimiäon
sukcesas ankaü konscianaloga maqino
(precipe taüge programita komputilo)
- ekzemple laü la sekvanta algoritmo.
Oni observas sinsekvon de stokastike
sendepende sinsekvaj signoj de tempe
konstanta (stacionara) kampo Z. La
sistemo, kiu alkutimiäas al Z, mezuras la
relativan oftecon de la apero de la signo
(evento) zk ene en fenestro, kiu rimarkebligas la eventon yus (en la fenestro)
aperintan kaj la ankoraü prezentajn M-1
≥ 0 antaüirintajn. Kiam aperas nova
signo, la fenestro estas qovata je unu
signo; la plej malnova de la M äisnune
prezentaj eventoj tiel malaperas. Samtempe la subjektiva probablo wk estas
korektata laü la sekvanta, rikure (por la
tempo-punktoj t = 1, 2, ...) difinita probablolernfunkcio:
wt+1(zk) = τ.wt(zk) + βht(zk) [ ≈ τ.wt(zk) + βp(zk) ]
τ. + β = 1, 0 < τ, β < 1
Wir nennen τ. die Trägheit, β die Beweglichkeit der Gewöhnung an die hinter den
beobachteten Auftrittshäufigkeiten steckenden „objektiven“ Wahrscheinlichkeiten, also
die Trägheit bzw. Beweglichkeit des Wahrscheinlichkeitslernens und damit der „informationellen Akkomodation“, d.h. der Annäherung von isub, t = ld 1/wt an i= ld 1/p. Mit
Ni nomas τ. la inerton, β la adaptiäemon de la alkutimiäo al la „objektivaj“
probabloj supozitaj malantaü la observataj aperoftecoj, do la inerton resp.
adaptiäemon de la probablolernado kaj
per tio de la „informeca akomodado“,
t.e. la alproksimiäo de isub, t = ld 1/wt al
i = ld 1/p. Kun la restriktoj jam klari-
Frank/Maksimova: Informationstheorie
65
________________________________________________________________________________
den Einschränkungen, die für den statistischen Wahrscheinlichkeitsbegriff schon
dargelegt wurden, gilt für großes M oder
häufige Lernversuchsdurchführung ht(zk) ≈
p(zk), weshalb für genügend große Lernzeit t
eine beliebig genaue Übereinstimmung von
wt(zk) mit p(zk) zu erwarten ist. Denn mit
dem 5. Axiom von Peano (also durch „vollständige Induktion“ oder „Schluss von t auf
t+1“) beweist man aufgrund von (2.18.1) die
Wahrscheinlichkeitslernfunktion
gitaj por la statistika probablo-nocio
validas por granda M aü ofta realigado
de la lerneksperimento ht(zk) ≈ p(zk),
kaj tial estas atendebla por sufiöe longa lerntempo t laüplaöe preciza koincido de wt(zk) kun p(zk). Öar laü la 5a
aksiomo de Peano (do per „kompleta
induktado“ aü „konkludo de t al t+1“)
oni pruvas surbaze de (2.18.1) la probablolernfunkcion
t −1
wt (zk ) = τ ⋅ w0 (zk ) + β ⋅ ∑ ht−1−n (zk ) ⋅ τ n =
t
n=0
t −1
= τ ⋅ w0 (zk ) + (1 − τ ) ⋅ ∑ht−1−n (zk ) ⋅ τ n =
n=0
t −2

 t
t −1−n + hn−1 ( zk ) ≈
τ
w
(
z
)
(
h
(
z
)
h
(
z
))
τ
=
⋅
+
−
⋅
k
n
k
n
k
+
0
1
∑


n=0


t −1
t
n
t
≈ τ ⋅ w0 (zk ) + (1 − τ ) ⋅ p(zk ) ⋅ ∑τ =τ ⋅ w0 (zk ) + p(zk ) ⋅ (1 − τ t ) =
t
(2.18.2)
n=0
= τ ⋅ (w0 (zk ) − p(zk )) + p(zk )
t
Sie gilt für jedes stationäre Feld, also für
jede konstant bleibende Wahrscheinlichkeitsverteilung über ein konstant bleibendes
Alphabet, unabhängig von den situativen
Bedingungen, die das Feld wiederspiegelt.
Auf prinzipiell dieselbe Weise wie durch
(2.18.1/2) angegeben, sind also auch die bedingten Wahrscheinlichkeiten lernbar.
In der Kommunikationskybernetik spielen
allerdings stationäre Felder kaum eine Rolle. Die Auftrittswahrscheinlichkeiten und
sogar das Repertoire der Zeichen ändern
sich im Laufe der Entwicklung von Sprache
und Kultur. Die durch (2.18.1) rekursiv definierte Lernfunktion folgt dieser Entwicklung (auch wo es sich um Modeschwankungen handelt!) mit einer durch τ
bestimmten Trägheit. (2.18.1) ist also allgemeiner anwendbar ah (2.18.2)
Die Abhängigkeit der Wahrscheinlichkeiten eines Feldes vom Zeitpunkt einer
durch das Feld erfassten Situation muss un-
Äi validas por öiu stacionara kampo, do por öiu tempe konstanta probablodistribuo en tempe konstanta alfabeto, sendepende de la situaciaj
kondiöoj, kiujn respegulas la kampo.
Laü principe la sama vojo kiel priskribita per (2.18.1/2) estas do lerneblaj
ankaü la kondiöitaj probabloj.
Tamen, en la komunikadkibernetiko
stacionaraj kampoj apenaü gravas. La
aperprobabloj kaj eö la repertuaroj de
la signoj qanäiäas dum la evoluado de
lingvo kaj kulturo. La lernfunkcio rikure difinita per (2.18.1) sekvas al öi
tiu evoluo (eö kie temas pri modoosciladoj!) laü inerto difinita per τ.
(2.18.1) estas pli äenerale aplikebla ol
(2.18.2)
Oni devas diferencigi la dependecon de la probabloj de kampo de la
tempo-punkto de la per äi karakterizita
66
2.1 Die Begriffe „Information“ und „Feld"/La nocioj „informacio“ kaj „kampo“
________________________________________________________________________________
terschieden werden von der Abhängigkeit
dieser Situation von ihrer Vorgeschichte.
Will man zum Ausdruck bringen, dass innerhalb einer Folge von Zeichen (Ereignissen) eine stochastische Abhängigkeit von
der Vorgeschichte besteht, dann kann man
das entsprechende Feld durch seine Nummer n in der Folge kennzeichnen. Man kann
also z.B. durch Z(n) das Feld des Ereignisses (Textzeichens) Nummer n bezeichnen
und das größte T suchen, für welches Z(n)
und Z(n-T) noch nicht voneinander stochastisch unabhängig sind.
Zeitlich veränderlich ist ein Feld Zt, wenn
es auch bei gleichen Vorgängern zu einem
späteren Zeitpunkt ein anderes ist als zu einem früheren (wenn also z.B. der Stil einer
geschichtlichen Wandlung unterliegt, die
äußere Ursachen hat). Ein zeitlich veränderliches Feld liegt insbesondere vor, wenn der
Empfänger von Zeichen (oder, allgemein,
der Beobachter von Ereignissen) sich an die
statistischen Eigenschaften der Quelle (d.h.
der beobachteten Welt) anpasst, nämlich
seine subjektiven Wahrscheinlichkeiten wt
im Laufe der Zeit t den subjektunabhängigen Auftrittswahrscheinlichkeiten p annähert, diese Wahrscheinlichkeiten also lernt.
Beim Wahrscheinlichkeitslernen ändert
sich die Wahrscheinlichkeitsverteilung im
subjektiven Feld. Dieses kann sich aber
auch im Repertoire ändern. Die beiden
Grundformen der Repertoireänderung nennen wir Superieren durch Klassenbildung
und Superieren durch Komplexbildung.
Beim klassenbildenden Superieren macht
das Subjekt zwischen bisher unterschiedenen Bewusstseinsauftritten (z.B. zwischen
Minuskeln und Majuskeln) keinen Unterschied mehr, sondern fasst sie zu einer Äquivalenzklasse zusammen, „superiert über
irrelevante Unterschiede hinweg“. Das Repertoire so entstandenen Superzeichen ist
situacio dis de la dependeco de öi tiu
situacio de äia antaühistorio.
Se oni volas esprimi, ke ene en sinsekvo de signoj (eventoj) ekzistas dependeco de la antaühistorio, tiam oni
povas marki la koncernan kampon per
sia numero n en la sinsekvo. Oni do
ekzemple povas nomi Z(n) la kampon
de la evento (tekstsigno) numero n kaj
seröi la plej grandan T. por kiu Z(n)
kaj Z(n-T) ankoraü ne estas stokastike
sendependaj unu de la alia.
Tempe variabla estas kampo Zt, se äi
je pli malfrua tempopunkto spite samajn antaüirintajn eventojn estas alia
ol je pli frua tempopunkto (se do ekzemple stilo estas submetata al historia
qanäo havanta eksterajn kaüzojn).
Tempe variabla kampo prezentiäas
precipe, se la ricevanto de signoj (aü,
äenerale, la observanto de eventoj) adaptiäas al la statistikaj ecoj de la fonto
(t.e. de la observata mondo), nome alproksimigas dum la tempo t siajn subjektivajn probablojn wt al la ne subjektdependaj aperprobabloj p, do lernas öi tiujn probablojn.
Dum la probablolernado qanäiäas la
probablodistribuo de la subjektiva
kampo. Sed öi tiu povas ankaü qanäiäi
rilate la repertuaron. La du bazajn formojn de la repertuarqanäo ni nomas
klasigan kunigon (aü supreniäon per
enklasigo) kaj kompleksigan kunigon
(aü supreniäon per enkompleksigo).
Kaze de la klasiga kunigo la subjekto ne plu diferencigas inter äis nun
diferencigataj ekkonsciiäoj (ekz. inter
minuskloj kaj majuskloj), sed kunigas
ilin al ekvivalentecklaso, „supreniäas
super neesencajn diferencojn“. La repertuaro de la tiel ekestintaj kunsignoj
(„supersignoj“) estas malpli granda ol
Frank/Maksimova: Informationstheorie
67
________________________________________________________________________________
kleiner als das bisher beachtete Zeichenrepertoire, und die Wahrscheinlichkeit eines
so entstandenen Superzeichens ist die Summe der Wahrscheinlichkeiten der zu ihm
gehörenden Zeichen.
Beim komplexbildenden Superieren betrachtet das Subjekt eine endliche Folge (oder einen nicht eindimensional strukturierten Komplex) von Zeichen oder anderen
Bewusstseinsauftritten als Zeichen (Ereignisse) höherer Art. Ein Text ist dann beispielsweise statt einer Folge von Buchstaben nunmehr eine Folge von Wörtern, nämlich von Superzeichen, die ihrerseits je eine
endliche Folge von Buchstaben sind. Ihr
Repertoire, der Wortschatz, ist eine sprachspezifische (echte) Teilmenge der Menge
aller aus demselben Alphabet bildbarer endlicher Buchstabenfolgen. Dieses Repertoire
ist umfangreicher als das ihm zugrundeliegende Zeichenrepertoire. Die Wahrscheinlichkeiten der Superzeichen sind dementsprechend meist kleiner als jene ihrer Unterzeichen. Im Falle stochastischer Unabhängigkeit sind sie das Produkt der nicht
bedingten Wahrscheinlichkeiten ihrer Unterzeichen. -
la äisnun respektata signorepertuaro,
kaj la probabloj de tiel ekestinta kunsigno estas la sumo de la probabloj de
la signoj apartenantaj al äi.
En la kazo de kompleksiga kunigo
la subjekto konsideras finian sinsekvon (aü ne unudimensie strukturitan
komplekson) de signoj aü de aliaj ekkonsciiäoj kiel signojn (eventojn) de
pli alta tipo. Teksto ekzemple fariäas,
anstataü sinsekvo de literoj, nun sinsekvo de vortoj, nome de kunsignoj,
kiuj siavice estas po unu finia sinsekvo
de literoj. Ilia repertuaro, la vortprovizo, estas lingvotipa (propra) subaro
de la aro de öiuj finiaj litersinsekvoj
kreeblaj el la sama alfabeto. Öi tiu repertuaro estas pli ampleksa ol la signorepertuaro, sur kiu äi baziäas. La probabloj de la kunsigoj estas konforme
al tio plejofte malpli grandaj ol tiuj de
iliaj signeroj („subsignoj“). Kaze de
stokastika sendependeco la probabloj
estas la produto de la ne kondiöitaj
probabloj de iliaj signeroj. -
2.19 Felder von Zufallsgrößen
2.19 Kampoj de stokastaj variabloj
Einen wichtigen Sonderfall von Feldern
stellen die Felder dar, deren Alphabete aus
reinen Zahlen oder aus skalaren Größen bestehen. Man spricht in einem solchen Falle
vom Feld einer Zufallsgröße und bezeichnet
diese Größe und ihr Feld meist mit einem
kleinen lateinischen Buchstaben. Die Augenzahl z beim Wurf eines regelmäßigen
Würfels und das Nachschlagen der Mathematiknote z in einem zufällig aus einem
Stapel deutscher Zeugnishefte gezogenen
Heft sind zwei Beispiele einer Zufallsgröße
z. Diese kann an sich ein Messwert auf einer bloßen Ordinalskala (Rangskala) sein,
wie im zweiten Beispiel. Dann lässt sie nur
Gravan specialan kazon de kampoj
konstituas la kampoj, kies alfabetoj
konsistas el puraj nombroj aü el skalaroj. Oni parolas en tia kazo pri kampo
de stokastika variablo kaj signas tian
donitayon plejofte per latina minusklo.
La poento z dum yetado de regula ludkubo kaj la legado de la matematiknoto z en kajero hazarde tirita el stoko de germanaj notatestaroj estas du
ekzemploj de stokasta variablo z. Öi
tiu povas per si mem esti mezurvaloro
sur nura ordigskalo (rangskalo), kiel
en la dua ekzemplo. Tiukaze äi ebligas
nur laükvalitajn grandeckomparojn
2.1 Die Begriffe „Information“ und „Feld"/La nocioj „informacio“ kaj „kampo“
68
________________________________________________________________________________
qualitative Größenvergleiche (mit den möglichen Ergebnissen <, =, >) zu, aber keine
sinnvollen Additionen oder Subtraktionen.
Man kann aber stets eine Situation schaffen,
welche die Werte wenigstens auf die Stufe
einer Differenzskala hebt. Beispielsweise
kann man vom Wert z des Zufallsereignisses die Auszahlung eines Geldbetrags (oder
die Einstellung eines Temperatursollwerts
am Thermostat oder eines Zeitpunkts auf
der Uhr) in Höhe von z0 + z oder von z0 - z
Euro (oder Celsiusgraden oder Stunden
nach Mitternacht) abhängig machen; z0 ≥ 6
sei dabei eine beliebige natürliche Zahl.
Aber auch unabhängig von einer solchen
möglichen Sinngebung kann man als „Erwartungswert der Zufallsgröße z“ definieren:
(kun la eblaj rezultoj <, =, >), sed ne
senchavajn adiciojn aü subtrahojn.
Sed oni öiam povas krei situacion, kiu
levas la valorojn al la qtupo de diferencskalo. Oni povas ekzemple dependigi de la valoro z de la stokasta
evento la elpagon de monsumo (aü la
aläustigon de la temperaturnormvaloro
öe termostato, aü de la tempopunkto
öe horloäo) en la alteco z0 + z aü z0 - z
eüroj (aü Celsiusgradoj aü horoj post
la noktomezo); z0 ≥ 6 estu ajna natura
nombro. Sed ankaü sendepende de tia
ebla senchavigo eblas difini kiel „ekspekton (aü atendvaloron) de la stokasta variablo z“:
u(z)
(2.19.1)
Μ ( z ) := ∑ p ( zi ) ⋅ zi
i =1
Im Falle des Würfels errechnet man M(z)
= 3,5. Der Erwartungswert ist also kein
Wert, den die Zufallsgröße besonders häufig annehmen müsste (oder wenigstens annehmen könnte), sondern er ist ein „theoretischer Mittelwert“, von dem der „empirische Mittelwert“ oder (besser) „Durchschnittswert“, den man bei N Versuchen erhält und nach der Formel
(2.19.2)
z
N
1
:=
N
Kaze de la ludkubo oni elkalkulas
M(z) = 3,5. La ekspekto do ne estas
valoro, kiun la stokasta variablo devus
ekhavi aparte ofte (aü kiun äi almenaü
povus havi), sed öi estas „teoria mezvaloro“, de kiu la „empiria mezvaloro“ aü (pli bone) „aritmo“, kiu rezultiäas el N provoj kaj kalkuliäas laü
la formulo
N
∑
z (t )
t =1
berechnet, mit beliebig geringer Wahr- devias laü laüplaöe malgranda proscheinlichkeit mehr als tolerierbar abweicht, bablo pli ol tolereble, se N estas sufiöe
wenn N hinreichend groß ist.
granda.
In der Informationstheorie wird insbesonEn la informaciteorio precipe la indere die Information eines zu empfangen- formacio de ricevota signo aü de obden Zeichens oder eines zu beobachtenden servenda alia evento estas konsiderata
sonstigen Ereignisses als Zufallsgröße be- kiel stokasta variablo. Äia teoria meztrachtet. Ihr theoretischer Mittelwert (Er- valoro (ekspekto) estas
wartungswert) ist
Μ ( i ( z )) = : Η ( z )
(2.19.3)
Frank/Maksimova: Informationstheorie
69
________________________________________________________________________________
Wegen der Gefahr der Missdeutung nicht
Pro la risko de misinterpretado malzu empfehlen sind für H die bei manchen rekomendindas, nomi H – kiel kutimas
Autoren üblichen Benennungen „Entropie“ fari kelkaj aütoroj - „entropio“ aü
oder „Negentropie“. Aus Gründen, die in „negentropio“. Pro kialoj, kiuj estos
Kapitel 2.3 erörtert werden, ist H ein pritraktataj en la öapitro 2.3, H estas
taüga mezuro de la necerteco.
brauchbares Maß der Unsicherheit.
Das Maß H der Unsicherheit ist unter- La mezuro H estas sendiference apschiedslos in allen Feldern anwendbar, un- likebla en öiuj kampoj, sendepende de
abhängig davon, ob das jeweilige Alphabet tio, öu la alfabeto estas ne ordigita aro
eine nicht geordnete Menge von Zeichen da signoj (t. n. nominalskalo), aü öu
(eine sogenannte Nominalskala) ist, oder ob temas pri repertuaro de stokasta variaes sich um das Repertoire einer Zu- blo, kaj en öi tiu kazo, öu äi estas dififallsgröße handelt, und ob diese gegebenen- nita nur sur la nivelo de ordigskalo aü
falls nur auf Ordinalskalniveau definiert ist, sur pli alta mezuradnivelo (diferencsoder auf einem höheren Messniveau (Dif- kalo, racionalskalo, absolutskalo). Anferenzskala, Rationalskala, Absolutskala). kaü la investo je mezurprecizeco por la
Auch der Aufwand an Messgenauigkeit für determino de stokasta variablo ne redie Bestimmung einer Zufallsgröße kommt speguliäas en la ekspekto de la inim Erwartungswert der Information nicht formacio. Kiu do mezuras la pezon de
zum Ausdruck. Wer also das Körperge- sia patro en kilogramoj je du decimaloj
wicht seines Vaters in Kilogramm auf zwei precize, tiu determinas kvar stokastajn
Dezimalen genau misst, der bestimmt vier variablojn, nome kvar decimalajn ciZufallsgrößen, nämlich vier Dezimalstellen, ferojn, kaj ricevas per la unua decimala
und erhält durch die erste Dezimalstelle cifero post la komo tiom da informacio
hinter dem Komma ebensoviel Information kiom per la dua decimalo. La necerwie durch die zweite Dezimale. Die durch teco forigita pro la mezurrezulto do
das Messergebnis beseitigte Unsicherheit ist egalas pri ambaü ciferoj kaj estas
über beide Ziffern gleich groß, nämlich
H = ld 10 (= ln 10 / ln 2 = 2,302585... / 0,6931... = 3,32...) bit.
Übungsaufgabe 2.1(1)
Ekzerctasko 2.1(1)
Man wirft einen guten, weißen Spielwürfel mit eingeprägten und geschwärzten Augen.
1. Ein Beobachter registriert die Augenzahlen auf der diesmal nach oben geratenen
Würfelseite. Welches Feld W beschreibt
seine Situation für eine informationstheoretische Berechnung genügend genau? Wieviel Information liefert dem Beobachter das
Ereignis „5“? Welche vorhergehende Unsicherheit H(W) beseitigt es?
2. Der Beobachter färbt nun alle Seiten
grau, auf welche nicht fünf Augen eingeprägt sind. Während des folgenden Wür-
Oni yetadas bonan, blankan ludkubon kun enstampitaj kaj nigrigitaj
poentoj.
1. Observanto registradas la poentojn
sur la öifoje supra kubedro. Kiu kampo W priskribas lian situacion sufiöe
precize por informaciteoria prikalkulado? Kiom da informacio havigas
al la observanto la evento „5“? Kiun
antaüan necertecon H(W) äi forigas?
2. La observanto nun grizigas öiujn
edrojn, sur kiujn ne estas enstampitaj
kvin poentoj. Dum la sekvanta yetado
70
2.1 Die Begriffe „Information“ und „Feld"/La nocioj „informacio“ kaj „kampo“
________________________________________________________________________________
felns beachtet er nur, ob das eintretende Ereignis „5“ ist, oder ob diesmal eine graue
Seite nach oben geriet. Um welche Art von
Superierung handelt es sich? Welches Feld
W* beschreibt nun die Situation des Beobachters? Wieviel Information liefert ihm
nun das Ereignis „5“? Welche zuvor bestandene Unsicherheit H(W*) beseitigt es
nun?
3. Sind W und W* voneinander stochastisch unabhängig?
4. Während des folgenden Würfelns interessiert sich der Beobachter zuerst für die
Farbe (5 = weiß oder5 = grau?) der diesmal oben sichtbaren Würfelseite und unmittelbar anschließend für die Zahl der in
sie eingeprägten Augen. Welche Felder beschreiben diese verschiedenen Situationen?
Wie groß sind die jeweiligen Unsicherheiten H(W*), H(W5) und H(W5)?
Wieviel bedingte (sogenannte „ästhetische“) Information erhält der Beobachter
durch die oben sichtbare Augenzahl, wenn
ihm die Farbe der Seite schon bewusst wurde? Wieviel Information erhält er insgesamt
in den verschiedenen Fällen aus dem Superzeichen (Farbe) und dem Unterzeichen
(Augenzahl)?
5. Zusammen mit dem teilweise grau gefärbten Spielwürfel wirft man eine gute 5Eurocent-Münze und registriert, ob diese
wertanzeigende Ziffer nach oben geriet.
Welches Feld M beschreibt dieses Situation? Welche Unsicherheit H(M) herrscht
in ihr? Welchen Superierungstyp gibt das
Alphabet des Produktfelds W*M wieder?
Welche Unsicherheit H(W*M) herrscht in
ihm?
6. Ein Beobachter, welcher sich in der durch
das Produktfeld W*M beschriebenen Situation befindet, sagt einem Blinden, ob die Ereignisse, die in W* und in M eintraten, äquivalent sind, d.h. ob - ja oder nein - entweder beidesmal oder keinmal die (Ziffer bzw Augen-
li nur atentas, öu la okazanta evento
estas „5“ aü öu griza edro öifoje eksupris. Pri kiu tipo de kunigo (supreniäo) temas? Kiu kampo W* nun priskribas la situacion de la observanto?
Kiom da informacio nun havigas al li
la evento „5“? Kiun antaüan necertecon H(W*) äi nun forigas?
3. Öu W kaj W* estas stokastike sendependaj unu de la alia?
4. Dum la sekvanta yetado la observanto unue interesiäas pri la koloro
(5 = blanko aü5 = grizo?) de la öifoje
supre videbla kubedro kaj senpere
poste pri la kvanto da poentoj enstampitaj en äin. Kiuj kampoj priskribas öi
tiujn diversajn situaciojn? Kiom grandaj estas la respektivaj necertecoj
H(W*), H(W5) kaj H(W5)? Kiom
da kondiöita (t.n. „estetika“) informacio ricevas la observanto per la nombro de la supre videblaj poentoj, se li
jam konsciiäis pri la koloro de la
edro? Kiom da informacio li sume ricevas en la diversaj kazoj el la supersigno (koloro) kaj la subsigno (poentoj)?
5. Kune kun la parte grizigita ludkubo
oni yetadas bonan moneron je kvin eürocentoj kaj registras, öu jes aü ne
supreniäas öi tiu valorindika cifero.
Kiu kampo M priskribas öi tiun situacion? Kiu necerteco H(M) regas en äi?
Kiun tipon da kunigo (supreniäo) respegulas la alfabeto de la produtkampo W*M? Kiu necerteco H(W*M) regas en äi?
6. Observanto, kiu troviäas en la situacio priskribita per la produtkampo
W*M, sciigas al blindulo, öu la eventoj okazintaj en W* kaj M estas ekvivalentaj, t.e. öu jes aü ne - ekvidiäis aü
ambaüfoje aü nenie la (cifero resp.
Frank/Maksimova: Informationstheorie
71
________________________________________________________________________________
zahl) „5“ sichtbar wurde. Welche Unsicherheit H(S) herrscht in der Situation S des Blinden beim Warten auf eine neue Mitteilung?
Welche Ereignisse hängen kausal von welchen ab? Hängen Ereignisse des Felds S stochastisch von Ereignissen aus W* ab? Hängen
sie stochastisch von Ereignissen aus M ab?
Wieviel Transinformation („semantische Information“) H(W*M)-H(W*M|Sk) über das
Wurfergebnis (d.h. über das Ereignis aus
W*M) liefert die Mitteilung an den Blinden in
den einzelnen Fällen?
poentnombro) „5“. Kiu necerteco H(S)
regas en la situacio S de la blindulo
atendanta novan sciigon? Kiuj eventoj
dependas kaüzece de kiuj? Öu eventoj
de la kampo S dependas stokaste de
evento de W*? Öu de eventoj de M?
Kiom da transinformacio („semantika
informacio“)
H(W*M)-H(W*M|Sk)
pri la yetrezulto (t.e. pri la evento el
W*M) havigas la sciigo al la blindulo
en la unuopaj kazoj?
Übungsaufgabe 2.1(2)
Ekzerctasko 2.1(2)
Von je einem großen und kleinen, guten,
weißen Spielwürfel färbt man die Seiten, in
die 3 oder 6 Augen eingeprägt sind, blau und
die Seiten mit 1, 2 oder 4 Augen gelb. Dann
würfelt man mit beiden, beobachtet die Farben
auf den Seiten, die nach oben geraten, und informiert einen Blinden, ob die beiden Farben
die gleichen sind oder nicht.
1. Welche Felder beschreiben für informationstheoretische Berechnungen genügend genau die Situationen des Beobachters, wenn er das Fallen des großen Spielwürfels, des kleinen Spielwürfels und beider zusammen beobachtet? Welches Feld S
beschreibt die Situation des Blinden beim
Warten auf das nächste Vergleichsergebnis?
2. Welche kausalen Abhängigkeiten bestehen zwischen den Ereignissen in den erwähnten Feldern?
3. Hängen Mitteilungen aus S stochastisch
von beobachteten Ereignissen ab, die beim
Werfen des großen Spielwürfels eintraten?
4. Bis zu welchem Grad (durch wieviel semantische [oder Trans-]Information) verringert sich für den Blinden durch eine Mitteilung aus S seine Unsicherheit über das Ereignis, das im Produktfeld der Fallergebnisse der beiden Spielwürfel eintrat?
5. Stellen Sie sich vor, dass für den Blinden
anfangs beide Mitteilungen (=, ≠) gleich-
De po unu granda kaj malgranda,
bona, blanka ludkubo oni bluigas la
edrojn, en kiujn estas enstampitaj 3 aü
6 poentoj, kaj flavigas la edrojn kun 1,
2 aü 4 poentoj. Poste oni yetadas ambaü, observas la kolorojn de la supreniäintaj edroj kaj sciigas al blindulo, öu la du koloroj egalas aü ne.
1. Kiuj kampoj priskribas por informaciteoria prikalkulado sufiöe precize
la situaciojn de la observanto, se li observas la faladon de la granda ludkubo, de la malgranda ludkubo aü de
ambaü kune? Kiu kampo S priskribas
la situacion de la blindulo atendanta la
sekvantan komparrezulton?
2. Kiuj kaüzecaj dependecoj ekzistas
inter la eventoj el la menciitaj kampoj?
3. Öu sciigoj el S dependas stokastike
de observitaj eventoj okazantaj pro yetado de la granda ludkubo?
4. Kiomgrade (per kiom da semantika
[aü trans-]informacio) reduktiäas por
la blindulo pro sciigo el S lia necerteco pri la evento okazinta en la produtkampo de la faladrezultoj de la du
ludkuboj?
5. Imagu, ke por la blindulo komence
ambaü sciigoj (=, ≠) estis sam-
72
2.1 Die Begriffe „Information“ und „Feld"/La nocioj „informacio“ kaj „kampo“
________________________________________________________________________________
wahrscheinlich waren (w0 = ½), dass er sich
beim Empfang einer neuen Mitteilung an die
M-1 = 2 vorausgegangenen Mitteilungen erinnert, und dass er die Wahrscheinlichkeiten mit
der Beweglichkeit β = 0,07 lernt. Berechnen
Sie mittels (2.18.1) die subjektiven Felder S1,
S2, S3, S4 und S5, wenn die ersten 5 Mitteilungen ≠, =, ≠, ≠, = lauten! Wieviel subjektive
Information erhält der Bline aus ihnen insgesamt? Wie wäre die Entwicklung der subjektiven Felder und wieviel subjektive Information hätte der Blinde erhalten, wenn er schon
anfangs an die Auftrittswahrscheinlichkeiten
der Mitteilungen gewöhnt gewesen wäre (S0 =
S)?
Hinweis: Die relativen Häufigkeiten in
(2.18.1) beziehen sich auf die neueste Mitteilung zusammen mit den M-1 eventuellen
Vorgängern. Der ersten Mitteilung ging
keine andere voraus, der zweiten nur eine!
probablaj (w0 = ½), ke li memoras
dum ricevado de nova sciigo la M-1 =
2 antaüirintajn sciigojn, kaj ke li lernas la probablojn kun la adaptiäemo β
= 0,07. Elkalkulu per (2.18.1) la subjektivajn kampojn S1, S2, S3, S4 kaj S5,
se la unuaj 5 sciigoj estas ≠, =, ≠, ≠, =
! Kiom da subjektiva informacio la
blindulo el ili ricevas sume? Kiel estintus la evoluo de la subjektivaj
kampoj kaj kiom da subjektiva informacio la blindulo ricevintus, se li jam
komence alkutimiäintus al la aperprobabloj de la sciigoj (S0 = S)?
Rimarkigo: La relativaj oftecoj en
(2.18.1) rilatas al la plej freqa sciigo
kaj M-1 eventulaj antaüirintoj. Al la
unua sciigo neniu alia antaüiris, al la
dua nur unu!