Die Entropie

Zusammenfassung

Gegeben sei ein endliches Wahrscheinlichkeitsfeld mit den E lementarereignissen

$$ A \equiv \left\{ {{A_i}} \right\};\quad i = 1,2,...,n$$

((1))

und den entsprechenden Wahrscheinlichkeiten

$$ \begin{gathered} P\left\{ {{A_i}} \right\} = {p_i} \hfill \\ {p_i} \geqq 0;\quad \sum\limits_{i = 1}^n {{p_i} = 1} \hfill \\ \end{gathered} $$

((2))

Jedes Wahrscheinlichkeitsfeld, jeder dem Zufall unterworfene Versuch enthält nun definitionsgemäß eine gewisse Unbestimmtheit. Man kann eben vor Beobachtung und Erkennung des Versuchsausganges nicht sagen, welches Resultat erhalten wird. Offensichtlich hängt aber diese Unbestimmtheit von der Größe der Wahrscheinlichkeiten ab, man wird

$$ {p_1} = 0,99;\quad {p_2} = 1 - {p_1}$$

((3))

bei eine geringere Unbestimmtheit des Versuchsausganges sehen, als bei

$$ {p_1} = {p_2} = 0,5$$

((4))

bei

$$ {p_1} = 0,7;\quad {p_2} = 1 - {p_1}$$

((5))

wird das Maß der Unbestimmtheit zwischen denen der Versuche (3) und (4) liegen.