Kodierung diskreter Quellen

Zusammenfassung

Im Abschn. 2 wurde die Information zunächst weitgehend unabhängig von ihrer Realisierung betrachtet. Jeder Prozess der Informationsübertragung und -verarbeitung erfordert jedoch, dass die Information in einer dafür geeigneten Form dargestellt wird, d. h., sie muss kodiert werden.

Unter Kodierung wird i. Allg. ein Vorgang verstanden, bei dem die Elemente eines Alphabets auf die Elemente eines anderen Alphabets (bzw. auf Wörter über diesem Alphabet) abgebildet werden. Für die Kodierung diskreter Quellen bedeutet dies: Jedes Element des Quellenalphabets wird einem Element des Kanalalphabets U bzw. einem Wort über U eineindeutig zugeordnet. Das geeignete Kanalalphabet wird unter dem Aspekt der technischen Realisierbarkeit, d. h. vom derzeitigen Stand der Technik, bestimmt. Wir beschränken uns deshalb auf die Binärkodierung [binary coding], für die

U = {0, 1}

gilt.