Vorlesung

Informationstheorie [IT]

  • Vorlesung:

    • Prof. Dr.-Ing. R. Fischer

  • Übung:

    • Arno Stefani, M.Sc.

  • Wahl(pflicht)fach

    • in den Master-Studiengängen EEI, I&K, CME, WINK-IKS, CE, u.ä.

    vorziehbar in das Bachelor-Studium

  • Voraussetzungen:

    • Mathematik für Ingenieure

  • Organisation:

    • 3 SWS Vorlesung, 1 SWS Übung, Sommersemester

  • Zeit und Ort:

    • siehe UnivIS

  • ECTS-Information:

    • ECTS Credits: 5 (Vorlesung + Übung)

  • Vorlesungsinhalte:

    • Grundlegende Definitionen: Information, Entropie, wechselseitige Information. Quellencodierung zur Datenreduktion: Quellencodierungstheorem, verschiedene verlustfreie Kompressionsverfahren für diskrete Quellen nach Huffman, Tunstall und Lempel-Ziv, Entropie und Codierung für gedächtnisbehaftete Quellen. Kanalcodierung zur zuverlässigen Übertragung über gestörte Kanäle: Kanalmodelle, Kanalkapazität, Kanalcodierungstheorem, Abschätzungen der Fehlerwahrscheinlichkeit, Cut-off-Rate, Gallager-Fehlerexponent. Informationstheoretische Behandlung kontinuierlicher Zufallsvariablen: differentielle Entropie, Kanäle mit weißem oder farbigem Rauschen und deren Kapazität, zeitkontinuierliche bandbegrenzte Kanäle, Austausch von Leistungs- und Bandbreiteneffizienz. Einführung zur Rate-Distortion Theorie.

  • Literatur:

    1. Huber, J.: Skriptum zur Vorlesung Informationstheorie. 2004.
    2. Gallager, R. G.: Information Theory and Reliable Communication, John Wiley & Sons 1968, New York.
    3. Johannesson, R.: Informationstheorie - Grundlagen der (Tele-)Kommunikation, Addison-Wesley Studentlitteratur, 1992, ISBN 3-89319-465-7.
    4. Cover T., Thomas J.: Elements of Information Theory, John Wiley and Sons, New York, 1991.
  • Zusätzliches Material

    • MATLAB-Files zur Huffman-Codierung:
    demo_huffman.m huffman_enc.m huffman_dec.m huffman_tree.m dms.m

    Nützliches zur Informationetheoie:

    1. A Mathematical Theory of Communication Claude Shannon's original Paper; Grundlage der gesamten Informationstheorie
    2. Das Buch bei Google Book Search
    3. IEEE Information Theory Society

    Bücher (online verfügbar) zur Informationstheorie:

    1. Robert M. Gray: Entropy and Information Theory

    List von Links zur Quellencodierung (incl. arithmetic coding, CTW, block sorting (bzip2), etc.):

    1. The Data Compression Library -- Lossless Compression
  • Allgemeine Informationen:

    • Zur Vorlesung gibt es ein Skriptum.

  • Prüfung:

    • Die Prüfung findet schriftlich statt und dauert 90 Minuten. Als Hilfsmittel sind zugelassen: Schreibsachen, sowie ein nicht programmierbarer Taschenrechner.