Vorlesung

Informationstheorie [IT]


  • Vorlesung:
  • Prof. Dr.-Ing. J. Huber

  • Übung:
  • Christoph Rachinger, M.Sc.

  • Wahl(pflicht)fach
  • in den Master-Studiengängen EEI, I&K, CME, WINK-IKS, CE, u.ä.

    vorziehbar in das Bachelor-Studium

  • Voraussetzungen:
  • Mathematik für Ingenieure

  • Organisation:
  • 3 SWS Vorlesung, 1 SWS Übung, Sommersemester

  • Zeit und Ort:
  • siehe UnivIS

  • ECTS-Information:
  • ECTS Credits: 5 (Vorlesung + Übung)

  • Vorlesungsinhalte:
  • Grundlegende Definitionen: Information, Entropie, wechselseitige Information. Quellencodierung zur Datenreduktion: Quellencodierungstheorem, verschiedene verlustfreie Kompressionsverfahren für diskrete Quellen nach Huffman, Tunstall und Lempel-Ziv, Entropie und Codierung für gedächtnisbehaftete Quellen. Kanalcodierung zur zuverlässigen Übertragung über gestörte Kanäle: Kanalmodelle, Kanalkapazität, Kanalcodierungstheorem, Abschätzungen der Fehlerwahrscheinlichkeit, Cut-off-Rate, Gallager-Fehlerexponent. Informationstheoretische Behandlung kontinuierlicher Zufallsvariablen: differentielle Entropie, Kanäle mit weißem oder farbigem Rauschen und deren Kapazität, zeitkontinuierliche bandbegrenzte Kanäle, Austausch von Leistungs- und Bandbreiteneffizienz. Einführung zur Rate-Distortion Theorie.

  • Vorlesungs- und Übungstermine:
  • Die Vorlesungen und Übungen werden im unregelmäßigen Wechsel nach folgendem Plan statt finden:

    Woche 1 Woche 2 Woche 3 Woche 4 Woche 5 Woche 6 Woche 7 Woche 8 Woche 9 Woche 10 Woche 11 Woche 12 Woche 13 Woche 14
    13.4. - 17.4. 20.4. - 24.4. 27.4. - 1.5. 4.5. - 8.5. 11.5. - 15.5. 18.5. - 22.5. 25.5. - 29.5. 1.6. - 5.6. 8.6. - 12.6. 15.6. - 19.6. 22.6. - 26.6. 29.6. - 3.7. 6.7. - 10.7. 13.6. - 17.7.
    Dienstag V V V V V V V Ü V V V V V V
    Mittwoch V V V Ü V Ü V Ü V V Ü Ü Ü Ü
    1. V: Vorlesung
    2. Ü: Übung
    3. FT: Feiertag
    Die Liste ist vorläufig und die Termine können sich kurzfristig ändern.
  • Literatur:
    1. Huber, J.: Skriptum zur Vorlesung Informationstheorie. 2004.
    2. Gallager, R. G.: Information Theory and Reliable Communication, John Wiley & Sons 1968, New York.
    3. Johannesson, R.: Informationstheorie - Grundlagen der (Tele-)Kommunikation, Addison-Wesley Studentlitteratur, 1992, ISBN 3-89319-465-7.
    4. Cover T., Thomas J.: Elements of Information Theory, John Wiley and Sons, New York, 1991.
  • Zusätzliches Material
  • MATLAB-Files zur Huffman-Codierung:
    demo_huffman.m huffman_enc.m huffman_dec.m huffman_tree.m dms.m

    Nützliches zur Informationetheoie:

    1. A Mathematical Theory of Communication Claude Shannon's original Paper; Grundlage der gesamten Informationstheorie
    2. Das Buch bei Google Book Search
    3. IEEE Information Theory Society

    Bücher (online verfügbar) zur Informationstheorie:

    1. Robert M. Gray: Entropy and Information Theory

    List von Links zur Quellencodierung (incl. arithmetic coding, CTW, block sorting (bzip2), etc.):

    1. The Data Compression Library -- Lossless Compression
  • Allgemeine Informationen:
  • Zur Vorlesung gibt es ein Skriptum. Dieses wird am ersten Vorlesungstermin ausgeteilt.

  • Prüfung:
  • Die Prüfung findet schriftlich statt und dauert 90 Minuten. Als Hilfsmittel sind zugelassen: Schreibsachen, 3 handbeschriebene DIN A4 Blätter oder 6 handbeschriebene DIN A4 Seiten, sowie ein nicht programmierbarer Taschenrechner.