《信息论基础》课程教学大纲
课程编号：（0531305）
课程名称：信息论基础
参考学时：48 其中实验或上机学时：0
先修课及后续课：先修课：概率论、信号与系统
后续课：通信原理、数字图像处理、语音信号处理
说明部分
1．课程性质
本课程是电子信息类专业的技术基础课
2．课程教学的目的及意义
人类社会的生存和发展无时无刻都离不开信息的获取、传递、处理、控制和利用。特别是迈入21世纪――高度信息化时代，信息的重要性更是不言而喻。信息业的发展，需要大量从事信息、通信、电子工程类专业的人才，而《信息论基础》课程为电子信息工程学科的基础课，同时也可作为信息科学其它相关学科的选修课，掌握它，可以指导理论研究和工程应用。
本课程注重基本概念、基本理论和基本分析方法的论述，并结合实例建立数学模型，给出推演过程，力求物理概念清晰、数学结构严谨和完整、逐步深入展开。通过该课程的学习，使学生掌握香农信息论的三个基本概念，与之相应的三个编码定理，以及信源编码、信道编码的基本理论和主要方法，培养学生能够适应数字通信、信息处理、信息安全、计算机信息管理等编码工作的要求。使学生掌握信息理论的基本概念和信息分析方法及主要结论，为今后从事信息领域的科研和工程工作进一步研究打下坚实的理论基础。
3．教学内容及教学要求
教学内容：
该课程是电子信息工程、信息安全工程专业的专业基础课。是为了适应数字通信、信息处理和信息安全等方面的专业需要开设。该课程着重介绍信息论应用概率论、随机过程和现代数理统计方法，研究信息提取、传输和处理的一般规律，提高信息系统的有效性和可靠性，实现信息系统的最优化。
信息论是现代通信与信息工程的理论基础，主要内容包括：信息的定义和测度；各类离散信源和信息熵；剩余度；信道和互信息；平均互信息和信道容量；数据处理和信息测量理论；信息率失真函数和数据压缩原理；离散信源无失真和限失真信源编码理论和编码方法；离散有噪信道编码理论和编码原则。
教学基本要求：
了解通信系统各部分的主要组成以及作用、香农的三大编码定理；
掌握各类离散信源和信息熵、信道及其信道容量、信息率失真函数和数据压缩原理、离常用的无失真信源编码方法、纠错码基本思想及常用的纠错编码方法。
4. 教学重点、难点
教学重点：
信息以及失真的测度、信道及信道容量、无失真信源编码方法以及有噪信道编码方法。教学难点：
典型序列以及由此推导出的香农三大编码定理即逆定理。
5. 教学方法及教学手段
课堂讲学为主，习题讲解为辅。
6. 教学学材及主要参考书
1. 傅祖芸编著，《信息论－基础理论与应用》，北京：电子工业出版社，2011年
2. 姜丹，《信息论与编码》，合肥，中国科学技术大学出版社， 2001年
3. 曹雪虹，张宗橙，信息论与编码，北京，清华大学出版社，2004年
二、正文部分
第一章：绪论
一、教学要求
了解信息论研究对象、目的、发展简史与现状；
了解通信系统的模型以及通信系统各部分的主要组成以及作用
二、教学内容
第一节信息的概念
知识要点：信息的概念及自信息
第二节信息论研究的对象、目的和内容
知识要点：信息论研究的对象、目的和内容
第三节：信息论发展简史
知识要点：信息论发展简史
三、本章学时数
2学时
第二章：离散信源及其测度
一、教学要求
了解信源的相关性和剩余度的概念，信息的概念，信息，信号，消息，数据的关系与联系。 掌握信源的数学模型、离散无记忆信源、离散平稳信源和马尔可夫信源基本理论。
二、教学内容
第一节信源的数学模型及分类
知识要点：信源的数学模型，离散无记忆信源及其扩展信源。
第二节信息熵及其基本性质
知识要点：自信息及信息熵离散无记忆扩展信源熵，熵的基本性质及最大离散熵定理。
第三节离散平稳信源
知识要点：离散平稳信源定义，联合熵，条件熵以及极限熵。
第四节马尔可夫信源
知识要点：马尔可夫信源定义，马尔可夫信源熵
第五节信息剩余度
知识要点：信息剩余度以及自然语言熵
三、本章学时数
10学时
第三章：离散信道及其信道容量
一、教学要求
了解一般信道容量计算。
掌握信道的数学模型，离散无记忆信道以及一些特殊信道容量的计算方法。
二、教学内容
第一节信道数学模型及分类
知识要点：信道数学模型及不同的分类，信道矩阵。
第二节平均互信息及特点
知识要点：信道疑义度，互信息和平均互信息及其特性，平均条件互信息。
第三节信道容量及一般计算方法
知识要点：离散无噪信道及信道容量，对称离散信道、准对称信道的容量计算。
第四节离散无记忆扩展信道及其容量
知识要点：离散无记忆扩展信道及其容量，信源与信道的匹配。
三、本章学时数
8学时
第四章：无失真信源编码
一、教学要求
了解其它一些无失真信源编码方法。
理解渐近等分割性及ε典型序列，算术编码方法及具体实现方案；
掌握编码的定义，码的分类，定长编码定理，变长编码定理，最佳编码方法：香农编码方法，费诺编码方法，哈夫曼编码方法。
二、教学内容
第一节等长码及等长信源编码定理
知识要点：编码器的概念，码的定义，等长码及等长信源编码定理，ε典型序列及其性质，编码效率。
第二节变长码及变长信源编码定理
知识要点：唯一可译码定义及其判断方法，即时码的树图法构造，Kraft 不等式，紧致码，变长信源编码定理。
第三节编码方法
知识要点：香农编码，费诺编码，香农－费诺－埃利斯编码，哈夫曼编码，游程编码，算术编码和其它一些编码方法。
三、本章学时数
10学时
第五章：有噪信道编码
一、教学要求
了解检错码与纠错码的方法。
理解渐近等分割性及典型序列。
掌握的重点内容有：有噪离散信道的编码定理，差错控制与信道编译码的基本原理，线性分组码，卷积码，网格编码调制与级联码简介。
二、教学内容
第一节错误概率与译码规则和编码方法
知识要点：最小错误概率译码准则，最大似然译码准则，最小距离译码准则及其之间相互关系，平均译码错误概率，错误概率与译码规则和编码方法关系，信道编码的编、译基本准则。
第二节有噪信道编码定理
知识要点：有噪信道编码定理及其逆定理，信源信道编码定理。
第三节纠错码
知识要点：纠错码分类，分组码的最小距离与检、纠错能力，分组码的码率，线性分组码的特性，生成矩阵和一致监督矩阵及其关系，线性分组码的编、译码方法，汉明码，卷积码及其构造方法。
三、本章学时数
14学时
第六章：总复习
一、教学要求
总结掌握信息论基础课程学所内容
二、本章学时数
2学时
总学时48学时
第一章
第二章
第三章
第四章
第五章
第六章绪论 2学时离散信源及其测度 10学时离散信道及其信道容量 8学时无失真信源编码 12学时有噪信道编码 14学时复习 2学时
考核方案：
期末考试60%；考核形式：考试（闭卷笔试），教学环境：课堂
作业与提问10%；
学习笔记10%；
平时测验20%
作业和提问10％：提问采用随堂随机形式，主要围绕学生的实践能力培养，由于本课程没有实验，如信道容量的计算，信源和信道编码等的程序实现，采取在课堂上布置思考题，让学生课后思考算法实现的步骤，然后在课堂上简述。
学习笔记10％：主要是考查学生参与学习的过程，包括课后搜集整理资料的过程与撰写简要的综述能力。
平时测验20％：随堂测验，不定期抽取重要知识点检测学生掌握情况，2～3次，根据学生对知识的掌握情况，次数可以酌情变化，根据测试批改的结果，对典型错误进行详细讲解。主要考察学生的分析问题和解决问题的能力，选取的测试内容主要包括信源熵和信道容量的计算、具体的信源编码，信道的纠错编码和纠错能力的计算等，加深对课堂理论知识的理解。
期末考试60％：卷面100分，采取笔试闭卷形式，规定卷面55分以上，总评才可以合格。题型主要有，问答、填空、判断、作图、计算和证明等形式，其中基本难度题分值约为50％，中等难度题约40％，较难题量约为10％。
《信息论基础》课程教学大纲
课程编号：（0531305）
课程名称：信息论基础
参考学时：48 其中实验或上机学时：0
先修课及后续课：先修课：概率论、信号与系统
后续课：通信原理、数字图像处理、语音信号处理
说明部分
1．课程性质
本课程是电子信息类专业的技术基础课
2．课程教学的目的及意义
人类社会的生存和发展无时无刻都离不开信息的获取、传递、处理、控制和利用。特别是迈入21世纪――高度信息化时代，信息的重要性更是不言而喻。信息业的发展，需要大量从事信息、通信、电子工程类专业的人才，而《信息论基础》课程为电子信息工程学科的基础课，同时也可作为信息科学其它相关学科的选修课，掌握它，可以指导理论研究和工程应用。
本课程注重基本概念、基本理论和基本分析方法的论述，并结合实例建立数学模型，给出推演过程，力求物理概念清晰、数学结构严谨和完整、逐步深入展开。通过该课程的学习，使学生掌握香农信息论的三个基本概念，与之相应的三个编码定理，以及信源编码、信道编码的基本理论和主要方法，培养学生能够适应数字通信、信息处理、信息安全、计算机信息管理等编码工作的要求。使学生掌握信息理论的基本概念和信息分析方法及主要结论，为今后从事信息领域的科研和工程工作进一步研究打下坚实的理论基础。
3．教学内容及教学要求
教学内容：
该课程是电子信息工程、信息安全工程专业的专业基础课。是为了适应数字通信、信息处理和信息安全等方面的专业需要开设。该课程着重介绍信息论应用概率论、随机过程和现代数理统计方法，研究信息提取、传输和处理的一般规律，提高信息系统的有效性和可靠性，实现信息系统的最优化。
信息论是现代通信与信息工程的理论基础，主要内容包括：信息的定义和测度；各类离散信源和信息熵；剩余度；信道和互信息；平均互信息和信道容量；数据处理和信息测量理论；信息率失真函数和数据压缩原理；离散信源无失真和限失真信源编码理论和编码方法；离散有噪信道编码理论和编码原则。
教学基本要求：
了解通信系统各部分的主要组成以及作用、香农的三大编码定理；
掌握各类离散信源和信息熵、信道及其信道容量、信息率失真函数和数据压缩原理、离常用的无失真信源编码方法、纠错码基本思想及常用的纠错编码方法。
4. 教学重点、难点
教学重点：
信息以及失真的测度、信道及信道容量、无失真信源编码方法以及有噪信道编码方法。教学难点：
典型序列以及由此推导出的香农三大编码定理即逆定理。
5. 教学方法及教学手段
课堂讲学为主，习题讲解为辅。
6. 教学学材及主要参考书
1. 傅祖芸编著，《信息论－基础理论与应用》，北京：电子工业出版社，2011年
2. 姜丹，《信息论与编码》，合肥，中国科学技术大学出版社， 2001年
3. 曹雪虹，张宗橙，信息论与编码，北京，清华大学出版社，2004年
二、正文部分
第一章：绪论
一、教学要求
了解信息论研究对象、目的、发展简史与现状；
了解通信系统的模型以及通信系统各部分的主要组成以及作用
二、教学内容
第一节信息的概念
知识要点：信息的概念及自信息
第二节信息论研究的对象、目的和内容
知识要点：信息论研究的对象、目的和内容
第三节：信息论发展简史
知识要点：信息论发展简史
三、本章学时数
2学时
第二章：离散信源及其测度
一、教学要求
了解信源的相关性和剩余度的概念，信息的概念，信息，信号，消息，数据的关系与联系。 掌握信源的数学模型、离散无记忆信源、离散平稳信源和马尔可夫信源基本理论。
二、教学内容
第一节信源的数学模型及分类
知识要点：信源的数学模型，离散无记忆信源及其扩展信源。
第二节信息熵及其基本性质
知识要点：自信息及信息熵离散无记忆扩展信源熵，熵的基本性质及最大离散熵定理。
第三节离散平稳信源
知识要点：离散平稳信源定义，联合熵，条件熵以及极限熵。
第四节马尔可夫信源
知识要点：马尔可夫信源定义，马尔可夫信源熵
第五节信息剩余度
知识要点：信息剩余度以及自然语言熵
三、本章学时数
10学时
第三章：离散信道及其信道容量
一、教学要求
了解一般信道容量计算。
掌握信道的数学模型，离散无记忆信道以及一些特殊信道容量的计算方法。
二、教学内容
第一节信道数学模型及分类
知识要点：信道数学模型及不同的分类，信道矩阵。
第二节平均互信息及特点
知识要点：信道疑义度，互信息和平均互信息及其特性，平均条件互信息。
第三节信道容量及一般计算方法
知识要点：离散无噪信道及信道容量，对称离散信道、准对称信道的容量计算。
第四节离散无记忆扩展信道及其容量
知识要点：离散无记忆扩展信道及其容量，信源与信道的匹配。
三、本章学时数
8学时
第四章：无失真信源编码
一、教学要求
了解其它一些无失真信源编码方法。
理解渐近等分割性及ε典型序列，算术编码方法及具体实现方案；
掌握编码的定义，码的分类，定长编码定理，变长编码定理，最佳编码方法：香农编码方法，费诺编码方法，哈夫曼编码方法。
二、教学内容
第一节等长码及等长信源编码定理
知识要点：编码器的概念，码的定义，等长码及等长信源编码定理，ε典型序列及其性质，编码效率。
第二节变长码及变长信源编码定理
知识要点：唯一可译码定义及其判断方法，即时码的树图法构造，Kraft 不等式，紧致码，变长信源编码定理。
第三节编码方法
知识要点：香农编码，费诺编码，香农－费诺－埃利斯编码，哈夫曼编码，游程编码，算术编码和其它一些编码方法。
三、本章学时数
10学时
第五章：有噪信道编码
一、教学要求
了解检错码与纠错码的方法。
理解渐近等分割性及典型序列。
掌握的重点内容有：有噪离散信道的编码定理，差错控制与信道编译码的基本原理，线性分组码，卷积码，网格编码调制与级联码简介。
二、教学内容
第一节错误概率与译码规则和编码方法
知识要点：最小错误概率译码准则，最大似然译码准则，最小距离译码准则及其之间相互关系，平均译码错误概率，错误概率与译码规则和编码方法关系，信道编码的编、译基本准则。
第二节有噪信道编码定理
知识要点：有噪信道编码定理及其逆定理，信源信道编码定理。
第三节纠错码
知识要点：纠错码分类，分组码的最小距离与检、纠错能力，分组码的码率，线性分组码的特性，生成矩阵和一致监督矩阵及其关系，线性分组码的编、译码方法，汉明码，卷积码及其构造方法。
三、本章学时数
14学时
第六章：总复习
一、教学要求
总结掌握信息论基础课程学所内容
二、本章学时数
2学时
总学时48学时
第一章
第二章
第三章
第四章
第五章
第六章绪论 2学时离散信源及其测度 10学时离散信道及其信道容量 8学时无失真信源编码 12学时有噪信道编码 14学时复习 2学时
考核方案：
期末考试60%；考核形式：考试（闭卷笔试），教学环境：课堂
作业与提问10%；
学习笔记10%；
平时测验20%
作业和提问10％：提问采用随堂随机形式，主要围绕学生的实践能力培养，由于本课程没有实验，如信道容量的计算，信源和信道编码等的程序实现，采取在课堂上布置思考题，让学生课后思考算法实现的步骤，然后在课堂上简述。
学习笔记10％：主要是考查学生参与学习的过程，包括课后搜集整理资料的过程与撰写简要的综述能力。
平时测验20％：随堂测验，不定期抽取重要知识点检测学生掌握情况，2～3次，根据学生对知识的掌握情况，次数可以酌情变化，根据测试批改的结果，对典型错误进行详细讲解。主要考察学生的分析问题和解决问题的能力，选取的测试内容主要包括信源熵和信道容量的计算、具体的信源编码，信道的纠错编码和纠错能力的计算等，加深对课堂理论知识的理解。
期末考试60％：卷面100分，采取笔试闭卷形式，规定卷面55分以上，总评才可以合格。题型主要有，问答、填空、判断、作图、计算和证明等形式，其中基本难度题分值约为50％，中等难度题约40％，较难题量约为10％。