《普通高等教育“十二五”规划教材·电子信息类精品教材：信息论与编码基础》系统论述香农（shannon）信息论的基础理论和编码的基本理论及方法。内容包括：信息的定义、自信息、互信息、信息熵、平均互信息、信道容量与匹配信源、串接信道与数据处理；扩展信源的信息熵、平均符号熵、马尔柯夫（Markov）信源的极限熵、剩余度、扩展信道的平均互信息、独立并列信道的信道容量；连续信源的相对熵、熵功率、高斯白噪声加性信道的最高信息传输速率；单义可译码的结构定理、信源符号速率极限定理、霍夫曼（Huffman）码编码方法及其性能评估、费诺（Fano）码和香农（shannon）码的编码方法；最小平均误码率译码规则、几种纠错码的编码方法及其最小误码率、误码率极限定理、线性分组码的代数结构和编码译码方法、系统完备码的最小平均误码率、汉明（Hamming）码的最优化；信息率-失真函数R（D）的定义和性质、离散信源R（D）的表达式、扩展信源的R（D）与数据压缩的关系等。
　　《普通高等教育“十二五”规划教材·电子信息类精品教材：信息论与编码基础》可作为高等院校高年级本科生的教材，也可供相关专业的研究生和从事信息理论、信息技术的科研、教学和工程技术人员参考。

　　信息论产生于通信领域，是解决通信问题的有力工具。经半个多世纪的发展，它已成为整个信息科学中最完整、最系统、最成熟的一门学科，是通信和信息处理有关专业的基础学科。由于解决问题的思路和方法的独特、新颖和有效，在当今信息时代，它与其他自然科学，甚至社会、人文科学的有关学科，相互渗透、密切结合，显示出它的勃勃生机和不可估量的发展前景。随着时代的发展和文明程度的不断提高，高等院校和科研院所，普遍开设本科生、研究生的信息论有关课程。
　　作者于2001年编著，由中国科学技术大学出版社出版发行的《信息论与编码》一书，在2003年入选中华人民共和国教育部研究生工作办公室推荐的“研究生教育用书”，并分别于2004年、2009年由中国科学技术大学出版社出版发行第二版、第三版。
　　本书是作者总结从事30余年高等院校和科研院所本科生、研究生信息论课程的教学经验，面向高等院校高年级本科生编写的信息论及其相关课程的教材。
　　“着眼基础，强化基础”是本书的宗旨。
　　本书重点介绍和论述香农（Claude E?Shannon）信息论和编码的基础理论和方法。
　　在“引言”中，首先提出信息论的“三大理论支柱”，作为一条主线，贯穿本书始终。它也是交给读者进入信息论学术殿堂大门，必备的一把“钥匙”。
　　本书内容共设7章，分为两大部分。
　　第一部分（第1、2、3、4章）论述信息论的基础理论。为了强化“系统”总体概念，由“单符号离散通信系统”（第1、2章）、“多符号离散通信系统”（第3章）、“连续通信系统”（第4章）三个“横向”教学板块，构成“横向”教学结构体系。在教学进程中，以“系统”为一个整体，由简到繁、由浅入深、循序渐进、逐步提升。
　　第二部分（第5、6、7章）论述编码的基础理论和方法。重点论述“无失真信源编码定理”、“抗干扰信道编码定理”，以及信息率—失真函数的基础理论。侧重介绍“霍夫曼（Huffman）码”、“线性分组码”的编码理论和方法，阐明信息率—失真函数与“限失真信源编码”（数据压缩）之间的关系。列举大量例题，说明采用编码手段，实施通信系统“最优化”的具体途径和方法，展示通信系统“最优化”的光明前景。
　　本书各章、节以及下属标题设置，体现信息论基础理论体系的结构框架。在论述中，用定理的形式，表述信息论的基本概念、重要结论和编码的基本理论。用深入细致、逻辑严密、步步推进的数学分析过程，推导、论证每一个定理。体现信息论基础理论的完整演绎体系。
　　为了帮助读者排除学习信息论过程中经常遇到的数学分析方面的困难，结合有关内容，适当介绍必要的数学基础知识，提供不同的证明途径和方法。同时，用通俗易懂、富有哲理的比喻，诠释定理的物理意义和内涵，阐明香农信息论向人们揭示的信息产生、信息传输、信息处理的规律，彰显香农信息论的信息观。
　　本书各章、节基本上覆盖了香农信息论基础理论的主要内容。在教学过程中，可根据限定学时数和其他相关实际情况，从中挑选适当章、节作为课堂教学内容。有些内容，可供教师备课参考，或供学生自修阅读。各章所附“习题”，难易程度不一，亦可适当选择使用。
　　本书除供高等院校高年级本科生作为教材外，也可供有关专业的研究生和从事信息理论、信息技术、通信工程的教学、科研、工程技术人员参考。
　　热忱希望广大读者对书中的错误和不当之处，予以批评指正！
　　姜丹 于北京

引言
第1章 单符号离散信源
1.1 信源的信息熵
1.1.1 信源的数学模型
1.1.2 信源符号的自信量
1.1.3 信源的信息熵
1.2 信息熵的代数性质
1.2.1 熵函数的对称性
1.2.2 熵函数的非负性和确定性
1.2.3 熵函数的连续性和扩展性
1.2.4 熵函数的可加性
1.2.5 熵函数的递推性
1.3 信息熵的解析性质
1.3.1 熵函数的极值性
1.3.2 熵函数的上凸性
1.3.3 熵函数的最大值
1.4 熵函数的唯一性
习题

第2章 单符号离散信道
2.1 平均互信息
2.1.1 信道的数学模型
2.1.2 信道两端符号的概率变化
2.1.3 两个符号之间的互信息
2.1.4 两个随机变量之间的平均互信息
2.2 平均互信息的数学特性
2.2.1 平均互信息的非负性
2.2.2 平均互信息的极值性
2.2.3 平均互信息的上凸性
2.3 信道容量与匹配信源
2.3.1 信道容量的定义
2.3.2 信道容量的一般算法
2.3.3 匹配信源的等量平衡特性
2.4 几种特殊信道的信道容量
2.4.1 无噪信道的信道容量
2.4.2 强对称信道的信道容量
2.4.3 对称信道的信道容量
2.4.4 准对称信道的信道容量
2.5 串接信道的平均互信息
2.5.1 串接信道的数学描述
2.5.2 平均条件互信息
2.5.3 平均联合互信息
2.5.4 数据处理定理
习题

第3章 多符号离散信源与信道
3.1 离散平稳信源的数学模型
3.1.1 多符号离散信源的一般概念
3.1.2 离散平稳信源的定义
3.1.3 平稳信源的数学模型
3.2 扩展信源的信息熵
3.2.1 无记忆扩展信源的信息熵
3.2.2 有记忆扩展信源的信息熵
3.2.3 扩展信源信息熵的比较
3.3 平均符号熵和极限熵
3.3.1 平均符号熵
3.3.2 极限熵
3.4 马尔柯夫信源的极限熵
3.4.1 M信源的定义
3.4.2 m?M信源的数学模型
3.4.3 各态历经m?M信源的极限熵
3.4.4 剩余度
3.5 扩展信道的平均互信息
3.5.1 扩展信道的由来
3.5.2 扩展信道的数学描述
3.5.3 扩展信道的平均互信息的数学特性
3.6 无记忆扩展信道的信道容量
3.6.1 无记忆扩展信道的独立并列特性
3.6.2 独立并列信道的信道容量
习题

第4章 连续信源与信道
4.1 单维连续信道的平均互信息
4.1.1 单维连续信道的数学描述
4.1.2 连续信源的信息熵
4.1.3 连续信道的疑义度
4.1.4 信息熵差与相对熵差
4.1.5 平均互信息的三种表达式
4.2 连续信源的相对熵
4.2.1 “相对”二字的由来及其内涵
4.2.2 几种连续信源的相对熵
4.3 最大相对熵定理
4.3.1 相对熵的数学特性
4.3.2 最大相对熵定理
4.3.3 熵功率与信息变差
4.3.4 “相对熵”和“信息熵”称呼的统一
4.4 高斯白噪声加性信道的信道容量
4.4.1 加性信道的信道容量
4.4.2 高斯加性信道的信道容量
4.4.3 高斯白噪声加性信道的信道容量
4.4.4 香农公式的诠释
习题

第5章 无失真信源编码
5.1 单义可译定理
5.1.1 单义可译码
5.1.2 非延长码及其构成
5.1.3 单义可译结构定理
5.2 无记忆信源符号速率极限定理
5.2.1 平均码长与码率
5.2.2 平均码长极限定理
5.2.3 码率极限定理
5.2.4 符号速率极限定理
5.3 有记忆信源符号速率极限定理
5.4 霍夫曼码
5.4.1 霍夫曼编码方法
5.4.2 霍夫曼码是非延长码
5.4.3 霍夫曼码是有效码
习题

第6章 抗干扰信道编码
6.1 译码规则和平均误码率
6.1.1 译码规则
6.1.2 误码率和平均误码率
6.1.3 最小平均误码率译码规则
6.2 编码方法和最小平均误码率
6.2.1 纠错码W（Ⅰ）的最小平均误码率
6.2.2 纠错码W（Ⅱ）的最小平均误码率
6.2.3 纠错码W（Ⅲ）的最小平均误码率
6.3 抗干扰信道编码定理
6.3.1 汉明（Hamming）距离与检纠能力
6.3.2 汉明距离与最小平均误码率
6.3.3 疑义度与平均误码率
6.3.4 平均误码率与码率
6.3.5 误码率极限定理
6.4 线性分组码
6.4.1 线性分组码的代数结构
6.4.2 生成矩阵
6.4.3 一致校验矩阵
6.4.4 译码表
6.4.5 汉明码的最优化
习题

第7章 信息率-失真函数
7.1 信息率-失真函数R（D）的定义
7.1.1 平均互信息的下凸性
7.1.2 平均失真度
7.1.3 R（D）函数的定义
7.2 R（D）函数的数学特性
7.2.1 R（D）函数的连续性
7.2.2 R（D）函数的下凸性
7.2.3 R（D）函数的单调递减性
7.3 离散信源的R（D）函数
7.3.1 R（D）函数的定义域
7.3.2 R（D）函数的表达式
7.4 扩展信源的R（D）函数
7.4.1 扩展信道的平均失真度
7.4.2 扩展信源R（D）函数的数学特征
7.5 R（D）与数据压缩
7.5.1 数据压缩的一般运行机制
7.5.2 R（D）与压缩比
7.5.3 通信系统最优化前景
习题
附录A 供熵函数计算用的几种函数表