《信息论基础及应用》是作者从事信息论、纠错编码理论近30年的教学和科研实践的积累，在吸收国内外优秀教材优点的基础上，结合现代信息技术的教学需求，进行优化整合、改进而成的。全书重点介绍信息处理的理论基础以及实现原理与方法，共6章，内容包括：信息论的起源、发展及研究内容；Shannon信息论的3个基本概念：信源熵、信道容量和信息率失真函数，以及与这3个基本概念相对应的3个编码定理：无失真信源编码定理、限失真信源编码定理和有噪信道编码定理；通信系统的有效性和可靠性编码：信源编码（即压缩编码）和信道编码（即纠错编码）。为了便于教学和读者自学，每章附有大量的思考题和习题。
　　本书可以作为高等院校通信工程、电子信息工程、计算机科学与技术、电子科学与技术、自动化、信息与计算科学等相关专业的本科生教材或教学参考书，也可以作为低年级研究生的教学参考书，还可供科研院所从事信息科学理论、技术和方法研究的科研及工程技术人员参考。

　　★《信息论基础及应用》强调信息论中物理概念和结论的理解与掌握，简化繁琐的数学推导，注重使用明确、直观的物理概念，增加了大量实例，力求让讲述的内容理论联系实际。
　　★每章附有大量的思考题和习题，便于教学和读者自学。

　　1948年，当代伟大的数学家和科学家香农（C. E. Shannon）发表了题为“通信的数学理论”的学术论文，这篇划时代论文的问世宣告了信息论的诞生。从信息的度量开始，信息的概念和研究范畴在不断扩大和深化，并迅速地渗透到其他相关学科领域，如通信与网络技术、信号与信息处理、控制与检测技术、计算机技术、密码学与信息安全、人工智能与认知科学、生命科学、材料学、哲学、心理学、质量管理、市场营销、经济学和美学等。信息论的研究领域从自然科学扩展到经济、管理科学，甚至人文社会科学，并从狭义信息论发展到如今的广义信息论，成为涉及面极广的信息科学。
　　微电子技术、通信技术、计算机技术和网络技术的迅猛发展，加速了社会信息化的进程，使人类社会进入了今天高度发展的信息化时代，并且在不断地深刻影响和改变着人类社会的生活、学习、休闲和生产的方式。信息论作为信息科学与技术的基本理论，犹如信息科学大厦的基石，在信息社会中占据越来越重要的地位。
　　信息论是信息科学中最成熟、最完整、最系统的一部分，它以活跃、新颖的思路和高效解决问题的方法而显示出独特的魅力。信息论为数据通信和计算机技术奠定了坚实的理论基础，是20世纪产生的对人类最伟大的贡献之一。它不仅在方法论层面上解决了通信的有效性、可靠性和安全性问题，而且在认识论层面上帮助人们认识事物的本质。系统学习完信息论之后再重新审视一下周围的事物，我们将会有许多新的看法和认识。信息论除了可以解决与信息相关的工程技术问题外，还可以帮助我们宏观地认识某些社会问题，也可以定量地解决某些经济问题，甚至解决学习中遇到的问题。所以，信息论是高层次信息科学与技术人才必不可少的基础知识。许多高校已经把“信息论”作为电子信息类、电气工程类本科专业的专业基础课，其他许多专业也把“信息论”作为选修课。

出版说明
前言
第1章概论
1.1通信与信息的一般概念
1.1.1信息、消息和信号
1.1.2Shannon信息
1.1.3通信系统模型
1.2信息论研究的主要内容和意义
1.3Shannon信息论的观点与方法
*1.4信息理论与信息科学的发展历程
*1.5信息的再认识
1.5.1信息的特性
1.5.2信息的其他定义
1.5.3信息的分类
科学家小传——C.E.Shannon
思考题
第2章信源及其信息的统计度量
2.1信源的数学模型和分类
2.1.1概率论符号约定和概率知识基础
2.1.2信源的数学模型
2.1.3信源的分类
2.2随机事件的信息
2.2.1随机事件的自信息和条件自信息
2.2.2随机事件的互信息和条件互信息
2.3离散信源的熵
2.3.1信源熵
2.3.2条件熵
2.3.3联合熵（共熵）
2.3.4熵函数的性质
*2.3.5加权熵的概念及基本性质
2.4离散信源的平均互信息
2.4.1平均互信息
2.4.2平均互信息的性质
2.4.3各类熵之间的关系
2.5离散序列信源的熵
2.5.1离散无记忆序列信源的熵
2.5.2离散有记忆序列信源的熵
*2.5.3马尔可夫信源的熵
2.6连续信源熵和互信息
2.6.1连续信源的表述
2.6.2基本连续信源的熵
2.6.3多维连续信源和波形信源的熵
2.6.4连续信源熵的性质和最大熵定理
2.7冗余度和熵功率
2.7.1离散信源的冗余度和自然语言的熵
2.7.2连续信源的熵功率
思考题
习题
第3章信道及其容量
3.1信道的数学模型和分类
3.1.1信道的分类
3.1.2离散信道的数学模型
3.1.3连续信道的数学模型
3.2信息传输率与信道容量
3.2.1信道疑义度、噪声熵和信息传输率
3.2.2信道容量的定义
3.3离散信道的信道容量
3.3.1特殊离散信道的信道容量
3.3.2离散对称信道的信道容量
3.3.3离散准对称信道的信道容量
3.3.4一般离散信道的信道容量
3.4离散序列信道的数学模型及其信道容量
3.4.1离散序列信道的数学模型
3.4.2离散序列信道的信道容量
*3.5组合信道的信道容量
3.5.1串联信道及其信道容量和数据处理定理
3.5.2并联信道及其信道容量
3.6连续信道及其信道容量
3.6.1单符号高斯加性信道
3.6.2限带高斯白噪声加性波形信道
3.7信源与信道的匹配
思考题
习题
第4章无失真信源编码
4.1信源编码的基本概念
4.1.1信源编码器
4.1.2信源编码的基本码型
4.1.3平均码长和编码效率
4.1.4信源编码的树图表示
4.1.5Kraft不等式
*4.1.6唯一可译变长码的判定法
4.2等长编码和等长信源编码定理
4.2.1等长编码
4.2.2等长信源编码定理
4.3变长信源编码定理
4.4变长编码方法
4.4.1Shannon编码
4.4.2Fano编码
4.4.3Huffman编码
4.4.4游程编码
4.4.5数字传真编码
4.4.6算术编码
4.5字典码
4.5.1LZ-77编码算法
4.5.2LZ-78编码算法
4.5.3LZW编码算法
科学家小传——R. M. Fano
科学家小传——D. A. Huffman
思考题
习题
第5章信息率失真函数和限失真信源编码
5.1失真测度和信息率失真函数
5.1.1系统模型和失真测度
5.1.2信息率失真函数的定义
5.1.3信息率失真函数的性质
5.2离散信源的信息率失真函数的计算
5.2.1利用信源的对称性计算信息率失真函数
*5.2.2离散信源信息率失真函数的参量表达式
5.3连续信源的信息率失真函数
5.3.1连续信源的信息率失真函数与性质
5.3.2高斯信源的信息率失真函数
5.3.3连续信源的信息率失真函数的界
5.4限失真信源编码定理
5.5限失真信源编码简介
5.5.1量化编码
5.5.2预测编码
5.5.3变换编码
科学家小传——A.Lempel
科学家小传——J.Ziv
思考题
习题
第6章信道编码
6.1译码规则和信道编码定理
6.1.1错误概率与译码规则
6.1.2有噪信道编码定理
6.2差错控制的基本形式和信道编码的分类
6.2.1差错控制的基本形式
6.2.2信道编码的分类
6.3信道编码的基本数学知识
6.3.1群、环和域的基本概念
6.3.2有限域上的多项式
6.3.3多项式同余类环
6.3.4有限域的结构
6.3.5线性空间
6.4线性分组码
6.4.1分组码的基本概念
6.4.2常用分组码介绍
6.4.3生成矩阵、一致校验矩阵和对偶码
6.4.4伴随式及标准阵列译码
6.4.5Hamming码
6.4.6由已知码构造新码的方法
6.5循环码
6.5.1循环码的基本概念
6.5.2循环码的生成多项式、生成矩阵和编码原理
6.5.3循环码的一致校验多项式和校验矩阵
6.5.4循环Hamming码和极长码
6.5.5用多项式的根定义循环码
*6.5.6循环码的编码电路
*6.5.7循环码的译码原理和译码电路
*6.5.8BCH码和RS码
6.6卷积码
6.6.1卷积码的基本概念
6.6.2卷积码的描述方法
6.6.3卷积码的Viterbi译码
科学家小传——R.W.Hamming
思考题
习题
参考文献