《信息理论与编码》以香农信息论为基础，分两大部分共8章向读者系统介绍信息理论与编码理论的基本思想：第一部分主要介绍了香农信息论的基本概念和性质，包括信息熵、信息率失真函数和信道容量，力求从基本概念上帮助读者理解和掌握信息理论的基本内容；第二部分以三个基本概念相对应的香农三大编码定理为基础，从满足通信系统的有效性、可靠性和安全性三项性能指标为出发点，详细介绍了无失真信源编码、限失真信源编码和信道编码的基本理论与方法。
    《信息理论与编码》内容结构清晰明了，以通俗语言叙述代替高深繁琐的数学推导，强调信息理论与编码方法在知识上的连贯性，以满足工科类本科专业学生的学习要求。
    《信息理论与编码》可作为普通高等院校电气信息类电子信息工程专业和通信专业的教材或教学参考书。

　　自从美国科学家香农(C.E.Shannon)在1948年发表了一篇题为“通信的数学理论”的经典学术论文，一门涉及通信技术、自动控制、信号处理、计算机技术、网络技术等众多学科的研究领域——信息理论便诞生了。信息理论是概率论与通信技术相结合的边缘学科，研究领域从自然科学渗透到了政治、经济、军事甚至社会科学。现代科学技术的快速发展已使人们充分认识到，作为信息科学和技术基本理论的信息论在21世纪的信息时代起着非常重要的作用。
　　本书不仅系统和详细地介绍了经典信息论的基本概念、基本性质和基本方法，而且从通信系统基本目的出发，围绕优化和提高通信系统的三项性能指标，系统论述了解决实际问题的理论基础——香农三大编码定理的基本原理、方法和运用。全书分为两大部分共8章。第一部分的4章主要围绕信息熵、信息率失真函数和信道容量三个基本概念组织内容。该部分各章内容编排如下：第1章介绍了信息的基本概念与分类，以及研究信息论的目的和意义；第2章介绍了离散信源、离散序列信源和连续信源的数学模型、信源特征以及信息熵，主要包括信息熵和互信息量的概念、性质以及最大熵定理；第3章的内容包括离散信源和连续信源的信息率失真函数R(D)的基本概念、性质和计算方法；第4章介绍了信道容量的定义，离散信道和连续信道的容量计算，其中包括几个特殊的离散信道容量计算，重点对香农信道容量公式作了详细的介绍。第二部分的4章根据第一部分提出的三个基本概念，引入了香农三大编码定理，详细介绍三大定理的主要内容和重要意义，以及信源编码和信道编码。该部分各章内容编排如下：第5章介绍了通信系统需要解决的三个问题，以及解决这三个问题所对应的香农编码定理的主要内容；第6章介绍了无失真信源编码定理即香农第一编码定理，包括等长编码、变长编码，主要介绍了最优无失真信源编码——霍夫曼编码方法；第7章主要内容包括限失真信源编码的保真度准则、限失真信源编码定理即香农第二编码定理，以及常见的语音和图像编码方案；第8章介绍了提高系统可靠性的信道编码即香农第三编码定理，包括信道编码概念和准则及几种常见的信道编码方案。
　　学习本课程需要学生具有高等数学、工程数学以及通信原理等基础知识的储备，作者力求以形象生动的语言对所学内容进行描述，以激发广大读者对本专业基础课的学习兴趣。本书可作为普通高等院校电气信息类电子信息工程专业和通信工程专业的教材，还可作为相关专业的教学参考书。
　　本书的第1、5章由长沙学院的谢明华老师编写，第2章由聊城大学东昌学院的郭宗林老师编写，第3、4、7章由安徽理工大学的姚善化老师编写，第6章由宁夏大学的李春树老师编写，第8章和附录部分由聊城大学的许恒迎老师编写，全书由安徽理工大学姚善化担任主编并负责统稿，聊城大学许恒迎担任副主编。另外，本书的编写得到了清华大学出版社的鼎力支持，在此深表感谢。
　　鉴于信息技术的发展日新月异，新的理论和研究成果层出不穷，本书无法做到全面覆盖，加之作者的学术水平和视野有限，错误和疏漏之处在所难免，敬请各位老师和同学批评指正。
　　 编 者

第1章  概论
1.1  信息的概念
1.2  信息的分类
1.3  信息论的研究目的与意义

第2章  信源与信息熵
2.1  离散信源与信息熵
2.1.1  离散信源的数学模型与统计特征
2.1.2  自信息量和平均自信息量（熵）
2.1.3  熵函数的基本性质和最大熵定理
2.1.4  联合熵与条件熵
2.1.5  互信息
2.2  离散序列信源：
2.2.1  离散序列信源的数学模型
2.2.2  离散序列信源的信息熵
2.2.3  马尔可夫信源
2.2.4  信源冗余度
2.3  连续信源
2.3.1  连续信源的熵
2.3.2  连续信源的最大熵及熵功率
习题

第3章  信息率失真函数
3.1  失真测度
3.1.1  失真函数与平均失真度
3.1.2  信息率失真函数的定义
3.2  离散信源的信息率失真函数
3.2.1  信息率失真函数的性质
3.2.2  信息率失真函数的计算
3.3  连续信源的信息率失真函数
3.3.1  信息率失真函数的定义与性质
3.3.2  信息率失真函数的计算
习题

第4章  信道与信道容量
4.1  信道的分类与数学模型
4.1.1  信道的分类
4.1.2  信道的数学模型
4.1.3  信道容量的定义
4.2  信道容量的代价函数和信道冗余度
4.2.1  信道容量的代价函数
4.2.2  信道冗余度
4.3  离散信道及其容量计算
4.3.1  单符号离散信道的信道容量
4.3.2  多符号离散信道的信道容量
4.4  连续信道及其容量
4.4.1  时间离散信道的信道容量
4.4.2  时间连续信道的信道容量
4.4.3  限频率、限时、限功率的AWGN信道容量
4.5  信道容量c与信息率失真函数R（D）的区别
4.6  多用户信道
4.6.1  多址接入信道
4.6.2  广播信道
习题

第5章  香农三大定理
5.1  香农第一定理
5.2  香农第二定理
5.3  香农第三定理
第6章  无失真信源编码
第7章  限失真信源编码定理
第8章  信道编码
附录A  常用概率公式
附录B  詹森不等式
参考文献