本书是“十二五”普通高等教育本科国家级规划教材，且为教育部评选的“2008年度普通高等教育精品教材”。
本书系统地论述了香农信息论基本理论及某些应用问题，基本覆盖了信息论的各个方面的内容。内容包括：信息的定义和度量；各类离散信源和连续信源的信息熵；有记忆、无记忆、离散和连续信道的信道容量；香农信息论的三个基本定理：无失真信源编码定理、限失真信源编码定理和信道编码定理；网络信息理论及保密系统的信息理论。本书还介绍了无失真数据压缩(即无失真信源编码)的实用的编码算法与方法，以及信道纠错编码的基本内容和分析方法；最后简要地介绍了信息论与热力学、光学、统计学、生物学和医学等其他学科交叉结合的应用内容。尤其是新增第13章,介绍量子力学与信息理论交叉结合而飞速发展起来，又极具诱人前景的量子信息科学。

第4版前言

第4版前言
自1948年至今60多年来，以香农信息论为核心的信息理论从发展走向了成熟。在信息理论的主导和推动下，信息计算技术、信息存储与处理技术以及信息安全可靠的传输技术等都取得了突破性的进展和卓越的成就。然而，值得关注的是近十多年来，一门量子物理学与香农信息理论交叉融汇的新兴科学——量子信息科学迅速崛起并取得飞速发展。它的主要内容包括有量子计算（量子计算机）、量子通信、量子保密学以及量子信息论等。量子信息科学将原有的香农经典信息扩充为量子信息，用微观粒子的量子态来表述量子信息。以往香农经典信息理论是将信息荷载在实际的物理载体——信号上，来研究信息的提取、计算、传输和变换处理等。也就是将信息荷载到经典物理学中的经典物理态上。而量子信息科学是将信息荷载到微观物理系统的微观量子态上，来研究量子信息的提取、计算、传输和处理等。因此，它必须遵循微观量子态的特性和遵循量子力学理论的规律。这就使信息的提取、计算、存储、传输和处理等都发生了根本性的变革。在研究和分析微观量子态特性的基础上，展现出量子信息科学具有奇特的和惊人的优越性。它可以实现无法比拟的、极高速的并行量子计算。可以实现超光速和无条件安全性的信息传输以及可实现非定域性和超空间性的远距离通信等。近年来，世界各国在量子信息科学的技术和理论等方面都取得了众多的、引人瞩目的研究成果。我国在量子通信和量子保密通信方面也取得具有世界先进水平的科研成果，初步奠定了量子通信实用化和产业化的技术基础。然而，量子信息科学还处于起步和发展阶段，有着大量的课题和困难需要探索、研究和解决。其中我们关心的量子信息论更有许多内容有待深入地研究。所以，量子信息科学将是当今信息科学领域中最具广阔发展前景的重要研究方向。
在再版《信息论——基础理论与应用》一书之际，作者认为有必要将量子信息科学简介作为第13章的内容加入本书。目的是希望通过该章简要的论述，使读者今后能更多地注意量子信息科学发展的动向。也希望读者在掌握香农信息论的基础上，对量子信息科学，特别是对量子信息论激起兴趣，并进行深入地研究和探讨。
在第13章编写过程中曾得到中科院研究生院物理学院丁亦兵教授的帮助和指教，在此表示衷心感谢。同时也参阅引用了一些国内外最近有关量子信息科学方面的著作，在此谨向作者们表示深切的谢意。
由于作者水平所限，书中有不当和错误之处，敬请专家、学者和广大读者批评指正。
作者
2014年12月

前 言
人类社会的生存和发展无时无刻离不开信息的获取、传递、处理、再生、控制和利用。
信息论正是一门把信息作为研究对象，以揭示信息的本质特性和规律为基础，应用概率
论、随机过程和数理统计等方法来研究信息的存储、传输、处理、控制和利用等一般规律的
科学。它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最
优化。
自从1948年香农发表了《通信的数学理论》一文，宣告了信息论作为一门独立的、全新的学科成立。自此之后，信息理论本身得到不断地发展和深化，尤其是在信息理论的指导下,信息技术也获得飞快发展。这又使信息的研究冲破了香农狭义信息的范畴，几乎渗透到自然科学与社会科学的所有领域，从而形成了一门具有划时代意义的新兴学科——信息科学。近年来，逐渐形成和发展起来的光学信息论、量子信息论、生物信息论或生物信息学都是信息科学的重要分支和发展的重要领域。
当人类迈入21世纪——高度信息化时代以来，移动通信、互联网通信、
多媒体技术、计算机技术、空间技术等信息技术出现了超越人们想象的、前所未有的发展速
度。在这些领域中，只要涉及信息的存储、传输和处理就要用到香农信息理论——无失真通
信的传输速率极限(即香农极限)、无失真和限失真信源编码理论(即数据压缩原理)和信道
编码理论(即纠错编码理论)等。甚至人们娱乐生活中如数字激光影碟机、数码相机、数字家
庭音像系统、网络游戏等都普遍采用了纠错编码技术和数据压缩技术。所以，现在人们对于信息的概念、信息论的基本理论已不再感到陌生、抽象深奥和难以理解与掌握，同时也越来越意识到学习和掌握信息理论的重要。
在这种形势下，各高校的热门专业“信息工程技术专业”得到快速发展，专业的知识结构也做了相应调整，先后将《信息论与编码》及有关课程列为本科生、研究生必修的专业基础课。与此同时，全国几百所高校先后在理学院(或数学系)内新增设了“信息与计算科学专业”，也将《信息论与编码》作为此专业的必修基础课。甚至，在物理学、光学、声学，以及生物学专业的研究生中也增设或选修有关信息论的课程。
为满足广大读者的需要，作者在几十年的教学实践和科研工作的积累,以及在1986年、1989年最早编写出版的全国统编教材《信息论基础》［37］一书基础上，于2001年编写出版了《信息论——基础理论与应用》［38］一书。经近十年的使用和修改，在增加了信道纠错编码的内容的基础上，现又在章节上做一些适当的调整和修改，以求内容和框架结构更全面合理，以期能适应不同专业的需求。
本书系统地介绍香农(Shannon)信息论和编码理论及其应用。全书注重基本概念、基本定理和基本分析方法的论述，并结合实例建立概念和数学模型，给出详细的、必要的数学推演过程和证明。一般来说，在重要定理的证明前后都会描述定理和结论的物理意义或实用意义及证明的思路，然后通过严密推理和巧妙证明进一步说明定理和结论的完美，以期望做到物理概念清晰，逻辑性、系统性强，数学结构严谨完整又避免纯数学的枯燥乏味。在内容的编排上，力求由浅入深、循序渐进，合理地安排章节。全书力图做到既有实际应用背景，又有清晰的数学思想和严密推理。
全书共有12章。第1、2、3、4章是全书的基础。首先阐述信息的概念，引出香农关于信息的定义和测度。在这基础上讨论各类离散信源、连续和波形信源的信息测度——信息熵，以及各类离散信道、连续和波形信道的信息传输率与信道容量。
第5、6、7章主要论述香农信息论的三个基本定理——离散信源的无失真编码定理、有噪信道编码定理及限失真信源编码定理，此部分内容是香农信息论的核心部分。
第8章集中介绍了若干常用的无失真信源编码方法，以阐明香农无失真信源编码定理的应用与意义。
第9章论述了信道纠错编码的基本内容及一些主要的纠错编码如线性分组码、循环码和卷积码。该章从有噪信道编码定理出发，在读者已具有的工程数学基础上给出纠错编码的基本概念，然后讨论各种纠错码的编、译码算法。避免了从近世代数理论角度进行讨论，减小了学习的难度。有了这章的学习基础就可对纠错编码理论进行深入的研究。
第10章讨论网络信息论(又称为多用户信息理论),比较全面地介绍了各种网络信道的信源和信道编码定理。这一章在本书中占用了一定的篇幅，主要因为实际的各种信息传输系统、
信息流通系统都是复杂的信息流通网。另外，多用户信息理论也是由香农首先给出的，并且
目前还存在着许多有待研究和解决的理论问题。随着网络通信技术的发展和普及，网
络信息理论显得更为重要，而且已成为信息研究的热门领域。
第11章简要地介绍香农用信息论的观点对信息保密问题的论述。正是香农的论述把信息保密安全问题的研究引入到科学研究的轨道，使保密学迅速发展成为一个独立的分支。
第12章简要地探讨一些信息论与热力学、光学、统计学、生物、医学等学科的关系和应用，使读者了解信息论与其他学科交叉结合的发展前景。
第1章至第7章是本书的主体，学好了这几章就掌握了信息论的主要理论和内容。为帮助读者学习和掌握，每章结尾均给出小结，以公式形式列出该章的主要内容。各章还配有大量习题。为避免读者对本书所用符号产生混淆，还将主要所用符号统一列表说明，以供参阅。书后的附录，为读者提供了所需的一些数学基础知识。同时为配合本书的学习和解题，作者已编写并由电子工业出版社出版了《信息论与编码学习辅导及习题详解》［39］一书，可供读者学习使用。
全书引入了弱ε典型序列，几个重要定理都采用此统一的分析方法进行证明，使定理证
明简洁明了，而且又使单用户信息理论和网络信息理论中定理的证明方法达成一致。但这些
章节均标以“*”号出现。书中标有“*”号的章节和小字体部分均属于严格的数学证明或加
深、加宽的内容。各高校、各专业可根据学时的多少或学生的知识程度适当取舍，只讲授主要基本内容，省略“*”章节和小字体部分。省略后并不影响全书的系统性、逻辑性和可读性。所以，本书可作为信息工程、通信工程技术和计算机科学专业本科生和研究生的教材，也可作为其他有关专业所需的教材。
为了便于教师使用本教材进行课堂教学，还配套提供了电子教案。
本书第8章“字典码”一节由赵建中老师协助编写。孙建京、路而红、彭一凡等老师阅读了书稿部分章节并提出许多中肯的修改意见。刘泉、陈立、赵黎明、施燕琼、许晓东、陈曦、张栋等同志参与了审稿、绘图、习题录入、电子教案编程等大量工作，在此一并表示衷心的感谢。
在本书编写修改过程中，参阅了国内外一些经典著作，均列于参考书目中，在此谨向作者表示深切谢意。
本书被国家教育部评为“2008年度普通高等教育精品教材”。其中电子工业出版社陈晓莉编辑对本书的修改、再版做了大量的工作，提出了许多宝贵意见，在此也深表感谢。
书中难免有不妥和错误之处，殷切希望广大读者予以批评指正。
作者
2011年元月

傅祖芸，教授，自1968-1983年在中国科技大学,1983-2000年在中国科学院研究生院 自1965年起就作为本科生《信息论与编码》课的辅导老师，1976年起一直主要讲授本科生和研究生的专业基础课《信息论与编码》或《信息论基础》。自1980年起就编写《信息论与编码》方面的教材，所编写的《信息论基础》于1986年和1989年两次入选全国高等院校电子类第二轮、第三轮统编教材。1989年出版的《信息论基础》于1992年1月荣获第二届机械电子工业部电子类专业优秀教材一等奖。由于教材选用合适，学生反映教学效果好，于1994－1995年度被评为科学院研究生院的学年优秀课程。之后,该教材被评为“十五“,“十一五“国家规划教材.

第1章 绪论
1.1 信息的概念
1.2 信息论研究的对象、目的和内容
1.3 信息论发展简史与信息科学
第2章 离散信源及其信息测度
2.1 信源的数学模型及分类
2.2 离散信源的信息熵
2.2.1 自信息
2.2.2 信息熵
2.3 信息熵的基本性质
2．4 信息熵的唯一性定理
2.5 离散无记忆的扩展信源
2.6 离散平稳信源
2.6.1 离散平稳信源的数学定义
2.6.2 二维离散平稳信源及其信息熵

第1章  绪论    
       1.1  信息的概念      
       1.2  信息论研究的对象、目的和内容    
       1.3  信息论发展简史与信息科学 
第2章  离散信源及其信息测度 
       2.1  信源的数学模型及分类     
       2.2  离散信源的信息熵 
            2.2.1  自信息      
            2.2.2  信息熵     
       2.3  信息熵的基本性质    
     2．4  信息熵的唯一性定理     
       2.5  离散无记忆的扩展信源      
       2.6  离散平稳信源    
            2.6.1  离散平稳信源的数学定义 
            2.6.2  二维离散平稳信源及其信息熵     
            2.6.3  离散平稳信源的极限熵      
       2.7  马尔可夫信源    
            2.7.1  马尔可夫信源和m阶马尔可夫信源的定义 
            2.7.2  马尔可夫信源和m阶马尔可夫信源的信息熵 
      2.8  信源剩余度与自然语言的熵 
2．9  意义信息和加权熵      
       小结     
       习题      
第3章  离散信道及其信道容量      
        3．1  信道的数学模型及分类      
              3．1．1  信道的分类 
              3．1．2  离散信道的数学模型     
              3．1．3  单符号离散信道的数学模型      
       3．2  平均互信息及平均条件互信息 
             3．2．1  信道疑义度      
             3．2．2  平均互信息     
             3．2．3  平均条件互信息   
       3．3  平均互信息的特性
       3．4  信道容量及其一般计算方法     
             3．4．1  离散无噪信道的信道容量 
             3．4．2  对称离散信道的信道容量 
             3．4．3  准对称信道的信道容量      
             3．4．4  一般离散信道的信道容量      

  3．5  信道容量的迭代算法    
           3．5．1  信道容量的迭代算法      
           3．5．2  信道容量迭代算法的收敛性   
       3．6  离散无记忆扩展信道及其信道容量     
       3．７  独立并联信道及其信道容量     
       3．8  串联信道的互信息和数据处理定理   
       3．9  信源与信道的匹配    
       小结     
       习题 
第4章  波形信源和波形信道  
       4.1  波形信源的统计特性和离散化 
       4.2  连续信源和波形信源的信息测度 
            4.2.1  连续信源的差熵      
             4.2.2  连续平稳信源和波形信源的差熵 
             4.2.3  两种特殊连续信源的差熵 
       4.3  连续信源熵的性质及最大差熵定理    
            4.3.1  差熵的性质    
            4.3.2  具有最大差熵的连续信源     
       4.4  连续信源熵的变换     
            4.4.1  坐标变换后概率密度函数的变化      
            4.4.2  坐标变换后差熵的变化 
       4.5  熵功率 
       4.6  连续信道和波形信道的分类   
            4.6.1  按信道输入和输出的统计特性分类   
            4.6.2  按噪声的统计特性分类
            4.6.3  按噪声对信号的作用功能分类      
       4.7  连续信道和波形信道的信息传输率      
           4.7.1  基本连续信道的平均互信息 
           4.7.2  多维连续信道的平均互信息      
           4.7.3  波形信道的信息传输率      
           4.7.4  连续信道平均互信息的特性 
       4.8  连续信道和波形信道的信道容量     
            4.8.1  单符号高斯加性信道      
            4.8.2  单符号非高斯加性信道 
            4.8.3  多维无记忆高斯加性连续信道    
         4.8.4  多维有记忆高斯加性连续信道 
           4.8.5  限带高斯白噪声加性波形信道     
         4.8.6  有色高斯加性波形信道  
           4.8.7  香农公式的重要实际指导意义     
       小结      
       习题    
第5章  无失真信源编码定理      
       5.1  编码器 
       5.2  等长码     
     5.3  渐近等分割性和ε典型序列     
&nb