人们尊崇香农为信息论及数字通信时代的奠基之父。

信息论是研究信息的产生、获取、变换、传输、存贮、处理识别及利用的学科。可以分为三种：狭义信息论——它以编码理论为中心，主要研究信息系统模型、信息的度量、信息容量、编码理论及噪声理论等。一般信息论（通信理论）：主要是研究信息传输和处理问题，除了香农理论外，还包括噪声理论、信号滤波和预测、统计检测和估计理论、调制理论以及信息处理理论等。广义信息论——又称信息科学，主要研究以计算机处理为中心的信息处理的基本理论，包括评议、文字的处理、图像识别、学习理论及其各种应用。 3.2信息论的应用

（1）信息论在数据压缩理论中的应用

信息论之父香农在 1948 年发表的论文《通信的数学理论》一文中指出，任何信息都有冗余，冗余大小和信息中每个符号的出现概率或者说不确定性有关。香农把信息中排除了冗余后的平均信息量称为信息熵，并给出了计算信息熵的数学表达式，这为数据压缩奠定了理论基础。 数据压缩技术的不断完善是依靠在信息论这门学科的成长上的，信息能否被压缩以及能在多大程度上被压缩与信息的不确定性有直接的关系，人工智能技术将会对数据压缩的未来产生重大影响。

（2）信息论在密码学中的应用

近代密码学由于数据加密标准与公钥体制的出现于应用，使近代密码学所涉及的范围有了极大的发展，尤其是在网络认证方面得到广泛应用，但其中的安全性原理与测量标准仍未脱离香农保密系统所规定的要求，多种加密函数的构造，如相关免疫函数的构造仍以香农的完善保密性为基础。

（3） 信息论在统计中的应用

信息论在统计中的应用一般指信息量在统计中的应用，也有编码定理与码结构在统计中的应用等问题。由于统计学研究的问题日趋复杂，如统计模型从线性到非线性，统计分布从单一分布到混合分布，因此信息量在统计中的作用日趋重要，在许多问题中以信息量作为它们的基本度量。

（4）信息论在信号处理中的应用

信号处理包括数据、影象、语声或其他的信号的处理，从信息论的观点看，信号则是观察客观事物表达其相应信息的技术手段，也就是特定信息的载体。信息是通过信号来表达的，对信息的加工和处理，也就是信号的加工和处理。所有处理过程无非是信源编码，变换，过滤或决策过程，其 实变换也是一种编码过程。这些过程中的大部分的信息论基础是信息率失真理论。

现在，信息理论与技术不仅直接应用于通信、计算机和自动控制等领域，而且还广泛渗透到生物学、医学、语言学、社会学、经济学和管理学等领域，与这些交叉学科的发展，是信息论的应用范围更加广泛。