香农定理到底有什么含义？能通俗地解释一下么？
香农定理是信息论的主要内容 。香农定理实际上是多个定理构成，国内似乎比较常用“香农三定理”的提法，而在国外资料很少这么提.信息论和香农定理信息论研究信息的量化，存储和传播 。最初由克劳德·香农于1948年提出，他在具有里程碑意义的题为《通讯的数学原理》的论文中阐述了信号处理和通信操作（如数据压缩）的基本限制 。
信息论的基本的应用主题包括无损数据压缩（例如ZIP文件），有损数据压缩（例如MP3和JPEG）和信道编码（例如用于DSL） 。[头条·小宇堂-未经许可严禁转载]信息论的一个关键量是“熵” 。熵是不确定性的定量描述 。例如，掷骰子的可能性 。信息论中还讨论的其他一些重要的量包括：互信息、信道容量、误差指数和相对熵等等 。
上图：克劳德·艾尔伍德·香农-1916.4.30-2001.2.24,享年84岁 。美国 。专业领域：电子工程学和数学 。香农定理涉及这三个部分：信道编码——主要涉及噪音下模拟信道的信道容量的定理，即香农-哈特利定理（香农-哈特利定理只描述涉及高斯噪音的模拟信道，但还有二进制信道模式的模式的对应定理这里略述）信源编码——包含涉及无损编码和有损编码的两个定理；信源采样——奈奎斯特-香农采样定理但国内资料常说的“香农三定理”是指前两个部分所涉及的的三个定理，下面主要详述这三个定理：有噪音的模拟信道编码定理（国外资料一般称“香农-哈特利定理”）注意：这个定理在国外资料中才通常被简称为“香农定理”这个定理通俗地说，就是首先表明了如果传输信息的信道存在噪音，但是也可以实现信息的传递，然后可以根据带宽等参数计算出信息传递的最大的有效速率 。
这可以通俗地类比我们熟悉的语音通话，虽然在电话里面有很多电流噪音或者环境噪音，但是我们仍然可以听懂对方讲的话 。因为我们用语音和语言对信息进行了双重的编码，“语音”这种编码可以在大量噪音干扰的情况下仍然能够工作，那是因为我们的声音通常有一个带宽，但噪音往往只是某一个频率的声音，不一定能够覆盖我们嗓音的全频段 。
因此即便低音或高音被噪音干扰，我们仍然能听到对方在说什么 。而另一方面，如果对方听不清楚，我们还可以提高嗓门来提升我们说话的“信噪比”，从而保证对方能够听清楚我们所说的话 。上图：有噪信道编码定理的计算公式，可以用打电话的例子来解释一下 。嗓音越高，噪音越低，嗓音越浑厚（而不是尖利，尖利的嗓音所用的频段要少一点），就越容易被听清楚 。
[头条·小宇堂-未经许可严禁转载]可变长无失真信源编码定理（无损编码）通俗地说就是我们今天用到的各种无损编码算法——我们现在用的ZIP,RAR压缩，以及APE，FLAC等编码算法都属于无损压缩，采用这些算法可以在不损失原有信息的情况下减少存储这些信息的数据量 。这个原理通俗点说就像是对一叠纸牌：如果是有序排列的（熵较低），例如A、2、3、4、5、6、7、8、9、J、Q、K，那么就可以用一个很很短的符号，例如“A-K”来记录这个序列所代表的信息(这也说明这个序列所含有的信息很少)；但如果这叠纸牌是乱序排列的（熵较高），那么就需要更多的符号来记录才能确保序列所传达的信息不丢失 。
如果用前面语音通话的例子来说明的话，就是某人口吃说了很多重复话，诸如：“我我我我对你很很很景景景仰……”，可以无损地编码为“我对你很景仰……”，这就是无损压缩，但完全不损失需要表达的信息（其实也丢失了口吃重复数量的信息，严格地说应该编码成“我4对你很3景3仰……”） 。有损信源编码定理，又称传输率-扭曲定律该定理通俗的解释可以沿用前面语音通话的例子，我们用“语音”的编码方式规避了信道噪音，此外我们还可以用“语言”编码的方式“长话短说”来让对方大概了解我要表达的意思 。
推荐阅读
- 你知道小小的蜗牛有多少颗牙齿,蜗牛有多少牙齿
- 雪鸮,鸮形目鸱鸮科雕鸮属的一种大型猫头鹰
- 最多人玩的网页游戏,人很多的网页游戏
- StuGeek的博客,机器人学导论
- 云图智能家居最新动态2021,智能家居的最新动态
- 被称为黄金探测器,金银探测器
- 安瓶的使用步骤,apds
- 康达智,做大厂配角的余姚首富
- 张忠谋对大陆的态度,台积电创始人张忠谋对大陆芯片发展的看法
- 苹果3手机图片，怎样删除苹果3手机中的图片