奈奎斯特采样定理,香农采样定理

香农定理涉及这三个部分:信道编码——主要涉及噪音下模拟信道的信道容量的定理,即香农-哈特利定理(香农-哈特利定理只描述涉及高斯噪音的模拟信道,但有二进制信道模式的模式的对应定理这里略述)信源编码——包含涉及无损编码和有损编码的两个定理;信源采样——奈奎斯特-香农采样定理但国内资料常说的“香农三定理”是指前两个部分所涉及的的三个定理,下面主要详述这三个定理:有噪音的模拟信道编码定理(国外资料一般称“香农-哈特利定理”)注意:这个定理在国外资料中才通常被简称为“香农定理”这个定理通俗地说,就是首先表明了如果传输信息的信道存在噪音,也可以实现信息的传递,然后可以根据带宽等参数计算出信息传递的最大的有效速率 。
香农定理到底有什么含义?能通俗地解释一下么?

奈奎斯特采样定理,香农采样定理


香农定理是信息论的主要内容 。香农定理实际上是多个定理构成,国内似乎比较常用“香农三定理”的提法,而在国外资料很少这么提.信息论和香农定理信息论研究信息的量化,存储和传播 。最初由克劳德·香农于1948年提出,他在具有里程碑意义的题为《通讯的数学原理》的论文中阐述了信号处理和通信操作(如数据压缩)的基本限制 。
信息论的基本的应用主题包括无损数据压缩(例如ZIP文件),有损数据压缩(例如MP3和JPEG)和信道编码(例如用于DSL) 。[头条·小宇堂-未经许可严禁转载]信息论的一个关键量是“熵” 。熵是不确定性的定量描述 。例如,掷骰子的可能性 。信息论中还讨论的其他一些重要的量包括:互信息、信道容量、误差指数和相对熵等等 。
上图:克劳德·艾尔伍德·香农-1916.4.30-2001.2.24,享年84岁 。美国 。专业领域:电子工程学和数学 。香农定理涉及这三个部分:信道编码——主要涉及噪音下模拟信道的信道容量的定理,即香农-哈特利定理(香农-哈特利定理只描述涉及高斯噪音的模拟信道,但还有二进制信道模式的模式的对应定理这里略述)信源编码——包含涉及无损编码和有损编码的两个定理;信源采样——奈奎斯特-香农采样定理但国内资料常说的“香农三定理”是指前两个部分所涉及的的三个定理,下面主要详述这三个定理:有噪音的模拟信道编码定理(国外资料一般称“香农-哈特利定理”)注意:这个定理在国外资料中才通常被简称为“香农定理”这个定理通俗地说,就是首先表明了如果传输信息的信道存在噪音,但是也可以实现信息的传递,然后可以根据带宽等参数计算出信息传递的最大的有效速率 。
这可以通俗地类比我们熟悉的语音通话,虽然在电话里面有很多电流噪音或者环境噪音,但是我们仍然可以听懂对方讲的话 。因为我们用语音和语言对信息进行了双重的编码,“语音”这种编码可以在大量噪音干扰的情况下仍然能够工作,那是因为我们的声音通常有一个带宽,但噪音往往只是某一个频率的声音,不一定能够覆盖我们嗓音的全频段 。
因此即便低音或高音被噪音干扰,我们仍然能听到对方在说什么 。而另一方面,如果对方听不清楚,我们还可以提高嗓门来提升我们说话的“信噪比”,从而保证对方能够听清楚我们所说的话 。上图:有噪信道编码定理的计算公式,可以用打电话的例子来解释一下 。嗓音越高,噪音越低,嗓音越浑厚(而不是尖利,尖利的嗓音所用的频段要少一点),就越容易被听清楚 。
[头条·小宇堂-未经许可严禁转载]可变长无失真信源编码定理(无损编码)通俗地说就是我们今天用到的各种无损编码算法——我们现在用的ZIP,RAR压缩,以及APE,FLAC等编码算法都属于无损压缩,采用这些算法可以在不损失原有信息的情况下减少存储这些信息的数据量 。这个原理通俗点说就像是对一叠纸牌:如果是有序排列的(熵较低),例如A、2、3、4、5、6、7、8、9、J、Q、K,那么就可以用一个很很短的符号,例如“A-K”来记录这个序列所代表的信息(这也说明这个序列所含有的信息很少);但如果这叠纸牌是乱序排列的(熵较高),那么就需要更多的符号来记录才能确保序列所传达的信息不丢失 。

推荐阅读