奈奎斯特采样定理,香农采样定理( 二 )


如果用前面语音通话的例子来说明的话,就是某人口吃说了很多重复话,诸如:“我我我我对你很很很景景景仰……”,可以无损地编码为“我对你很景仰……”,这就是无损压缩,但完全不损失需要表达的信息(其实也丢失了口吃重复数量的信息,严格地说应该编码成“我4对你很3景3仰……”) 。有损信源编码定理,又称传输率-扭曲定律该定理通俗的解释可以沿用前面语音通话的例子,我们用“语音”的编码方式规避了信道噪音,此外我们还可以用“语言”编码的方式“长话短说”来让对方大概了解我要表达的意思 。
例如:“我对你的景仰,犹如长江之水滔滔不绝,如黄河泛滥一发”这句话,可以压缩成“我好敬仰你”这五个字,如果打电话这么说就省时间和电话费了(例如国际或者星际长途) 。但是这个压缩的过程是丢失了信息的,诸如那种“滔滔不绝”和“泛滥一发”的情态和赶脚就没有了 。所以有损压缩是在设定的一个信息丢失率标准之下来寻找一个满足此要求的算法,香农告诉你你一定找得到,就这么个意思 。
所以,如果你对刚才那句表达景仰的话的“保真率”要求提高一点,可以这么编码:“我对你的景仰犹如长江黄河之水泛滥不绝” 。[头条·小宇堂-未经许可严禁转载]当然要保真,“成本”就高了,就得多花点时间说和更多的电话费 。上图:无损(上)和有损(下)压缩的差异比较 。有损压缩可以有更大的压缩率,但是还原之后损失了信息量 。
【奈奎斯特采样定理,香农采样定理】 总结我们用语音通话的例子来通俗地解说香农定理,请特别注意“语音”和“语言”两种编码方式,分别对应香农定理当中的“信道编码”和“信源编码”两个不同的部分 。语音是解决传输过程中噪音问题而做的编码(如果是通过心灵感应就没这个需求了);语言编码则可以是有损或者无损压缩的,甚至是不压缩的(就让他结巴吧) 。香农定理或者说香农的理论对旅行者号深空任务的成功,光盘的发明,手机通讯的可行性,互联网的发展,语言学和人类感知的研究,乃至对黑洞的理解和许多其他领域都有非常深远的影响 。

推荐阅读