费诺编码的比较,香农编码( 二 )


例如:“我对你的景仰,犹如长江之水滔滔不绝,如黄河泛滥一发”这句话,可以压缩成“我好敬仰你”这五个字,如果打电话这么说就省时间和电话费了(例如国际或者星际长途) 。但是这个压缩的过程是丢失了信息的,诸如那种“滔滔不绝”和“泛滥一发”的情态和赶脚就没有了 。所以有损压缩是在设定的一个信息丢失率标准之下来寻找一个满足此要求的算法,香农告诉你你一定找得到,就这么个意思 。
所以,如果你对刚才那句表达景仰的话的“保真率”要求提高一点,可以这么编码:“我对你的景仰犹如长江黄河之水泛滥不绝” 。[头条·小宇堂-未经许可严禁转载]当然要保真,“成本”就高了,就得多花点时间说和更多的电话费 。上图:无损(上)和有损(下)压缩的差异比较 。有损压缩可以有更大的压缩率,但是还原之后损失了信息量 。
【费诺编码的比较,香农编码】 总结我们用语音通话的例子来通俗地解说香农定理,请特别注意“语音”和“语言”两种编码方式,分别对应香农定理当中的“信道编码”和“信源编码”两个不同的部分 。语音是解决传输过程中噪音问题而做的编码(如果是通过心灵感应就没这个需求了);语言编码则可以是有损或者无损压缩的,甚至是不压缩的(就让他结巴吧) 。香农定理或者说香农的理论对旅行者号深空任务的成功,光盘的发明,手机通讯的可行性,互联网的发展,语言学和人类感知的研究,乃至对黑洞的理解和许多其他领域都有非常深远的影响 。

推荐阅读