信息论基础,信息论基础里面 概率越大可能性越大信息量越多不确定性越小( 二 )

【信息论基础,信息论基础里面 概率越大可能性越大信息量越多不确定性越小】

信息论基础,信息论基础里面 概率越大可能性越大信息量越多不确定性越小


4,无噪信道编码定理与有噪信道编码定理比较 信息论的C.E.Shannon在其“通信的数学理论”一文中提出并证明了著名的有噪信道编码定理,他在证明信息速率达到信道容量可实现无差错传输时引用了3个基本条件: 1) 采用随机性编译码 。2) 编码长度L趋于无穷,即分组的码组长度无限 。3) 译码过程采用最佳的最大似然译码(ML)方案 。在信源编码方面,1951年香农证明,当信源输出有冗余的消息时可通过编码改变信源的输出,使信息传输速率接近信道容量 。1948年香农就提出能使信源与信道匹配的香农编码 。1949年美国麻省理工学院的r.m.费诺提出费诺编码 。1951年美国电信工程师d.a.霍夫曼提出更有效的霍夫曼编码 。此后又出现了传真编码、图像编码和话音编码,对数据压缩进行了深入的研究,解决了数字通信中提出的许多实际问题 。在纠错编码方面,1948年香农就提出一位纠错码(码字长=7,信息码元数=4) 。1949年出现三位纠错的格雷码(码字长=23,信息码元数=12) 。1950年美国数学家r.w.汉明发表论文《检错码和纠错码》,提出著名的汉明码,对纠错编码产生了重要的影响 。1955年出现卷积码 。卷积码至今仍有很广泛的应用 。1957年引入循环码 。循环码构造简单,便于应用代数理论进行设计,也容易实现 。1959年出现能纠正突发错误的哈格伯尔格码和费尔码 。1959年美国的r.c.博斯和d.k.雷·乔达利与法国的a.奥昆冈几乎同时独立地发表一种著名的循环码,后来称为bch码(即bose-chaudhuri-hocquenghem码) 。1965年提出序贯译码序贯译码已用于空间通信1967年a.j.维特比提出最大似然卷积译码,称为维特比译码1978年出现矢量编码法 。矢量编码法是一种高效率的编码技术 。1980年用数论方法实现里德-所罗门码(reed-solomon码),简称rs码 。它实际上是多进制的bch码 。这种纠错编码技术能使编码器集成电路的元件数减少一个数量级 。它已在卫星通信中得到了广泛的应用 。rs码和卷积码结合而构造的级连码,可用于深空通信 。5,有谁能给我详细将讲讲ZYD记忆法的内容拜托拜托 第一章超级记忆的意义和用途略第二章ZYD记忆法的基本原理一、记忆的关键——检索检索,就是有目的地查询并提取所需要的记忆内容 。美国著名心理学家布鲁纳说过:“人类记忆的首要问题不是储存,而是检索,而检索的关键在于组织,既到那里去学找信息和怎样去获取信息 。”记忆的关键在于检索,而检索的关键在于组织即信息储存的规律性和有序性,只有按照最有利于检索的方式进行储存,才能有效地提高记忆的效率 。从信息加工的观点来看,记忆过程经历三个阶段 。外界刺激作用于感受器引起感觉,它保留下来的痕迹就是瞬时记忆 。瞬时记忆的星系经过复述编码,存入长时记忆里 。长时记忆中的信息只有提取到短时记忆中,才能发挥其作用 。无论在瞬时记忆、短时记忆还是长时记忆中、动都存在信息发生遗忘的可能性 。用信息论的观点来分析,遗忘的原因主要在于:(1)来自瞬时记忆的信息没有达到短时记忆效果就消失了;(2)达到短时记忆的星系没有经过复述和编码,因而未能达到长时记忆;(3)最主要的是,进入长时记忆的信息被堵塞在一个回收困难的通道里,无法提取 。人们通常认为,记忆的关键在于储存,就是力争多记、记准、记牢,“记忆好”的标志是大脑能够装的多 。因此很多人既希望自己脑子灵,又埋怨自己笨 。其实,记忆的关键不在于储存,在于检索 。用一句通俗的话来说,就是不在于把事物装进大脑,而在于该取的时候取不取得出来 。有的人抱怨自己记忆力差,就是认为自己的脑袋装不进东西去 。这种想法是没有根据的 。我们在前面(指第一章,我已删去)已经知道,大脑的潜力是很大的,他有足够的容量容纳大量的知识 。一些人记忆效率低,不是因为大脑装不下东西,而是“装”的方法不对头 。有的人认为自己没记住是没能装进去,其实是装进去之后自己不能按需要提取出来 。正如我们分析遗忘的原理所谈到的,即使是到达了长时的信息仍然有可能被“埋藏”而无法提取 。其实,我们平常所认为的“没记住”或“忘记了”既不是没装进去,也不是“丢失了” 。你想记住的东西还在你的大脑中,只不过你找不到他了 。也许你有过这样的经历:考场上使劲想都想不出来的东西,一出考场却突然想出来了 。为什么会产生这种情况?主要是因为你大脑中的信息杂乱无章地堆积在那里 。储存无规律,是许多人在记忆上事半功倍的一个重要原因 。电脑之所以处理信息的效率非常高,一个重要的原因是因为一切信息输入之后都必须经过编码才能储存 。储蓄所为什么能迅速找到任何一个储户的底卡?这是因为储户的底卡是事先经过编码按照号码排列的 。卡片盒就是储蓄所的“检索系统” 。不少人在记忆的时候,只注意使劲往脑袋里塞,不考虑将来能不能顺利地找到,就像储蓄所不为用户设立卡片,不给底卡编码或者不按号码排列一样,记忆效率怎么高呢 。要提高检索效率,就要解决储存的规律性和有序性问题,就要按照有利于检索的方式进行储存.这就是"ZYD"记忆法所要解决的最主要、最根本的问题 。“奇像”和“联想”两种基本能力的训练就是为记忆对象建立卡片,以此为基础的一系列训练就是为记忆对象建立卡片,以此为基础的一系列具体方法,就是通过提供给大家的奇像体系和编码程序将记忆对象编码和按号排列,从而达到将来检索的准确性和迅速性 。“ZYD”记忆法的要决,就是从根本上改变了通常记忆的储存和检索方式 。因此,它的优越性首先就表现在,它以人工的方法建立了一系列科学的检索系统,从而增加了记忆储存的利用率 。其次,人们平时经常使用的机械记忆是递减运动,记忆后一项难度一致的内容比前一项内容需要更多的时间,因为记忆出现了“抑制” 。而“ZYD”记忆法的记忆速度是匀速的 。如有十项难度一致的内容,有机械记忆法记忆第十项内容的时间就回比第一项多很多,而用ZYD记忆法来记忆,两者的时间几乎完全一样,从而大大减少了记忆的损耗 。另外,一般机械记忆的内容不能太多,以七项左右为宜,而“ZYD”记忆法运用熟语来挂钩几乎不受限制,内容越多越能体现它的优越性 。

推荐阅读