云南龙网

  1. 首页 > 云知道 > >

熵 熵增定律( 二 )

云知道


下面是对于伯努利试验中熵的图像 。（伯努利试验有两种可能的结果：p和1-p）：
在伯努利试验中，当p=0.5时，熵达到最大
基本性质2：对于独立事件，不确定性是可加的假设 A 和 B 是独立事件 。换句话讲 ， 知道事件 A 的结果并不会丝毫影响 B 的结果 。
关于这两个事件的不确定性应该是两个事件单独的不确定性的和，这也是我们希望熵的公式应该具备的性质 。
对于独立事件，不确定性是可加的
让我们使用抛两个硬币的试验作为例子来使这个概念更加具体 。我们既可以两个硬币同时抛 ， 也可以先抛一个硬币再抛另一个硬币 。在两种情况下，不确定性是相同的 。
考虑两个特殊的硬币，第一个硬币正面朝上 (H, Head) 的概率为80%，背面朝上 (T, Tail) 的概率为 20% 。另一个硬币的正面朝上和反面朝上的概率分别为 60% 和 40% 。如果我们同事抛两枚硬币，那么有四种可能：正正，正反，反正，反反 。对应的概率分别为[0.48, 0.32, 0.12, 0.08] 。
两个独立事件的联合熵等于独立事件的熵的和
将这些概率带入到熵的公式中 ， 我们能够看到：
就跟我们设想的一样，两个独立事件的联合熵等于各个独立事件的熵的和 。
基本性质3：加入发生概率为0的结果并不会有影响假设有一个游戏，获胜条件如下：（a）只要#1号结果出现 ， 你就赢了 。（b）你可以在两个概率分布 A 和 B 中选一个进行游戏 。分布 A 有两种可能，#1号结果为 80% 概率，#2号结果为 20% 概率 。分布 B 有三种结果 ， #1号结果80%，#2号结果20%，#3号结果0%.
增加第三个概率为0的结果并不会有什么不同
给定 A 和 B 两个选择，你会选哪个？可能正确的反应应该是耸耸肩或白个眼 。第三个结果的加入并没有增加或减少这个游戏的不确定性 。谁关心到底是用A还是B呀 ， 因为用哪个都是一样的 。
熵的公式也满足这个性质：
即，增加一个概率为0的结果，并不会影响对于不确定性的度量 。
基本性质4：不确定性的度量应该是连续的最后一个基本性质是连续性 。
连续性的最直观的解释就是没有断开或者空洞 。更精确的解释是：输出（在我们的场景下是不确定性）中任意小的变化，都可以由输入（概率）中足够小的变化得到 。
对数函数在定义域上每个点都是连续的 。在子集上有限数量函数的和和乘积也是连续的 。由此可能得出熵函数也是连续的 。
唯一性定理
Khinchin（1957）证明 ， 满足上述四种基本属性的唯一函数族具有如下形式：
其中λ是正常数 。Khinchin称之为唯一性定理 。将λ设为1，并使用以2为底的对数就得到了香农熵 。
重申一下，使用熵作为不确定性度量是因为它具有我们期望的属性，并且是从满足上面提到的四个属性的函数族中做出的很自然的选择 。
其他属性除了上述用于Khinchin的唯一性定理中的四个基本属性 ， 熵还具有一些其他的性质，下面就介绍其中的一些 。
性质5：具有更多可能结果的均匀分布有更大的不确定性比如你可以在抛硬币试验和抛骰子试验中做出一个选择，如果硬币正面朝上或者骰子1那面朝上就算赢 。你会选择那个试验？如果你想最大化收入，肯定会选择硬币 。如果只是想体验下不确定性 ， 那可能就会选骰子 。
随着等概率结果的数量的增加，不确定性的度量也应该增加 。

推荐阅读


上一篇：梦到河中有鱼 梦到河中有鱼是什么意思

下一篇：行间距22磅怎么设置 word行间距22磅怎么设置