云南龙网

  1. 首页 > 云知道 > >

熵 熵增定律( 三 )

云知道


这正是熵所做的：H（1/6，1/6， 1/6，1/6 ，  1/6，1/6）> H（0.5 ，  0.5）
一般来说，L(k)为具有K个结果的均匀分布的熵，我们能够得到：
对于m>n，有
性质6：事件拥有非负的不确定性你知道什么是负的不确定性吗？反正我也不知道 。
对于一个用户友好的不确定性度量来说，无论输入是什么，应该总会返回一个非负的结果 。
熵的公式同样满足这个性质，我们来看一下公式：
概率是定义在0-1的范围内的，因此是非负的 。所以概率的对数是负的 。概率乘概率的对数不会改变符号 。因此求和之后应该是负的 ， 最终负负得正 。所以对于所有的输入，熵都是非负的 。
性质7：有确定结果的事件具有0不确定性假设你拥有一个魔法硬币，无论你怎么抛 ， 硬币总是正面朝上 。
你会怎么量化这个魔法硬币的不确定性，或者其他情况下有确定结果的事件的不确定性？这中情况下就没有不确定性，所以结果也很自然，不确定性为0 。
熵的定义也满足这个性质 。
假设结果i一定会发生，即p_i=1， 所以H(X)为：
即，确定事件的熵为0 。
性质8：调转参数顺序没有影响这是另一个显而易见的理想性质 。考虑两种情况 ， 第一个，抛硬币正面朝上的概率和背面朝上的概率分别为80%和20% 。第二个情况里概率正好相反：正面朝上和背面朝上的概率分别为20%和80% 。
两种抛硬币试验都有相同的熵 ， 即H(0.8, 0.2) = H(0.2, 0.8) 。
更通用的形式，对于个结果的试验，我们有：
实际上这对于有任何数量结果的试验都适用 。我们可以以任意的方式调整参数的顺序，而所有的结果都是一样的 。
总结回顾一下，香农熵是一种不确定性的度量 。
它被广泛的适用 ， 因为它满足了我们想要的一些标准（同时也是因为我们生活中充满了不确定性） 。唯一性定理告诉我们，只有一个函数族具有我们想要的四种基本性质 。香农熵是这个函数族的一个很自然的选择 。
熵的性质有（1）对于均匀分布有最大的熵；（2）对于独立事件熵是可加的；（3）具有非零概率的结果数量增加，熵也会增加；（4）连续性；（5）非负性；（6）确定事件的熵为0；（7）参数排列不变性 。
【熵 熵增定律】via TowardsDatascience，雷锋网 AI 科技评论编译

推荐阅读


上一篇：梦到河中有鱼 梦到河中有鱼是什么意思

下一篇：行间距22磅怎么设置 word行间距22磅怎么设置