熵作为一个物理学术语已经相当普及，而它在信息论中什么意思呢？
热力学中的熵指的是热排放的量，信息论中的熵是指知道一个随机变量的信息量，或者是信息的不确定性。
首先，从信息论的角度来看，熵的定义为：
假设x是一个离散随机变量，取值为x1,x2 …… xn，p（x）是其概率分布，那么该随机变量熵为：
S(x) = -p(x1)logp(x1) - p(x2)logp(x2) - … - p(xn)logp(xn)
其中的-p（xi）logp(xi)被称作为“香农熵”。
其次，从例子的角度来阐述熵的概念，众所周知，在自然界中是倾向于混乱、不确定性和无序的，而一个秩序化的系统则需要外部的能量输入才能保持有序。在信息的传递过程中，信息本质上是一种打破规律的情况，所以在信息论中，熵常常解释为“不确定性”。
例如，一个只有两个结果的硬币，当各自出现的概率为50%时，它的熵值S等于1，也就是说，上述随机变量所包含的未知信息是1比特。如果该硬币只有一面朝上，那么它的熵值为0，因为我们始终知道硬币的状态，不存在不确定性。
熵的定义虽然看似高深，但实际上是非常实用的一个概念。相信通过本篇文章的讲解，熵怎么读对您而言再也不是问题了。
