麦克斯韦妖与信息熵

假想的能识别并控制单个分子运动的小精灵、小妖怪。J.C.麦克斯韦设想，用隔板隔开的两个盒子内盛有相同温度的气体，隔板上开一小孔，小孔上装一扇可以自由开合且无摩擦的小门，小精灵把门。它只允许快速的分子从左盒进入右盒；只允许低速运动的分子从右盒进入左盒。因此，如果存在这种小精灵，就能使分子动能从左盒转移到右盒，形成温差，建立秩序，实现熵的自发减少，从而似乎推翻了热力学第二定律。
　　20世纪50年代，利用信息熵概念，才弄清楚麦克斯韦妖并不违背热力学第二定律。显然，小精灵为了完成分子动能的有效转移，必须获得分子运动的信息。为此，例如光设法照亮分子以辨明其速度大小，这样所引起的熵增加足以抵消转移分子动能所减少的熵。因此，把外光源、小精灵、气体作为整体，熵仍单调增大。其实，麦克斯韦妖只是开放系统的一个组成部分，靠外界输入能量或信息执行某种任务，生物化学中的酶就是一个实例，并不违背热力学第二定律。
　　1948年，香农提出了“信息熵”(shāng)的概念，解决了对信息的量化度量问题。
　　香农指出，它的准确信息量应该是
　　=-（p1*logp1+p2*logp2+．．．＋p32*logp32)，
　　其中，p1，p2，．．．，p32分别是这32个球队夺冠的概率。香农把它称为“信息熵”(Entropy)，一般用符号H表示，单位是比特。有兴趣的读者可以推算一下当32个球队夺冠概率相同时，对应的信息熵等于五比特。有数学基础的读者还可以证明上面公式的值不可能大于五。对于任意一个随机变量X（比如得冠军的球队），它的熵定义如下：
　　变量的不确定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。
　　信息熵是信息论中用于度量信息量的一个概念。一个系统越是有序，信息熵就越低；
　　反之，一个系统越是混乱，信息熵就越高。所以，信息熵也可以说是系统有序化程度的一个度量。
　　熵的概念源自热物理学.假定有两种气体a、b，当两种气体完全混合时，可以达到热物理学中的稳定状态，此时熵最高。如果要实现反向过程，即将a、b完全分离，在封闭的系统中是没有可能的。只有外部干预（信息），也即系统外部加入某种有序化的东西（能量），使得a、b分离。这时，系统进入另一种稳定状态，此时，信息熵最低。热物理学证明，在一个封闭的系统