首先明确一下熵的概念，虽然它是一个热力学度量，但是现在已经广泛应用在了数据分析的方方面面。
熵（ectropy）指的是体系的混乱程度，是体系的转台函数，其值与达到状态的过程无关（所以才可以用来预测啊），下面是正经的了
【概率与信息】
事件A的概率P(A)是A发生可能性的大小的度量。
P(A)越大，则A发生带来的信息越少；反之，P(A)越小，则A发生带来的信息越大。(点睛之笔啊,hoho)
例子:有人对你说“某日巴西足球队战胜了中国队”，你觉得他没有给你多少信息，因为这件事发生的概率非常大，结果几乎在预料当中。但如果他说巴西负于某个亚洲队，你会感觉得到的信息不少。
猜想
1. 事件A发生所带来的信息量H(A)应该是它发生的概率P(A)的严格减函数，而且A是必然事件时H(A)=0（“巴西队战胜中国队”）。
2. 若事件A与事件B相互独立，则A与B都发生带来的信息量应该是H(A)与H(B)之和，即H(AB)=H(A)+H(B)
【引理】
设Ｈ（ｕ）是（0,1）上的严格减函数，H(1)=0，则为了满足H(uv)=H(u)+H(v)，对于一些的00，使得H(u)=-c*ln(u)(c是一个正的常数，它的大小涉及信息量的单位，为了简单起见，一般取c=1)
定义1——信息量表示
设事件A的概率是P(A),P(A)>0,则称H(A)=-lnP(A)为A带来的信息量；
定义2——完备事件组的熵
设A1到An（n>=2）是条件S下的完备事件组，P(Ai)>0,对i=1，…n，则称P(A1,…An)=sumP（Ai）lnP(Ai)，为完备事件组A1…An的熵。（Very Important）
【定理】
设A1到An（n>=2）是完备事件组，则当且仅当P(A1)=…P(An)时熵最大。
即，若条件S下可能发生的互不相容的事件至少有两个，则当且仅当这些事件有相等的概率的时候结果的不确定性最大。
