x√ 假设X是一个离散型随机变量，其取值集合为X，概率分布函数为p(x)=Pr(X=x),x∈X，我们定义事件X=x0的信息量为： I(x0)=−logP(x0) 可以理解为，一个事件发生的概率越大，则它所携带的信息量就越小，而当 p(x0)=1 时，熵将等于0，也就是说该事件的发生不会导致任何信息量的增加。举个例子，小明平时不爱学习，考试经常不及格，而小王是个勤奋学习的好学生，经常得满分，所以我们可以做如下假设： 事件A：小明考试及格，对应的概率 p(xA)=0.1 ,信息量为 I(xA)=−log(0.1)=3.3219 事件B：小王考试及格，对应的概率 p(xB)=0.999 ，信息量为 I(xB)=−log(0.999)=0.0014 可以看出，结果非常符合直观：小明及格的可能性很低(十次考试只有一次及格)，因此如果某次考试及格了（大家都会说：XXX竟然及格了！），必然会引入较大的信息量，对应的I值也较高。而对于小王而言，考试及格是大概率事件，在事件B发生前，大家普遍认为事件B的发生几乎是确定的，因此当某次考试小王及格这个事件发生时并不会引入太多的信息量，相应的I值也非常的低。
那么什么是熵呢？还是通过上边的例子来说明，假设小明的考试结果是一个0-1分布 xA 只有两个取值{0：不及格，1：及格}，在某次考试结果公布前，小明的考试结果有多大的不确定度呢？你肯定会说：十有八九不及格！因为根据先验知识，小明及格的概率仅有0.1,90%的可能都是不及格的。怎么来度量这个不确定度？求期望！不错，我们对所有可能结果带来的额外信息量求取均值（期望），其结果不就能够衡量出小明考试成绩的不确定度了吗。 即： HA(x)=−[p(xA)log(p(xA)+(1−p(xA))log(1−p(xA))]=0.4690
对应小王的熵： HB(x)=−[p(xB)log(p(xB)+(1−p(xB))log(1−p(xB))]=0.0114 虽然小明考试结果的不确定性较低，毕竟十次有9次都不及格，但是也比不上小王（1000次考试只有一次才可能不及格，结果相当的确定） 我们再假设一个成绩相对普通的学生小东，他及格的概率是 P(xC)=0.5 ,即及格与否的概率是一样的，对应的熵： HC(x)=−[p(xC)log(p(xC)+(1−p(xC))log(1−p(xC))]=1 其熵为1，他的不确定性比前边两位同学要高很多，在成绩公布之前，很难准确猜测出他的考试结果。 可以看出，熵其实是信息量的期望值，它是一个随机变量的确定性的度量。熵越大，变量的取值越不确定，反之就越确定。 对于一个随机变量X而言，它的所有可能取值的信息量的期望（E[I(x)]）就称为熵。 X的熵定义为： H(X)=−∑xp(x)log p(x) 为了保证有效性，这里约定当p(x)→0时,有p(x)logp(x)→0 当X为0-1分布时，熵与概率p的关系如下图： 可以看出，当两种取值的可能性相等即p=0.5时，熵最大，即不确定度最大（此时没有任何先验知识），这个结论可以推广到多种取值的情况。在图中也可以看出，当p=0或1时，熵为0，即此时X完全确定。
信息熵（又叫香农熵）反映了一个系统的无序化（有序化）程度，一个系统越有序，信息熵就越低，反之就越高。 如果有一个随机变量X的可能取值为相对熵： X={x1,x2,…,xn} 对应的概率为相对熵： P(x=xi) 则随机变量X的信息熵为 H(x)=−∑i=1p(xi)logp(xi)
设p(x) q(x)为x取值的两个概率分布，则p对q的相对熵为： D(p||q)=∑i=1p(x)logp(x)q(x) 从一定程度上，熵可以度量两个随机变量的距离，KL散度是两个概率分布p和q差别的非对称性度量。KL散度是在真实分布为p的条件下，用来度量使用基于q的编码来编码来自p的样本平均所需的额外的bit数。 典型情况下，p表示数据的真实分布，q为数据的理论分布，模型分布或p的近似分布，它有以下两个性质： (1):尽管KL散度以直观上是一个度量或距离函数，但它并不是一个真正的度量或距离，因为它不具有对称性，即 D(p||q)≠D(q||p) (2):相对熵的值为非负性，即 D(p||q)≥0
交叉熵： H(p,q)=−∑xp(x)log q(x) 交叉熵容易跟相对熵搞混，二者联系紧密，但又有所区别。 可以看出，交叉熵与上面定义的相对熵仅相差了H(p),当p已知时，可以把H(p)看做一个常数，此时交叉熵与KL距离在行为上是等价的，都反映了分布p，q的相似程度。最小化交叉熵等于最小化KL距离。它们都将在p=q时取得最小值（p=q时KL距离为0）
