一条信息的信息量与其不确定性有着直接的关系。信息量就等于不确定性的多少。
如何量化信息量的度量？ 信息熵（entropy） 用符号H表示，单位是比特。
变量的不确定性越大，熵也就越大。
如果一本书重复的内容很多，它的信息量就小，冗余度就大。
不同语言的冗余度差别很大，而汉语在所有语言中冗余度是相对小的。
信息和消除不确定性是相互联系的。
信息是消除系统不确定性的唯一办法（在没有获得任何信息前，一个系统就像是一个黑盒子，引入信息，就可以了解黑盒子系统的内部结构）
网页搜索的本质也是利用信息消除不确定性的过程。
合理利用信息，而非玩弄公式和机器学习的算法，是做好搜索的关键。
条件熵：
，也就是说多了Y的信息之后，关于X的不确定性就下降了！在统计语言模型中，如果把Y看成是前一个字，那么在数学上就证明了二元模型的不确定性小于一元模型。
上述等号什么时候成立？等号成立，说明增加了信息，不确定性却没有降低。如果我们或缺的信息与要研究的事物毫无关系，等号就成立。
信息的作用在于消除不确定性，自然语言处理的大量问题就是寻找相关信息。
香农提出一个“互信息”的概念作为两个随机事件“相关性”的量化度量。
所谓两个事件相关性的量化度量，就是在了解其中一个Y的前提下，对消除另一个X不确定性所提供的信息量。
相对熵也用来衡量相关性，但和变量的互信息不同，它用来衡量两个取值为正数的函数的相关性。
两个完全相同的函数，它们的相对熵等于零。
相对熵越大，两个函数差异越大；反之，相对熵越小，两个函数差异越小。
对于概率分布或者概率密度函数，如果取值均大于零，相对熵可以度量两个随机分布的差异性。
