在信息论中，熵（entropy）是接收的每条消息中包含的信息的平均量，又被称为信息熵､信源熵､平均自信息量.这里，“消息”代表来自分布或数据流中的事件､样本或特征.（熵最好理解为不确定性的量度而不是确定性的量度，因为越随机的信源的熵越大）来自信源的另一个特征是样本的概率分布.这里的想法是，比较不可能发生的事情，当它发生了，会提供更多的信息.由于一些其他的原因，把信息（熵）定义为概率分布的对数的相反数是有道理的.事件的概率分布和每个事件的信息量构成了一个随机变量，这个随机变量的均值（即期望）就是这个分布产生的信息量的平均值（即熵）.熵的单位通常为比特，但也用、、计量，取决于定义用到对数的底.采用概率分布的对数作为信息的量度的原因是其可加性.例如，投掷一次硬币提供了1的信息，而掷次就为位.更一般地，你需要用位来表示一个可以取个值的变量.在1948年，克劳德•艾尔伍德•香农将热力学的熵，引入到信息论，因此它又被称为香农滳.而正是信息熵的发现，使得1871年由英国物理学家詹姆斯•麦克斯韦为了说明违反热力学第二定律的可能性而设想的麦克斯韦妖理论被推翻.设随机变量所有取值为，定义的信息熵，（，）.
(1)若，试探索的信息熵关于的解析式，并求其最大值；
(2)若，（），求此时的信息熵.