名校
1 . 在信息论中,熵(entropy)是接收的每条消息中包含的信息的平均量,又被称为信息熵、信源熵、平均自信息量.这里,“消息”代表来自分布或数据流中的事件、样本或特征.(熵最好理解为不确定性的量度而不是确定性的量度,因为越随机的信源的熵越大)来自信源的另一个特征是样本的概率分布.这里的想法是,比较不可能发生的事情,当它发生了,会提供更多的信息.由于一些其他的原因,把信息(熵)定义为概率分布的对数的相反数是有道理的.事件的概率分布和每个事件的信息量构成了一个随机变量,这个随机变量的均值(即期望)就是这个分布产生的信息量的平均值(即熵).熵的单位通常为比特,但也用
、
、
计量,取决于定义用到对数的底.采用概率分布的对数作为信息的量度的原因是其可加性.例如,投掷一次硬币提供了1
的信息,而掷
次就为
位.更一般地,你需要用
位来表示一个可以取
个值的变量.在1948年,克劳德•艾尔伍德•香农将热力学的熵,引入到信息论,因此它又被称为香农滳.而正是信息熵的发现,使得1871年由英国物理学家詹姆斯•麦克斯韦为了说明违反热力学第二定律的可能性而设想的麦克斯韦妖理论被推翻.设随机变量
所有取值为
,定义
的信息熵
,(
,
).
(1)若
,试探索
的信息熵关于
的解析式,并求其最大值;
(2)若
,
(
),求此时的信息熵.
![](https://staticzujuan.xkw.com/quesimg/Upload/formula/072c4c3993a25f2b307b5d8e59771704.png)
![](https://staticzujuan.xkw.com/quesimg/Upload/formula/df789f9e906a0de566b1be6180155109.png)
![](https://staticzujuan.xkw.com/quesimg/Upload/formula/858ad4deba92df170e256ad0ea37c710.png)
![](https://staticzujuan.xkw.com/quesimg/Upload/formula/072c4c3993a25f2b307b5d8e59771704.png)
![](https://staticzujuan.xkw.com/quesimg/Upload/formula/294f5ba74cdf695fc9a8a8e52f421328.png)
![](https://staticzujuan.xkw.com/quesimg/Upload/formula/294f5ba74cdf695fc9a8a8e52f421328.png)
![](https://staticzujuan.xkw.com/quesimg/Upload/formula/9bb87deb79a7ccdc02a991fa2788145f.png)
![](https://staticzujuan.xkw.com/quesimg/Upload/formula/b6a24198bd04c29321ae5dc5a28fe421.png)
![](https://staticzujuan.xkw.com/quesimg/Upload/formula/5b734e8f1546481e3eb4976008a045de.png)
![](https://staticzujuan.xkw.com/quesimg/Upload/formula/987e30395d91964ebd0395faf2f66600.png)
![](https://staticzujuan.xkw.com/quesimg/Upload/formula/5b734e8f1546481e3eb4976008a045de.png)
![](https://staticzujuan.xkw.com/quesimg/Upload/formula/3a6e29565b161c08fb6181231d460894.png)
![](https://staticzujuan.xkw.com/quesimg/Upload/formula/832e050edebf09d0fa5706223caeeda2.png)
![](https://staticzujuan.xkw.com/quesimg/Upload/formula/12b0e3b00fe47801afb53ec56706c21a.png)
(1)若
![](https://staticzujuan.xkw.com/quesimg/Upload/formula/cc2d3df37e73a8abea815f37dbb3fff5.png)
![](https://staticzujuan.xkw.com/quesimg/Upload/formula/5b734e8f1546481e3eb4976008a045de.png)
![](https://staticzujuan.xkw.com/quesimg/Upload/formula/2708fa6298e52f617383efc175b71ddc.png)
(2)若
![](https://staticzujuan.xkw.com/quesimg/Upload/formula/e12ba1b528d69be75cad4cc1b45876af.png)
![](https://staticzujuan.xkw.com/quesimg/Upload/formula/b4b30d9d3b0ecea6f3df329d404ca3ec.png)
![](https://staticzujuan.xkw.com/quesimg/Upload/formula/b47ae697409240121ca2b2481889b6b4.png)
您最近一年使用:0次
2024-01-16更新
|
1838次组卷
|
8卷引用:河北省衡水市武邑中学2023-2024学年高二下学期第二次月考数学试题
河北省衡水市武邑中学2023-2024学年高二下学期第二次月考数学试题河北省2024届高三上学期大数据应用调研联合测评数学试题(已下线)考点15 数列中的数学文化 2024届高考数学考点总动员【练】广东省中山市中山纪念中学2024届高三上学期第三次模拟测试数学试题河北省石家庄市十八中2024届高三上学期1月联考数学试题(已下线)压轴题概率与统计新定义题(九省联考第19题模式)练(已下线)微考点8-1 新高考新题型19题新定义题型精选(已下线)专题22 新高考新题型第19题新定义压轴解答题归纳(9大核心考点)(讲义)