文档摘要

2.1 自信息与熵：给单条消息定重量 本节摘要：从"罕见者重、独立可加"两条朴素要求推出自信息的对数形式，定义信源熵并梳理其非负性、对称性与极值性质，用 Python 对三种典型分布称出读数，并说明信息熵与热力学熵的同源关系。 先提两条称重要求 把一条消息放上秤盘之前，先得回答"重量"该满足什么要求。设想化验员对报文里的事件定重量，有两条朴素要求几乎无法拒绝。 第一条：越罕见越重。"明早太阳升起"几乎必然发生，知道了它等于什么也没说；… 会员。《2.1 自信息与熵：给单条消息定重量》收录于灏天文库文集《信息论》，原作者/来源：灏天文库，整理自「灏天文库」，提供技术教程、实践指南与问题解决方案，支持在线阅读、全文检索与知识沉淀，助力开发者系统化学习。本站整理收录，版权归原作者/开源协议所有。

该文档为会员专享，请先登录或注册后再查看

登录 注册

---

作者与出处

原作者： 灏天文库

来源：灏天文库

原文： https://aiknowledge.cn/collection/650-%E4%BF%A1%E6%81%AF%E8%AE%BA

整理： 灏天文库整理

由灏天文库平台收录，内容或由平台用户上传，仅供学习交流