7.2.2 语义信息论与信息瓶颈

文档摘要

7.2.2 语义信息论与信息瓶颈 7.2.2 语义信息论与信息瓶颈在经典香农信息论的范式下，我们长期沉浸在“如何更有效地传输比特”的命题中。香农在 1948 年的开创性论文中明确指出，通信的语义方面与工程问题无关。然而，随着人工智能从单纯的模式识别演进到复杂的语义理解，这种“只管传输，不管含义”的思路正面临前所未有的挑战。在非经典信息论的版图中，语义信息论（Semantic Information Theory）与信息瓶颈（Information Bottleneck, IB）方法论的结合，为我们提供了一套从噪声数据中萃取“价值核心”的数学框架。作为技术专家，我们需要跳出比特的桎梏，去思考信息是如何被“压缩”而又不失“灵魂”的。