第4章 端侧AI与算力底座

第 4 章 · 端侧 AI 与算力底座

章节摘要：端侧AI、芯片战争、模型压缩、算力选型。本章回答四个问题：智能为什么从云端下沉到设备；芯片四路玩家凭什么攻防；几十亿参数的模型怎么塞进手机；不同业务到底该怎么选型。我们沿着"需求—供给—工程—落地"的链路展开：4.1 讲端侧 AI 的定义与三大突破，4.2 拆解 AI 芯片战争的格局与护城河，4.3 讲模型压缩与推理优化的完整管线，4.4 落到市场场景与选型决策。读完本章，你将获得判断"上云还是上端、选谁家芯片、压到什么精度"的一整套决策框架，而不是一串孤立的技术名词。

本节导航

阅读完本章，你应当能够：

1. 用延迟、隐私、离线、成本四个维度评估一个任务该放在云、边还是端，并说出依据。
2. 画出 2026 年 AI 芯片四路玩家的市场格局与各自护城河，解释 CUDA 生态为什么难以撼动。
3. 说出量化、剪枝、蒸馏三种压缩手段的原理、执行顺序与精度代价，为模型制定压缩方案。
4. 列出端侧推理优化的三大手段（算子融合、缓存复用、低秩分解）与 runtime 的选型边界。
5. 用场景-方案选型表为一类业务设计云边端协同架构，并估算盈亏平衡点。
6. 判断 2026 年端侧 AI 的真趋势与主要风险，形成自己的产业观点，能反驳"端侧万能论"与"端侧无用论"两种极端。

核心概念速览

金句：AI 算力的下一程，不是把更大的模型搬上云端，而是把足够好的模型塞进每一台设备——算力如水，终将流到每家每户。

这张地图的读法值得多说一句：图中上半条链（端侧需求到场景落地）是技术的因果链——需求端提出延迟、隐私、离线、成本四类约束，芯片供给决定算力上限，模型压缩与推理优化决定模型如何适配算力，最后才有场景落地；下半条链（云边端协同到产业判断）是落地的闭环——场景反过来验证协同架构是否成立，协同架构的成熟度最终决定我们对整个产业的判断。读本章时，建议脑子里始终带着这两条链，遇到任何单点技术新闻（某芯片发布、某压缩算法刷榜），先问一句：它处在哪一环，会影响哪一环。此外提醒一点：本章的数字（TOPS、份额、市场规模）都带有 2026 年的时间戳，读的时候要当成坐标而不是真理——重点记住判断方法，而不是记住数字本身。

子章节导航

4.1 端侧AI的崛起：从云端到边缘

定义端侧 AI 并回答"智能为什么下沉"：统一内存架构、端侧大模型与小模型崛起三大突破，加上算力、内存、功耗、生态四道坎，为全章建立坐标系。这一节解决的是"为什么"。

4.2 AI芯片战争：四路玩家的攻防

进入算力供给侧：NVIDIA 的 CUDA 生态、Intel 的价格与开源牌、AMD 的统一内存、专用 ASIC 的垂直突破，配一套可复用的选型决策框架。这一节解决的是"算力从哪来"。

4.3 端侧模型压缩与推理优化

解决"装得下、跑得快"：量化、剪枝、蒸馏三件套的顺序与代价，算子融合、缓存复用、低秩分解的推理优化，以及端侧 runtime 的选型边界。这一节解决的是"怎么塞进去"。

4.4 端侧AI的市场场景与选型

解决"值不值得做"：四类典型场景盘点、场景-方案选型表、云边端协同架构与成本模型对比，收束到 2026 年的趋势判断。这一节解决的是"生意成不成立"。

子章节之间的逻辑关系

一句话论点：端侧 AI 的落地是一根从需求到供给、再到工程的链条，每一环的约束都会传导到下一环。

端侧需求 ──► 芯片供给 ──► 模型压缩 ──► 场景落地
  (4.1)        (4.2)        (4.3)        (4.4)
    │            │            │            │
  为什么下沉    谁提供算力   怎么塞进去   值不值得做
​

4.1 提出需求并定义问题，4.2 回答算力从哪来，4.3 解决模型如何适配有限算力，4.4 用市场与成本验证前面所有技术选择是否成立。四节构成"需求—供给—工程—商业"的完整闭环。这条链还有一个重要的反向含义：芯片供给的节奏决定压缩技术的紧迫程度，而场景的商业回报又反过来决定芯片投资的力度——环环相扣，跳过节直接看结论，容易在选型时被单一指标带偏。

前置知识与后续延伸

• 前置：了解大语言模型的基本概念（Transformer、预训练、量化）即可，不需要数学推导。第 1 章讲清的模型能力边界与第 3 章智能体的运行逻辑是本章的认知前提——端侧 AI 本质上是模型能力与设备资源之间的再平衡，理解了模型有多大、能干什么，才能理解为什么要压缩、压缩到什么程度、哪些任务该留在云端。
• 为后续铺垫：本章的端侧能力与芯片选型，是第 5 章 AI 生活场景（穿戴设备、智能家居、量化自我）的物理底座——那些设备里的每一毫秒响应都依赖本章的算力与压缩选择；第 6 章具身智能的芯片选型与端侧推理，也直接复用本章的决策框架。本章末尾的趋势判断，可当作后续章节产业视角的对照坐标。