5.4 Metal、Vulkan 与专用硬件：异构后端巡礼

5.4 Metal、Vulkan 与专用硬件：异构后端巡礼

本节摘要：CUDA 不是唯一的加速后端。llama.cpp 同时维护着 Metal、Vulkan、ROCm 等多条后端线，各自对应不同的硬件阵营与使用场景。本节巡礼各后端的能力边界与取舍，并顺带回答两个延伸问题：为什么 Mac 是本地推理优等生，手机与开发板上的推理现在走到了哪一步。

后端抽象：一套引擎服务多个世界

llama.cpp 的后端是一层抽象接口：上层计算图（第 2 章讲过 GGUF 与算子的关系）不关心矩阵乘落在什么硬件，下层各后端各自实现同一组算子。这个设计让「换硬件」从重写程序退化成换编译开关——4.1 节构建时的那些 -D 开关，就是在挑后端。目前活跃维护的后端大致五条线：CPU（上一节的主角）、NVIDIA 系的 CUDA、苹果系的 Metal、跨厂商的 Vulkan、AMD 系的 ROCm。社区还 experimentation 过 OpenCL、SYCL 等路线，非主流场景可自行查证现状。

一、Metal 与统一内存：Mac 的天赋点

Mac 的 M 系芯片把 CPU 与 GPU 的内存统一在同一块物理内存上，没有独立显存。这对本地推理是个结构性优势：所谓「卸载」在 Metal 后端上不涉及任何数据搬运——CPU 与 GPU 看到的是同一份权重。回想 5.2 节的部分卸载为什么慢：PCIe 往返吃掉了收益。统一内存从物理层面消灭了这条总线，部分卸载的惩罚在 Mac 上不存在。

于是 Mac 的推理账本变成：可用显存约等于系统内存的三分之二到四分之三（系统要留一份），32GB 内存基本等于「24GB 显存」，64GB 内存能全卸载 70B 模型的 4 比特版。这是苹果笔记本在本地推理社区口碑碾压同价位 Windows 本的根本原因——不是芯片魔法，是内存架构红利。

二、Vulkan：跨厂商的万金油

Vulkan 后端的价值在一个「通」字：N 卡、A 卡、Intel 卡乃至部分集成显卡，一套后端全覆盖。它的单卡速度通常不及各自的原生后端（CUDA 或 ROCm），但三个场景它无可替代：一是 A 卡用户在 Windows 上想要轻量方案——ROCm 在 Windows 的支持历来磕绊，Vulkan 只需装个显卡驱动；二是老旧或冷门显卡「有得用就行」的需求；三是便携场景——编译出的单个可执行文件拖着 Vulkan 运行时到处跑，不依赖庞大的专用工具链。折中评价：它是各家的第二选择，但恰好是多数非 N 卡用户的第一选择。

三、专用硬件：NPU、开发板与手机

笔记本与桌面 CPU 近两年普遍塞进了 NPU 单元，宣传话术里「本地跑大模型」格外诱人。泼冷水的实话：当前 NPU 的内存带宽与算力规格面向的是小模型的低负载常驻推理，跑 7B 级模型无论是速度还是工具链成熟度都远不如同一台机器的独显路径。llama.cpp 社区对各类 NPU 的适配也在推进中，动手之前先确认目标模型规格与 NPU 可用内存的量级是否匹配。

开发板一侧，8GB 内存的树莓派级别设备能跑 1B 到 3B 的 4 比特模型，速度在每秒几个词到十几个词之间，够做语音助手、设备控制这类轻任务。手机侧则是第 1.3 节提到的 MLC 路线主场——把模型编译进 App 利用移动 GPU，llama.cpp 的 CPU 路径在手机上也能跑，只是产品化封装不如编译路线顺。这些远端场景的共同心法与本章一脉相承：先算内存与带宽账，再看工具链成熟度，最后才谈速度。

四、常见问题

A 卡用户到底怎么选？

Linux 重度用户走 ROCm；Windows 用户与求省事的用户走 Vulkan。同一台 A 卡机器两个都编译出来对比一次，数据会替你做决定。

后端之间能混用吗？

同一时刻活动后端是单一的，但规划层面可以「CPU 后端加 GPU 后端」协同——前两节的分层卸载本质就是 CPU 与 CUDA 两个后端的协作。所谓混用是编排问题，不是开关问题。

换后端要重新下载模型吗？

不用。GGUF 是与后端无关的容器格式（2.2 节的伏笔回收），同一份文件换后端直接跑。这也是单文件自描述格式在生态层的红利。

同卡双后端的实测对照

「数据替你做决定」在本节的具体形态：同一台机器、同一份模型，把两个后端各编一份跑同款基准。这台机器上的对照样本（N 卡小显存机型）：CUDA 全卸载生成每秒 16.7 token；Vulkan 全卸载约每秒 14 到 15 token，慢约一成，预填充差距更明显。结论符合预期——原生后端的内核调优更深。但决策不能只看峰值速度：Vulkan 构建更轻、安装依赖更少、跨机器迁移更省事，日常备用与便携场景反而更顺手。合理的配置是「主力用原生、备胎用通用」，两个构建目录并存（4.1 节的目录隔离在这里兑现价值），按场景切换。

自查三问

一问：Mac 跑本地推理的结构性优势是什么？答：统一内存消灭了数据搬运，显存上限等于系统内存的大半，部分卸载不受惩罚。二问：什么人该选 Vulkan 而不是原生后端？答：非 N 卡阵营、多机迁移频繁、或不想装庞大专用工具链的用户——让一点峰值速度换覆盖广度。三问：NPU 现在能当主力吗？答：不能，它的定位是小模型低负载常驻，7B 级推理请回独显或 CPU 路径。

常见问题

核显（集成显卡）走 Vulkan 值得试吗？

值得试但预期要低：核显与 CPU 共享系统内存，带宽天花板与纯 CPU 相同，加速空间来自并行度而非带宽。实测中核显卸载对预填充有小幅帮助，对生成速度帮助有限——可以试，不必恋战。

后端版本更新不同步怎么办？

各后端由不同维护者推进，成熟度天然参差。策略是「主力后端追紧、备胎后端跟发布标签」，避免把时间花在追逐实验性分支上；遇到后端专属的问题，先查该后端自身的已知事项清单。

未来会收敛到一个统一后端吗？

底层在缓慢收敛（新一代图形与计算接口的抽象更通用），但硬件差异决定了「一套内核吃遍天下」仍远。对使用者而言，真正的答案不是等收敛，而是掌握后端无关的账本方法——后端会换，账不变。

给换机者的硬件速判

用本章知识给「该买什么机器跑本地推理」立一张速判卡：预算从紧，选大内存的 Mac——统一内存的账本红利无可替代；已有 N 卡，按显存对号入座（8GB 卡全卸载 7B 的 Q4 加小窗口，12GB 卡宽裕，24GB 卡上探 14B）；纯 CPU 路线，钱花在内存频率与双通道上；笔记本用户，务必确认散热规格——满载推理是持续的极限负载，压不住频率的机身再好的配置也跑不出纸面速度。速判卡的本质仍是账本：先算你的目标模型需要什么，再看钱包能买到什么，两头一对，答案自现。

本节要点回顾

• 后端抽象让换硬件变成换开关，计算图与算子接口稳定，硬件各有实现；
• Mac 的优势是内存架构红利：统一内存消灭搬运，部分卸载不受罚，内存即显存；
• Vulkan 是非 N 卡阵营的实用解，速度让一点，覆盖广度无可替代；
• NPU 的现状是轻任务常驻，7B 级主力推理请回到独显或 CPU 路径；
• 硬件地图巡礼完毕，第 6 章回到软件层：上下文与采样把质量攥在手里。