6.2.1.3 基于 DAG 的推理流水线（Custom Nodes）

文档摘要

6.2.1.3 基于 DAG 的推理流水线（Custom Nodes） 6.2.1.3 基于 DAG 的推理流水线（Custom Nodes）：当预处理逻辑“卡住”DAG调度器——一个被忽略的 gRPC 流式响应生命周期陷阱与零拷贝修复实践你有没有遇到过这样的场景？在 OVMS 中定义了一个三节点 DAG 流水线：，其中是自定义 Python 节点，负责将原始 JPEG 字节流解码为 RGB NCHW 张量；则将模型输出的 logits 映射为带置信度的类别标签。一切本地测试完美——用发送单帧 JPEG，响应毫秒级返回，看 CPU 闲庭信步。可一旦接入真实业务网关，QPS 上到 80，延迟曲线突然像心电图一样剧烈抖动：P99 从 12ms 暴涨至 1.