第08章 康复出口：性能与协作

第08章 康复出口：性能与协作

章节摘要：病人的体检做完了，本章给体检中心自己做康复：向量化替代循环、apply的正确体位、query与eval省内存、category与分块读取让大表住得下。这是流水线的出口，也是日常效率的主战场。

一条主线

一条主线走完七章，病人健康出院。但体检中心自己病了：处理百万行订单表时，循环写法跑了二十分钟，内存占到溢出边缘。本章的主线是给流水线本身做康复训练——同样的诊断结果，用向量化、query、分块读取，把二十分钟压到几十秒。核心认知只有一个：Pandas的每个操作都有便宜的和昂贵的两种写法，循环几乎总是最贵的那种。

沿途站点

8-1 向量化与apply的康复训练

循环、apply、向量化三档速度的实测对比，apply的适用边界（确实需要逐行复杂逻辑时），以及常见需求的向量化改写套路。

8-2 query与内存优化的出院准备

query用字符串表达式省中间布尔列、eval少建临时对象、category降内存、分块读取让大文件住得下，最后一张出院核对清单。

拐点与结论

本章拐点是"apply不是耻辱柱"：教条地消灭apply会让代码走向不可读的过度向量化。apply的正确体位是"行逻辑确实复杂到无法用表达式说清"时的兜底，而布尔筛、算术、映射这三类需求必须向量化。读完本章，你应当能够：

• 实测循环、apply、向量化三档写法的耗时差距并解释原因
• 判断一个需求该向量化还是该用apply，说出判断依据
• 用query改写多条件筛选并说明它省掉的是什么
• 用category、downcast、dtype规划把表压到原体积一半以下
• 用chunksize分块处理放不进内存的大文件

前置与延伸

前置是全册：向量化改写的对象是前七章的每类操作，内存优化的category与读取参数早在1-3与4-1就埋了线。延伸方向：超出单机内存的分布式DataFrame、可视化与建模生态的对接，都建立在本章的效率意识之上。练习建议把自己前几章写的练习代码全部做一次"康复改造"：先计时、再向量化、再压内存，改造前后的耗时对比会给你留下最深的印象。

出院之后的路

八章走完，这条数据体检流水线你已经完整走过一遍。真实的Pandas世界还有两个方向可以延伸：往上，把流水线接入可视化与机器学习的生态，让体检报告变成可交互的看板与预测；往深，当单机内存真的装不下业务规模时，了解分布式DataFrame的思路——但那些都是出院之后的选修课。把本册的八三十二章内化成肌肉记忆，日常九成的数据处理工作已经在你的能力圈内。

本章考核知识点清单

康复科的考核点：实测三档写法的耗时差并解释调度次数的成因；对四类需求（算术、映射、字符串、条件派生）写出向量化版本；说出apply的三个适用条件与两个替代品；在必须循环时选用itertuples；用query改写多条件筛选并用@引变量；说出category与downcast各自的压缩机理；规划读取期的dtype与usecols；用chunksize写分块聚合并遵守"只带结果走"的纪律；建立先测量后优化的基线习惯。性能优化的另一半是习惯而不是知识，这九条要练成条件反射。