第 7 章 中央厨房：常用库的数据处理函数

第 7 章 · 中央厨房：常用库的数据处理函数

本章要回答的问题：前六章的手法散落各处，pandas 里到底有哪些函数、怎么一张地图收拢？NumPy 的向量化为什么快、快在哪个环节？SciPy 与 scikit-learn 的预处理调料柜里有什么？数据大到单机吃不下时，Dask 与 PySpark 怎么接手？中央厨房逐间开门。

为什么会有这一章

家常小灶练熟了，该进中央厨房见世面了。本章不引入全新的"工序"——择菜、切配、熬汤、摆盘的流程不变——而是把散装的手法换成成建制的装备：pandas 是你一直在用的主厨房，本章给它画一张完整的函数地图；NumPy 是它下面的灶膛，解释这一切为什么快；SciPy 与 scikit-learn 是两柜专用调料，统计检验与建模前处理都有现成的；Dask 与 PySpark 则是两个真正的大厨房，一个把 pandas 的写法平移到分块世界，一个把数据料理搬进集群。

进中央厨房最容易犯的错，是把"学库"当成"背函数清单"。本章的立场相反：函数是流动的，流程才是固定的——任何库的手册都会过时，但"读入、验收、清洗、整形、聚合、合并、导出"的流水线不会。带着流程去认函数，地图才有锚点。

读完能解决什么

• 地图能力：把前六章用过的函数按"清洗、整形、聚合、合并"四大区归位，拿到新需求能立刻定位到区域；
• 灶膛理解：说清 NumPy 数组的内存布局与广播规则，解释向量化与 Python 循环的性能差距来自哪里；
• 调料能力：会调 scipy.stats 做基础检验、会按 sklearn 的接口完成编码与缩放，理解 Pipeline 防泄漏的机制；
• 扩容能力：判断数据到了哪个量级该换 Dask 还是 PySpark，并完成一次最小迁移。

可考核知识点清单：pandas 四大函数分区的代表函数各几个；NumPy 数组 dtype 统一带来的内存收益；广播中形状从右对齐的规则；np.where 与 pandas 版 where 的亲缘；scipy.stats.zscore 的 nan_policy；fit 与 transform 分离为什么能防泄漏；OneHotEncoder 的 handle_unknown；Dask 的惰性与 compute 时机；PySpark 的 DataFrame 与变换算子的惰性链。

各节怎么分工

常见疑问

**问：pandas 用了不少了，7.1 还会有新东西吗？**本章不塞新函数，而是给已会的函数"安家"——四大区地图的价值在检索与定位：拿到需求先知道去哪个区翻，比背函数名更持久。老手读 7.1 的收获是自查：有没有哪个区你从未踏足？

**问：NumPy 要学到什么程度？**学到"看得懂广播报错、写得出 axis 参数"即可。日常表格工作里，你大部分时间在 pandas 层，NumPy 是理解性能与排错的底层视角，不是日常写法。

**问：Dask 与 PySpark 现在就要上手吗？**先建立判断力，再动手实践。7.4 会教你估算"什么时候单机真的不行"——多数人的数据远没到那一步，把 6.3 的分块读法学扎实反而更实用。

先决条件

• 前六章全部手法——本章是它们的"成建制版本"，散装不会的，成建制也学不会；
• 1.2 的数组算术直觉与 6.1 的性能铁律，本章 7.2 会兑现；
• 6.3 的量级阶梯，是 7.4 的选址依据。

往下走到哪

中央厨房的设备认全后，最后一章讲后厨动线：效率优化的实测、内存的算账、并行的开灶、排错的手册，最后把整条流水线从头到尾跑一遍。7.2 的向量化与 8.1 的效率优化是同一枚硬币的两面，7.3 的 fit 与 transform 纪律会在 8.5 的实战里验收。