章节摘要:本案卷是统计学习领域的经典住房数据:几百个城镇街区,各自的人口、房型结构与房价中位数。委托人的问题有两个——房价由什么决定(解释)、某街区房价会否超过某个门槛(预测归属)。前者用线性回归,后者用逻辑回归,本章把两套模型在同一份证据上走完"拟合、诊断、解释"的闭环。
估价案的主线是"从相关到解释再到预测"。第一步用 lm 拟合房价对房间数、房龄、低收入比例等变量的回归,读系数、算 R 方;第二步做残差诊断,检查线性模型的四条前提有没有被违反;第三步把问题改写成"房价是否高估价"的二分类,换 glm 逻辑回归上场。同一个数据集、两种问法、两套模型——这种"问题决定模型"的训练比背模型公式重要得多。
拐点在第 1 节的残差诊断:回归拟合完不等于回归做对了——残差图一旦出现弯曲或喇叭口形状,"线性、等方差"的前提就在报警,此时系数解释全部存疑。结论:模型的可用性不由 R 方决定,由诊断决定;换模型(或换变量变换)永远比硬解读一个坏模型体面。
| 易错点 | 症状 | 处方 |
|---|---|---|
| 只看 R 方不看诊断 | 弯曲残差上硬读系数 | 四联图必做,坏模型先修后读 |
| 阈值迷信 0.5 | 漏报代价高的场景查全率难看 | 按业务代价扫描调阈 |
| 不平衡只报准确率 | 全猜多数类也有高准确率 | 四格账本加查全查准 |
| glmnet 喂数据框 | 直接报错 | x 转矩阵、哑变量先行 |
解释侧:低收入比例、户均房间数、师生比构成房价的三支主力解释变量,低收入比例与房价的关系含弯曲成分,二次项显著;临河与否贡献一个明确的水平位移。预测侧:逻辑回归对"高估价街区"的识别在测试集上准确率约八成,查全率约六成——按"宁可多看别漏掉"的口径调低阈值后,查全率可升至七成以上,代价是误报增多。本案最大的一课是流程:拟合只是半程,诊断与验证才是定罪环节,R 方和准确率都不足为凭。
六个案子的方法论已齐:清洗、重塑、可视化、检验、建模。最后一章升级工具本身——面向对象、性能优化与自动报告,把破案流程工程化。