2. 数据清洗与预处理

文档摘要

数据清洗与预处理数据清洗与预处理数据清洗与预处理是数据分析和机器学习流程中至关重要的一步。原始数据往往存在缺失值、异常值、重复数据、数据类型不一致等问题，这些问题会严重影响后续分析和建模的准确性和可靠性。因此，在进行任何有意义的数据分析之前，必须对数据进行清洗和预处理。 2.1 缺失值处理缺失值是指数据集中某些观测值或变量的数值缺失。缺失值产生的原因有很多，例如数据采集错误、数据传输问题、人为遗漏等。处理缺失值的方法主要有以下几种： 2.1.1 删除缺失值方法描述：直接删除包含缺失值的行或列。适用场景：缺失值比例很小，删除后对整体数据分布影响不大；或者缺失值集中出现在某些不重要的变量中。缺点：可能会损失大量有用信息，导致模型偏差。