2. 数据预处理与特征工程

文档摘要

数据预处理与特征工程数据预处理与特征工程时间序列数据通常包含噪声、缺失值，并且直接用于异常检测的效果可能并不理想。因此，数据预处理和特征工程是至关重要的步骤，它们可以提高异常检测算法的准确性和效率。 2.1 数据清洗与缺失值处理时间序列数据清洗主要包括处理重复值、异常值（与异常检测算法检测的异常值不同，这里指的是明显的数据错误或超出合理范围的值）以及缺失值。重复值处理: 简单删除重复的行。异常值处理: 识别并处理明显错误或超出物理意义范围的数据点。例如，温度传感器读数为负无穷大，或者股票价格出现负值。处理方法包括：删除: 如果异常值数量较少，可以直接删除。替换: 使用平均值、中位数、或相邻值替换。截断: 将超出合理范围的值截断到边界值。