4.1 自定义估计器与转换器

4.1 自定义估计器与转换器

Scikit-learn 高级主题：自定义估计器与转换器详解

Scikit-learn (sklearn) 是 Python 中最受欢迎的机器学习库之一，以其简洁的 API 和强大的功能而闻名。虽然 sklearn 提供了丰富的内置估计器（Estimators）和转换器（Transformers），但在实际应用中，我们经常会遇到需要根据特定问题定制模型或数据处理流程的情况。这时，理解和掌握如何创建自定义估计器和转换器就显得至关重要。

4.1 自定义估计器与转换器

在深入代码实践之前，我们需要先理解 Scikit-learn 中估计器和转换器的基本概念及其作用。

估计器 (Estimator)：在 Scikit-learn 中，估计器是一个实现了 fit(X, y) 方法的对象。它用于从数据 (X, y) 中学习模型参数。学习到的模型可以用于预测未知数据的目标值。常见的估计器包括分类器 (Classifier)、回归器 (Regressor) 和聚类器 (Clusterer)。

• fit(X, y) 方法: 这是估计器的核心方法，用于训练模型。X 是特征数据，y 是目标变量 (对于监督学习)。该方法通常会修改估计器对象本身，存储学习到的模型参数。

• predict(X) 方法: 用于对新的特征数据 X 进行预测，返回预测的目标值。

• score(X, y) 方法: 用于评估模型在给定数据 (X, y) 上的性能，返回一个评估指标 (例如，分类准确率、R² 分数)。

• 其他方法: 根据估计器类型，可能还会有 predict_proba(X) (预测概率)、decision_function(X) (决策函数值) 等方法。

转换器 (Transformer)：转换器是一个实现了 fit(X, y) 和 transform(X) 方法的对象。它用于对数据进行预处理或特征工程，将原始数据转换为更适合模型训练的形式。

• fit(X, y) 方法: 转换器的 fit 方法用于学习转换所需的参数，例如标准化中的均值和标准差，或者 PCA 中的主成分。虽然 y 参数在某些转换器中可能被忽略，但为了 API 的一致性，通常会保留。

• transform(X) 方法: 使用 fit 方法学习到的参数，对数据 X 进行转换，返回转换后的数据。

• fit_transform(X, y) 方法: 这是一个便捷的方法，相当于先调用 fit(X, y)，再调用 transform(X)。在数据预处理阶段，通常会使用 fit_transform 方法对训练数据进行处理，然后使用 transform 方法对测试数据进行相同的转换。

自定义的必要性：Scikit-learn 提供的内置估计器和转换器已经非常丰富，但在以下情况下，我们可能需要自定义：

• 特定的数据处理逻辑: 内置转换器可能无法满足特定的数据清洗、特征提取或特征选择需求。例如，处理特定领域的文本数据、图像数据或时间序列数据时，可能需要定制化的转换方法。

• 定制化的模型算法: 我们可能需要实现自己研究的新算法，或者对现有算法进行修改和扩展。

• 集成现有代码: 我们需要将已有的代码库或算法集成到 Scikit-learn 的工作流程中，使其能够与 Scikit-learn 的其他组件无缝衔接。

• 提高效率或性能: 针对特定问题，自定义的实现可能比通用实现更高效或性能更优。

4.1.1 自定义转换器 (Transformer)

我们先从自定义转换器开始，因为它相对简单，更容易理解。

构建自定义转换器的步骤:

1. 继承基类: 自定义转换器需要继承 sklearn.base.BaseEstimator 和 sklearn.base.TransformerMixin 这两个基类。BaseEstimator 提供了参数设置和获取的基本方法 (get_params, set_params)，而 TransformerMixin 提供了 fit_transform 方法的默认实现。

2. __init__ 方法: 在 __init__ 方法中，定义转换器需要的超参数。这些参数应该作为实例变量存储。

3. fit(self, X, y=None) 方法: fit 方法用于学习转换所需的参数。即使转换不需要学习参数，也需要实现 fit 方法并返回 self。y 参数通常可以忽略。

4. transform(self, X) 方法: transform 方法实现数据转换的逻辑，接收输入数据 X，并返回转换后的数据。

代码实践：自定义一个简单的多项式特征转换器

假设我们需要创建一个转换器，将输入特征 X 转换为多项式特征，例如将一个特征 x 转换为 [x, x^2]。

import numpy as np
from sklearn.base import BaseEstimator, TransformerMixin
class SimplePolynomialFeatures(BaseEstimator, TransformerMixin):
    """
    自定义多项式特征转换器，将单个特征 x 转换为 [x, x^2]。
    """
    def __init__(self, degree=2):
        self.degree = degree  # 定义超参数：多项式阶数
    def fit(self, X, y=None):
        """
        fit 方法，这里不需要学习参数，直接返回 self。
        """
        return self
    def transform(self, X):
        """
        transform 方法，实现多项式特征转换。
        """
        X_transformed = np.copy(X) # 复制输入数据，避免修改原始数据
        for d in range(2, self.degree + 1):  # 从 2 阶开始计算多项式特征
            X_transformed = np.concatenate((X_transformed, X**d), axis=1) # 水平拼接新的特征列
        return X_transformed
# 示例使用
X_sample = np.array([[1], [2], [3], [4]])
poly_transformer = SimplePolynomialFeatures(degree=3) # 创建转换器实例，设置阶数为 3
X_poly = poly_transformer.fit_transform(X_sample) # fit_transform 进行拟合和转换
print("原始数据 X_sample:\n", X_sample)
print("转换后的多项式特征 X_poly:\n", X_poly)
​

代码详解:

• class SimplePolynomialFeatures(BaseEstimator, TransformerMixin):: 定义类并继承基类。

• __init__(self, degree=2):: 初始化方法，接受一个超参数 degree，默认为 2。

• fit(self, X, y=None):: fit 方法在这里没有实际的学习过程，只是简单地返回 self。对于一些简单的转换器，fit 方法可以为空。

• transform(self, X):: 核心的转换逻辑。

  • np.copy(X): 复制输入数据，这是一个良好的实践，避免在 transform 方法中修改原始数据。

  • for d in range(2, self.degree + 1):: 循环计算 2 阶到 degree 阶的多项式特征。

  • np.concatenate((X_transformed, X**d), axis=1): 将新的多项式特征列水平拼接 (axis=1) 到 X_transformed 中。

• 示例使用:

  • 创建 SimplePolynomialFeatures 实例，并设置 degree=3。

  • 使用 fit_transform 方法对 X_sample 进行转换。

  • 打印原始数据和转换后的数据。

运行结果:

原始数据 X_sample:
 [[1]
 [2]
 [3]
 [4]]
转换后的多项式特征 X_poly:
 [[ 1.  1.  1.]
 [ 2.  4.  8.]
 [ 3.  9. 27.]
 [ 4. 16. 64.]]
​

可以看到，原始的单特征数据 [x] 被成功转换为 [x, x^2, x^3] 的多项式特征。

更复杂的自定义转换器:

自定义转换器可以根据实际需求实现更复杂的数据处理逻辑，例如：

• 文本特征提取: 构建自定义的词袋模型、TF-IDF 转换器，或者使用预训练的词向量模型进行特征提取。

• 图像特征提取: 集成图像处理库 (如 OpenCV, Pillow) 进行图像特征提取，例如边缘检测、纹理特征、颜色直方图等。

• 时间序列特征工程: 提取时间序列数据的统计特征、频域特征、滑动窗口特征等。

• 缺失值处理: 实现更精细的缺失值填充策略，例如基于领域知识的填充方法。

• 异常值检测与处理: 自定义异常值检测算法，并实现相应的处理方法 (删除、替换、转换)。

在构建复杂转换器时，需要仔细考虑 fit 方法的学习过程，以及 transform 方法的效率和鲁棒性。

4.1.2 自定义估计器 (Estimator)

自定义估计器比自定义转换器稍微复杂一些，因为它涉及到模型训练和预测的逻辑。

构建自定义估计器的步骤:

1. 继承基类: 自定义估计器需要继承 sklearn.base.BaseEstimator。根据估计器的类型 (分类器、回归器)，还需要继承相应的 Mixin 类，例如 sklearn.base.ClassifierMixin (分类器) 或 sklearn.base.RegressorMixin (回归器)。Mixin 类提供了默认的 score 方法实现。

2. __init__ 方法: 在 __init__ 方法中，定义估计器需要的超参数。

3. fit(self, X, y) 方法: fit 方法是估计器的核心方法，用于从训练数据 (X, y) 中学习模型参数。

4. predict(self, X) 方法: predict 方法使用学习到的模型对新的特征数据 X 进行预测，返回预测的目标值。

5. score(self, X, y) 方法 (可选但推荐): score 方法用于评估模型在给定数据 (X, y) 上的性能。如果继承了 ClassifierMixin 或 RegressorMixin，可以利用其提供的默认 score 方法，但通常需要根据具体模型和评估指标进行自定义。

6. 其他方法 (可选): 根据估计器类型，可以实现 predict_proba(X) (预测概率)、decision_function(X) (决策函数值) 等方法。

代码实践：自定义一个简单的均值回归器

假设我们需要创建一个简单的回归器，始终预测目标变量 y 的均值。虽然这个回归器本身没有实际的应用价值，但它可以很好地演示自定义估计器的基本结构。

import numpy as np
from sklearn.base import BaseEstimator, RegressorMixin
class MeanRegressor(BaseEstimator, RegressorMixin):
    """
    自定义均值回归器，始终预测目标变量 y 的均值。
    """
    def __init__(self):
        self.mean_value = None  # 存储训练数据 y 的均值
    def fit(self, X, y):
        """
        fit 方法，计算训练数据 y 的均值并存储。
        """
        self.mean_value = np.mean(y) # 计算均值
        return self
    def predict(self, X):
        """
        predict 方法，始终返回存储的均值。
        """
        if self.mean_value is None:
            raise NotFittedError("This MeanRegressor instance is not fitted yet. "
                                 "Call 'fit' with appropriate arguments before using this estimator.")
        return np.full(X.shape[0], self.mean_value) # 返回与 X 行数相同的均值数组
    def score(self, X, y):
        """
        score 方法，使用 R² 分数评估模型性能。
        """
        from sklearn.metrics import r2_score
        y_pred = self.predict(X)
        return r2_score(y, y_pred)
from sklearn.exceptions import NotFittedError # 导入异常类
# 示例使用
X_train = np.array([[1], [2], [3], [4], [5]])
y_train = np.array([2, 4, 5, 4, 5])
X_test = np.array([[6], [7]])
mean_regressor = MeanRegressor() # 创建回归器实例
mean_regressor.fit(X_train, y_train) # 训练模型
y_pred = mean_regressor.predict(X_test) # 进行预测
score = mean_regressor.score(X_train, y_train) # 评估模型
print("训练数据 y_train 的均值:", mean_regressor.mean_value)
print("预测结果 y_pred:", y_pred)
print("训练集 R² 分数:", score)
​

代码详解:

• class MeanRegressor(BaseEstimator, RegressorMixin):: 定义类并继承 BaseEstimator 和 RegressorMixin。

• __init__(self):: 初始化方法，初始化 self.mean_value 为 None。

• fit(self, X, y):: fit 方法计算训练数据 y 的均值，并将其存储在 self.mean_value 中。

• predict(self, X):: predict 方法始终返回 self.mean_value。

  • NotFittedError: 在 predict 方法中，我们添加了对 self.mean_value 是否为 None 的检查。如果为 None，说明模型还没有被 fit，抛出 NotFittedError 异常，这是 Scikit-learn 中推荐的做法，用于提示用户先调用 fit 方法。

  • np.full(X.shape[0], self.mean_value): 创建与 X 行数相同的数组，并用 self.mean_value 填充。

• score(self, X, y):: score 方法使用 sklearn.metrics.r2_score 计算 R² 分数来评估模型性能。

• 示例使用:

  • 创建 MeanRegressor 实例。

  • 使用 fit 方法训练模型。

  • 使用 predict 方法进行预测。

  • 使用 score 方法评估模型。

运行结果:

训练数据 y_train 的均值: 4.0
预测结果 y_pred: [4. 4.]
训练集 R² 分数: 0.0
​

可以看到，均值回归器学习到了训练数据 y_train 的均值为 4.0，并在预测时始终返回 4.0。由于模型始终预测均值，因此在训练集上的 R² 分数为 0.0，表明模型没有解释任何方差。

更复杂的自定义估计器:

自定义估计器可以实现各种复杂的模型算法，例如：

• 自定义线性模型: 实现不同正则化方法 (L1, L2, Elastic Net) 的线性回归或逻辑回归。

• 自定义树模型: 实现决策树、随机森林、梯度提升树等树模型。

• 自定义神经网络模型: 集成深度学习库 (如 TensorFlow, PyTorch) 构建自定义神经网络模型。

• 集成学习方法: 实现自定义的集成学习算法，例如 Bagging, Boosting, Stacking 等。

• 聚类算法: 实现 K-Means, DBSCAN, 层次聚类等聚类算法。

构建复杂估计器需要深入理解机器学习算法的原理，并具备良好的编程能力。

4.1.3 自定义估计器与转换器的验证

为了确保自定义的估计器和转换器能够与 Scikit-learn 的工作流程良好集成，我们需要进行验证。Scikit-learn 提供了 sklearn.utils.estimator_checks.check_estimator 函数，可以自动运行一系列测试用例，检查自定义估计器或转换器是否符合 Scikit-learn 的 API 规范。

使用 check_estimator 进行验证:

from sklearn.utils.estimator_checks import check_estimator
# 验证自定义转换器
check_estimator(SimplePolynomialFeatures)
# 验证自定义估计器
check_estimator(MeanRegressor)
​

运行 check_estimator 函数会输出一系列测试结果，如果所有测试都通过，则说明自定义的组件基本符合 Scikit-learn 的规范。如果测试失败，需要根据错误信息进行调试和修正。

注意: check_estimator 只能验证 API 的兼容性，不能保证自定义组件的算法实现是正确的，也不能评估其性能。还需要进行充分的单元测试和集成测试，并进行性能评估，才能确保自定义组件的质量。

4.1.4 自定义组件的应用场景

自定义估计器和转换器在实际应用中有很多场景，以下列举一些常见的例子：

• 特定领域的数据处理: 例如，在生物信息学领域，可能需要自定义处理基因序列数据或蛋白质结构数据的转换器和估计器。在自然语言处理领域，可能需要自定义处理文本数据的分词、词性标注、句法分析等转换器。

• 模型优化与改进: 当内置模型无法满足性能需求时，可以尝试自定义模型，例如通过修改损失函数、优化算法、模型结构等方式来提高模型性能。

• 研究与创新: 自定义估计器和转换器是进行机器学习算法研究和创新的重要工具。研究人员可以利用 Scikit-learn 的框架，快速实现和验证新的算法思想。

• 构建端到端机器学习系统: 自定义组件可以帮助构建更灵活、更可定制化的端到端机器学习系统，满足特定的业务需求。

4.1.5 最佳实践与建议

• 遵循 Scikit-learn API 规范: 自定义组件应该尽可能遵循 Scikit-learn 的 API 规范，例如实现 fit, transform, predict, score 等方法，参数命名和类型应该与 Scikit-learn 的惯例保持一致。

• 模块化设计: 将复杂的自定义组件分解为更小的模块，提高代码的可读性、可维护性和可重用性。

• 充分测试: 编写全面的单元测试和集成测试，确保自定义组件的正确性和稳定性。使用 check_estimator 进行 API 兼容性验证。

• 文档化: 为自定义组件编写清晰的文档，包括功能描述、参数说明、使用示例等，方便自己和他人使用。

• 性能优化: 对于性能敏感的应用，需要对自定义组件进行性能分析和优化，例如使用 NumPy, Cython, Numba 等工具提高计算效率。

• 考虑与 Pipeline 结合: 自定义组件通常会与其他 Scikit-learn 组件 (如 Pipeline, GridSearchCV) 结合使用，因此在设计时需要考虑其与 Pipeline 等的兼容性。