2.7 超参数 (Hyperparameters) vs 参数 (Parameters)

2.7 超参数 (Hyperparameters) vs 参数 (Parameters)

Scikit-learn 核心概念详解：超参数 (Hyperparameters) vs 参数 (Parameters)

在机器学习领域，模型如同精密的仪器，而构建和调优这些仪器，使其能够从数据中有效地学习并做出准确预测，是至关重要的任务。在 Scikit-learn 这个强大的 Python 机器学习库中，我们经常会遇到两个关键概念：参数 (Parameters) 和 超参数 (Hyperparameters)。虽然这两个术语都与模型的配置有关，但它们在本质、学习方式以及对模型性能的影响上却存在根本性的差异。理解这两者之间的区别，是成为一名高效的 Scikit-learn 使用者和机器学习实践者的基础。

1. 引言：模型学习的两种配置

当我们使用 Scikit-learn 构建机器学习模型时，我们实际上是在定义一个算法框架，这个框架需要从数据中学习才能完成特定的任务，例如分类、回归或聚类。模型的学习过程涉及到调整模型的内部配置，以适应训练数据并优化性能。这些配置可以分为两大类：

• 参数 (Parameters): 模型自身可以学习的变量。这些参数是模型内部的配置变量，它们的值是通过训练数据自动学习得到的。参数定义了模型如何从输入数据映射到输出结果。例如，在线性回归模型中，系数 (coefficients) 和截距 (intercept) 就是参数。

• 超参数 (Hyperparameters): 模型外部的配置变量，需要人为设定。这些超参数不是通过训练数据学习得到的，而是在训练模型之前由我们手动设置的。超参数控制着模型的学习过程，例如模型的复杂度、学习率、正则化强度等。例如，在支持向量机 (SVM) 中，核函数类型 (kernel) 和正则化参数 (C) 就是超参数。

理解参数和超参数的区别至关重要，因为它直接影响到我们如何构建、训练和优化机器学习模型。参数是模型学习的目标，而超参数则是我们控制模型学习过程的手段。

2. 参数 (Parameters)：模型内部的知识

参数是机器学习模型在训练过程中自动学习得到的内部变量。它们是模型从数据中提取的“知识”，用于进行预测和决策。参数的值直接决定了模型的行为和预测结果。

2.1 参数的特性:

• 模型内部: 参数是模型自身的组成部分，它们存储在模型对象内部。

• 数据驱动: 参数的值是通过训练数据学习得到的，它们反映了训练数据中的模式和规律。

• 自动学习: 模型使用特定的学习算法 (例如梯度下降、最小二乘法等) 自动调整参数的值，以最小化损失函数或最大化目标函数。

• 模型预测的基础: 模型使用学习到的参数来对新的、未见过的数据进行预测。

• 模型类型决定参数类型: 不同类型的模型具有不同类型的参数。例如，线性模型的参数是权重和偏置，决策树模型的参数是节点分裂规则，神经网络模型的参数是连接权重和偏置。

2.2 Scikit-learn 中的参数实践:

在 Scikit-learn 中，大多数模型的参数在模型训练完成后，可以通过模型对象的属性进行访问。通常，这些属性以 下划线 (_) 结尾，以区分用户设置的超参数和模型学习到的参数。

2.2.1 线性回归模型的参数:

我们以线性回归模型为例，演示如何访问和理解模型的参数。

from sklearn.linear_model import LinearRegression
import numpy as np
# 示例数据
X = np.array([[1], [2], [3], [4], [5]])  # 特征
y = np.array([2, 4, 5, 4, 5])          # 目标变量
# 创建线性回归模型
model = LinearRegression()
# 训练模型
model.fit(X, y)
# 访问模型参数
coefficients = model.coef_      # 系数 (斜率)
intercept = model.intercept_    # 截距 (y轴截距)
print(f"系数 (coef_): {coefficients}")
print(f"截距 (intercept_): {intercept}")
​

代码详解:

1. 导入 LinearRegression: 我们从 sklearn.linear_model 模块导入 LinearRegression 类，用于创建线性回归模型。

2. 创建示例数据: 我们创建了简单的示例数据 X 和 y，其中 X 是特征 (一维)，y 是目标变量。

3. 创建模型对象: model = LinearRegression() 创建一个线性回归模型实例。

4. 训练模型: model.fit(X, y) 使用训练数据 X 和 y 训练模型。训练过程就是模型学习最佳参数 (系数和截距) 的过程，以拟合训练数据。

5. 访问参数:

   • model.coef_: 访问线性回归模型的系数 (斜率)。对于一元线性回归，coef_ 返回一个包含一个元素的数组。对于多元线性回归，coef_ 返回一个数组，每个元素对应一个特征的系数。

   • model.intercept_: 访问线性回归模型的截距 (y轴截距)。

输出结果分析:

输出结果会显示模型学习到的系数和截距值。这些值代表了模型从训练数据中学到的线性关系。例如，如果 coef_ 为 [0.6]，intercept_ 为 2.2，则线性回归方程为 y = 0.6x + 2.2。

2.2.2 其他模型的参数示例:

不同类型的模型拥有不同的参数属性。以下是一些其他 Scikit-learn 模型及其参数属性的示例：

• 逻辑回归 (LogisticRegression):

  • coef_: 系数

  • intercept_: 截距

• 决策树 (DecisionTreeClassifier, DecisionTreeRegressor):

  • feature_importances_: 特征重要性

  • tree_: 底层决策树对象 (可以访问更详细的树结构信息)

• 随机森林 (RandomForestClassifier, RandomForestRegressor):

  • estimators_: 包含所有决策树估计器的列表

  • feature_importances_: 特征重要性 (基于所有树的平均值)

• 支持向量机 (SVC, SVR):

  • support_vectors_: 支持向量

  • dual_coef_: 对偶系数 (用于线性核)

  • coef_: 系数 (用于线性核)

注意: 并非所有模型的所有参数都以属性的形式直接暴露出来。有些模型的内部参数可能比较复杂，或者不适合直接对外公开。但是，Scikit-learn 通常会提供最重要和最有用的参数属性供用户访问和理解模型。

2.3 参数的意义:

参数是模型学习到的核心知识，它们反映了数据中的模式和关系。理解模型的参数可以帮助我们：

• 解释模型: 查看参数值可以帮助我们理解模型是如何进行预测的。例如，在线性回归中，系数的大小和正负号可以告诉我们特征对目标变量的影响方向和强度。

• 诊断模型: 检查参数值是否合理，是否符合预期，可以帮助我们诊断模型是否存在问题，例如过拟合、欠拟合等。

• 特征重要性分析: 某些模型的参数 (例如决策树和随机森林的 feature_importances_) 可以直接用于评估特征的重要性，帮助我们理解哪些特征对模型预测贡献最大。

3. 超参数 (Hyperparameters)：模型学习的指南

超参数是在模型训练之前需要人为设定的配置变量。它们控制着模型的学习过程，并对模型的性能产生重大影响。超参数的选择直接决定了模型的复杂度、泛化能力和训练效率。

3.1 超参数的特性:

• 模型外部: 超参数不是模型自身学习的，而是在模型训练之前由用户手动设置的。

• 控制学习过程: 超参数影响模型的学习行为，例如模型的学习速度、模型的复杂度、模型的正则化程度等。

• 需要人为调整: 最佳的超参数值通常无法直接从训练数据中获得，需要通过实验和调优来确定。

• 模型性能的关键: 合适的超参数设置可以显著提升模型的性能，而不合适的超参数设置可能导致模型性能下降甚至失效。

• 模型类型决定超参数类型: 不同类型的模型具有不同的超参数。例如，决策树的超参数是树的深度和叶节点样本数，支持向量机的超参数是核函数类型和正则化参数，神经网络的超参数是层数、神经元数量和学习率。

3.2 Scikit-learn 中的超参数实践:

在 Scikit-learn 中，我们通常在创建模型对象时通过构造函数的参数来设置超参数。每个 Scikit-learn 模型类都有其特定的超参数。

3.2.1 支持向量机 (SVM) 的超参数:

我们以支持向量机分类器 (SVC) 为例，演示如何设置和理解模型的超参数。

from sklearn.svm import SVC
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
from sklearn.datasets import load_iris
# 加载鸢尾花数据集
iris = load_iris()
X, y = iris.data, iris.target
# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)
# 创建 SVC 模型并设置超参数
model = SVC(kernel='rbf', C=1.0, gamma='scale')  # 设置核函数类型为 RBF, 正则化参数 C=1.0, gamma='scale'
# 训练模型
model.fit(X_train, y_train)
# 预测
y_pred = model.predict(X_test)
# 评估模型性能
accuracy = accuracy_score(y_test, y_pred)
print(f"模型准确率: {accuracy}")
​

代码详解:

1. 导入必要的模块: 导入 SVC 类、数据集、数据划分和评估指标等模块。

2. 加载鸢尾花数据集: 使用 load_iris() 加载经典的鸢尾花数据集。

3. 划分数据集: 将数据集划分为训练集和测试集，用于模型训练和性能评估。

4. 创建 SVC 模型并设置超参数:

   • model = SVC(kernel='rbf', C=1.0, gamma='scale'): 创建 SVC 模型实例，并在构造函数中设置了三个超参数：

     • kernel='rbf': 设置核函数类型为径向基函数 (RBF)。RBF 核函数是一种常用的非线性核函数，适用于处理非线性可分的数据。其他常见的核函数类型包括 'linear' (线性核)、'poly' (多项式核)、'sigmoid' (sigmoid 核) 等。

     • C=1.0: 设置正则化参数 C 为 1.0。C 控制着模型对训练误差的容忍程度。较小的 C 值表示更强的正则化，模型更倾向于泛化，可能导致欠拟合；较大的 C 值表示较弱的正则化，模型更倾向于拟合训练数据，可能导致过拟合。

     • gamma='scale': 设置 RBF 核函数的 gamma 参数。gamma 定义了单个训练样本的影响范围。gamma 值越大，单个样本的影响范围越小，模型可能更关注局部特征，可能导致过拟合；gamma 值越小，单个样本的影响范围越大，模型可能更关注全局特征，可能导致欠拟合。gamma='scale' 是一种常用的自动设置 gamma 的方法，它会根据特征的尺度自动调整 gamma 值。

5. 训练模型: model.fit(X_train, y_train) 使用训练数据训练模型。

6. 预测和评估: 使用训练好的模型对测试集进行预测，并计算模型的准确率。

3.2.2 其他模型的超参数示例:

以下是一些其他 Scikit-learn 模型及其常见超参数的示例：

• 决策树 (DecisionTreeClassifier, DecisionTreeRegressor):

  • max_depth: 树的最大深度

  • min_samples_split: 分裂节点所需的最小样本数

  • min_samples_leaf: 叶节点所需的最小样本数

  • criterion: 分裂标准 (例如 'gini' 或 'entropy' for classification, 'mse' or 'mae' for regression)

• 随机森林 (RandomForestClassifier, RandomForestRegressor):

  • n_estimators: 森林中树的数量

  • max_depth: 每棵树的最大深度

  • min_samples_split: 分裂节点所需的最小样本数

  • min_samples_leaf: 叶节点所需的最小样本数

  • max_features: 每棵树分裂时考虑的最大特征数

• K-近邻 (KNeighborsClassifier, KNeighborsRegressor):

  • n_neighbors: 邻居的数量 (K值)

  • weights: 权重函数 ('uniform' or 'distance')

  • algorithm: 最近邻搜索算法 ('auto', 'ball_tree', 'kd_tree', 'brute')

3.3 超参数调优的重要性:

超参数的选择对模型的性能至关重要。不同的超参数组合会导致模型性能的巨大差异。因此，我们需要通过超参数调优 (Hyperparameter Tuning) 来找到最佳的超参数组合，以最大化模型的性能。

3.4 Scikit-learn 中的超参数调优方法:

Scikit-learn 提供了多种工具和方法来帮助我们进行超参数调优，最常用的方法包括：

• 网格搜索 (GridSearchCV): 穷举搜索指定的超参数网格中的所有组合。

• 随机搜索 (RandomizedSearchCV): 在指定的超参数空间中随机采样一定数量的组合进行搜索。

3.4.1 网格搜索 (GridSearchCV):

网格搜索是一种系统性的超参数调优方法。它需要我们预先定义一个超参数网格，包含我们想要尝试的超参数的所有可能取值。GridSearchCV 会遍历网格中的所有超参数组合，使用交叉验证 (Cross-Validation) 评估每种组合的性能，并选择性能最佳的组合作为最终的超参数。

from sklearn.model_selection import GridSearchCV
from sklearn.svm import SVC
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
# 加载鸢尾花数据集
iris = load_iris()
X, y = iris.data, iris.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)
# 定义超参数网格
param_grid = {
    'C': [0.1, 1, 10, 100],
    'kernel': ['linear', 'rbf'],
    'gamma': ['scale', 'auto', 0.1, 1]
}
# 创建 GridSearchCV 对象
grid_search = GridSearchCV(SVC(), param_grid, cv=5, scoring='accuracy')  # 使用 5 折交叉验证，评估指标为准确率
# 运行网格搜索
grid_search.fit(X_train, y_train)
# 最佳模型和最佳超参数
best_model = grid_search.best_estimator_
best_params = grid_search.best_params_
best_score = grid_search.best_score_
print(f"最佳超参数: {best_params}")
print(f"最佳交叉验证得分: {best_score}")
# 使用最佳模型在测试集上评估性能
test_accuracy = best_model.score(X_test, y_test)
print(f"测试集准确率 (最佳模型): {test_accuracy}")
​

代码详解:

1. 导入 GridSearchCV: 从 sklearn.model_selection 导入 GridSearchCV 类。

2. 定义超参数网格 param_grid: 创建一个字典 param_grid，定义要搜索的超参数及其取值范围。字典的键是超参数的名称 (字符串)，值是超参数的取值列表。

3. 创建 GridSearchCV 对象:

   • GridSearchCV(SVC(), param_grid, cv=5, scoring='accuracy'): 创建 GridSearchCV 对象。

     • SVC(): 指定要调优的模型为 SVC。

     • param_grid: 传入定义的超参数网格。

     • cv=5: 指定使用 5 折交叉验证。

     • scoring='accuracy': 指定评估指标为准确率。可以根据具体任务选择不同的评估指标，例如 'precision', 'recall', 'f1', 'roc_auc' 等。

4. 运行网格搜索: grid_search.fit(X_train, y_train) 使用训练数据运行网格搜索。GridSearchCV 会遍历 param_grid 中的所有超参数组合，对每种组合进行交叉验证，并记录性能。

5. 获取最佳结果:

   • grid_search.best_estimator_: 访问找到的最佳模型 (已经使用最佳超参数训练好的模型)。

   • grid_search.best_params_: 访问最佳超参数组合。

   • grid_search.best_score_: 访问最佳超参数组合在交叉验证中的平均得分。

6. 评估最佳模型: 使用 best_model.score(X_test, y_test) 在测试集上评估最佳模型的性能。

网格搜索的优点: 能够找到全局最优的超参数组合 (在指定的网格范围内)。

网格搜索的缺点: 当超参数空间很大时，计算成本很高，搜索时间很长。

3.4.2 随机搜索 (RandomizedSearchCV):

随机搜索是一种更高效的超参数调优方法，尤其适用于超参数空间较大时。与网格搜索不同，随机搜索不是遍历所有组合，而是在指定的超参数空间中随机采样一定数量的组合进行搜索。

from sklearn.model_selection import RandomizedSearchCV
from sklearn.svm import SVC
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from scipy.stats import uniform, expon
# 加载鸢尾花数据集
iris = load_iris()
X, y = iris.data, iris.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)
# 定义超参数分布 (使用 scipy.stats 定义连续分布)
param_distributions = {
    'C': expon(scale=100),  # 指数分布，scale=100 控制范围
    'kernel': ['linear', 'rbf'],
    'gamma': uniform(0.001, 1)  # 均匀分布，范围 [0.001, 1.001)
}
# 创建 RandomizedSearchCV 对象
random_search = RandomizedSearchCV(SVC(), param_distributions, n_iter=10, cv=5, scoring='accuracy', random_state=42)  # 随机采样 10 组超参数
# 运行随机搜索
random_search.fit(X_train, y_train)
# 最佳模型和最佳超参数
best_model_random = random_search.best_estimator_
best_params_random = random_search.best_params_
best_score_random = random_search.best_score_
print(f"最佳超参数 (随机搜索): {best_params_random}")
print(f"最佳交叉验证得分 (随机搜索): {best_score_random}")
# 使用最佳模型在测试集上评估性能
test_accuracy_random = best_model_random.score(X_test, y_test)
print(f"测试集准确率 (最佳模型 - 随机搜索): {test_accuracy_random}")
​

代码详解:

1. 导入 RandomizedSearchCV 和分布函数: 从 sklearn.model_selection 导入 RandomizedSearchCV，并从 scipy.stats 导入分布函数 (例如 uniform, expon)，用于定义连续超参数的分布。

2. 定义超参数分布 param_distributions: 创建一个字典 param_distributions，定义要搜索的超参数及其分布。

   • 对于离散超参数 (例如 kernel), 可以直接使用列表指定取值范围。

   • 对于连续超参数 (例如 C, gamma), 可以使用 scipy.stats 中的分布函数来定义其分布范围。例如，expon(scale=100) 表示指数分布，uniform(0.001, 1) 表示均匀分布。

3. 创建 RandomizedSearchCV 对象:

   • RandomizedSearchCV(SVC(), param_distributions, n_iter=10, cv=5, scoring='accuracy', random_state=42): 创建 RandomizedSearchCV 对象。

     • n_iter=10: 指定随机采样的超参数组合数量为 10。可以根据计算资源和时间预算调整 n_iter 的值。

4. 运行随机搜索: random_search.fit(X_train, y_train) 运行随机搜索。RandomizedSearchCV 会从 param_distributions 中随机采样 n_iter 组超参数组合，进行交叉验证并记录性能。

5. 获取最佳结果: 与 GridSearchCV 类似，使用 random_search.best_estimator_, random_search.best_params_, random_search.best_score_ 访问最佳模型、最佳超参数和最佳交叉验证得分。

随机搜索的优点: 比网格搜索更高效，尤其适用于高维超参数空间。能够探索更广泛的超参数空间。

随机搜索的缺点: 可能无法保证找到全局最优的超参数组合，但通常能够找到接近最优的解。

3.5 超参数调优的注意事项:

• 选择合适的评估指标: 根据具体的任务和目标选择合适的评估指标 (例如准确率、精确率、召回率、F1 值、AUC、均方误差等)。

• 使用交叉验证: 使用交叉验证 (例如 K 折交叉验证) 来评估超参数组合的性能，避免过拟合到训练集。

• 合理的超参数范围: 根据模型和数据的特点，选择合理的超参数搜索范围。可以参考模型的文档和经验值。

• 迭代调优: 超参数调优通常是一个迭代过程。可以先进行粗略的搜索，找到一个大致的超参数范围，然后再进行更精细的搜索。

• 考虑计算成本: 超参数调优可能需要大量的计算资源和时间。需要根据实际情况选择合适的调优方法和参数设置。

4. 超参数 vs 参数：总结与对比

为了更清晰地理解超参数和参数的区别，我们使用表格进行总结和对比：

5. 结论

理解超参数和参数的区别是掌握 Scikit-learn 和机器学习的关键一步。参数是模型从数据中学习到的知识，而超参数则是我们引导模型学习的工具。有效地进行超参数调优，找到最佳的超参数组合，可以显著提升模型的性能，构建出更强大、更精准的机器学习模型。