8.3 机器学习结果可视化

8.3 机器学习结果可视化

第八章：Seaborn实践案例：8.3 机器学习结果可视化

引言

在机器学习项目流程中，模型训练和评估仅仅是冰山一角。真正的价值往往蕴藏在对模型结果的深入理解和有效沟通上。而机器学习结果可视化，正是连接模型与业务理解的关键桥梁。它不仅能帮助数据科学家洞察模型性能、发现潜在问题，还能将复杂的模型输出转化为易于理解的视觉语言，促进团队协作和向非技术人员的有效汇报。

Seaborn，作为Python中基于Matplotlib的高级可视化库，以其简洁的语法、美观的图表风格和强大的统计图形功能，成为机器学习结果可视化的理想工具。本节将深入探讨如何利用 Seaborn 强大的功能，针对不同类型的机器学习任务和结果，进行有效且富有洞察力的可视化呈现。

8.3.1 机器学习结果可视化的重要性

在深入代码实践之前，我们首先需要理解机器学习结果可视化的重要性。它不仅仅是为了“好看”，更是为了：

• 模型诊断与改进: 可视化可以帮助我们快速识别模型性能瓶颈，例如：

  • 分类模型: 混淆矩阵可视化可以揭示模型在哪些类别上容易混淆，ROC 曲线和 AUC 值可以评估模型整体分类性能。

  • 回归模型: 预测值与实际值散点图、残差图可以帮助我们判断模型是否过拟合、欠拟合，以及误差分布是否符合假设。

  • 聚类模型: 聚类结果散点图、轮廓系数可视化可以帮助我们评估聚类效果，判断聚类是否合理。

• 结果沟通与汇报: 机器学习模型的结果往往是抽象的数值或复杂的报告，难以被非技术人员理解。可视化可以将这些结果转化为直观的图表，例如：

  • 向业务部门展示模型预测效果，例如用户流失预测模型的准确率、召回率等。

  • 向管理层汇报模型带来的业务价值，例如销售预测模型的预测精度提升带来的营收增长。

• 特征重要性分析: 对于一些可解释性较强的模型（如线性模型、树模型），可视化特征重要性可以帮助我们理解模型决策过程，发现哪些特征对模型预测起关键作用，从而指导特征工程和业务策略。

• 模型比较与选择: 当我们训练多个模型进行比较时，可视化可以帮助我们直观地对比不同模型的性能优劣，例如通过 ROC 曲线、PR 曲线等对比不同分类模型的性能。

8.3.2 Seaborn 在机器学习结果可视化中的应用

Seaborn 提供了丰富的图表类型和定制选项，能够满足机器学习结果可视化的各种需求。以下我们将针对常见的机器学习任务，结合代码示例，详细介绍 Seaborn 的应用。

8.3.2.1 分类模型结果可视化

对于分类模型，我们常用的评估指标包括准确率、精确率、召回率、F1-score、AUC 等。Seaborn 可以帮助我们可视化这些指标以及更深入地分析模型性能。

1. 混淆矩阵 (Confusion Matrix)

混淆矩阵是评估分类模型性能最直观的工具之一。它展示了模型预测结果与真实标签之间的对应关系，可以帮助我们了解模型在哪些类别上容易混淆。

import seaborn as sns
import matplotlib.pyplot as plt
from sklearn.metrics import confusion_matrix
import numpy as np
import pandas as pd
# 假设我们有真实的标签 y_true 和模型预测的标签 y_pred
# 这里为了示例，我们生成一些随机数据
y_true = np.random.randint(0, 3, 100) # 假设有3个类别
y_pred = y_true.copy()
# 模拟一些预测错误
for i in range(20):
    idx = np.random.randint(0, 100)
    y_pred[idx] = np.random.randint(0, 3) if y_pred[idx] < 2 else (y_pred[idx] - 1) # 稍微模拟一些混淆
# 计算混淆矩阵
cm = confusion_matrix(y_true, y_pred)
# 使用 Seaborn 的 heatmap 绘制混淆矩阵
plt.figure(figsize=(8, 6))
sns.heatmap(cm, annot=True, fmt='d', cmap='Blues',
            xticklabels=['类别0', '类别1', '类别2'],
            yticklabels=['类别0', '类别1', '类别2'])
plt.xlabel('预测类别')
plt.ylabel('真实类别')
plt.title('混淆矩阵')
plt.show()
​

代码详解:

• confusion_matrix(y_true, y_pred): Scikit-learn 库中的函数，用于计算混淆矩阵。输入真实标签 y_true 和预测标签 y_pred，输出一个二维数组，表示混淆矩阵。

• sns.heatmap(cm, annot=True, fmt='d', cmap='Blues', ...): Seaborn 的 heatmap 函数用于绘制热力图，非常适合可视化矩阵数据。

  • cm: 混淆矩阵数据。

  • annot=True: 在每个单元格中显示数值。

  • fmt='d': 数值格式为整数 (d 代表 digit)。

  • cmap='Blues': 颜色映射方案，这里使用蓝色系，颜色越深数值越大。

  • xticklabels 和 yticklabels: 设置 x 轴和 y 轴的标签，更清晰地表示类别含义。

图表解读:

混淆矩阵的每一行代表真实类别，每一列代表预测类别。对角线上的数值表示模型预测正确的样本数量，非对角线上的数值表示模型预测错误的样本数量。颜色越深，数值越大。通过混淆矩阵，我们可以快速了解：

• 模型在哪些类别上表现良好？ (对角线数值较大)

• 模型容易将哪些类别混淆？ (非对角线数值较大)

• 是否存在类别不平衡问题？ (不同类别的样本数量差异较大，可能影响模型评估)

2. ROC 曲线和 AUC 值 (Receiver Operating Characteristic curve & Area Under Curve)

ROC 曲线和 AUC 值是评估二分类模型性能的重要指标，尤其是在类别不平衡的情况下。ROC 曲线以假正例率 (FPR) 为横轴，真正例率 (TPR) 为纵轴，描绘了在不同阈值下模型的性能表现。AUC 值是 ROC 曲线下的面积，取值范围在 0 到 1 之间，AUC 值越大，模型性能越好。

from sklearn.metrics import roc_curve, roc_auc_score
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
# 假设我们有一个二分类数据集 (X, y)
# 这里为了示例，我们生成一些随机数据
from sklearn.datasets import make_classification
X, y = make_classification(n_samples=100, n_classes=2, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)
# 训练一个逻辑回归模型
model = LogisticRegression()
model.fit(X_train, y_train)
# 预测测试集概率
y_prob = model.predict_proba(X_test)[:, 1] # 获取正类概率
# 计算 ROC 曲线和 AUC 值
fpr, tpr, thresholds = roc_curve(y_test, y_prob)
auc_value = roc_auc_score(y_test, y_prob)
# 使用 Seaborn 绘制 ROC 曲线
plt.figure(figsize=(8, 6))
sns.lineplot(x=fpr, y=tpr, label=f'ROC curve (AUC = {auc_value:.2f})')
sns.lineplot(x=[0, 1], y=[0, 1], linestyle='--', color='gray', label='Random') # 绘制随机猜测线
plt.xlabel('假正例率 (FPR)')
plt.ylabel('真正例率 (TPR)')
plt.title('ROC 曲线')
plt.legend()
plt.show()
print(f"AUC 值: {auc_value:.2f}")
​

代码详解:

• roc_curve(y_test, y_prob): Scikit-learn 库中的函数，计算 ROC 曲线的 FPR、TPR 和阈值。

• roc_auc_score(y_test, y_prob): Scikit-learn 库中的函数，计算 AUC 值。

• sns.lineplot(x=fpr, y=tpr, ...): Seaborn 的 lineplot 函数用于绘制折线图，这里绘制 ROC 曲线。

  • label=f'ROC curve (AUC = {auc_value:.2f})': 在图例中显示 ROC 曲线的标签，并包含 AUC 值。

• sns.lineplot(x=[0, 1], y=[0, 1], ...): 绘制一条随机猜测线，作为参考基线。

图表解读:

• ROC 曲线: 曲线越靠近左上角，模型性能越好。理想的模型 ROC 曲线应该尽可能地靠近左上角，表示在较低的 FPR 下，能获得较高的 TPR。

• AUC 值: AUC 值越接近 1，模型性能越好。AUC 值为 0.5 表示模型性能接近随机猜测，AUC 值小于 0.5 表示模型性能比随机猜测还差（可能需要反转预测结果）。

3. 精确率-召回率曲线 (Precision-Recall Curve)

精确率-召回率曲线 (PR 曲线) 也是评估二分类模型性能的重要指标，尤其是在关注正类 (positive class) 的情况下，例如欺诈检测、疾病诊断等。PR 曲线以召回率 (Recall) 为横轴，精确率 (Precision) 为纵轴，描绘了在不同阈值下模型的性能表现。

from sklearn.metrics import precision_recall_curve, average_precision_score
# 计算精确率-召回率曲线和平均精确率 (AP)
precision, recall, thresholds = precision_recall_curve(y_test, y_prob)
ap_value = average_precision_score(y_test, y_prob)
# 使用 Seaborn 绘制 PR 曲线
plt.figure(figsize=(8, 6))
sns.lineplot(x=recall, y=precision, label=f'PR curve (AP = {ap_value:.2f})')
plt.xlabel('召回率 (Recall)')
plt.ylabel('精确率 (Precision)')
plt.title('精确率-召回率曲线')
plt.legend()
plt.show()
print(f"平均精确率 (AP) 值: {ap_value:.2f}")
​

代码详解:

• precision_recall_curve(y_test, y_prob): Scikit-learn 库中的函数，计算 PR 曲线的精确率、召回率和阈值。

• average_precision_score(y_test, y_prob): Scikit-learn 库中的函数，计算平均精确率 (AP 值)，它是 PR 曲线下的面积的近似值。

• sns.lineplot(x=recall, y=precision, ...): Seaborn 的 lineplot 函数用于绘制 PR 曲线。

图表解读:

• PR 曲线: 曲线越靠近右上角，模型性能越好。理想的模型 PR 曲线应该尽可能地靠近右上角，表示在较高的召回率下，能保持较高的精确率。

• AP 值: AP 值越接近 1，模型性能越好。AP 值可以理解为平均精确率，更直观地反映了模型在不同召回率水平下的平均精确度。

4. 特征重要性可视化 (Feature Importance)

对于一些可解释性较强的分类模型，例如逻辑回归、决策树、随机森林等，我们可以可视化特征重要性，了解哪些特征对模型预测起关键作用。

from sklearn.ensemble import RandomForestClassifier
# 训练一个随机森林模型
model_rf = RandomForestClassifier(random_state=42)
model_rf.fit(X_train, y_train)
# 获取特征重要性
feature_importance = model_rf.feature_importances_
# 假设特征名称存储在 feature_names 列表中
feature_names = [f'特征{i+1}' for i in range(X.shape[1])] # 示例特征名称
# 将特征重要性转换为 Pandas Series，并排序
importance_series = pd.Series(feature_importance, index=feature_names).sort_values(ascending=False)
# 使用 Seaborn 的 barplot 绘制特征重要性
plt.figure(figsize=(10, 6))
sns.barplot(x=importance_series.values, y=importance_series.index, palette='viridis')
plt.xlabel('特征重要性')
plt.ylabel('特征名称')
plt.title('特征重要性')
plt.show()
​

代码详解:

• model_rf.feature_importances_: 随机森林模型对象的属性，返回特征重要性数组。不同模型获取特征重要性的方法可能不同，例如线性模型可以使用系数的绝对值。

• pd.Series(feature_importance, index=feature_names).sort_values(ascending=False): 将特征重要性转换为 Pandas Series，并按照重要性降序排序，方便可视化。

• sns.barplot(x=importance_series.values, y=importance_series.index, ...): Seaborn 的 barplot 函数用于绘制条形图，这里绘制特征重要性条形图。

  • palette='viridis': 颜色调色板，这里使用 'viridis' 色系。

图表解读:

特征重要性条形图展示了不同特征对模型预测的相对重要程度。条形图越长，表示特征越重要。通过特征重要性可视化，我们可以：

• 理解模型决策过程: 了解哪些特征是模型预测的关键因素。

• 特征选择: 可以根据特征重要性进行特征选择，保留重要特征，剔除不重要特征，提高模型效率和泛化能力。

• 业务洞察: 结合业务知识，分析重要特征的业务含义，发现潜在的业务规律和机会。

5. 决策边界可视化 (Decision Boundary)

对于低维 (例如二维) 分类问题，我们可以可视化模型的决策边界，直观地了解模型是如何进行分类的。

# 假设我们使用二维特征数据 X_2d 和对应的标签 y
X_2d = X[:, :2] # 取前两个特征作为二维数据
# 训练一个逻辑回归模型 (或者其他分类模型)
model_db = LogisticRegression()
model_db.fit(X_2d, y)
# 创建网格数据用于绘制决策边界
x_min, x_max = X_2d[:, 0].min() - 0.5, X_2d[:, 0].max() + 0.5
y_min, y_max = X_2d[:, 1].min() - 0.5, X_2d[:, 1].max() + 0.5
xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.02),
                     np.arange(y_min, y_max, 0.02))
# 预测网格数据点的类别
Z = model_db.predict(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)
# 使用 Seaborn 和 Matplotlib 绘制决策边界
plt.figure(figsize=(8, 6))
# 绘制决策区域
plt.contourf(xx, yy, Z, cmap=plt.cm.RdBu, alpha=0.8)
# 绘制样本散点图
sns.scatterplot(x=X_2d[:, 0], y=X_2d[:, 1], hue=y, palette=plt.cm.RdBu, edgecolor='k')
plt.xlabel('特征1')
plt.ylabel('特征2')
plt.title('决策边界可视化')
plt.xlim(xx.min(), xx.max())
plt.ylim(yy.min(), yy.max())
plt.show()
​

代码详解:

• X_2d = X[:, :2]: 选取前两个特征作为二维数据，用于决策边界可视化。

• np.meshgrid(...): 生成网格数据，用于绘制决策区域。

• model_db.predict(np.c_[xx.ravel(), yy.ravel()]): 预测网格数据点的类别。

• plt.contourf(xx, yy, Z, cmap=plt.cm.RdBu, alpha=0.8): 使用 Matplotlib 的 contourf 函数绘制填充的等高线图，表示决策区域。

• sns.scatterplot(x=X_2d[:, 0], y=X_2d[:, 1], hue=y, ...): 使用 Seaborn 的 scatterplot 函数绘制样本散点图，hue=y 参数根据类别标签着色。

图表解读:

决策边界图清晰地展示了模型在二维特征空间上的分类区域。不同颜色区域代表模型预测的不同类别，边界线表示模型的决策边界。通过决策边界可视化，我们可以：

• 直观理解模型分类逻辑: 了解模型是如何划分不同类别的。

• 判断模型是否过拟合/欠拟合: 过于复杂的决策边界可能表示过拟合，过于简单的决策边界可能表示欠拟合。

• 特征空间分析: 结合特征空间分布，理解模型在不同特征区域的分类行为。

8.3.2.2 回归模型结果可视化

对于回归模型，我们常用的评估指标包括均方误差 (MSE)、均方根误差 (RMSE)、平均绝对误差 (MAE)、R² 值等。Seaborn 可以帮助我们可视化预测值与实际值的关系，以及误差分布等信息。

1. 预测值 vs. 实际值散点图 (Predicted vs. Actual Scatter Plot)

预测值 vs. 实际值散点图是最直观的回归模型结果可视化方式。它以实际值为横轴，预测值为纵轴，绘制散点图。理想情况下，散点应该集中在对角线附近，表示模型预测值与实际值接近。

from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
# 假设我们有一个回归数据集 (X_reg, y_reg)
# 这里为了示例，我们生成一些随机数据
from sklearn.datasets import make_regression
X_reg, y_reg = make_regression(n_samples=100, n_features=2, noise=20, random_state=42)
X_reg_train, X_reg_test, y_reg_train, y_reg_test = train_test_split(X_reg, y_reg, test_size=0.3, random_state=42)
# 训练一个线性回归模型
model_reg = LinearRegression()
model_reg.fit(X_reg_train, y_reg_train)
# 预测测试集
y_reg_pred = model_reg.predict(X_reg_test)
# 计算 MSE
mse = mean_squared_error(y_reg_test, y_reg_pred)
print(f"均方误差 (MSE): {mse:.2f}")
# 使用 Seaborn 绘制预测值 vs. 实际值散点图
plt.figure(figsize=(8, 6))
sns.scatterplot(x=y_reg_test, y=y_reg_pred)
plt.plot([y_reg_test.min(), y_reg_test.max()], [y_reg_test.min(), y_reg_test.max()],
         linestyle='--', color='gray', label='理想预测线') # 绘制理想预测线
plt.xlabel('实际值')
plt.ylabel('预测值')
plt.title('预测值 vs. 实际值散点图')
plt.legend()
plt.show()
​

代码详解:

• sns.scatterplot(x=y_reg_test, y=y_reg_pred): Seaborn 的 scatterplot 函数绘制散点图，横轴为实际值 y_reg_test，纵轴为预测值 y_reg_pred。

• plt.plot([y_reg_test.min(), y_reg_test.max()], [y_reg_test.min(), y_reg_test.max()], ...): 绘制一条理想预测线 (y=x)，作为参考基线。

图表解读:

• 散点分布: 散点越集中在理想预测线附近，模型预测效果越好。如果散点分散较大，表示模型预测误差较大。

• 线性趋势: 如果散点呈现线性趋势，可能表明模型基本捕捉到了数据的主要关系，但可能存在系统性偏差。

• 非线性趋势: 如果散点呈现非线性趋势，可能表明线性模型不适合该数据，需要考虑非线性模型。

2. 残差图 (Residual Plot)

残差图是评估回归模型假设的重要工具。残差是指实际值与预测值之间的差异 (残差 = 实际值 - 预测值)。残差图以预测值为横轴，残差为纵轴，绘制散点图。理想情况下，残差应该随机分布在 0 值线附近，没有明显的模式。

# 计算残差
residuals = y_reg_test - y_reg_pred
# 使用 Seaborn 绘制残差图
plt.figure(figsize=(8, 6))
sns.scatterplot(x=y_reg_pred, y=residuals)
plt.axhline(y=0, linestyle='--', color='gray', label='零残差线') # 绘制零残差线
plt.xlabel('预测值')
plt.ylabel('残差')
plt.title('残差图')
plt.legend()
plt.show()
​

代码详解:

• residuals = y_reg_test - y_reg_pred: 计算残差。

• sns.scatterplot(x=y_reg_pred, y=residuals): Seaborn 的 scatterplot 函数绘制残差图，横轴为预测值 y_reg_pred，纵轴为残差 residuals。

• plt.axhline(y=0, linestyle='--', color='gray', ...): 绘制一条零残差线 (y=0)，作为参考基线。

图表解读:

• 随机性: 理想的残差图应该呈现随机分布，没有明显的模式。

• 非线性模式: 如果残差图呈现明显的非线性模式 (例如 U 形、倒 U 形)，可能表明模型未能捕捉到数据中的非线性关系。

• 异方差性: 如果残差的方差随着预测值的变化而变化 (例如漏斗形)，可能表明存在异方差性，违反了线性回归的同方差性假设。

• 异常值: 残差图中远离 0 值线的点可能是异常值，需要进一步检查。

3. 误差分布图 (Error Distribution Plot)

误差分布图可以帮助我们了解模型误差的分布情况，例如是否符合正态分布假设。常用的误差分布图包括直方图、核密度估计图 (KDE)。

# 使用 Seaborn 绘制误差分布直方图
plt.figure(figsize=(8, 6))
sns.histplot(residuals, kde=True) # 绘制直方图和核密度估计曲线
plt.xlabel('残差')
plt.ylabel('频数')
plt.title('残差分布直方图')
plt.show()
# 或者使用 KDE 图
plt.figure(figsize=(8, 6))
sns.kdeplot(residuals, fill=True) # 绘制填充的核密度估计曲线
plt.xlabel('残差')
plt.ylabel('密度')
plt.title('残差分布核密度估计图')
plt.show()
​

代码详解:

• sns.histplot(residuals, kde=True): Seaborn 的 histplot 函数绘制直方图，kde=True 参数表示同时绘制核密度估计曲线。

• sns.kdeplot(residuals, fill=True): Seaborn 的 kdeplot 函数绘制核密度估计曲线，fill=True 参数表示填充曲线下方区域。

图表解读:

• 分布形状: 观察误差分布的形状，例如是否近似正态分布、是否偏斜、是否存在多峰等。

• 中心趋势: 误差分布的中心是否接近 0，理想情况下应接近 0。

• 离散程度: 误差分布的离散程度反映了模型误差的大小，分布越集中，误差越小。

4. 特征重要性可视化 (Feature Importance) - 回归模型

类似于分类模型，对于一些可解释性较强的回归模型，例如线性回归、树模型等，我们也可以可视化特征重要性，了解哪些特征对模型预测目标变量起关键作用。代码实现方式与分类模型特征重要性可视化类似，只需根据具体的回归模型获取特征重要性即可。

8.3.2.3 聚类模型结果可视化

对于聚类模型，我们主要关注聚类结果的分布和簇的特征。Seaborn 可以帮助我们可视化聚类结果，评估聚类效果。

1. 聚类结果散点图 (Cluster Scatter Plot)

聚类结果散点图是最直观的聚类结果可视化方式。对于二维或三维数据，我们可以直接绘制散点图，并使用不同的颜色或形状表示不同的簇。