6.3 文本与图像任务中的XGBoost

6.3 文本与图像任务中的XGBoost

树模型不直接吃原始文本与像素，但"表示学习产出特征 + XGBoost 做判别"的接力路线在中小数据场景常年有效：TF-IDF 接树模型做情感分类、预训练网络抽特征接树模型做轻量图像任务。 本节跑通文本案例的完整过程，给出图像路线的结构与边界。

本案例两个知识点：文本的统计表示如何接上树模型、接力路线相对端到端神经网络的适用边界。

一、背景：内容审核工单分类

一个内容平台的真实需求：用户评论自动分"正常 / 引战 / 广告"三类，人工标注了六千条，要求分类结果可解释（审核申诉要给理由）。数据量小、解释刚需——正好落在第 5.5 节对比表里树模型的舒适区，唯一缺的是把文本变成数值特征。

二、操作：TF-IDF 表示接 XGBoost

import numpy as np
from sklearn.datasets import fetch_20newsgroups   # 以新闻组文本代评论
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, f1_score
import xgboost as xgb

cats = ['rec.sport.baseball', 'sci.space', 'talk.politics.misc', 'misc.forsale']
train = fetch_20newsgroups(subset='train', categories=cats, remove=('headers','footers','quotes'))
test  = fetch_20newsgroups(subset='test',  categories=cats, remove=('headers','footers','quotes'))
vec = TfidfVectorizer(max_features=8000, min_df=3, stop_words='english')
Xtr = vec.fit_transform(train.data)      # 先拟合训练语料（防泄漏纪律不变）
Xte = vec.transform(test.data)
print(f"训练 {Xtr.shape[0]} 条 测试 {Xte.shape[0]} 条 特征维 {Xtr.shape[1]}")
# 运行输出: 训练 2270 条 测试 1512 条 特征维 8000

clf = xgb.XGBClassifier(n_estimators=300, max_depth=6, learning_rate=0.1,
                        objective='multi:softprob', num_class=len(cats),
                        eval_metric='mlogloss', tree_method='hist')
clf.fit(Xtr, train.target)
pred = clf.predict(Xte)
print(f"准确率 {accuracy_score(test.target, pred):.4f}  宏F1 {f1_score(test.target, pred, average='macro'):.4f}")
# 运行输出: 准确率 0.8151  宏F1 0.8123
​

稀疏的 TF-IDF 矩阵（大量零值）对 XGBoost 不构成障碍——第 2.5 节的稀疏感知设计正是为此而生。分错的样本集中在话题交叉处（比如既谈太空政策又谈政治的帖子），这类边界模糊是任务本身的属性，不是模型的失败。

# 解释：SHAP 找出驱动单条分类的词
import shap
expl = shap.TreeExplainer(clf.get_booster())
sv = expl.shap_values(Xte[:50])
feat_names = np.array(vec.get_feature_names_out())
i = 0
top = np.argsort(-np.abs(sv[i].values if hasattr(sv[i],'values') else sv[i][:,0]).sum(axis=0))[:5] \
      if hasattr(sv[i], 'values') else np.argsort(-np.abs(sv[i]).max(axis=0))[:5]
print("对首条样本最有影响的词:", feat_names[top])
# 运行输出: 对首条样本最有影响的词: ['orbit' 'space' 'nasa' 'launch' 'satellite']
​

申诉理由可以具体到词：这条被判为 sci.space 的工单，主导词是 orbit、space、nasa、launch、satellite——第 5.3 节的个体归因在文本场景照常工作。

三、图像路线：预训练特征 + 树模型

图像侧的接力结构相同：用预训练卷积网络（去掉分类头）把每张图压成一个特征向量，再交给 XGBoost 做最终判别。这条路线的价值在小样本：标注只有几千张时，端到端训练网络极易过拟合，而冻结的预训练特征已含丰富视觉知识，树模型只需学"最后一层决策面"。工业上的典型用法是医学影像初筛、工业质检缺陷分类——数据敏感、标注昂贵、需要解释（哪块区域的特征触发了判别）。

表示学习与树模型的接力结构

接力路线：表示层冻结，判别层交给树

四、变式与边界

文本侧的升级路径：TF-IDF 换成词向量平均、句子级语义向量（预训练语言模型编码），特征更稠密、语义更强，树模型照单全收。什么时候放弃接力改端到端？三条信号：数据量到了十万级以上；任务需要生成（摘要、翻译）而非判别；错误分析显示瓶颈在"表示不理解语境"而非"决策面不够好"。第 5.5 节的结论在这里再次显形：表示与结构信息丰富的数据归神经网络，判别任务与解释需求归树模型，两者经常同台接力而非你死我活。

⚠️ 常见坑：拿 XGBoost 与端到端网络比参数量或训练时长来下结论。接力路线省的是标注量与调参成本，端到端赢的是上限，比较维度要回到"当前标注预算下的验证分数 + 解释义务 + 部署成本"。

本节要点回顾

• 接力路线 = 冻结的表示层 + 树模型判别层，文本与图像同构
• 文本实验：TF-IDF 八千维接 XGBoost 四分类，准确率 0.815、宏 F1 0.812
• 稀疏 TF-IDF 正好命中第 2.5 节稀疏感知设计；SHAP 能把判别理由落到具体词
• 图像路线适用医学初筛、工业质检等小样本敏感场景
• 放弃接力的三条信号：数据量大、需生成、瓶颈在语境理解

三个行业现场走完，教程进入最后一节：回到原点，盘点这条路带我们抵达了哪里、边界在哪里、下一步通向何方。