3.1.1.1 意图分类模型：基于BERT/Transformer的多标签分类器

文档摘要

3.1.1.1 意图分类模型：基于BERT/Transformer的多标签分类器 3.1.1.1 意图分类模型：基于BERT/Transformer的多标签分类器当“多标签”遇上“长尾”：一个被忽视却致命的训练陷阱在构建面向真实用户Query的理解系统时，意图分类是第一道也是最关键的关卡。我们常常兴奋地引入BERT或其变体，搭建起看似先进的多标签分类架构——毕竟，现实世界中的用户请求从来不是非此即彼的单选题。一句“帮我订明天北京到上海的机票，顺便查下天气”，天然包含“订票”和“查天气”两个意图。多标签建模似乎成了唯一合理的选择。然而，当模型上线后，你是否也经历过这样的窘境：明明训练集上指标光鲜亮丽（F1-score高达0.92！），线上A/B测试却惨不忍睹？