5.2 统计式与深度学习生成（Seq2Seq, Transformer）

文档摘要

5.2 统计式与深度学习生成（Seq2Seq, Transformer） 5.2 统计式与深度学习生成（Seq2Seq, Transformer）在对话系统的自然语言生成（NLG）领域，将内部表示转化为人类可读的自然语言是核心任务。早期的方法多依赖于规则和模板，但随着数据量的增长和计算能力的提升，统计式和深度学习生成模型逐渐成为主流。本章将详细探讨两种最具代表性的深度学习生成范式：Seq2Seq模型及其变体，以及Transformer模型。 5.2.1 统计式生成概述在深度学习模型兴起之前，统计式生成方法主要基于马尔可夫链、N-gram模型以及条件随机场（CRF）等。这些方法通过分析大量语料库中词语的共现频率和序列模式来预测下一个词。