经典NLP模型与任务

文档摘要

经典NLP模型与任务经典NLP模型与任务自然语言处理（NLP）领域的核心在于让计算机理解、解释和生成人类语言。为了实现这一目标，研究人员和工程师们开发了各种经典模型和任务，它们构成了现代NLP技术的基础。本章将深入探讨这些经典模型和任务，揭示它们的工作原理、应用场景以及在NLP发展中的里程碑意义。语言模型 (Language Models) 语言模型是NLP的基石，其核心任务是计算一个词序列出现的概率。简单来说，它试图回答“给定前面的一些词，下一个词最可能是什么？”这个问题。 1.1 n-gram 语言模型 n-gram 语言模型是早期最常用的语言模型之一。它基于马尔可夫假设，即一个词的出现只依赖于它前面有限个词（n-1个词）。原理: 一个词序列 $W = w1, w2, ...