文档摘要

语言学基础 语言学为 NLP 系统提供了一套结构性词汇，而这些系统会在学习中隐式地利用它们。本文件涵盖形态学、句法学、语义学、语用学、音系学、成分与依存分析，以及分布式假设——这门研究人类语言的科学，正是 AI 中分词、语法和意义的根基。 在构建能够理解或生成语言的系统之前，我们先得弄清楚语言本身是怎么运作的。 语言学是对语言的科学研究，它提供了一整套概念词汇，而 NLP 一直在源源不断地向它借用。 即便是从原始数据中学习语言的现代神经网络，也会隐式地重新发现语言学家几十年来已经记录在案的那些结构。 语言在每一个层次上都有结构：构成单词的语音、构成单词的语素、把单词组合成句子的规则、句子所承载的意义，以及语境如何塑造理解。我们会自底向上，一层一层地讲下去。

---