AI Engineering · 第 6 章 自然语言处理

AI Engineering · 第 6 章 自然语言处理

章节摘要:本章对应原课程「05-nlp-foundations-to-advanced」,属「第一篇·深度学习」。让机器处理语言——从词袋到注意力到 RAG 评估。本章共 29 节,前置依赖为「第4章」。理解文本如何变成向量,就理解了 LLM 之前的一切 NLP。 本章将带你逐节吃透这一领域的核心概念,并尽量从零手工实现,再用主流框架对比验证。

学习目标

阅读完本章,你应当能够:

1. 理解自然语言处理在整个 AI 工程体系中的定位(让机器处理语言——从词袋到注意力到 RAG 评估)。
2. 掌握本章 29 节覆盖的核心概念与算法。
3. 能够从零实现本章的关键模型/机制,并用框架对比验证。
4. 说清本章与前后章节的依赖关系(前置:第4章)。
5. 识别本章主题在生产实践中的常见应用与陷阱。

注:具体学习目标将在各子节汉化时细化为可考核的能力点。

核心概念速览

理解文本如何变成向量,就理解了 LLM 之前的一切 NLP。

注:本章的 Mermaid 概念图将在支柱页完善时替换为本章核心架构/流程图(基于原 Phase README 与首节内容绘制)。

子章节导航

01 Text Processing — Tokenization, Stemming, Lemmatization

02 Bag of Words, TF-IDF, and Text Representation

03 Word Embeddings — Word2Vec from Scratch

04 GloVe, FastText, and Subword Embeddings

05 Sentiment Analysis

06 Named Entity Recognition

07 POS Tagging and Syntactic Parsing

08 CNNs and RNNs for Text

...(本章共 29 节,详见原项目 phases/05-nlp-foundations-to-advanced/)

子章节之间的逻辑关系

本章共 29 节,按原课程的编号顺序递进。详细的逻辑关系图将在支柱页完善时补充(基于各节的依赖与铺垫关系)。

本章第 01 节 ... ──► 第 29 节
   │
   ▼
下一章(第 7 章)
​

前置知识与后续延伸

前置知识:

• 第4章

本章为后续章节奠定的基础:

• 见原课程 README 的 Phase 依赖图(原项目根 README.md)。

本章支柱页为骨架初稿,各板块将在对应章节汉化推进时细化。原英文内容位于 phases/05-nlp-foundations-to-advanced/,每节正文为 docs/en.md,汉化状态见「教程规划.md」的待汉化清单。