第 3 章 分词台:映射与分析器如何拆解文档


文档摘要

第 3 章 · 分词台:映射与分析器如何拆解文档 章节摘要:文档进入引擎的第一站是分词台——映射(mapping)先给每个字段定规则,分析器(analyzer)再把文本拆成词条、写进倒排索引。这一章决定 doc-1001 "能不能被搜到、以什么形态被搜到":text 与 keyword 的分野、标准分析器对中文的短处、自定义分析器的组装方法、索引的设置与别名机制。分词台是全旅程中回报率最高的一站,投入一小时,省掉后面无数次"为什么搜不到"。 学习目标 阅读完本章,你应当能够: 写出带 text、keyword、date、integer 字段的显式映射,并解释每个选择的检索与聚合后果。 用分析接口亲眼看到一段文本被拆成的词条,指出标准分析器处理中文时的行为。

第 3 章 · 分词台:映射与分析器如何拆解文档

章节摘要:文档进入引擎的第一站是分词台——映射(mapping)先给每个字段定规则,分析器(analyzer)再把文本拆成词条、写进倒排索引。这一章决定 doc-1001 "能不能被搜到、以什么形态被搜到":text 与 keyword 的分野、标准分析器对中文的短处、自定义分析器的组装方法、索引的设置与别名机制。分词台是全旅程中回报率最高的一站,投入一小时,省掉后面无数次"为什么搜不到"。

学习目标

阅读完本章,你应当能够:

  1. 写出带 text、keyword、date、integer 字段的显式映射,并解释每个选择的检索与聚合后果。
  2. 用分析接口亲眼看到一段文本被拆成的词条,指出标准分析器处理中文时的行为。
  3. 按字符过滤器、分词器、词条过滤器的顺序组装一个自定义分析器,解决中英混排的切词问题。
  4. 读一份索引设置,区分静态参数与动态参数,说明主分片数为什么属于前者。
  5. 用别名实现索引的零停机重建与切换,把"主分片数不可改"的限制变成可操作的扩容流程。

核心概念速览

金句:映射是文档的户籍,分析器是文本的剪刀——户籍定错了要搬家重来,剪刀钝了则永远搜不全。

子章节导航

3.1 映射:文档进站前的登记表

从动态映射的便利与风险讲起,过渡到显式映射的完整写法:字段类型清单、text 加 keyword 子字段的双形态套路、参数调档。最后回答那个经典问题——映射错了为什么只能重建。

3.2 分析器解剖:字符过滤、分词与归一化

用分析接口当显微镜,逐个观察标准分析器对中英文的处理;再按三段流水线组装自定义分析器,处理繁简、全半角、停用词这些真实脏数据。搜索质量的根子在这一节。

3.3 索引的生老病死:创建、设置、别名与删除

索引不止"建了就用":设置分静态与动态、别名让重建与切换零停机、删除与关闭各有场景。读完你会掌握一套完整的索引生命周期操作,为第 9 章的容量规划打底。

子章节之间的逻辑关系

三节沿着"登记、拆解、容器"递进:映射先声明规则,分析器在规则之下执行拆解,索引设置则管理承载两者的容器。3.2 的分析器必须挂在映射的字段上才生效,3.3 的别名切换正是 3.1 所说"改映射要重建索引"的标准解法——三节互为工具与出口。

3.1 映射定规则 ──► 3.2 分析器执行拆解 ──► 3.3 索引容器管理 │ │ │ └─► 第5章 term与match │ └─► 第8章 分片与容量 └─► 第9章 案例里的中文检索调优

本章考核清单

考核点 达标标准 对应小节
写显式映射 给定工单字段清单,写出含 text、keyword、date、integer 的完整映射 3.1
双形态套路 解释 text 挂 keyword 子字段解决什么问题,写出使用两种形态的请求 3.1
预测分析结果 给定一段中英混排文本,说出标准分析器切出的词条序列 3.2
组装分析器 按字符过滤、分词、词条过滤三段组装自定义分析器并验证 3.2
零停机重建 独立演练建新、搬运、切别名、删旧四步,并说明切换为何原子 3.3

易错点速查

  • 映射里只写 text 忘了聚合形态:报表上线才发现按标题分组拿到的是碎词条,回头补子字段又要重建。
  • 换个索引验证分析器:分析器定义在索引设置里,跨索引的验证结果不可比,测试要在同设置的目标索引上做。
  • 别名一换就删旧索引:回滚窗口瞬间归零,观察几天再删是纪律,删除不可逆。

前置知识与后续延伸

  • 前置知识:第 1 章倒排索引与分词决定搜索上限的论断;第 2 章五步往返里动态映射的伏笔;JSON 嵌套结构读写无碍。
  • 后续延伸:本章的词条形态直接决定第 5 章 match 与 term 的行为差异;别名机制在第 9 章综合案例里承担零停机重建;分析器调优思路会迁移到第 9 章的中文搜索优化。

作者与出处
原作者: 灏天文库
来源:灏天文库
整理: 灏天文库整理
由灏天文库平台收录,内容或由平台用户上传,仅供学习交流
发布者: 作者: 灏天文库 转发
评论区 (0)
U