Semantica · 第 4 章 数据治理：冲突与去重

Semantica · 第 4 章 数据治理：冲突与去重

章节摘要：本章装配管线第④段（conflict+dedup）：多源数据汇入后，“张三的年龄到底是 35 还是 53”这类冲突与“同一实体的 N 种写法”这类冗余必须先治理，图谱才可信。本章讲清 conflict_detector 的检测/消解/来源追踪，与 deduplication 的阻塞+语义两段去重及实体合并。

装配坐标

学习目标

• 理解多源数据融合为什么必然产生冲突：字段冲突、值冲突、时序冲突三类典型形态
• 读通 conflict_detector（1423 行）的检测→消解→来源追踪三步流程
• 掌握 deduplication 的阻塞（blocking）+语义相似两段式去重策略及各自适用规模
• 理解实体合并的规则与风险：什么该合、什么不该合、合并之后如何追溯
• 把治理意识接回管线：理解为什么抽取之后、正式建图之前必须插入这一段

子章节导航

01 conflict_detector：冲突检测与消解

冲突检测、消解策略与来源追踪：每个“被采纳的事实”都能说清为什么选它。

02 deduplication：去重与实体合并

阻塞+语义去重两段策略；实体合并守住图谱唯一性，重复节点不再稀释图分析结果。

前置知识与后续延伸

前置：第 3 章（知道抽取产物长什么样即可），配 cookbook 对应章节动手对照。
后续：第 5 章确定性推理——只有治理过的图，推理出的结论才站得住脚。