实体链接

实体链接

本节摘要:NER 找到了「Paris」,实体链接要决定:是法国巴黎、希尔顿、德州的巴黎、还是特洛伊王子帕里斯?不链接,你的知识图谱就停留在歧义上。一句话读「Jordan 击败了媒体」,NER 把「Jordan」标成 PERSON,可哪一个 Jordan?篮球迈克尔·乔丹、演员迈克尔·B·乔丹、伯克利机器学习教授迈克尔·I·乔丹(是的,这个混淆在机器学习论文里真实存在)、约旦国,还是希伯来名 Jordan?实体链接把每个提及解析到知识库(Wikidata、维基百科、DBpedia 或你的领域 KB)里的唯一条目。它有两个子任务:候选生成(给定「Jordan」,KB 里哪些条目合理?)与消歧(给定上下文,哪个候选是对的?)。两步都可学、都有基准,组合流水线已稳定十年,变化的是消歧器的质量。本节用三种消歧法(先验+上下文、嵌入式、生成式)从零搭出流水线,讲清两个必须同时报的指标——提及召回(整个流水线的地板)与消歧准确率(候选对时 top-1 多常对),并点名 NIL 处理、流行度偏置、KB 陈旧等生产陷阱。

对应原课程:Phase 5 · Lesson 25 · entity-linking(原英文 phases/05-nlp-foundations-to-advanced/25-entity-linking/docs/en.md)。前置依赖:第 06 节(NER)、第 24 节(共指消解)。

学习目标

阅读完本节,你应当能够:

1. 区分实体链接的两个子任务(候选生成、消歧),并说明为何提及召回是流水线的地板。
2. 讲清三种消歧法:先验+上下文、嵌入式(BLINK 风格)、生成式(GENRE/LLM)。
3. 从零实现别名词典、基于上下文的 Jaccard 消歧与嵌入式提及-实体编码。
4. 识别 NIL 处理、提及边界错误、流行度偏置、跨语言、KB 陈旧等陷阱。

一、问题与直觉

一句话:「Jordan beat the press.」你的 NER 把「Jordan」标成 PERSON。好。但哪个Jordan?

• 迈克尔·乔丹(篮球)?
• 迈克尔·B·乔丹(演员)?
• 迈克尔·I·乔丹(伯克利机器学习教授——是的,这个混淆在机器学习论文里真实存在)?
• 约旦(国家)?
• Jordan(希伯来名)?

实体链接(EL) 把每个提及解析到知识库(Wikidata、维基百科、DBpedia 或你的领域 KB)里的唯一条目。两个子任务:

1. 候选生成:给定「Jordan」,KB 里哪些条目合理?
2. 消歧:给定上下文,哪个候选是对的?

两步都可学、都有基准。组合流水线已稳定十年,变化的是消歧器的质量。

候选生成:给定提及的表层形式(「Jordan」),在别名索引里查候选。维基百科别名词典覆盖大多数命名实体:「JFK」→ John F. Kennedy、Jacqueline Kennedy、JFK 机场、JFK(电影)。典型索引对每个提及返回 10~30 个候选。

消歧的三种方法:

1. 先验 + 上下文(Milne & Witten, 2008):P(实体 | 提及) × 上下文-相似度(实体, 文本)。效果好、快、无需训练。
2. 嵌入式(ESS / REL / BLINK):编码提及+上下文,编码每个候选的描述,取最大余弦。2020~2024 的默认。
3. 生成式(GENRE, 2021;基于 LLM, 2023+):逐 token 解码出实体的规范名,用合法实体名 trie 约束解码,保证输出一定是合法 KB id。

💡 端到端 vs 流水线:现代模型(ELQ、BLINK、ExtEnD、GENRE)一次跑完 NER + 候选生成 + 消歧。流水线系统在生产里仍主导,因为你可以换组件。

两个测量

• 提及召回(候选生成):金提及里,正确 KB 条目出现在候选列表里的比例。整个流水线的地板。
• 消歧准确率 / F1:候选正确时,top-1 多常对。

⚠️ 总同时报两个。一个在 80% 候选召回上做到 99% 消歧的系统,是个 80% 的流水线。

二、从零实现

第 1 步:从维基百科重定向构别名索引

alias_to_entities = {
    "jordan": ["Q41421 (Michael Jordan)", "Q810 (Jordan, country)", "Q254110 (Michael B. Jordan)"],
    "paris":  ["Q90 (Paris, France)", "Q663094 (Paris, Texas)", "Q55411 (Paris Hilton)"],
    "apple":  ["Q312 (Apple Inc.)", "Q89 (apple, fruit)"],
}
​

维基百科别名数据:约 1800 万(别名, 实体)对,从 Wikidata 转储下载,存为倒排索引。

第 2 步:基于上下文的消歧

def disambiguate(mention, context, alias_index, entity_desc):
    candidates = alias_index.get(mention.lower(), [])
    if not candidates:
        return None, 0.0
    context_words = set(tokenize(context))
    best, best_score = None, -1
    for entity_id in candidates:
        desc_words = set(tokenize(entity_desc[entity_id]))
        union = len(context_words | desc_words)
        score = len(context_words & desc_words) / union if union else 0.0
        if score > best_score:
            best, best_score = entity_id, score
    return best, best_score
​

Jaccard 重叠是玩具。换成嵌入上的余弦相似度(见 code/main.py 第 2 步的 Transformer 版)。

第 3 步:嵌入式(BLINK 风格)

from sentence_transformers import SentenceTransformer
encoder = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")

def embed_mention(text, mention_span):
    start, end = mention_span
    marked = f"{text[:start]} [MENTION] {text[start:end]} [/MENTION] {text[end:]}"
    return encoder.encode([marked], normalize_embeddings=True)[0]

def embed_entity(entity_id, description):
    return encoder.encode([f"{entity_id}: {description}"], normalize_embeddings=True)[0]
​

索引时,把每个 KB 实体编码一次。查询时,把提及+上下文编码一次,与候选池做点积,取最大。

第 4 步:生成式实体链接(概念)

GENRE 逐字符解码出实体的维基百科标题。受约束解码(见第 20 节)确保只能输出合法标题,与 KB 支撑的 trie 紧密集成。现代后继是 REL-GEN 与带结构化输出的 LLM 提示式 EL。

prompt = f"""Text: {text}
Mention: {mention}
List the best Wikipedia title for this mention.
Respond with JSON: {{"title": "..."}}"""
​

配上白名单(Outlines choice),这就是 2026 最易发布的 EL 流水线。

第 5 步:在 AIDA-CoNLL 上评估

AIDA-CoNLL 是标准 EL 基准:1,393 篇路透社文章,3.4 万提及,维基百科实体。报库内准确率(P@1)与库外 NIL 检测率。

三、框架对比

陷阱

• NIL 处理:有些提及不在 KB 里(新兴实体、冷门人物)。系统必须预测 NIL,而非猜错实体,要单独测。
• 提及边界错误:上游 NER 漏部分 span(「Bank of America」只标成「Bank」),EL 召回掉。
• 流行度偏置:训练过的系统过度预测高频实体。机器学习论文里的「Michael I. Jordan」常被链到篮球乔丹。
• 跨语言 EL:把中文文本里的提及映射到英文维基实体,需多语编码器或翻译步。
• KB 陈旧:新公司、新事件、新人物不在去年的维基转储里。生产流水线要刷新循环。

2026 的栈:

💡 2026 生产模式:NER → 共指 → 对每个提及做 EL → 把簇坍缩成每簇一个规范实体。输出:文档里每个实体一个 KB id,而非每提及一个。

四、可复用产物

保存为 outputs/skill-entity-linker.md:

---
name: entity-linker
description: Design an entity linking pipeline — KB, candidate generator, disambiguator, evaluation.
version: 1.0.0
phase: 5
lesson: 25
tags: [nlp, entity-linking, knowledge-graph]
---

Given a use case (domain KB, language, volume, latency budget), output:

1. Knowledge base. Wikidata / Wikipedia / custom KB. Version date. Refresh cadence.
2. Candidate generator. Alias-index, embedding, or hybrid. Target mention recall @ K.
3. Disambiguator. Prior + context, embedding-based, generative, or LLM-prompted.
4. NIL strategy. Threshold on top score, classifier, or explicit NIL candidate.
5. Evaluation. Mention recall @ 30, top-1 accuracy, NIL-detection F1 on held-out set.

Refuse any EL pipeline without a mention-recall baseline (you cannot evaluate a disambiguator without knowing candidate gen surfaced the right entity). Refuse any pipeline using LLM-prompted EL without constrained output to valid KB ids. Flag systems where popularity bias affects minority entities (e.g. name-clashes) without domain fine-tuning.
​

五、练习

1. 基础:在 10 个歧义提及(Paris、Jordan、Apple)上实现 code/main.py 的先验+上下文消歧器,手标正确实体,测准确率。
2. 进阶:用句子编码器编码 50 个歧义提及,嵌入每个候选的描述,对比嵌入式消歧与 Jaccard 上下文重叠。
3. 挑战:构一个 1000 实体的领域 KB(如你公司的员工 + 产品),端到端实现 NER + EL,在 100 个留出句上测精确与召回。

本节要点回顾

1. EL = 候选生成 + 消歧:提及解析到 KB 唯一条目,两个子任务都可学。
2. 别名词典是候选生成基础:维基百科约 1800 万(别名, 实体)对,每提及返回 10~30 候选。
3. 三种消歧法:先验+上下文(快无需训)、嵌入式 BLINK(2020~24 默认)、生成式 GENRE/LLM(受约束解码)。
4. 提及召回是地板:99% 消歧在 80% 候选召回上只是 80% 流水线,两指标必同报。
5. NIL 必须显式预测:不在 KB 的提及要测 NIL 检测,而非猜错实体。
6. 提及边界错误伤召回:上游 NER 漏 span,EL 召回掉。
7. 流行度偏置:机器学习论文里的「Michael I. Jordan」常被链到篮球乔丹。
8. 跨语言需多语编码器或翻译步:中文提及映射到英文维基。
9. KB 陈旧要刷新循环:新实体不在去年转储里。
10. 2026 生产模式:NER→共指→每提及 EL→簇坍缩成每簇一规范实体,输出每实体一 KB id。

下一节,我们把实体两两连起来——进入「关系抽取与知识图谱」,看如何从自由文本里抽出「实体-关系-实体」三元组,并把它们织成可查询的知识图谱。