2025年5月23日：大型语言模型与检索增强生成（RAG）最新研究进展导读

2025年5月23日：大型语言模型与检索增强生成（RAG）最新研究进展导读

引言

近年来，大型语言模型（Large Language Models, LLMs）在自然语言处理领域取得了显著进展，并在诸多任务中展现出强大的能力。然而，LLMs仍然面临着知识更新的滞后性以及生成内容可能存在“幻觉”等问题。为了克服这些挑战，检索增强生成（Retrieval-Augmented Generation, RAG）技术应运而生。RAG通过整合外部知识资源，显著提升了LLMs在知识密集型任务中的表现。

本文旨在对截至2025年5月23日新发表的关于LLMs和RAG方向的论文进行梳理和解读，为读者提供最新的研究动态和趋势分析。

最新研究进展

1. BriefContext：通过语境精简提升RAG性能

• 论文标题： BriefContext: Improving Large Language Models via Attention Strengthening Question Answering
• 研究团队： Gongbo Zhang, Fangyi Chen, Yilu Fang, Zihan Xu, Qiao Jin, Yi Liu, Justin F. Rousseau, Ziyang Xu, Zhiyong Lu, Chunhua Weng, Yifan Peng
• 来源： Nature Partner Journals Digital Medicine
• 发表日期： 2025年5月2日
• 研究问题： 如何在不调整模型权重的前提下，解决RAG中存在的“中间信息丢失”（lost-in-the-middle）问题，即LLM在处理长上下文时，容易忽略位于中间位置的关键信息。
• 研究方法： 提出了BriefContext框架，该框架借鉴了MapReduce的思想，将长上下文分割成多个短上下文，并分发给多个LLM会话进行处理。为了避免不必要的计算成本，该框架引入了一种预检机制，用于预测“中间信息丢失”的发生。该机制基于不同排序结果之间的一致性进行判断。
• 研究结论： BriefContext框架能够有效地解决RAG中存在的“中间信息丢失”问题，且不会对模型权重造成影响。实验结果表明，该框架在医疗问答任务中取得了显著的性能提升。
• 引用地址： Leveraging long context in retrieval augmented language models for - nature.com

2. 知识图谱增强LLM在数学概念问答中的应用

• 论文标题： Investigating Knowledge Graphs as Structured External Memory to Enhance Large Language Models’ Generation for Mathematical Concept Answering¹
• 研究团队： Wanli Xing, Chenglu Li, Hai Li, Wangda Zhu, Bailing Lyu, Zeyu Yan
• 来源： OSF Preprints
• 发表日期： 2025年4月7日
• 研究问题： 如何利用知识图谱（KG）作为结构化外部记忆，增强LLM在数学概念问答中的生成能力，提高答案的准确性和可靠性。
• 研究方法： 设计了一种构建KG的方法，利用LLM从高质量的数学教学资源中检索上下文提示，并通过KG增强提示来生成学生关于数学概念问题的答案。通过设计不同程度的指导提示（高、低、无）来评估检索信息的有效性。从语义相似性和学生学习收益两个角度进行评估。
• 研究结论： 基于KG的RAG方法可以增强检索文档和生成上下文的扎根性和忠实性。低指导可以提高学生的学习收益。该技术框架和分析结果有助于推进LLM在教育技术中的应用。²
• 引用地址： Investigating Knowledge Graphs as Structured External Memory to Enhance Large Language Models’ Generation for Mathematical Concept Answering - sciety.org³

3. RAG在评估医疗适应性中的泛化能力研究

• 论文标题： Retrieval augmented generation for 10 large language models and its generalizability in assessing medical fitness⁴
• 研究团队： Yu He Ke, Liyuan Jin, Kabilan Elangovan, Hairil Rizal Abdullah, Nan Liu, Alex Tiong Heng Sia, Chai Rick Soh, Joshua Yi Min Tung, Jasmine Chiat Ling Ong, Chang-Fu Kuo, Shao-Chun Wu, Vesela P. Kovacheva, Daniel Shu Wei Ting⁵
• 来源： Nature Partner Journals Digital Medicine
• 发表日期： 2025年4月5日
• 研究问题： 评估检索增强生成（RAG）在评估医疗健康场景下LLM的性能，特别是在评估医疗适应性方面的泛化能力。
• 研究方法： 使用35个本地和23个国际指南，开发了LLM-RAG模型，并在14个临床场景中测试了10个LLM（例如，GPT3.5、GPT4、GPT4o、Gemini、Llama2和Llama3、Claude）。总共生成了3234个响应，并与448个人工生成的答案进行了比较。
• 研究结论： 基于GPT-4的LLM-RAG模型在提供高度准确、高效和一致的术前评估方面具有潜力。
• 引用地址： Retrieval augmented generation for 10 large language models and - nature.com⁶

4. RAG在城市研究中生成新知识的潜力

• 论文标题： Can Large Language Models (LLMs) and Retrieval-Augmented Generation (RAG) Generate New Knowledge for Urban Studies?⁷
• 研究团队： Xinyu Wang
• 来源： Research Square
• 发表日期： 2025年4月30日
• 研究问题： RAG增强的LLM在城市空置土地（UVL）背景下的应用，这是一个紧迫的全球可持续城市发展问题。
• 研究方法： 通过对从Web of Science（WOS）数据库检索的UVL相关研究进行系统文献综述（SLR），构建研究知识库以支持基于RAG的增强。设计了五个具有挑战性的提示，旨在评估模型生成超出现有研究结果的新知识的能力。
• 研究结论： RAG显著提高了LLM在解决专门主题方面的性能。然而，模型在知识生成方面的能力仍然存在局限性。大多数输出仅限于提出相关的研究问题和初步的实验设计。这些发现强调了RAG增强的LLM在支持复杂城市领域中的理论创新和政策导向研究方面的潜力和局限性。
• 引用地址： Can Large Language Models (LLMs) and Retrieval-Augmented - sciety.org

5. RAG LLM的安全性分析

• 论文标题： RAG LLMs are Not Safer: A Safety Analysis of Retrieval-Augmented Generation for Large Language Models⁸
• 研究团队： Bang An, Shiyue Zhang, Mark Dredze
• 来源： arXiv
• 发表日期： 2025年4月25日
• 研究问题： 探讨RAG技术对LLM安全性的影响，评估RAG框架是否会降低LLM的安全性，以及是否会改变其安全属性。
• 研究方法： 采用了红队测试（Red Teaming）方法，模拟攻击者的行为，通过构造对抗性Prompt来评估LLM的安全性。设计了一系列针对RAG模型的攻击场景，并评估了模型在这些场景下的表现。此外，还评估了现有的红队测试方法在RAG设置下的有效性。
• 研究结论： RAG技术可能会降低LLM的安全性，并改变其安全属性。即使将安全的模型与安全的文件结合使用，也可能导致不安全的生成结果。因此，需要针对RAG LLMs进行专门的安全研究和红队测试方法的开发。
• 引用地址： RAG LLMs are Not Safer: A Safety Analysis of Retrieval-Augmented - arxiv.org⁹

6. RAG meets LLM：检索增强大型语言模型研究综述

• 论文标题： A Survey on RAG Meets LLMs: Towards Retrieval-Augmented Large Language Models¹⁰
• 研究团队： Hao Yu, Kai Zhang, Wenyu Yan, Zhenya Huang, Shiwei Tong, Enhong Chen, Guoping Hu
• 来源： arXiv
• 发表日期： 2025年4月12日
• 研究问题： 旨在全面综述RAG的评估方法和框架，系统地回顾传统和新兴的评估方法，以评估LLM时代RAG系统的性能、事实准确性、安全性和计算效率。
• 研究方法： 编译和分类了RAG特定的数据集和评估框架，并对高影响力RAG研究中的评估实践进行了元分析。
• 研究结论： 该工作代表了RAG评估的最全面的综述，弥合了传统方法和LLM驱动的方法，并为推进RAG开发提供了关键资源。
• 引用地址： Retrieval Augmented Generation Evaluation in the Era of Large - arxiv.org

总结与展望

上述论文代表了近期LLMs和RAG领域的一些重要进展，涵盖了RAG的安全性、在医疗和城市研究等领域的应用，以及RAG系统的评估方法等多个方面。这些研究成果为我们更好地理解和应用RAG技术提供了有价值的参考。

未来的研究方向可能包括：

• 提升RAG的安全性： 针对RAG可能引入的安全风险，开发更加有效的防御机制。
• 探索RAG在更多领域的应用： 将RAG应用于更广泛的实际场景，例如教育、金融等。
• 改进RAG的评估方法： 建立更加全面和客观的RAG评估体系，推动RAG技术的不断发展。

请注意： 本文仅对部分论文进行了简要的总结和分析，更详细的内容请参考原始论文。