自然语言理解前沿技术

本知识库深入探讨自然语言理解（NLU）的前沿技术、大语言模型应用与语义理解方法，涵盖模型架构、训练技术、应用场景与最佳实践。 核心主题 大语言模型微调技术 LoRA与QLoRA：低秩适应，高效微调大模型 Prompt Tuning：软提示优化，无需梯度更新 Prefix Tuning：前缀微调，轻量级适配 Adapter系列：Adapter、AdapterFusion、AdapterDrop 全参数微调 vs 参数高效微调（PEFT）：性能与成本权衡 检索增强生成（RAG）进阶 混合检索：稠密检索 + 稀疏检索（BM25）结合 重排序（Re-ranking）：Cross-Encoder、Cohere Rerank 知识图谱增强：KG-RAG、GraphRAG、实体链接 多模态RAG：图文联合检索、视频问答 递归检索：Map-Reduce、Refine、Multi-Query RAG评估：RAGAS、TruLens、Groundedness检测 语义搜索与向量数据库 向量嵌入模型：OpenAI Embeddings、Cohere、Voyage AI 向量数据库：Pinecone、Weaviate、Qdrant、Milvus 语义检索算法：HNSW、IVF、PQ（乘积量化） 跨语言检索：mPARAPH、M3E、多语言嵌入 领域适配：医学、法律、金融专用嵌入模型