经典检索增强生成

Solve china dataset issues with shared expertise and innovation.
Post Reply
suchona.kani.z
Posts: 350
Joined: Sat Dec 21, 2024 5:32 am

经典检索增强生成

Post by suchona.kani.z »

GraphRAG 是 RAG 和“知识图”的综合。我们已经在之前的博文中详细讨论了 RAG 的主题,因此这里仅进行简要总结。 RAG 是一种利用特定知识丰富 GPT-4o (OpenAI) 等语言模型(大型语言模型,LLM)上下文的技术或系统架构。这些额外的知识可能特别包括不属于法学硕士培训数据的高度具体的本地领域知识。 RAG 的一大优点是可以动态提供和查询这些知识,而无需进行复杂且成本高昂的微调或重新训练。

RAG的使用分为准备阶段和推理阶段。在准备阶段,准备源文档,将其分割为文本块(块),使用所谓的嵌入模型转换为数字格式(向量),最后存储在向量数据库中。如果用户在推理阶段向 RAG 系统发送查询,则首先对其进行向量化,然后进行相似性搜索。在向量数据库中搜索与原始查询最相似的文本片段。最相似的片段最终与查询一起传递到语言模型以生成最终答案。

经典 RAG 达到极限的地方
当可以使用源文档中的显式信息来回答查询时,经典的 RAG 架构 护士电子邮件列表 效果很好。理想情况下,查询的答案实际上可以直接在源文档中找到。然而,当答案需要组合来自不同源文档的信息时,经典的 RAG 架构很快就会达到其极限。

这尤其是由于经典 RAG 从源文档中查找与查询匹配的相关文本段的方式(“检索”阶段)。传统上,语义相似性搜索是在可用的源文档内进行的。然而,如果相关信息分散在多个文档中或者如果所寻求的信息仅彼此间接相关,则这不会产生明确的结果。

此类查询的一个例子可能是:“过去二十年气候政策如何影响全球二氧化碳排放?”该请求需要结合不同时间段和文档的信息,这可能会导致 RAG 架构难以提供精确的答案。在这种情况下,语义相似性搜索可以识别各个相关片段,但经典的 RAG 架构通常无法以创建连贯且精确的答案的方式组合这些片段。这会导致信息丢失或答案不准确,因为检索阶段的设计目的不是识别和链接不同文档之间的复杂关系。

为了回答更复杂的查询,正在不断开发各种先进的 RAG 技术。可能的方法包括“查询转换”或“上下文丰富”(请参阅​​博客文章从 RAG 到财富)。一种新技术是经典RAG和所谓知识图概念的综合,它最初基于He等人的论文G-Retriever: Retrieval-Augmented Generation for Textual Graph Understanding and Question Answering。 (2024)。

什么是知识图谱?
在我们更详细地深入探讨 GraphRAG 主题之前,我们想先简要概述一下知识图谱。知识图是一种数据驱动的结构,以实体(人、地点、物体)以及这些实体之间的关系的形式表示知识。与通常将信息存储在孤立的表中的传统数据库不同,知识图以允许发现和分析不同信息点之间的复杂关系和交互的方式连接数据。
Post Reply