定义
LLM grounding 是将大语言模型连接到外部数据源(搜索 API、数据库、文档)的做法,使其响应锚定在可验证的、当前的事实上,而非仅依赖训练数据。
深入了解
语言模型基于训练期间学到的模式生成文本,这意味着它们可能自信地陈述过时或虚构的信息(幻觉)。Grounding 通过在模型生成响应之前将实时外部数据注入其上下文来解决此问题。基于搜索的 grounding 是最常见的方法:代理用用户的问题查询搜索 API,检索当前结果,并将它们作为上下文包含在 LLM 的提示中。模型然后生成锚定在这些结果上的响应。有效的 grounding 需要结构化的搜索结果(而非原始 HTML),以便模型可以解析和推理数据。多平台 grounding(搜索 Google、Reddit、YouTube 和 Amazon)比单源 grounding 提供更丰富的上下文,因为模型可以跨来源交叉验证信息。
用法示例
一个编码代理收到关于某个库最新版本的问题。它不依赖训练数据,而是通过搜索 API 查询该库的当前发布版本,将响应锚定在搜索结果上,并提供准确、最新的答案和来源链接。
平台
LLM Grounding在以下平台中相关,所有这些平台都可通过Scavio的统一API访问:
- YouTube
- Amazon
- Walmart