定义
提示研究方法论是系统性地测试和评估不同提示策略对 LLM 输出质量影响的实验方法,特别是在搜索 grounding 场景中测量幻觉率、引用准确性和答案相关性。
深入了解
提示研究方法论将实验科学的严谨性引入提示工程。在搜索 grounding 场景中,关键指标包括:幻觉率(LLM 声称搜索结果中不存在的事实的百分比)、引用准确性(LLM 正确归因到具体来源的百分比)、答案完整性(LLM 利用了多少搜索结果中的可用信息)。通过控制搜索结果(固定相同的搜索 API 输出)并变化提示策略,可以隔离提示对 grounding 质量的影响。
用法示例
团队在 100 个测试问题上比较三种 grounding 提示策略:(1)原始搜索结果注入,(2)编号来源 + 引用指令,(3)摘要来源 + 置信度要求。策略 2 的幻觉率最低(3% vs 12%),引用准确率最高(91% vs 64%)。
平台
提示研究方法论在以下平台中相关,所有这些平台都可通过Scavio的统一API访问:
相关术语
答案引擎引用份额
答案引擎引用份额衡量品牌在AI答案引擎(如Perplexity、ChatGPT搜索、Google AI Overviews)生成的答案中被引用为来源的频率占比,是AEO策略的核心绩效指标。...
LLM 引用
LLM 引用是生成式回答引擎(ChatGPT、Perplexity、Google AI Overviews、Claude)在响应中引用的 URL,在 2026 年被视为品牌的主要可见性指标,因为用户越来越多地先问 LLM 再问 Google...
答案引擎优化(AEO)
答案引擎优化(AEO)是使内容更容易被AI答案引擎(Perplexity、ChatGPT搜索、Google AI Overviews等)选为答案来源并引用的内容策略和技术优化集合。...