定义
一种成本控制机制,限制 AI 代理每个任务、每天或每月可以消耗的 API 积分(搜索查询、工具调用、LLM 代币)数量,防止代理循环、重试风暴或意外复杂查询造成的支出失控。
深入了解
AI 代理对工具调用做出自主决策,这意味着它们可能会产生意外的 API 成本。陷入重试循环、过于彻底的研究任务或被误解的查询的代理可能会在几分钟内消耗掉数百个 API 调用。信贷预算可以防止这种情况发生。 预算层: (1) 每任务预算——将每个用户查询限制为最大工具调用次数。示例:每个用户问题最多 10 个搜索查询,每次查询 0.005 美元 = 每个问题最多 0.05 美元。 (2) 每个会话预算——限制会话中工具调用的总数。示例:每个会话最多 50 次调用 = 最多 0.25 美元。 (3) 每日预算——每天 API 总支出的硬性限制。示例:5 美元/天 = 1,000 个 Scavio 查询。 (4) 每月预算——总体支出上限。示例:50 美元/月 = 10,000 次查询。 实现模式:使用预算跟踪器包装所有工具调用函数,该预算跟踪器会在执行前增加计数器并检查限制。当达到限制时,向代理返回“超出预算”消息,强制其使用已有的数据。 预算规模指南: (1) 简单问答代理:每个问题 2-3 个电话,每个问题 0.01-0.015 美元。每天 1,000 个问题 = 10-15 美元/天。 (2) 研究代理:5-15 个电话/问题,0.025-0.075 美元/问题。 100 个研究任务/天 = 2.50-7.50 美元/天。 (3) 监控代理:每次运行的固定查询计数。每天跟踪 200 个关键字 = 1 美元/天。 警报阈值:将警报设置为每月预算的 50% 和 80%。如果客服人员在第一周达到 50%,请调查查询量是否高于预期,或者客服人员是否进行了冗余呼叫。
用法示例
预算跟踪器类: def __init__(self, daily_limit: float = 5.0, per_query_cost: float = 0.005): self.每日限制 = 每日限制 self.per_query_cost = per_query_cost 自我每日支出 = 0.0 def can_query(self) -> bool: 返回 self.daily_spend + self.per_query_cost <= self.daily_limit def record_query(自身): self.daily_spend += self.per_query_cost 预算 = BudgetTracker(daily_limit=5.0) 如果预算.can_query(): 结果=搜索(查询) 预算.record_query()
平台
代理信贷预算在以下平台中相关,所有这些平台都可通过Scavio的统一API访问:
- Amazon
- YouTube
- TikTok