定义
代理技能膨胀是指AI代理的可用工具或技能列表增长到消耗过多上下文窗口的程度,降低代理在核心任务上的性能,因为模型必须在过多选项中做选择。
深入了解
每个注册到代理的工具都有一个JSON schema描述,被注入到每次LLM调用的上下文中。5个工具的描述可能占500个token;50个工具可能占5000-8000个token。这直接减少了可用于推理的上下文空间。更糟的是,更多的工具选择增加了模型选错工具或不必要调用工具的概率。 技能膨胀通常悄然发生。团队逐步向代理添加能力("它也应该能查天气","加上日历集成"),每个单独看起来合理,但累积效果降低了核心性能。这类似于软件工程中的功能蠕变。 解决方案包括:动态工具加载(只为当前任务加载相关工具)、工具分组(将工具组织成按需激活的技能集)、描述压缩(最小化工具schema的token开销)以及工具修剪(移除很少使用的工具)。MCP的按需工具发现模式天然地缓解膨胀,因为代理只在需要时请求特定能力。
用法示例
一个最初有5个工具的代理被逐步添加到35个工具。它的任务完成率从92%降至67%——不是因为新工具有问题,而是因为工具描述占用了8000个token的上下文空间,模型在选择中犹豫不决。
平台
代理技能膨胀在以下平台中相关,所有这些平台都可通过Scavio的统一API访问: