Optimización del token del agente

Un agente de atención al cliente realiza 3 llamadas de búsqueda por resolución de ticket, procesando 50 tickets/día. Antes de la optimización: 2500 tokens por búsqueda x 3 búsquedas x 50 tickets = 375.000 tokens de entrada/día ($1,13/día según las tarifas de Claude Sonnet). Después de la optimización (5 resultados en lugar de 10, metadatos eliminados, poda de esquema): 1400 tokens por búsqueda x 3 x 50 = 210 000 tokens/día ($0,63/día). Ahorros mensuales: $15 solo en costos de LLM, además de tiempos de respuesta más rápidos.

Optimización del token del agente es relevante para Google, Reddit. Scavio proporciona una API unificada para acceder a datos de todas estas plataformas.

Cuando un agente de IA llama a una herramienta de búsqueda web, los resultados de la búsqueda se inyectan en la ventana contextual del LLM como tokens. Una página SERP típica de Google arroja 10 resultados orgánicos con títulos, URL y fragmentos (aproximadamente entre 800 y 1200 tokens). Agregar personas que también preguntan, un gráfico de conocimiento y datos de descripción general de IA pueden aumentar esto a 2000-3000 tokens por llamada de búsqueda. Al precio de Claude Sonnet, cada inyección de resultados de búsqueda cuesta entre $0,009 y $0,027 solo en tokens de entrada, además del costo de la API de búsqueda ($0,005/consulta en Scavio, $0,008/crédito en Tavily). Estrategias de optimización: (1) solicitar menos resultados (5 en lugar de 10 ahorran ~500 tokens), (2) eliminar las URL y los metadatos que el agente no necesita, (3) usar campos JSON estructurados en lugar de fragmentos HTML sin formato, (4) almacenar en caché consultas repetidas para evitar llamadas de búsqueda redundantes. La inflación del esquema de la herramienta MCP es otra fuente: una herramienta de búsqueda con 15 parámetros opcionales agrega ~200 tokens a cada turno del agente, incluso cuando no se le llama. Reducir el esquema a parámetros esenciales (consulta, plataforma, recuento) reduce esta sobrecarga. Los equipos que ejecutan agentes a escala informan una reducción de tokens de entre un 30 % y un 40 % gracias a estas optimizaciones, lo que se traduce en ahorros de costos mensurables con más de 10 000 invocaciones de agentes por mes.