Definicion
El presupuesto de token de un agente es un límite programático sobre la cantidad de tokens de contexto que un agente de IA asigna a los resultados de llamadas de herramientas (particularmente resultados de búsqueda) por sesión o por turno, lo que evita el crecimiento incontrolado del contexto que degrada la calidad del razonamiento y aumenta los costos.
En profundidad
Sin presupuestos de tokens, una única llamada a la API de búsqueda puede inyectar entre 2000 y 5000 tokens de resultados en el contexto de un agente. Un agente que realiza cinco búsquedas por sesión podría consumir entre 10 000 y 25 000 tokens solo en los resultados de búsqueda, lo que deja menos contexto para el razonamiento, la generación de código y el historial de conversaciones. Los presupuestos de tokens funcionan en dos niveles: presupuestos por llamada que truncan los resultados de búsqueda individuales (por ejemplo, un máximo de 300 tokens por búsqueda, manteniendo solo título + fragmento + URL para los 5 resultados principales) y presupuestos de sesión que limitan el consumo total de tokens de búsqueda. Las API de búsqueda estructurada como Scavio devuelven JSON compacto (título, fragmento, URL) que es inherentemente más eficiente en cuanto a tokens que el HTML sin formato o la extracción de página completa. Un resultado típico de Scavio para 10 resultados orgánicos utiliza entre 600 y 800 tokens, frente a 4000-8000 tokens para contenido web sin procesar equivalente. Implementación de presupuestos: cuente tokens en los resultados de búsqueda usando TikToken (Python) o aproximación (chars/4), trunque en el umbral del presupuesto y realice un seguimiento del uso acumulado por sesión.
Uso de ejemplo
Un desarrollador de agentes establece un presupuesto de 2000 tokens para el contexto de búsqueda por sesión. Cada búsqueda de Scavio devuelve ~150 tokens de resultados estructurados (5 resultados, título + fragmento). El agente realiza 8 búsquedas utilizando 1200 tokens, dentro del presupuesto. Sin el presupuesto, las mismas 8 búsquedas utilizando la búsqueda web sin procesar habrían consumido 12.000 tokens.
Plataformas
Presupuesto del token del agente es relevante en las siguientes plataformas, todas accesibles a través de la API unificada de Scavio:
Terminos relacionados
Inflación del contexto
La hinchazón del contexto es la acumulación de tokens en la ventana de contexto de un LLM antes de que el usuario haya p...
Precios de API basados en crédito
El precio de API basado en créditos es un modelo de facturación en el que los consumidores de API compran un conjunto de...
Extracción de contenido web MCP
La extracción de contenido web de MCP es el proceso de utilizar un servidor MCP para recuperar páginas web y convertirla...