Definicion
El almacenamiento en caché de avisos es una característica del proveedor LLM que reutiliza prefijos de avisos ya procesados en todas las solicitudes, lo que reduce la latencia y el costo de las cargas de trabajo que repiten el mismo aviso del sistema o esquema de herramienta muchas veces.
En profundidad
Anthropic, OpenAI y Google admiten alguna variante de almacenamiento en caché rápido a partir de 2026. La ventana de almacenamiento en caché típica es de cinco minutos de inactividad antes del desalojo del caché, lo que hace que el diseño de la carga de trabajo sea importante: los agentes que duermen durante seis minutos y se despiertan pagan el caché perdido. Los bucles de agentes que llaman a Scavio dentro de un bucle se benefician del almacenamiento en caché de mensajes porque el mensaje del sistema y el esquema de la herramienta permanecen idénticos en todas las llamadas, solo cambia el resultado de la búsqueda.
Uso de ejemplo
El bucle del agente mantuvo estable el indicador del sistema a lo largo de las iteraciones, por lo que se activó el almacenamiento en caché del indicador y redujo la latencia por llamada casi a la mitad.
Plataformas
Almacenamiento en caché rápido es relevante en las siguientes plataformas, todas accesibles a través de la API unificada de Scavio:
- YouTube
Terminos relacionados
Arnés de agente
Un arnés de agente es la capa de tiempo de ejecución y orquestación alrededor de un LLM que decide cuándo llamar a las h...
Puerta de enlace de herramientas
Una puerta de enlace de herramientas es un servicio compartido que se ubica frente a las herramientas externas de un age...
Subagente
Un subagente es un agente especializado generado por un agente principal para manejar una tarea con alcance, lo que perm...