Capa de enrutamiento del agente

Definicion

Una capa de enrutamiento de agentes es el componente (a menudo código personalizado o un marco primitivo como LangGraph) que se encuentra entre la intención del LLM y las herramientas disponibles, decidiendo a qué herramienta llamar según la intención y las posibilidades de las herramientas (descripciones, nombres, tasas de éxito anteriores).

En profundidad

Sin una capa de enrutamiento dedicada, los agentes dependen de la selección de herramientas del LLM a partir de descripciones de herramientas sin procesar. Esto funciona con 3-5 herramientas y se degrada rápidamente después de 8-10. Las capas de enrutamiento ayudan al: (1) filtrar la lista de herramientas por intención (el LLM solo ve herramientas relevantes); (2) mantener el estado de la llamada anterior (si la última llamada fue Reddit_search, ponderar la siguiente llamada de manera diferente); (3) inyectar reglas de enrutamiento explícitas ("para consultas comerciales, comience siempre con la herramienta news_search"). La publicación de r/LangChain que llamó a los agentes de LangChain 'amnésicos' construyó específicamente una capa de enrutamiento; la métrica saltó del 48 % al 94 % de éxito de la tarea. La solución complementaria por parte de Scavio: las herramientas se nombran semánticamente (búsqueda, Reddit_search, YouTube_search, amazon_search, walmart_search, extract) por lo que las decisiones de enrutamiento son menos ambiguas por construcción.

Uso de ejemplo

Plataformas

Capa de enrutamiento del agente es relevante en las siguientes plataformas, todas accesibles a través de la API unificada de Scavio:

• google

Terminos relacionados