Arquitectura de agentes como servicio

Definicion

El patrón arquitectónico para plataformas que brindan capacidades de agentes de IA como un servicio administrado a los clientes, que requiere una capa de datos (búsqueda y recuperación), un sistema de facturación basado en créditos, aislamiento de múltiples inquilinos y un comportamiento de agente configurable por cliente.

En profundidad

Las plataformas de agentes como servicio (AaaS) permiten a los clientes implementar agentes de IA sin construir la infraestructura subyacente. La arquitectura tiene cuatro capas clave: (1) Capa de datos: los agentes necesitan acceso a los datos web y las plataformas AaaS necesitan una forma rentable de proporcionarlos a cientos o miles de agentes de clientes. Una API de búsqueda unificada como Scavio sirve como columna vertebral de datos: una clave API proporcionada por inquilino, seguimiento del uso por consulta para atribución de facturación. (2) Capa de facturación: los sistemas basados ​​en créditos funcionan mejor porque las cargas de trabajo de los agentes son impredecibles. Los clientes compran créditos, los agentes consumen créditos por acción (buscar, generar, analizar). Realice un seguimiento del uso a nivel de consulta: cada búsqueda de Scavio cuesta $0,005, que la plataforma puede marcar hasta $0,01-$0,02 por búsqueda para obtener un margen. (3) Aislamiento de múltiples inquilinos: los agentes de cada cliente deben estar aislados: datos separados, presupuestos separados, límites de tarifas separados. Implemente a nivel de clave API (una clave por inquilino) o a nivel de aplicación (clave compartida con seguimiento de ID de inquilino). (4) Capa de configuración del agente: los clientes configuran lo que hacen sus agentes: qué plataformas buscar, qué consultas ejecutar, qué formato de salida producir. Almacene las configuraciones en una base de datos, no en código. Economía de costos: si su plataforma AaaS cobra $0,02 por búsqueda de agente y utiliza Scavio a $0,005, su margen es de $0,015/consulta. Con 100.000 consultas al mes en todos los inquilinos, eso equivale a $1500 al mes en margen de capa de datos. La capa de datos es un centro de ganancias, no sólo un centro de costos, cuando se fija el precio correctamente. Consideración de escala: a medida que crece el número de inquilinos, los niveles de precios masivos reducen los costos por consulta. El plan de $500/mes de Scavio con 200 000 consultas ($0,0025/consulta efectiva) duplica su margen en comparación con el plan de $30/mes.

Uso de ejemplo

Plataformas

Arquitectura de agentes como servicio es relevante en las siguientes plataformas, todas accesibles a través de la API unificada de Scavio:

• Google
• Amazon
• YouTube
• TikTok
• Reddit

Terminos relacionados