Búsqueda de puesta a tierra de LLM local

Un desarrollador ejecuta Llama 3 70B a través de Ollama para preguntas y respuestas internas. Sin conexión a tierra, el modelo fabrica precios de productos el 40% del tiempo. Después de agregar la base de b��squeda de Scavio (una búsqueda en Google por consulta, los 5 fragmentos principales insertados en contexto), la precisión de los precios mejora al 92%. Costo mensual por 3.000 consultas: $15. El modelo local ahora coincide con la precisión del modelo en la nube para consultas objetivas y, al mismo tiempo, mantiene todos los datos del usuario en las instalaciones.

Búsqueda de puesta a tierra de LLM local es relevante para Google. Scavio proporciona una API unificada para acceder a datos de todas estas plataformas.

Los LLM locales (Llama 3, Mistral, Phi-3 vía Ollama o llama.cpp) alucinan con más frecuencia que los modelos de nubes porque suelen ser más pequeños y carecen de herramientas de conexión a tierra integradas. Agregar una capa de base de búsqueda soluciona esto: antes de que el LLM genere una respuesta, busque en la web el contexto relevante e inserte los resultados en el mensaje. Patrón de implementación: (1) extraer la intención de la consulta del usuario, (2) llamar a una API de búsqueda con una consulta reformulada, (3) anteponer los resultados de la búsqueda a la ventana contextual del LLM, (4) generar la respuesta fundamentada. La ventaja clave sobre la conexión a tierra de LLM en la nube (Gemini, Perplexity) es la privacidad: la consulta del usuario nunca sale de la máquina local, excepto por la llamada a la API de búsqueda, y las consultas de búsqueda pueden perder su contexto de identificación. Costo: 1 búsqueda por consulta de usuario a $0,005 a través de Scavio, o gratis a través del nivel gratuito de TinyFish AI. Para un equipo que ejecuta 200 consultas al día a través de una instancia local de Ollama: $1 al día a través de Scavio o gratis a través de TinyFish (con límites de tarifa). La calidad de la base depende en gran medida de cómo se insertan los resultados de la búsqueda en el contexto. Mejores prácticas: incluya los 3 a 5 fragmentos de resultados principales como un bloque de 'Información de referencia' al inicio del mensaje del sistema, con una instrucción para preferir la información de referencia a los datos de entrenamiento.