Patrón de base de conocimientos local de LLM

Un investigador ejecuta Llama 3 70B a través de Ollama en una MacBook M3 Max con 64 GB de RAM. Su instancia de ChromaDB indexa 2000 artículos PDF. Cuando preguntan "¿Cuáles son los últimos enfoques para la predicción del plegamiento de proteínas?", el sistema recupera artículos relevantes de su colección Y busca en Google a través de Scavio artículos publicados en el último mes. El LLM local sintetiza ambas fuentes en una respuesta sin que ningún dato salga de su máquina (excepto la consulta de búsqueda).

Patrón de base de conocimientos local de LLM es relevante para Google, YouTube, Reddit. Scavio proporciona una API unificada para acceder a datos de todas estas plataformas.

Ejecutar una base de conocimientos personal con un LLM local evita enviar documentos privados a las API de la nube. La arquitectura tiene tres capas: un LLM local (Ollama ejecuta Llama 3, Mistral o Phi-3 en hardware de consumo), un almacén de documentos (ChromaDB o LanceDB para archivos personales, notas y marcadores) y una API de búsqueda para datos externos en tiempo real. El LLM local se encarga del razonamiento y la generación. El almacén de documentos proporciona un contexto personal. La API de búsqueda (Scavio a $0,005/crédito) llena las lagunas de conocimiento con datos web actuales. El flujo de trabajo: el usuario hace una pregunta -> el sistema consulta el almacén de documentos local para obtener un contexto personal relevante -> si la pregunta necesita datos externos, consulta la API de búsqueda -> ambas fuentes de contexto se fusionan en un mensaje -> el LLM local genera una respuesta. Este patrón es popular entre los desarrolladores preocupados por la privacidad, los investigadores que administran grandes colecciones de documentos y los profesionales que desean un asistente personal que conozca sus archivos pero que también pueda responder preguntas sobre el mundo en general. El costo de la API de búsqueda es mínimo: incluso un uso intensivo de 100 consultas externas al día cuesta $15 al mes.