Modèle de base de connaissances LLM local

Un chercheur exécute Llama 3 70B via Ollama sur un MacBook M3 Max avec 64 Go de RAM. Son instance ChromaDB indexe 2 000 articles PDF. Lorsqu'il demande « Quelles sont les dernières approches en matière de prédiction du repliement des protéines ? », le système récupère les articles pertinents de sa collection ET recherche sur Google via Scavio les articles publiés au cours du dernier mois. Le LLM local synthétise les deux sources en une réponse sans que les données ne quittent sa machine (sauf la requête de recherche).

Modèle de base de connaissances LLM local est pertinent pour Google, YouTube, Reddit. Scavio fournit une API unifiée pour accéder aux données de toutes ces plateformes.

L'exécution d'une base de connaissances personnelle avec un LLM local évite d'envoyer des documents privés à des API cloud. L'architecture comporte trois couches : un LLM local (Ollama exécutant Llama 3, Mistral ou Phi-3 sur du matériel grand public), un stockage de documents (ChromaDB ou LanceDB pour les fichiers personnels, notes et favoris), et une API de recherche pour les données externes en temps réel. Le LLM local gère le raisonnement et la génération. Le stockage de documents fournit le contexte personnel. L'API de recherche (Scavio à 0,005 $/crédit) comble les lacunes de connaissances avec des données web actuelles. Le flux de travail : l'utilisateur pose une question -> le système interroge le stockage de documents local pour un contexte personnel pertinent -> si la question nécessite des données externes, il interroge l'API de recherche -> les deux sources de contexte sont fusionnées en une invite -> le LLM local génère une réponse. Ce modèle est populaire auprès des développeurs soucieux de leur vie privée, des chercheurs gérant de grandes collections d'articles et des professionnels qui souhaitent un assistant personnel connaissant leurs fichiers mais capable de répondre à des questions sur le monde en général. Le coût de l'API de recherche est minime : même une utilisation intensive de 100 requêtes externes par jour coûte 15 $/mois.