Les chatbots en ligne et autres fonctions d'IA alimentées par des modèles de langage par le cloud se sont très vite imposés dans notre quotidien. La prochaine étape ? Les modèles d'IA tournant en local sur vos appareils.

Brave est déjà doté d'un assistant IA : Leo. Il est basé sur des grands modèles de langage (LLM) reconnus de Mistral AI, Anthropic (Claude) ou encore Meta (Llama), mais ajoutant une couche de sécurité supplémentaire. Le navigateur web, qui repose sur le moteur de rendu Chromium, va encore plus loin en offrant la possibilité aux utilisateurs d'utiliser leur propre modèle de langage opérant en local.

Disposer d'un modèle exécuté directement par son appareil plutôt que de passer par le cloud a bien des avantages. Les données telles que les conversations, les pages web visitées et les invites ne sont jamais transférées à un serveur distant, améliorant la confidentialité des informations. La connexion entre l'utilisateur et le modèle est directe, Brave ne fait pas office d'intermédiaire. Le navigateur n'a donc aucun accès ni visibilité sur votre activité relative au modèle.

L'IA en local, la prochaine grande évolution des modèles de langage

Autre argument en faveur des modèles de langage en local : la possibilité de le configurer soi-même et de le personnaliser afin qu'il réponde au mieux à vos besoins spécifiques. L'utilisateur peut ainsi choisir le comportement et les capacités de l'IA, sa manière de répondre, lui donner des éléments de contexte à prendre en compte pour chaque invite sans avoir à lui remémorer à chaque fois… Le modèle n'est plus pensé pour un grand volume d'utilisateurs, mais pour votre usage propre, ce qui ne peut que le rendre plus pertinent.

Bien entendu, il existe aussi des limites. Un PC personnel ne peut pas être aussi performant qu'un serveur géré par les acteurs les plus importants de l'industrie technologique. Un modèle de langage tournant sur votre machine sera forcément plus petit que les meilleurs LLM du marché. D'ailleurs, un concurrent de Brave, Opéra, a lancé un petit outil permettant de savoir si votre ordinateur est assez puissant pour faite tourner de l'IA en local.

Après la grande tendance des chatbots, puis des fonctions IA intégrées au système d'exploitation ou aux logiciels, mais nécessitant une connexion à internet, il semble que le prochain grand virage pris par l'IA soit l'exécution en local. Microsoft a avancé sur ce sujet avec les PC Copilot+, qui sont justement certifiés pour un tel usage. Apple va aller encore plus loin en mettant à disposition une IA locale sur ses iPhone, iPad et Mac.

Comment configurer son propre modèle de langage sur Brave

Mais revenons au cas de Brave et son IA Leo. D'abord, sachez qu'il faut être inscrit au programme bêta Brave Nightly pour bénéficier dès maintenant de cette fonctionnalité. La version stable du navigateur devrait en profiter “plus tard cet été”. Pour configurer votre modèle de langage personnalisé, voici les étapes à suivre :

• Téléchargez le framework Ollama à cette adresse, installez le programme puis lancez-le.
• Suivez les étapes à l'écran et choisissez votre modèle de langage. Ollama est compatible avec plusieurs dizaines d'entre eux, dont la taille varie de 829 Mo à 40 Go. Brave conseille Llama 3 (Meta) pour son équilibre entre qualité et performances. Il peut être exécuté avec un PC équipé de seulement 8 Go de RAM. Mistral 7B (Mistral AI) et Phi 3 Mini (Microsoft) font aussi partie des modèles recommandés par Brave.

• Exécutez le modèle sur votre appareil via le terminal. Si vous avez choisi Llama 3 par exemple, tapez “ollama run llama3”. Le téléchargement du modèle commence alors.
• Rendez-vous dans les Paramètres de Brave et allez dans la section Leo. Faites défiler jusqu'à Apportez votre propre modèle et cliquez sur Ajouter un nouveau modèle.
• Vous êtes ensuite invités à renseigner les informations du modèle : le label (le nom que vous souhaitez lui donner), le véritable nom du modèle (llama3 par exemple), le point de terminaison du serveur (http://localhost:11434/v1/chat/completions dans le cas d'Ollama) et éventuellement une clé d'API

• Cliquez sur Ajouter un modèle, qui apparaît désormais dans le menu de Leo, et sélectionnez-le pour alimenter l'IA de Brave.

Et le tour est joué ! Brave conseille d'utiliser Ollama, car son interface est intuitive et l'outil simple à prendre en main. Mais pouvez aussi réaliser cette opération à partir d'un autre framework du même type.