Basalt est un moteur d'inférence IA local qui permet d'exécuter de grands modèles de langage à mélange d'experts sur des stations de travail NVIDIA Blackwell. Il prend en charge Qwen3.8-Flash-Next et DeepSeek-V4.1-Flash, en associant mémoire GPU et mémoire vive pour éviter de devoir loger tous les experts du modèle dans la VRAM.
Il s'adresse aux utilisateurs de Linux et aux développeurs qui souhaitent servir ces modèles depuis leur propre matériel. Ses API compatibles OpenAI et Anthropic offrent une interface familière aux applications clientes, tandis qu'une interface web intégrée permet de discuter avec le modèle.
Faire de la place aux grands modèles
Basalt se distingue par sa manière de répartir les experts, les composants du modèle sélectionnés pendant l'inférence. Les experts qui ne tiennent pas sur le GPU principal peuvent résider dans la RAM. Des GPU supplémentaires peuvent aussi fournir un niveau de stockage et de calcul complémentaire. La capacité de mémoire vive de la station compte donc autant dans la préparation de la configuration que le choix de la carte graphique.
Acheter un GPU compatible ne suffit pas à préparer une machine pour Basalt. Il faut également prévoir assez de RAM pour le pack de modèle choisi et la charge de travail. Le déport des experts réduit la quantité de données à conserver en VRAM, mais ne supprime pas les besoins en mémoire.
Les modèles utilisent le format .basalt du projet. La documentation décrit la prise en charge de la conversation, des appels d'outils, des réglages du raisonnement et des images en entrée. Les possibilités et les paramètres diffèrent entre les deux architectures.
Servir des applications et suivre les ressources
Plusieurs modèles configurés peuvent partager une même adresse de serveur. Le routeur charge un seul modèle à la fois et en change lorsque les requêtes en sélectionnent un autre. Cette organisation permet de proposer plusieurs modèles aux applications clientes, mais le changement impose d'arrêter un moteur puis d'en démarrer un autre, ce qui entraîne une attente.
Les requêtes simultanées utilisent des emplacements parallèles configurables. Par défaut, ces emplacements se partagent la capacité de contexte définie. Accorder le contexte complet à chaque emplacement demande davantage de mémoire pour le cache KV. La page de statistiques affiche la charge GPU, la VRAM, la RAM, les températures et les débits de génération pour aider à comprendre l'utilisation des ressources. Un cache de conversations sur disque, facultatif, permet de conserver des états de conversation réutilisables après un redémarrage.
Pour ajuster la configuration, basalt-probe effectue des mesures sur la machine et affiche des suggestions de paramètres. Il ne les applique ni ne les enregistre automatiquement : vous gardez la main sur la configuration.
Dans quels cas choisir Basalt ?
Basalt mérite d'être envisagé si vous disposez déjà de matériel Blackwell compatible et souhaitez précisément exécuter en local les modèles MoE qu'il prend en charge. Ses niveaux de mémoire, ses interfaces API et ses outils de diagnostic répondent à cet usage ciblé.
Pour un choix plus large de moteurs de calcul compatibles avec différents matériels, vous pouvez considérer llama.cpp. Pour une installation Linux prête à l'emploi et une utilisation centrée sur le téléchargement et la gestion des modèles, vous pouvez considérer Ollama. Ces outils constituent d'autres options pour l'inférence locale ; la prise en charge d'un modèle et d'un format précis reste à vérifier.




No comment yet
Be the first to share your thoughts.