OVHcloud dévoile Olala mini 7A1B, son premier LLM compact

3 min de lecture

OVHcloud dévoile Olala mini 7A1B, son premier LLM compact

OVHcloud a présenté mardi 17 novembre le premier modèle de sa nouvelle famille de grands modèles de langage (LLM), baptisée Olala. Le modèle initial, nommé Olala mini 7A1B, repose sur une architecture globale de 7 milliards de paramètres, dont un milliard de paramètres actifs répartis sur 256 experts, et est conçu pour fonctionner sur un GPU grand public.

Architecture du modèle
Olala mini utilise une approche « mixture of experts » (MoE) qui active uniquement une fraction du réseau à chaque requête, réduisant ainsi la charge mémoire. OVH revendique une architecture inédite basée sur un mécanisme d’attention hybride appelé Differential‑TPA, combinant une décomposition des requêtes pour limiter l’empreinte mémoire et une lecture différentielle pour se concentrer sur les informations pertinentes. Cette architecture est complétée par des couches Mamba‑3, qui maintiennent un résumé de taille constante, contrairement aux couches à attention traditionnelle dont la consommation mémoire augmente avec la longueur de la conversation.

Performances et usages
Selon OVH, Olala mini 7A1B peut être exécuté sur un GPU doté d’un minimum de 8 Go de mémoire, atteignant 160 tokens par seconde sur une RTX A4500, et même sans GPU, sur un simple processeur, à 50 tokens par seconde. Le modèle possède une fenêtre de contexte de 32 000 tokens, limitant la mémoire de travail immédiate. OVH indique que le moteur de recherche Qwant a intégré Olala pour ses réponses flash, obtenant des réponses 20 % plus rapides et des coûts divisés par trois par rapport au modèle précédent, qui était basé sur les modèles de Mistral.

Feuille de route et ouverture
OVH prévoit, d’ici fin 2026, une version 1.1 d’Olala avec une fenêtre de contexte portée à 128 000 tokens et des améliorations en raisonnement mathématique. Une version 2.0 devrait proposer des modèles spécialisés pour les usages agentiques en entreprise, le développement DevOps et la cybersécurité. Le modèle sera publié avec ses poids, son modèle de base pré‑entraîné, son rapport technique et sa documentation de conformité à l’AI Act, le tout disponible sur Hugging Face sous licence Apache 2.0.

Entraînement et licence
OVH a utilisé l’équivalent de 7 millions d’euros d’heures de calcul sur trois supercalculateurs publics européens – Jupiter, MeluXina et Jean Zay – équipés de puces NVIDIA GH200, A100 et H100, pour entraîner Olala mini. La société ne précise pas si le code source et les jeux de données d’entraînement seront également ouverts, mais la publication sous licence Apache 2.0 devrait permettre une exécution locale sans contrainte. Le PDG Octave Klaba a déclaré : "On ne peut pas juste compter sur la générosité de certains Labs à partager leurs modèles LLM en open source dans les années à venir. Le savoir‑faire dans l’entraînement de modèles s’est largement démocratisé et le coût d’un entraînement a été divisé par 20 en 3 ans. Désormais, il est possible de créer les modèles LLM tout en rendant cette activité rentable".

Source : NEXT