Certains modèles d’intelligence artificielle comportent plusieurs centaines de milliards de paramètres, mais n’activent qu’une petite partie de ces paramètres pour chaque token traité.
Principe des modèles MoE
L’architecture dite Mixture of Experts (MoE) repose sur un système de spécialistes qui sont sélectionnés dynamiquement en fonction du token d’entrée. Ainsi, pour chaque token, seul un sous‑ensemble d’experts est sollicité, ce qui signifie que seule une fraction des paramètres totaux est réellement utilisée durant le calcul.
Avantages en calcul
Cette approche permet d’accroître la capacité du modèle – grâce à un nombre très élevé de paramètres – sans que le coût de calcul n’augmente proportionnellement. En limitant le nombre d’experts actifs à chaque étape, les modèles MoE offrent une puissance de traitement supérieure tout en maîtrisant la charge computationnelle.
Source : Clubic
Service
Développement de boutique en ligne professionnelle (E-commerce)
Création de boutique en ligne professionnelle à partir de 125 000 FCFA. Vendez vos produits partout au Burkina Faso et à l'international.
À partir de 125 000 F CFADécouvrir le service
