Mixtral

Catégorie:Open Source LLMsTarification: Gratuit

Description

Mixtral 8x7B, un modèle de mélange d'experts clairsemé (SMoE) de haute qualité avec des poids ouverts. Mixtral surpasse Llama 2 70B dans la plupart des benchmarks avec une inférence 6 fois plus rapide. Il correspond ou surpasse GPT3.5 dans la plupart des benchmarks standard.<br>Papier : https://arxiv.org/pdf/2401.04088.pdf<br>Nouvelles : https://mistral.ai/news/mixtral-of-experts/