Mixtral

Categoria:Open Source LLMsPrezzi: Gratis

Descrizione

Mixtral 8x7B, un modello misto di esperti sparso (SMoE) di alta qualità con pesi aperti. Mixtral supera Llama 2 70B nella maggior parte dei benchmark con inferenza 6 volte più veloce. Eguaglia o supera GPT3.5 nella maggior parte dei benchmark standard.<br>Carta: https://arxiv.org/pdf/2401.04088.pdf<br>Notizie: https://mistral.ai/news/mixtral-of-experts/