Mixtral

Categorie:Open Source LLMsPrijzen: Gratis

Beschrijving

Mixtral 8x7B, een hoogwaardig spaarzaam mengsel van experts-model (SMoE) met open gewichten. Mixtral presteert beter dan Llama 2 70B in de meeste benchmarks met 6x snellere inferentie. Het evenaart of overtreft GPT3.5 in de meeste standaard benchmarks.<br>Papier: https://arxiv.org/pdf/2401.04088.pdf<br>Nieuws: https://mistral.ai/news/mixtral-of-experts/