Mixtral

Kategori:Open Source LLMsPriser: Gratis

Beskrivelse

Mixtral 8x7B, en høykvalitets sparsom blanding av ekspertmodell (SMoE) med åpne vekter. Mixtral overgår Llama 2 70B i de fleste benchmarks med 6 ganger raskere inferens. Den matcher eller overgår GPT3.5 i de fleste standard benchmarks.<br>Papir: https://arxiv.org/pdf/2401.04088.pdf<br>Nyheter: https://mistral.ai/news/mixtral-of-experts/