Mixtral

Categoria:Open Source LLMsPreços: Grátis

Descrição

Mixtral 8x7B, um modelo de mistura esparsa de especialistas (SMoE) de alta qualidade com pesos abertos. Mixtral supera o Llama 2 70B na maioria dos benchmarks com inferência 6 vezes mais rápida. Ele corresponde ou supera o GPT3.5 na maioria dos benchmarks padrão.<br>Papel: https://arxiv.org/pdf/2401.04088.pdf<br>Notícias: https://mistral.ai/news/mixtral-of-experts/