Mixtral

Categoría:Open Source LLMsPrecios: Gratis

Descripción

Mixtral 8x7B, un modelo de mezcla dispersa de expertos (SMoE) de alta calidad con pesos abiertos. Mixtral supera a Llama 2 70B en la mayoría de los puntos de referencia con una inferencia 6 veces más rápida. Iguala o supera a GPT3.5 en la mayoría de los puntos de referencia estándar.<br>Papel: https://arxiv.org/pdf/2401.04088.pdf<br>Noticias: https://mistral.ai/news/mixtral-of-experts/