Mixtral

Kategoria:Open Source LLMsCennik: Darmowe

Opis

Mixtral 8x7B, wysokiej jakości rzadki model mieszanki ekspertów (SMoE) z otwartymi wagami. Mixtral przewyższa Llama 2 70B w większości benchmarków z 6-krotnie szybszą inferencją. Dorównuje lub przewyższa GPT3.5 w większości standardowych benchmarków.<br>Papier: https://arxiv.org/pdf/2401.04088.pdf<br>Wiadomości: https://mistral.ai/news/mixtral-of-experts/