LiveCodeBench
Beskrivelse
LiveCodeBench er en holistisk og kontaminationsfri evalueringsbenchmark for LLM'er til kode, der løbende indsamler nye problemer over tid. Især fokuserer LiveCodeBench også på bredere koderelaterede evner, såsom selv-reparation, kodeudførelse og forudsigelse af testoutput, ud over blot kodegenerering.
Relaterede værktøjer
LLM Stats
LLM Stats er den mest omfattende LLM-ledertavle, der benchmarker og sammenligner API-modeller ved hjælp af dagligt opdaterede open source-fællesskabsdata om kapacitet, pris, hastighed og kontekstlængde.
Pris pr. token
Sammenlign LLM API-priser for 200+ modeller fra OpenAI, Anthropic, Google og flere. Inkluderer token-tællere, omkostningsberegnere og benchmark-sammenligninger.
LMSYS Chatbot Arena Leaderboard
LMSYS Chatbot Arena er en crowdsourcet åben platform til LLM-evalueringer. Samlet over 1.000.000 menneskelige parvise sammenligninger for at rangere LLM'er med Bradley-Terry-modellen og vise modelbedømmelserne på Elo-skalaen.
Artificial Analysis
Artificial Analysis er en platform, der leverer sammenligninger og benchmarks af AI-modeller og tjenesteudbydere for at hjælpe brugere med at træffe informerede beslutninger, når de vælger AI-modeller og tjenesteudbydere. Platformen leverer sammenlignende data for en lang række populære AI-modeller, herunder OpenAIs GPT-4, Metas Llama 3 og Anthropics Claude-serie, der dækker præstationsmålinger såsom svartid, latenstid og omkostninger.
BenchGecko
Datalaget for AI-økonomien. AI-model benchmark-rangliste med prissammenligning på tværs af hundredvis af udbydere. Sporer tusindvis af modeller på tværs af 128 benchmarks, AI-økonomi-indikatorer, agent-rangliste og MCP-serverkatalog. Gratis API.