LiveCodeBench
Beskrivelse
LiveCodeBench er en helhetlig og kontamineringsfri evalueringsbenchmark for LLM-er for kode som kontinuerlig samler inn nye problemer over tid. Spesielt fokuserer LiveCodeBench også på bredere koderelaterte evner, som selv-reparasjon, kodeutførelse og prediksjon av testutdata, utover ren kodegenerering.
Relaterte verktøy
LLM Stats
LLM Stats er den mest omfattende LLM-ledertavlen, som benchmarker og sammenligner API-modeller ved hjelp av daglig oppdaterte åpen kildekode-fellesskapsdata om kapasitet, pris, hastighet og kontekstlengde.
Pris per token
Sammenlign LLM API-priser for 200+ modeller fra OpenAI, Anthropic, Google og mer. Inkluderer token-tellere, kostnadskalkulatorer og benchmark-sammenligninger.
LMSYS Chatbot Arena Leaderboard
LMSYS Chatbot Arena er en crowdsourcet åpen plattform for LLM-evalueringer. Samlet over 1.000.000 menneskelige parvise sammenligninger for å rangere LLM-er med Bradley-Terry-modellen og vise modellvurderingene på Elo-skalaen.
Artificial Analysis
Artificial Analysis er en plattform som gir sammenligninger og benchmarks av AI-modeller og tjenesteleverandører for å hjelpe brukere med å ta informerte beslutninger når de velger AI-modeller og tjenesteleverandører. Plattformen gir sammenlignende data om et bredt spekter av populære AI-modeller, inkludert OpenAIs GPT-4, Metas Llama 3 og Anthropics Claude-serie, som dekker ytelsesmålinger som responstid, ventetid og kostnad.
BenchGecko
Datalaget for AI-økonomien. AI-modell benchmark-rangliste med prissammenligning på tvers av hundrevis av leverandører. Sporer tusenvis av modeller på tvers av 128 benchmarks, AI-økonomi-indikatorer, agent-rangliste og MCP-serverkatalog. Gratis API.