LiveCodeBench
Deskripsi
LiveCodeBench adalah tolok ukur evaluasi yang holistik dan bebas kontaminasi untuk LLM untuk kode yang terus mengumpulkan masalah baru dari waktu ke waktu. Secara khusus, LiveCodeBench juga berfokus pada kemampuan terkait kode yang lebih luas, seperti perbaikan diri, eksekusi kode, dan prediksi keluaran tes, di luar sekadar pembuatan kode.
Alat Terkait
LLM Stats
LLM Stats adalah papan peringkat LLM paling komprehensif, yang mengukur dan membandingkan model API menggunakan data komunitas sumber terbuka yang diperbarui setiap hari mengenai kemampuan, harga, kecepatan, dan panjang konteks.
Harga per Token
Bandingkan harga API LLM untuk 200+ model dari OpenAI, Anthropic, Google, dan lainnya. Termasuk penghitung token, kalkulator biaya, dan perbandingan tolok ukur.
LMSYS Chatbot Arena Leaderboard
LMSYS Chatbot Arena adalah platform terbuka crowdsourced untuk evaluasi LLM. Mengumpulkan lebih dari 1.000.000 perbandingan berpasangan manusia untuk memberi peringkat LLM dengan model Bradley-Terry dan menampilkan peringkat model dalam skala Elo.
Artificial Analysis
Artificial Analysis adalah platform yang menyediakan perbandingan dan tolok ukur model AI dan penyedia layanan untuk membantu pengguna membuat keputusan yang tepat ketika memilih model AI dan penyedia layanan. Platform ini menyediakan data komparatif tentang berbagai macam model AI populer, termasuk GPT-4 dari OpenAI, Llama 3 dari Meta, dan seri Claude dari Anthropic, yang mencakup metrik kinerja seperti waktu respons, latensi, dan biaya.
BenchGecko
Lapisan data ekonomi AI. Papan peringkat tolok ukur model AI dengan perbandingan harga antar penyedia di ratusan penyedia. Melacak ribuan model di 128 tolok ukur, indikator ekonomi AI, papan peringkat agen, dan direktori server MCP. API gratis.