LiveCodeBench
説明
LiveCodeBenchは、時間とともに新しい問題を継続的に収集する、コードに対するLLMのための包括的で汚染のない評価ベンチマークです。特に、LiveCodeBenchは、単なるコード生成を超えて、自己修復、コード実行、テスト出力予測などの、より広範なコード関連能力にも焦点を当てています。
関連ツール
LLM Stats
LLM Statsは、最も包括的なLLMリーダーボードであり、毎日更新されるオープンソースコミュニティデータを使用して、APIモデルの能力、価格、速度、コンテキスト長をベンチマークし比較します。
トークンあたりの価格
OpenAI、Anthropic、Google など 200 以上のモデルの LLM API 料金を比較。トークンカウンター、コスト計算機、ベンチマーク比較を備えています。
LMSYS Chatbot Arena Leaderboard
LMSYS Chatbot Arena は、LLM評価のためのクラウドソーシングによるオープンプラットフォームです。100万以上の人間によるペアワイズ比較を収集し、Bradley-TerryモデルでLLMをランク付けし、Eloスケールでモデル評価を表示します。
Artificial Analysis
Artificial Analysisは、AIモデルとサービスプロバイダーの比較とベンチマークを提供するプラットフォームで、ユーザーがAIモデルとサービスプロバイダーを選ぶ際に情報に基づいた意思決定を行えるようにします。このプラットフォームは、OpenAIのGPT-4、MetaのLlama 3、AnthropicのClaudeシリーズなど、人気のAIモデルに関する比較データを提供し、応答時間、レイテンシー、コストなどのパフォーマンス指標を網羅しています。
BenchGecko
AI経済のデータレイヤー。AIモデルのベンチマークリーダーボードで、数百のプロバイダーにわたるクロスプロバイダーの価格比較が可能。128のベンチマークで数千のモデルを追跡し、AI経済指標、エージェントリーダーボード、MCPサーバーディレクトリを提供。無料API。