LiveCodeBench
설명
LiveCodeBench는 시간이 지남에 따라 새로운 문제를 지속적으로 수집하는 코드용 LLM의 포괄적이고 오염되지 않은 평가 벤치마크입니다. 특히, LiveCodeBench는 단순한 코드 생성 이상으로 자기 수리, 코드 실행, 테스트 출력 예측과 같은 더 넓은 코드 관련 능력에도 초점을 맞춥니다.
관련 도구
LLM Stats
LLM Stats는 가장 포괄적인 LLM 리더보드로, 매일 업데이트되는 오픈소스 커뮤니티 데이터를 사용하여 API 모델의 성능, 가격, 속도, 컨텍스트 길이를 벤치마킹하고 비교합니다.
토큰당 가격
OpenAI, Anthropic, Google 등 200개 이상 모델의 LLM API 가격을 비교하세요. 토큰 카운터, 비용 계산기, 벤치마크 비교가 포함됩니다.
LMSYS Chatbot Arena Leaderboard
LMSYS Chatbot Arena는 LLM 평가를 위한 크라우드소싱 오픈 플랫폼입니다. 100만 건 이상의 인간 쌍방향 비교를 수집하여 Bradley-Terry 모델로 LLM을 순위화하고 Elo 스케일로 모델 평가를 표시합니다.
Artificial Analysis
Artificial Analysis는 AI 모델과 서비스 제공업체 비교 및 벤치마크를 제공하는 플랫폼으로, 사용자가 AI 모델과 서비스 제공업체를 선택할 때 정보에 입각한 결정을 내릴 수 있도록 돕습니다. 이 플랫폼은 OpenAI의 GPT-4, Meta의 Llama 3, Anthropic의 Claude 시리즈를 포함한 다양한 인기 AI 모델에 대한 비교 데이터를 제공하며 응답 시간, 지연 시간, 비용 등의 성능 지표를 다룹니다.
BenchGecko
AI 경제의 데이터 레이어. AI 모델 벤치마크 리더보드로 수백 개 제공업체 간의 가격 비교를 제공합니다. 128개 벤치마크에서 수천 개 모델을 추적하며 AI 경제 지표, 에이전트 리더보드, MCP 서버 디렉토리를 포함합니다. 무료 API.