LiveCodeBench
Descripción
LiveCodeBench es un punto de referencia de evaluación holístico y libre de contaminación para LLM de código, que recopila continuamente nuevos problemas a lo largo del tiempo. En particular, LiveCodeBench también se centra en capacidades más amplias relacionadas con el código, como la auto-reparación, la ejecución de código y la predicción de resultados de prueba, más allá de la mera generación de código.
Herramientas relacionadas
LLM Stats
LLM Stats es el ranking de LLM más completo, que evalúa y compara modelos API utilizando datos de la comunidad de código abierto actualizados diariamente sobre capacidad, precio, velocidad y longitud de contexto.
Precio por token
Compara precios de API de LLM en más de 200 modelos de OpenAI, Anthropic, Google y más. Incluye contadores de tokens, calculadoras de costos y comparaciones de referencia.
LMSYS Chatbot Arena Leaderboard
LMSYS Chatbot Arena es una plataforma abierta de crowdsourcing para evaluaciones de LLM. Ha recopilado más de 1,000,000 de comparaciones humanas por pares para clasificar los LLM con el modelo Bradley-Terry y mostrar las calificaciones de los modelos en la escala Elo.
Artificial Analysis
Artificial Analysis es una plataforma que proporciona comparaciones y puntos de referencia de modelos de IA y proveedores de servicios para ayudar a los usuarios a tomar decisiones informadas al elegir modelos de IA y proveedores de servicios. La plataforma proporciona datos comparativos sobre una amplia gama de modelos de IA populares, incluidos GPT-4 de OpenAI, Llama 3 de Meta y la serie Claude de Anthropic, que cubren métricas de rendimiento como el tiempo de respuesta, la latencia y el costo.
BenchGecko
La capa de datos de la economía de la IA. Tabla de clasificación de referencia de modelos de IA con comparación de precios entre cientos de proveedores. Realiza un seguimiento de miles de modelos en 128 benchmarks, indicadores de la economía de la IA, clasificación de agentes y directorio de servidores MCP. API gratuita.