Artificial Analysis
Descrição
Artificial Analysis é uma plataforma que fornece comparações e benchmarks de modelos de IA e provedores de serviços para ajudar os usuários a tomar decisões informadas ao escolher modelos de IA e provedores de serviços. A plataforma fornece dados comparativos sobre uma ampla variedade de modelos de IA populares, incluindo GPT-4 da OpenAI, Llama 3 da Meta e a série Claude da Anthropic, cobrindo métricas de desempenho como tempo de resposta, latência e custo.
Ferramentas relacionadas
LLM Stats
LLM Stats é o ranking de LLM mais abrangente, que avalia e compara modelos de API usando dados da comunidade de código aberto atualizados diariamente sobre capacidade, preço, velocidade e comprimento do contexto.
Preço por token
Compare preços de API de LLM em mais de 200 modelos da OpenAI, Anthropic, Google e outros. Inclui contadores de tokens, calculadoras de custos e comparações de benchmarks.
LMSYS Chatbot Arena Leaderboard
LMSYS Chatbot Arena é uma plataforma aberta de crowdsourcing para avaliações de LLM. Coletou mais de 1.000.000 de comparações humanas em pares para classificar LLMs com o modelo Bradley-Terry e exibir as classificações dos modelos na escala Elo.
LiveCodeBench
LiveCodeBench é um benchmark de avaliação holístico e livre de contaminação para LLMs de código, que coleta continuamente novos problemas ao longo do tempo. Particularmente, o LiveCodeBench também se concentra em capacidades mais amplas relacionadas a código, como autorreparação, execução de código e previsão de saída de teste, além da mera geração de código.
BenchGecko
A camada de dados da economia de IA. Ranking de benchmark de modelos de IA com comparação de preços entre centenas de provedores. Rastreia milhares de modelos em 128 benchmarks, indicadores da economia de IA, ranking de agentes e diretório de servidores MCP. API gratuita.