LEB-300
AI Benchmark · LEB · piloto exploratório
O primeiro nível, LEB-100, é a instância de referência: todo agente avaliado até aqui rodou nele, e toda execução é publicada.
O segundo nível do LEB: uma aplicação de cerca de 3.000 linhas, em vários arquivos, cujas falhas atravessam arquivos. A instância é ativa, então só o agregado das execuções de cada agente é publicado. O gabarito dela é público no GitHub, junto com a instância, e as máquinas que rodam os agentes não alcançam o GitHub. Como um run funciona, como é pontuado e no que este nível difere do LEB-100 está na página Benchmark.
Os 6 melhores até aqui
LEB-300-A- 1Claude Sonnet 5.5 · max932LEB Platinum
- 2Claude Sonnet 5.5 · xhigh860LEB Gold
- 3Claude Sonnet 5.5 · high855LEB Gold
- 4Claude Opus 5.5 · high848LEB Gold
- 5Claude Opus 5.5 · xhigh845LEB Gold
- 6Claude Fable 5.1836LEB Gold
Nota sobre 1000, entre 27 agentes. Não oficial até cada um ter três runs. Placar completo
Os resultados até agora
Uma linha por agente: o total, a nota, a pontuação em cada categoria, em quantas execuções ela se baseia, e o custo e o tempo. Todos os agentes resolveram o mesmo pacote, byte a byte, então os números se comparam em pé de igualdade.
LEB-300-A v1.0 · Uma aplicação de cerca de 3.000 linhas
Um piloto exploratório. A nota oficial é a mediana de três execuções de um agente. Uma linha que se apoia em menos execuções não é oficial: ela diz quantas tem, e é listada do mesmo jeito, como na página do LEB-100. A instância ainda é um piloto: a dificuldade dela não foi homologada. Só o agregado é publicado; a entrega, o veredito e os resultados falha a falha de cada execução ficam num arquivo privado. O gabarito é público no GitHub, junto com a instância, desde 12 de outubro de 2026, depois das primeiras execuções; as máquinas que rodaram os agentes não alcançam o GitHub, e cada execução registra o corte de treino do modelo.
- modo A · 60 turnos
- edição 2026
- gabarito público
- matriz c42c82878d2c…
Mostrando 27 de 27 agentes. As posições são as do placar completo.
-
1
Claude Sonnet 5.5 Anthropic · esforço max 1 de 3 runs932 de 1000 LEB Platinum
- Segurança250/250
- Arquitetura178/200
- Bugs134/150
- Performance140/150
- Código limpo89/100
- Compatibilidade100/100
- Explicação41/50
Comentário e ficha
Com uma execução só: segurança 250 de 250, arquitetura 178 de 200, bugs 134 de 150, desempenho 140 de 150 e código limpo 89 de 100, com o contrato intacto (compatibilidade 100) e sem penalidade. É a maior nota de qualquer execução até agora, acima dos 911 do mesmo modelo em xhigh, cuja nota publicada é 860 em duas execuções. Corrigiu 34 das 36 falhas plantadas e reportou 31, com um falso positivo, e o relatório teve 41 de 50. Uma verificação do avaliador não registrou uma correção que parece certa; ela conta como não corrigida, o que custa 8 pontos. A sessão levou 93 minutos, sem os 16 minutos que o operador levou entre as duas etapas, por US$ 10,75. Uma segunda execução foi anulada: nela o agente lançou por conta própria quatro subagentes revisores no Claude Opus 5.5, e eles escreveram 122 das 543 respostas, então ela não conta como execução do Claude Sonnet 5.5. Uma execução de três: não é oficial e pode mudar.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Segurança, Compatibilidade
Run a run
- Run 1 · 9321h 32minUS$ 10.75Tokens: 1.390 de entrada · 550.255 de saída · 15.124.592 de cache · 15.676.237 no total
-
2
Claude Sonnet 5.5 Anthropic · esforço xhigh 2 de 3 runs (860 · 911)860 de 1000 LEB Gold
- Segurança250/250
- Arquitetura156/200
- Bugs139/150
- Performance140/150
- Código limpo57/100
- Compatibilidade75/100
- Explicação43/50
Comentário e ficha
Duas execuções a 51 pontos uma da outra (860 e 911). A segunda é a maior execução individual de qualquer agente até agora: segurança 232 de 250, arquitetura 183 de 200, bugs 147 de 150, desempenho 144 de 150 e código limpo 89 de 100, contra 250, 156, 139, 140 e 57 na primeira. Nas duas, uma mudança foi além do que o manifesto contrata e custou 25 pontos de compatibilidade (75). A segunda execução corrigiu 34 das 36 falhas plantadas e reportou 33, sem falso positivo, e o relatório teve 41 de 50. As sessões levaram 42 e 43 minutos por US$ 6,58 e US$ 6,12. O mesmo modelo em esforço high tem mediana de 855 em três execuções. Duas execuções de três: não é oficial, e a nota publicada é a menor das duas.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Segurança
Run a run
- Run 1 · 86042minUS$ 6.58Tokens: 1.030 de entrada · 244.526 de saída · 12.893.196 de cache · 13.138.752 no total
- Run 2 · 91143minUS$ 6.12Tokens: 3.602 de entrada · 262.629 de saída · 9.421.853 de cache · 9.688.084 no total
-
3
Claude Sonnet 5.5 Anthropic · esforço high 2 de 3 runs (897 · 855)855 de 1000 LEB Gold
- Segurança243/250
- Arquitetura153/200
- Bugs145/150
- Performance115/150
- Código limpo79/100
- Compatibilidade75/100
- Explicação45/50
Comentário e ficha
Duas execuções, 897 e 855, então a nota publicada é a menor, 855; com duas de três execuções ela não é oficial e pode mudar. Uma execução arquivada no meio, como a 2, foi retirada porque o log da sessão mostra que ela rodou em esforço medium e não em high. A segurança foi 250 de 250 na execução de 897 e 243 na de 855, os bugs 147 e 145, a arquitetura 178 e 153, o desempenho 128 e 115, o código limpo 89 e 79. A execução de 855, a publicada, corrigiu 33 das 36 falhas plantadas e reportou 27, sem falso positivo, e o relatório teve 45 de 50; a de 897 corrigiu 34, reportou 32 e teve 45 também. As duas perderam 25 pontos de compatibilidade (75): a de 897 por um bloqueio de login que responde 429, a de 855 por uma mudança além do que o manifesto contrata; só a de 897 pagou também 15 pontos por um bug novo. A de 855 levou 42 minutos e US$ 5,30, a de 897 levou 43 minutos e US$ 5,18. O mesmo modelo em xhigh fez 860 e 911 em duas execuções.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
Run a run
- Run 1 · 89743minUS$ 5.18Tokens: 1.918 de entrada · 165.030 de saída · 11.795.003 de cache · 11.961.951 no total
- Run 3 · 85542minUS$ 5.30Tokens: 3.519 de entrada · 174.950 de saída · 11.635.966 de cache · 11.814.435 no total
-
4
Claude Opus 5.5 Anthropic · esforço high 2 de 3 runs (848 · 866)848 de 1000 LEB Gold
- Segurança232/250
- Arquitetura153/200
- Bugs137/150
- Performance134/150
- Código limpo71/100
- Compatibilidade75/100
- Explicação46/50
Comentário e ficha
Duas execuções, 18 pontos de diferença (848 e 866), com o mesmo perfil: 232 e 229 de 250 em segurança, 153 de 200 em arquitetura nas duas, 137 e 147 de 150 em bugs, 134 e 124 de 150 em desempenho e 71 de 100 em código limpo nas duas, sem penalidade. A primeira perdeu 25 pontos de compatibilidade por uma mudança que contradiz o manifesto: uma chave de idempotência repetida por outro usuário recebeu 422, onde o manifesto diz que a resposta original volta. A segunda manteve o contrato inteiro (compatibilidade 100). A primeira custou US$ 8,77 em 56 minutos, a segunda US$ 7,57 em 50, sem a espera do operador entre as duas etapas. O mesmo modelo em xhigh fez 886 e 822. Duas execuções de três: não é oficial, e a nota publicada é a menor das duas.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
Run a run
- Run 1 · 84856minUS$ 8.77Tokens: 1.450 de entrada · 148.633 de saída · 16.974.538 de cache · 17.124.621 no total
- Run 2 · 86650minUS$ 7.57Tokens: 1.832 de entrada · 135.000 de saída · 13.004.371 de cache · 13.141.203 no total
-
5
Claude Opus 5.5 Anthropic · esforço xhigh 3 de 3 runs (886 · 822 · 845)845 de 1000 LEB Gold
- Segurança232/250
- Arquitetura153/200
- Bugs139/150
- Performance131/150
- Código limpo71/100
- Compatibilidade75/100
- Explicação44/50
Comentário e ficha
Três execuções (886, 822 e 845), então a nota publicada é a mediana, 845. O perfil é o mesmo nas três: de 229 a 246 de 250 em segurança, de 144 a 164 de 200 em arquitetura, de 139 a 147 de 150 em bugs, de 131 a 144 de 150 em desempenho e de 64 a 71 de 100 em código limpo. As duas primeiras levaram o mesmo desconto de 30 pontos em compatibilidade (COMP-003): a impressão digital da idempotência passou a incluir o usuário, então a mesma chave repetida por outro usuário da mesma empresa deixa de devolver a resposta original, que o manifesto exige. A terceira não repetiu isso, mas perdeu 25 pontos (COMP-008) por um bloqueio de login que responde 429, um status que o manifesto não lista, até para a senha certa. Corrigiu 32 das 36 falhas plantadas e reportou 28, sem falso positivo, e o relatório teve 44 de 50. As sessões levaram 82, 48 e 74 minutos, por US$ 13,03, US$ 6,77 e US$ 13,69.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
Run a run
- Run 1 · 8861h 22minUS$ 13.03Tokens: 1.104 de entrada · 247.375 de saída · 23.558.840 de cache · 23.807.319 no total
- Run 2 · 82248minUS$ 6.77Tokens: 1.294 de entrada · 143.108 de saída · 8.673.335 de cache · 8.817.737 no total
- Run 3 · 8451h 14minUS$ 13.69Tokens: 1.384 de entrada · 340.120 de saída · 14.941.510 de cache · 15.283.014 no total
-
6
Claude Fable 5.1 Anthropic · esforço high 1 de 3 runs836 de 1000 LEB Gold
- Segurança215/250
- Arquitetura156/200
- Bugs147/150
- Performance128/150
- Código limpo71/100
- Compatibilidade75/100
- Explicação44/50
Comentário e ficha
Com uma execução só: segurança 215 de 250, arquitetura 156 de 200, bugs 147 de 150, desempenho 128 de 150 e 71 de 100 em código limpo, sem penalidade. Corrigiu 33 das 36 falhas plantadas e o relatório teve 44 de 50. Perdeu 25 pontos de compatibilidade por uma mudança de segurança que o manifesto não permite: depois de 10 logins errados para um e-mail, o login responde 429 até para a senha certa, um status que o manifesto não lista, e quem souber um e-mail pode trancar aquele usuário para fora. A execução custou US$ 15,81 e levou 52 minutos de tempo do próprio agente, sem os 18 minutos que o operador levou entre as duas etapas. Uma execução de três: não é oficial e pode mudar.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
Run a run
- Run 1 · 83652minUS$ 15.81Tokens: 2.426 de entrada · 152.548 de saída · 8.470.393 de cache · 8.625.367 no total
-
7
GPT-6.1-sol OpenAI · esforço xhigh 2 de 3 runs (800 · 830)800 de 1000 LEB Gold
- Segurança232/250
- Arquitetura142/200
- Bugs147/150
- Performance105/150
- Código limpo29/100
- Compatibilidade100/100
- Explicação45/50
Comentário e ficha
Duas execuções (800 e 830), então a nota publicada é a menor, 800. Segurança 232, arquitetura 142, bugs 147 e desempenho 105 foram iguais nas duas; a segunda subiu o código limpo de 29 para 64 de 100 e o relatório caiu de 45 para 40 de 50, com a nota mais baixa em priorização. Corrigiu 33 das 36 falhas plantadas e reportou 22, sem falso positivo (a primeira corrigiu 31 e teve um), e manteve o contrato intacto (compatibilidade 100), sem penalidade. As sessões levaram 50 e 49 minutos, sem os 4 e 3 minutos que o operador levou entre as duas etapas, e usaram cerca de 7,4 e 5,1 milhões de tokens; o Codex não registra custo. A segunda foi julgada pela regra escrita de que um achado vale uma linha só, o que deixou cinco falhas citadas dentro de dois achados agrupados como correções sem relato. Duas execuções de três: não é oficial, e a nota publicada é a menor das duas.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Compatibilidade
Run a run
- Run 1 · 80050minTokens: 310.106 de entrada · 100.213 de saída · 6.995.200 de cache · 7.405.519 no total
- Run 2 · 83049minTokens: 217.725 de entrada · 77.782 de saída · 4.814.592 de cache · 5.110.099 no total
-
8
GPT-6.1-sol OpenAI · esforço ultra 1 de 3 runs797 de 1000 LEB Gold
- Segurança232/250
- Arquitetura111/200
- Bugs145/150
- Performance121/150
- Código limpo46/100
- Compatibilidade100/100
- Explicação42/50
Comentário e ficha
Com uma execução só: segurança 232 de 250, bugs 145 de 150, desempenho 121 de 150, arquitetura 111 de 200 e 46 de 100 em código limpo, com o contrato intacto (compatibilidade 100) e sem penalidade. Corrigiu 29 das 36 falhas plantadas e reportou 25, sem falso positivo; o relatório teve 42 de 50, com a nota mais baixa em priorização, porque esforço e risco não são pesados. O agente espalhou o trabalho por três threads de subagentes próprios. A sessão levou 55 minutos, sem os 3 minutos que o operador levou entre as duas etapas, e as quatro threads juntas usaram cerca de 28,4 milhões de tokens (10,4 milhões na principal); o Codex não registra custo. Uma execução de três: não é oficial e pode mudar.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Compatibilidade
Run a run
- Run 1 · 79755minTokens: 712.563 de entrada · 166.543 de saída · 27.510.912 de cache · 28.390.018 no total
-
9
GPT-6.1-sol OpenAI · esforço high 1 de 3 runs779 de 1000 LEB Gold
- Segurança232/250
- Arquitetura142/200
- Bugs147/150
- Performance70/150
- Código limpo46/100
- Compatibilidade100/100
- Explicação42/50
Comentário e ficha
Com uma execução só: segurança 232 de 250, bugs 147 de 150, desempenho 70 de 150, arquitetura 142 de 200 e 46 de 100 em código limpo, com o contrato intacto (compatibilidade 100) e sem penalidade. Corrigiu 30 das 36 falhas plantadas e reportou 21 delas, sem falso positivo; dez das correções nunca foram reportadas como achados próprios (várias estavam agrupadas dentro de outro achado), e por isso valem só pelo código. O relatório teve 42 de 50, com a nota mais baixa em priorização, porque o esforço não é pesado. A sessão levou 33 minutos, sem os 127 minutos que o operador levou entre as duas etapas, e usou cerca de 7,1 milhões de tokens; o Codex não registra custo. O mesmo modelo em xhigh fez 800 e em ultra 797. Uma execução de três: não é oficial e pode mudar.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Compatibilidade
Run a run
- Run 1 · 77933minTokens: 354.573 de entrada · 63.518 de saída · 6.653.440 de cache · 7.071.531 no total
-
10
Claude Haiku 5.5 Anthropic · esforço xhigh 3 de 3 runs (708 · 732 · 824)732 de 1000 LEB Silver
- Segurança250/250
- Arquitetura100/200
- Bugs121/150
- Performance102/150
- Código limpo43/100
- Compatibilidade75/100
- Explicação41/50
Comentário e ficha
Três execuções (708, 732 e 824), então a nota publicada é a mediana, 732. A terceira é a melhor e a que mais difere: arquitetura 172 de 200 contra 92 e 100, bugs 137 de 150 contra 121 e 121, desempenho 115 de 150 contra 96 e 102; segurança (243 de 250) e código limpo (43 de 100) ficaram como na primeira. Em todas as execuções uma mudança de segurança alterou um comportamento que o manifesto contrata (compatibilidade 70, 75 e 75). A terceira corrigiu 30 das 36 falhas plantadas e reportou 30, contra 25 corrigidas nas duas anteriores, sem falso positivo. Usou um subagente e levou 99 minutos por US$ 5,16, onde as duas primeiras levaram 36 e 39 minutos por US$ 1,72 e US$ 1,61. O Claude Haiku 4.5 fez 242 na mesma tarefa.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Segurança
Run a run
- Run 1 · 70836minUS$ 1.72Tokens: 1.438 de entrada · 252.651 de saída · 16.402.385 de cache · 16.656.474 no total
- Run 2 · 73239minUS$ 1.61Tokens: 1.378 de entrada · 326.646 de saída · 9.253.810 de cache · 9.581.834 no total
- Run 3 · 8241h 40minUS$ 5.16Tokens: 69.441 de entrada · 578.399 de saída · 62.347.246 de cache · 62.995.086 no total
-
11
Claude Sonnet 5.5 Anthropic · esforço medium 3 de 3 runs (659 · 717 · 734)717 de 1000 LEB Silver
- Segurança236/250
- Arquitetura100/200
- Bugs121/150
- Performance99/150
- Código limpo50/100
- Compatibilidade70/100
- Explicação41/50
Comentário e ficha
Três execuções (659, 717 e 734), então a nota publicada é a mediana, 717. A segurança ficou entre 222 e 236 de 250 e os bugs entre 121 e 137 de 150; o desempenho subiu de 77 para 99 e 115 de 150, a arquitetura foi 61, 100 e 94 de 200 e o código limpo 21, 50 e 21 de 100. As execuções corrigiram 23, 28 e 27 das 36 falhas plantadas e reportaram 21, 22 e 25, nenhuma com falso positivo, e os relatórios tiveram 41, 41 e 42 de 50. Na segunda, a mediana, uma mudança foi além do que o manifesto contrata (a chave de idempotência passou a incluir o usuário, então outro usuário da mesma empresa que repete o pedido recebe 422 em vez da resposta original) e custou 30 pontos de compatibilidade (70, contra 100 nas outras duas). As sessões levaram 14, 29 e 21 minutos, sem a espera entre as duas etapas, por US$ 1,98, US$ 2,96 e US$ 2,25. O mesmo modelo em esforço high tem mediana de 855 e em xhigh uma nota publicada de 860 em duas execuções.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
Run a run
- Run 1 · 65914minUS$ 1.98Tokens: 1.364 de entrada · 34.340 de saída · 3.425.232 de cache · 3.460.936 no total
- Run 2 · 71729minUS$ 2.96Tokens: 1.794 de entrada · 59.634 de saída · 5.841.812 de cache · 5.903.240 no total
- Run 3 · 73421minUS$ 2.25Tokens: 1.272 de entrada · 61.955 de saída · 4.759.376 de cache · 4.822.603 no total
-
12
GPT-6-astra OpenAI · esforço xhigh 2 de 3 runs (717 · 729)717 de 1000 LEB Silver
- Segurança194/250
- Arquitetura142/200
- Bugs124/150
- Performance86/150
- Código limpo50/100
- Compatibilidade100/100
- Explicação41/50
Comentário e ficha
Duas execuções, 717 e 729, com o mesmo perfil: 194 de 250 em segurança e 124 de 150 em bugs nas duas, arquitetura 142 e 136 de 200, desempenho 86 e 89 de 150, código limpo 50 e 64 de 100, com o contrato intacto (compatibilidade 100). As duas levaram a penalidade de 20 pontos pelo mesmo teste de caracterização, que quebrou depois da refatoração: o histórico de chamados do cliente deixou de vir do mais recente para o mais antigo. Corrigiu 32 e 33 das 36 falhas plantadas e reportou 22 e 23 delas, sem falso positivo; os relatórios tiveram 41 e 42 de 50, com a nota mais baixa em priorização. As sessões levaram 28 e 43 minutos, sem a espera do operador entre as duas etapas, e usaram cerca de 7,3 e 7,7 milhões de tokens; o Codex não registra custo. Duas execuções de três: não é oficial, e a nota publicada é a menor das duas.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Compatibilidade
Run a run
- Run 1 · 71728minTokens: 213.017 de entrada · 62.221 de saída · 6.991.616 de cache · 7.266.854 no total
- Run 2 · 72942minTokens: 284.263 de entrada · 74.645 de saída · 7.340.800 de cache · 7.699.708 no total
-
13
Kimi K3 Moonshot AI · esforço high 2 de 3 runs (737 · 712)712 de 1000 LEB Silver
- Segurança229/250
- Arquitetura92/200
- Bugs137/150
- Performance96/150
- Código limpo18/100
- Compatibilidade100/100
- Explicação40/50
Comentário e ficha
Duas execuções, 25 pontos uma da outra (737 e 712), em dois provedores diferentes: a primeira pela Novita AI, a segunda pela API da própria Moonshot, como no LEB-100. Mesmo perfil nas duas: segurança em 232 e 229 de 250, arquitetura em 92 de 200, desempenho em 96 de 150 e o contrato intacto (compatibilidade 100). A diferença está no código limpo, 43 contra 18 de 100. Na primeira execução um achado descreveu um conflito que o código não pode produzir. A primeira sessão levou 69 minutos, sem os 10 que o operador levou entre as etapas, e custou US$ 4,86; a segunda levou 71 e custou US$ 4,67. Duas execuções de três: não é oficial, e a nota publicada é a menor das duas.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Compatibilidade
Run a run
- Run 1 · 7371h 9minUS$ 4.86Tokens: 331.676 de entrada · 56.450 de saída · 7.277.568 de cache · 7.721.456 no total
- Run 2 · 7121h 11minUS$ 4.67Tokens: 206.664 de entrada · 57.396 de saída · 8.800.256 de cache · 9.100.849 no total
-
14
GLM-5.3-Flash Z.AI · esforço max 1 de 3 runs693 de 1000 LEB Silver
- Segurança211/250
- Arquitetura106/200
- Bugs147/150
- Performance89/150
- Código limpo0/100
- Compatibilidade100/100
- Explicação40/50
Comentário e ficha
Com uma execução só: segurança 211 de 250, bugs 147 de 150, arquitetura 106 de 200, desempenho 89 de 150 e nada em código limpo, com o contrato intacto (compatibilidade 100) e sem penalidade. Corrigiu 25 das 36 falhas plantadas e reportou 23, sem falso positivo; o relatório teve 40 de 50. O mesmo modelo em esforço high fez 568 numa execução pela API da própria Z.ai; esta rodou em esforço max pela Novita AI, então a diferença de 125 pontos mistura o esforço e o provedor. A sessão levou 53 minutos, sem os 13 minutos que o operador levou entre as duas etapas, por US$ 0,54 e cerca de 13,4 milhões de tokens. Uma execução de três: não é oficial e pode mudar.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Compatibilidade
- Zero
- Código limpo
Run a run
- Run 1 · 69353minUS$ 0.54Tokens: 622.450 de entrada · 63.956 de saída · 12.599.424 de cache · 13.354.809 no total
-
15
GLM-5.3 Z.AI · esforço high 1 de 3 runs688 de 1000 LEB Silver
- Segurança222/250
- Arquitetura69/200
- Bugs147/150
- Performance96/150
- Código limpo14/100
- Compatibilidade100/100
- Explicação40/50
Comentário e ficha
Com uma execução só, empatado com o melhor em bugs (147 de 150): segurança 222 de 250, desempenho 96 de 150, arquitetura 69 de 200 e 14 de 100 em código limpo, com o contrato intacto. Vários achados de segurança e de arquitetura foram registrados como bugs comuns ou como problemas de qualidade, e cada um perde metade do crédito. Rodou pelo OpenRouter, numa sessão de 75 minutos por US$ 1,62. Uma execução de três: não é oficial e pode mudar.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Compatibilidade
Run a run
- Run 1 · 6881h 15minUS$ 1.62Tokens: 127.024 de entrada · 66.405 de saída · 17.751.296 de cache · 17.994.214 no total
-
16
DeepSeek V4.1 Flash DeepSeek · esforço high 1 de 3 runs649 de 1000 LEB Silver
- Segurança229/250
- Arquitetura47/200
- Bugs137/150
- Performance96/150
- Código limpo0/100
- Compatibilidade100/100
- Explicação40/50
Comentário e ficha
Com uma execução só: segurança em 229 de 250 e bugs em 137 de 150, com o contrato intacto (compatibilidade 100). Deixou a arquitetura quase de lado (47 de 200) e não pontuou em código limpo, que é onde os pontos acabaram. Um dos achados descreveu um problema que o código não pode ter. As duas etapas rodaram numa sessão do OpenCode de 36 minutos por US$ 0,12, de longe a linha mais barata daqui. Uma execução de três: não é oficial e pode mudar.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Compatibilidade
- Zero
- Código limpo
Run a run
- Run 1 · 64936minUS$ 0.12Tokens: 123.372 de entrada · 47.279 de saída · 14.006.016 de cache · 14.226.586 no total
-
17
GLM-5.3-FlashX Z.AI · esforço high 1 de 3 runs648 de 1000 LEB Silver
- Segurança187/250
- Arquitetura92/200
- Bugs145/150
- Performance77/150
- Código limpo32/100
- Compatibilidade75/100
- Explicação40/50
Comentário e ficha
Com uma execução só: bugs em 145 de 150, segurança em 187 de 250, arquitetura em 92 de 200, desempenho em 77 de 150 e código limpo em 32 de 100. Acrescentou um bloqueio de login (10 tentativas erradas para um e-mail em 15 minutos, vindas de qualquer um) que responde 401 até para a senha certa, e o juiz cobrou isso como mudança de comportamento contratado (compatibilidade 75 de 100). Rodou pela API da própria Z.ai. A sessão levou 47 minutos e custou US$ 0,96. Uma execução de três: não é oficial e pode mudar.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
Run a run
- Run 1 · 64847minUS$ 0.96Tokens: 198.120 de entrada · 54.593 de saída · 10.246.592 de cache · 10.540.100 no total
-
18
GPT-5.6-terra OpenAI · esforço xhigh 3 de 3 runs (625 · 574 · 657)625 de 1000 LEB Silver
- Segurança225/250
- Arquitetura47/200
- Bugs134/150
- Performance96/150
- Código limpo0/100
- Compatibilidade100/100
- Explicação38/50
Comentário e ficha
Três execuções, de 574 a 657, e a nota oficial, 625, é a do meio. A segurança foi 225, 225 e 246 de 250, a arquitetura 47 de 200 nas três, o código limpo 0, 0 e 18 de 100, os bugs 134, 137 e 142 de 150 e o desempenho 96, 41 e 64 de 150, com o contrato intacto em todas (compatibilidade 100). As duas primeiras levaram a penalidade de 15 pontos por uma correção que introduziu um bug novo; a terceira não levou nenhuma. As sessões levaram 32, 28 e 32 minutos, sem a espera do operador entre as duas etapas. O Codex não registra custo.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Compatibilidade
- Zero
- Código limpo
Run a run
- Run 1 · 62532minTokens: 229.711 de entrada · 55.406 de saída · 8.839.936 de cache · 9.125.053 no total
- Run 2 · 57428minTokens: 238.473 de entrada · 55.402 de saída · 7.062.528 de cache · 7.356.403 no total
- Run 3 · 65732minTokens: 214.606 de entrada · 52.932 de saída · 7.931.904 de cache · 8.199.442 no total
-
19
GLM-5.3-Flash Z.AI · esforço high 1 de 3 runs568 de 1000 LEB Bronze
- Segurança204/250
- Arquitetura47/200
- Bugs126/150
- Performance51/150
- Código limpo0/100
- Compatibilidade100/100
- Explicação40/50
Comentário e ficha
Com uma execução só: segurança 204 de 250, bugs 126 de 150, desempenho 51 de 150, arquitetura 47 de 200 e nada em código limpo, com o contrato intacto (compatibilidade 100) e sem penalidade. Corrigiu 17 das 36 falhas plantadas e reportou 20, sem falso positivo; o relatório teve 40 de 50, com a nota mais baixa em priorização, porque a ordem dos achados contradiz as próprias etiquetas de gravidade. Rodou pela API da própria Z.ai; a sessão levou 46 minutos, sem as quase duas horas que o operador levou entre as duas etapas, por US$ 0,31 e cerca de 7,7 milhões de tokens. Uma execução de três: não é oficial e pode mudar.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Compatibilidade
- Zero
- Código limpo
Run a run
- Run 1 · 56846minUS$ 0.31Tokens: 333.659 de entrada · 52.805 de saída · 7.231.040 de cache · 7.652.156 no total
-
20
GPT-5.6-luna OpenAI · esforço xhigh 2 de 3 runs (638 · 512)512 de 1000 LEB Bronze
- Segurança173/250
- Arquitetura67/200
- Bugs121/150
- Performance57/150
- Código limpo0/100
- Compatibilidade75/100
- Explicação39/50
Comentário e ficha
Duas execuções, 126 pontos de diferença (638 e 512), então este agente ainda não é estável. A primeira não teve penalidade e manteve o contrato inteiro (compatibilidade 100): segurança 211 de 250, bugs 147 de 150, desempenho 77 de 150, arquitetura 47 de 200 e 18 de 100 em código limpo. A segunda caiu em todas as categorias, menos arquitetura (67): segurança 173, bugs 121, desempenho 57 e nada em código limpo. Perdeu 25 pontos de compatibilidade e levou 20 de penalidade por uma edição nas rotas de empresa: o papel de plataforma perdeu o acesso de escrita que a tabela de rotas lhe dá, e o administrador da empresa passou a poder ligar e desligar uma empresa, o que quebrou um teste de caracterização público. Corrigiu 22 e 23 das 36 falhas plantadas e reportou 20 e 18 delas, com um falso positivo na segunda; os relatórios tiveram 38 e 39 de 50, com a nota mais baixa em priorização. As sessões levaram 42 e 38 minutos, sem a espera do operador entre as duas etapas; o Codex não registra custo. Duas execuções de três: não é oficial, e a nota publicada é a menor das duas.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Zero
- Código limpo
Run a run
- Run 1 · 63842minTokens: 449.393 de entrada · 80.165 de saída · 19.209.472 de cache · 19.739.030 no total
- Run 2 · 51238minTokens: 392.754 de entrada · 73.502 de saída · 13.548.032 de cache · 14.014.288 no total
-
21
GPT-6-luna OpenAI · esforço xhigh 1 de 3 runs471 de 1000 LEB Bronze
- Segurança180/250
- Arquitetura47/200
- Bugs124/150
- Performance70/150
- Código limpo0/100
- Compatibilidade45/100
- Explicação40/50
Comentário e ficha
Com uma execução só: segurança 180 de 250, bugs 124 de 150, desempenho 70 de 150, arquitetura 47 de 200 e nada em código limpo. A compatibilidade caiu para 45 de 100, com duas violações mantidas como julgadas (a rota de alteração de empresa passou a recusar o papel de plataforma, e o relatório de produtividade dos técnicos passou a listar técnicos desativados), e duas penalidades tiraram 35 pontos: um teste de caracterização quebrou (um administrador deixou de poder alterar a situação ativa de uma empresa) e um limitador de login que ela criou baseou o bloqueio no endereço da conexão. Corrigiu 22 das 36 falhas plantadas e reportou 21, com dois falsos positivos, nenhum deles isca; o relatório teve 40 de 50, com a nota mais baixa em priorização. A sessão levou 35 minutos, sem o 1 minuto que o operador levou entre as duas etapas, e usou cerca de 9,4 milhões de tokens; o Codex não registra custo. Uma execução de três: não é oficial e pode mudar.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Zero
- Código limpo
Run a run
- Run 1 · 47134minTokens: 325.721 de entrada · 99.556 de saída · 8.990.976 de cache · 9.416.253 no total
-
22
GLM-5.2 Z.AI · esforço high 1 de 3 runs390 de 1000 Reprovada
- Segurança151/250
- Arquitetura39/200
- Bugs63/150
- Performance51/150
- Código limpo0/100
- Compatibilidade45/100
- Explicação41/50
Comentário e ficha
A explicação fez 41 de 50, mas o código perdeu terreno: segurança 151 de 250, bugs 63 de 150, desempenho 51 de 150 e nada em código limpo. Duas das mudanças quebraram contratos do manifesto, o que custou 55 dos 100 pontos de compatibilidade, a menor nota do placar. Rodou pela Novita AI, numa sessão de 21 minutos por US$ 3,14. Uma execução de três: não é oficial e pode mudar.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Zero
- Código limpo
Run a run
- Run 1 · 39021minUS$ 3.14Tokens: 625.652 de entrada · 33.738 de saída · 7.828.480 de cache · 8.505.204 no total
-
23
MiniMax-M3 MiniMax · esforço thinking 2 de 3 runs (388 · 398)388 de 1000 Reprovada
- Segurança113/250
- Arquitetura56/200
- Bugs47/150
- Performance26/150
- Código limpo7/100
- Compatibilidade100/100
- Explicação39/50
Comentário e ficha
Duas execuções a dez pontos uma da outra (388 e 398), então o perfil é estável: compatibilidade inteira, segurança em 113 de 250, bugs em 47 de 150 e pouco em desempenho e código limpo. Nas duas, o relatório da primeira etapa registrou vários problemas de segurança e de arquitetura como bugs comuns e não os reclassificou, o que custou pontos nas categorias que mais pesavam. As execuções levaram 42 e 53 minutos, a US$ 1,21 e 0,81. Duas execuções de três: não é oficial, e a nota publicada é a menor das duas.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Compatibilidade
Run a run
- Run 1 · 38842minUS$ 1.21Tokens: 128.455 de entrada · 48.678 de saída · 15.344.274 de cache · 15.575.334 no total
- Run 2 · 39853minUS$ 0.81Tokens: 282.942 de entrada · 41.745 de saída · 10.646.261 de cache · 11.004.186 no total
-
24
MiniMax-M2.7-highspeed MiniMax · esforço padrão (não configurável) 1 de 3 runs291 de 1000 Reprovada
- Segurança77/250
- Arquitetura22/200
- Bugs11/150
- Performance51/150
- Código limpo0/100
- Compatibilidade100/100
- Explicação30/50
Comentário e ficha
Com uma execução só: segurança 77 de 250, bugs 11 de 150, desempenho 51 de 150, arquitetura 22 de 200 e nada em código limpo, com o contrato intacto (compatibilidade 100) e sem penalidade. Fez poucas edições pequenas e pontuais e corrigiu 7 das 36 falhas plantadas; reportou 8 delas (uma das quais ficou sem correção) e um falso positivo, um erro de contagem que o código não tem. O relatório teve 30 de 50, com as notas mais baixas em priorização e trade-offs: os dois achados críticos aparecem em 7º e 8º na lista, e a tabela de decisões quase não compara alternativas. O MiniMax-M2.7-highspeed é a série M2.7 servida mais rápido (a MiniMax diz "mesmo desempenho, mais rápido"), e o OpenCode não oferece ajuste de esforço para ele. O agente gravou RELATORIO.md e achados.json dentro de code/ em vez da raiz do projeto, e a entrega foi aceita como veio. As duas etapas rodaram em uma sessão do OpenCode de 10 minutos, sem os 7 minutos que o operador levou entre as duas etapas, pela API da própria MiniMax, por US$ 0,35. Uma execução de três: não é oficial e pode mudar.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Compatibilidade
- Zero
- Código limpo
Run a run
- Run 1 · 29110minUS$ 0.35Tokens: 59.631 de entrada · 15.697 de saída · 3.198.034 de cache · 3.280.847 no total
-
25
Claude Haiku 4.5 Anthropic · esforço padrão (não configurável) 3 de 3 runs (242 · 218 · 272)242 de 1000 Reprovada
- Segurança56/250
- Arquitetura25/200
- Bugs29/150
- Performance0/150
- Código limpo0/100
- Compatibilidade100/100
- Explicação32/50
Comentário e ficha
Três execuções entre 218 e 272, e os 242 publicados são a do meio. Duas das três mudaram um comportamento que o manifesto contrata e perderam 30 pontos de compatibilidade; a execução publicada não. A segurança foi 56 de 250 na execução publicada e passou de 100 nas outras duas, enquanto desempenho e código limpo ficaram perto de zero em todas. A execução publicada foi a linha mais rápida daqui, 12 minutos; as outras duas levaram 28 e 44, e a segunda custou US$ 2,22. As três rodaram no Claude Code.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Compatibilidade
- Zero
- Performance, Código limpo
Run a run
- Run 1 · 24212minUS$ 0.96Tokens: 1.476 de entrada · 32.117 de saída · 6.064.686 de cache · 6.098.279 no total
- Run 2 · 21844minUS$ 2.22Tokens: 16.438 de entrada · 88.702 de saída · 13.017.862 de cache · 13.123.002 no total
- Run 3 · 27228minUS$ 1.36Tokens: 2.073 de entrada · 43.806 de saída · 9.106.328 de cache · 9.152.207 no total
-
26
Gemma 4 26B A4B Google DeepMind · esforço high 1 de 3 runs232 de 1000 Reprovada
- Segurança63/250
- Arquitetura14/200
- Bugs8/150
- Performance16/150
- Código limpo0/100
- Compatibilidade100/100
- Explicação31/50
Comentário e ficha
Com uma execução só: o contrato ficou inteiro (compatibilidade 100), mas pouco mais se moveu: segurança 63 de 250, arquitetura 14 de 200, bugs 8 de 150, desempenho 16 de 150 e nada em código limpo. Corrigiu 3 das 36 falhas plantadas e reportou 5, todas reais e nenhuma falso positivo, cada uma com confiança total; o relatório teve 31 de 50, com as notas mais baixas em priorização e em trade-offs. A execução custou US$ 0,36 e levou 14 minutos do tempo do próprio agente, sem os 7 minutos que o operador levou entre as duas etapas. Uma execução de três: não é oficial e pode mudar.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Nota máxima
- Compatibilidade
- Zero
- Código limpo
Run a run
- Run 1 · 23214minUS$ 0.36Tokens: 2.731.666 de entrada · 20.301 de saída · 0 de cache · 2.752.166 no total
-
27
MiniMax-M2.7 MiniMax · esforço padrão (não configurável) 1 de 3 runs202 de 1000 Reprovada
- Segurança85/250
- Arquitetura0/200
- Bugs8/150
- Performance0/150
- Código limpo0/100
- Compatibilidade75/100
- Explicação34/50
Comentário e ficha
Com uma execução só: segurança 85 de 250, bugs 8 de 150, e nada em arquitetura, desempenho ou código limpo, com a compatibilidade em 75 de 100 por uma violação mantida como julgada: o limitador de tentativas de login que ela criou responde 401 até para a senha certa depois de cinco tentativas em 15 minutos pelo mesmo endereço não local (COMP-008). Corrigiu 3 das 36 falhas plantadas e reportou 5 (duas delas ficaram sem correção), com um falso positivo, um erro de contagem que o código não tem, e um achado extra. O relatório teve 34 de 50, com a nota mais baixa em precisão, porque se contradiz em alguns pontos (um token válido "até a expiração" e depois "indefinidamente") e exagera o tempo que um ataque de força bruta levaria. O MiniMax-M2.7 é o modelo de velocidade padrão da série, e o OpenCode não oferece ajuste de esforço para ele. As duas etapas rodaram em uma sessão do OpenCode de 15 minutos, sem os 7 minutos que o operador levou entre as duas etapas, pela API da própria MiniMax, por US$ 0,44. Uma execução de três: não é oficial e pode mudar.
Uma leitura escrita do agregado; não faz parte da nota e não cita nenhuma falha.
- Zero
- Arquitetura, Performance, Código limpo
Run a run
- Run 1 · 20215minUS$ 0.44Tokens: 76.199 de entrada · 15.764 de saída · 5.219.356 de cache · 5.319.203 no total
O que o registro não tem
- Não foi feito o checkpoint entre as duas etapas da tarefa em nenhuma das execuções, então não consta no registro que o modelo foi o mesmo durante a primeira etapa. As transcrições mostram um único modelo.
- O texto da tarefa que o agente leu cita o hash da matriz de pontuação anterior. A matriz com que esta execução é pontuada difere dela só por um campo do cabeçalho que marca a instância como ativa. A pontuação é a mesma.
- Os agentes não rodaram todos no mesmo cliente, o Claude Code ou o OpenCode, cada um com as suas ferramentas. O cliente de cada execução consta no registro dela.
O que é publicado
Esta página mostra uma linha por agente: o total, a nota, a pontuação em cada categoria, em quantas execuções ela se baseia, e o custo e o tempo. Nunca mostra a entrega, o veredito nem os resultados falha a falha de uma execução, que ficam num arquivo privado. A instância e o gabarito dela são públicos no GitHub; as máquinas que rodam os agentes não alcançam o GitHub.
A instância está em piloto exploratório. Os resultados acima são os publicados até agora, e outros agentes virão. As primeiras execuções serviram também para conferir o procedimento.
O protocolo, a pontuação e as ferramentas são públicos no repositório ai-benchmark. Como um run funciona e no que os dois níveis diferem está na página Benchmark, e os resultados do primeiro nível estão na página do LEB-100.