ShvIA
TIMELINE
ACESSAR

LEB-100

AI Benchmark · LEB · a instância de referência

O próximo nível, o LEB-300, está em piloto exploratório: os resultados agregados já foram publicados.

O primeiro nível do LEB: uma aplicação PHP legada de cerca de 300 linhas, resolvida por todos os agentes abaixo a partir do mesmo pacote. Como um run funciona, como é pontuado e no que este nível difere do LEB-300 está na página Benchmark.

Os 6 melhores até aqui

LEB-100-A
  1. 1Claude Sonnet 5.5 · xhigh809LEB Gold
  2. 2Claude Sonnet 5.5 · max807LEB Gold
  3. 3Claude Sonnet 5.5 · max (ultracode)774LEB Gold
  4. 4Claude Fable 5.1764LEB Gold
  5. 5Claude Opus 5.5717LEB Silver
  6. 6GPT-6-astra · ultra666LEB Silver

Nota sobre 1000, entre 37 agentes. Não oficial até cada um ter três runs. Placar completo

Resultados

Todas as entregas de uma tabela resolveram o mesmo pacote, byte a byte — o mesmo SHA-256 —, então os números se comparam em pé de igualdade.

LEB-100-A v1.1 · Painel de chamados de um provedor de internet

O painel de chamados de suporte de um provedor de internet, escrito em PHP estilo 2013: funções de acesso a dados e um index.php que roteia, autoriza e monta o HTML. Cerca de 300 linhas em PHP 8, mysqli e MySQL 8, com 13 falhas plantadas e 2 iscas.

  • modo A · 30 turnos
  • edição 2026
  • avaliado em 2026-10-06
  • matriz 68088abdb7bc…
  1. 1
    Claude Sonnet 5.5 Anthropic · esforço xhigh 3 de 3 runs (825 · 809 · 724)
    809 de 1000 LEB Gold
    • Segurança250/250
    • Arquitetura25/200
    • Bugs139/150
    • Performance150/150
    • Código limpo100/100
    • Compatibilidade100/100
    • Explicação45/50

    Penalidades: nenhumaDescoberta 91.7Brier 0.033Custo US$ 3.16 por runScorecard

    Comentário e ficha

    O resultado mais completo de um agente só: segurança em 250 de 250 nos dois primeiros runs, desempenho com nota máxima, compatibilidade intacta e a injeção de fórmula no CSV corrigida como o gabarito espera. O terceiro run encontrou três falhas de segurança sem corrigi-las e caiu para 724; como todos os agentes, deixou o dispatcher inteiro.

    Uma leitura escrita a partir dos scorecards e vereditos; não faz parte da nota.

    Nota máxima
    Segurança, Performance, Código limpo, Compatibilidade
    Nunca corrigiu, em nenhum run
    Um dispatcher que faz tudo; Números mágicos para status e prioridade

    Run a run

    • Run 1 · 82511 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens19minUS$ 3.60Tokens: 1.533 de entrada · 138.245 de saída · 7.176.279 de cache · 7.316.057 no totalScorecard
    • Run 2 · 80911 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens23minUS$ 2.96Tokens: 1.092 de entrada · 131.538 de saída · 4.673.192 de cache · 4.805.822 no totalScorecard
    • Run 3 · 7248 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens23minUS$ 2.91Tokens: 1.090 de entrada · 127.242 de saída · 4.686.490 de cache · 4.814.822 no totalScorecard
  2. 2
    Claude Sonnet 5.5 Anthropic · esforço max 3 de 3 runs (807 · 773 · 820)
    807 de 1000 LEB Gold
    • Segurança250/250
    • Arquitetura12/200
    • Bugs150/150
    • Performance150/150
    • Código limpo100/100
    • Compatibilidade100/100
    • Explicação45/50

    Penalidades: nenhumaDescoberta 91.7Brier 0.035Custo US$ 5.09 por runScorecard

    Comentário e ficha

    O mais regular entre os três primeiros: de 773 a 820 em três runs, bugs e desempenho com nota máxima em todos, nenhum falso positivo e nenhum contrato quebrado. Mais esforço que o xhigh não trouxe ganho mensurável, a cerca de uma vez e meia o custo.

    Uma leitura escrita a partir dos scorecards e vereditos; não faz parte da nota.

    Nota máxima
    Segurança, Bugs, Performance, Código limpo, Compatibilidade
    Nunca corrigiu, em nenhum run
    Um dispatcher que faz tudo; Números mágicos para status e prioridade

    Run a run

    • Run 1 · 80711 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens27minUS$ 3.86Tokens: 966 de entrada · 214.201 de saída · 3.527.234 de cache · 3.742.401 no totalScorecard
    • Run 2 · 77310 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens29minUS$ 4.75Tokens: 1.078 de entrada · 229.079 de saída · 6.339.029 de cache · 6.569.186 no totalScorecard
    • Run 3 · 82011 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens40minUS$ 6.65Tokens: 5.597 de entrada · 352.423 de saída · 7.098.658 de cache · 7.456.678 no totalScorecard
  3. 3
    Claude Sonnet 5.5 Anthropic · esforço max (ultracode) 3 de 3 runs (774 · 820 · 759)
    774 de 1000 LEB Gold
    • Segurança250/250
    • Arquitetura0/200
    • Bugs129/150
    • Performance150/150
    • Código limpo100/100
    • Compatibilidade100/100
    • Explicação45/50

    Penalidades: nenhumaDescoberta 87.5Brier 0.008Custo US$ 174.44 por runScorecard

    Comentário e ficha

    O modo multiagente do Claude Code: de 68 a 145 subagentes e de 2h a 7h 55min por run, a US$ 119 a 233 cada, para 774, 820 e 759. No melhor caso empatou com o mesmo modelo trabalhando sozinho em meia hora, com o relatório mais bem calibrado entre os agentes Claude e a mesma arquitetura intocada.

    Uma leitura escrita a partir dos scorecards e vereditos; não faz parte da nota.

    Nota máxima
    Segurança, Performance, Código limpo, Compatibilidade
    Zero
    Arquitetura
    Nunca corrigiu, em nenhum run
    Um dispatcher que faz tudo; Números mágicos para status e prioridade

    Run a run

    • Run 1 · 77411 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens7h 55minUS$ 233.08Tokens: 8.703 de entrada · 6.819.101 de saída · 627.624.423 de cache · 634.452.227 no totalScorecard
    • Run 2 · 82011 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens2hUS$ 171.18Tokens: 90.631 de entrada · 6.961.681 de saída · 329.949.168 de cache · 337.001.480 no totalScorecard
    • Run 3 · 75910 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens3h 34minUS$ 119.07Tokens: 4.150 de entrada · 3.825.335 de saída · 270.341.344 de cache · 274.170.829 no totalScorecard
  4. 4
    Claude Fable 5.1 Anthropic · esforço xhigh 2 de 3 runs (781 · 764) não oficial
    764 de 1000 LEB Gold
    • Segurança233/250
    • Arquitetura0/200
    • Bugs139/150
    • Performance150/150
    • Código limpo100/100
    • Compatibilidade100/100
    • Explicação42/50

    Penalidades: nenhumaDescoberta 87.5Brier 0.021Custo US$ 8.04 por runScorecard

    Comentário e ficha

    Encontra tanto quanto o Sonnet (11 ou 12 das 13 falhas) e corrige menos: explicou a injeção de fórmula no CSV e a deixou no lugar de propósito, para proteger quem consome o arquivo. Dois runs até agora; o cliente trocou de modelo no meio de uma terceira tentativa, que foi anulada.

    Uma leitura escrita a partir dos scorecards e vereditos; não faz parte da nota.

    Nota máxima
    Performance, Código limpo, Compatibilidade
    Zero
    Arquitetura
    Nunca corrigiu, em nenhum run
    Injeção de fórmula no CSV exportado; Um dispatcher que faz tudo; Números mágicos para status e prioridade

    Run a run

    • Run 1 · 7819 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens16minTokens: 932 de entrada · 71.351 de saída · 2.551.395 de cache · 2.623.678 no totalScorecard
    • Run 2 · 76410 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens22minUS$ 8.04Tokens: 1.630 de entrada · 93.132 de saída · 2.502.648 de cache · 2.597.410 no totalScorecard
  5. 5
    Claude Opus 5.5 Anthropic · esforço xhigh 3 de 3 runs (711 · 717 · 805)
    717 de 1000 LEB Silver
    • Segurança233/250
    • Arquitetura50/200
    • Bugs139/150
    • Performance150/150
    • Código limpo0/100
    • Compatibilidade100/100
    • Explicação45/50

    Penalidades: nenhumaDescoberta 87.5Brier 0.024Custo US$ 2.86 por runScorecard

    Comentário e ficha

    A maior nota de arquitetura num run oficial (50 de 200), e a maior variação entre os modelos Claude: 711 e 717, depois 805. Corrigiu 9 falhas em todos os runs e, no run que conta, não achatou os ifs aninhados; é daí que vem a distância para o Sonnet.

    Uma leitura escrita a partir dos scorecards e vereditos; não faz parte da nota.

    Nota máxima
    Performance, Compatibilidade
    Zero
    Código limpo
    Nunca corrigiu, em nenhum run
    Injeção de fórmula no CSV exportado; Um dispatcher que faz tudo; Números mágicos para status e prioridade

    Run a run

    • Run 1 · 7119 de 13 falhas corrigidasnenhum falso positivo1 valor de negócio alterado22/22 checagens16minTokens: 40 de entrada · 80.368 de saída · 1.949.756 de cache · 2.030.164 no totalScorecard
    • Run 2 · 7179 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens18minUS$ 3.01Tokens: 962 de entrada · 83.343 de saída · 1.940.114 de cache · 2.024.419 no totalScorecard
    • Run 3 · 8059 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens15minUS$ 2.71Tokens: 1.074 de entrada · 69.811 de saída · 2.537.939 de cache · 2.608.824 no totalScorecard
  6. 6
    GPT-6-astra OpenAI · esforço ultra 3 de 3 runs (668 · 666 · 651)
    666 de 1000 LEB Silver
    • Segurança224/250
    • Arquitetura25/200
    • Bugs129/150
    • Performance150/150
    • Código limpo25/100
    • Compatibilidade70/100
    • Explicação43/50

    Penalidades: nenhumaDescoberta 79.2Brier 0.000Scorecard

    Comentário e ficha

    O agente GPT mais forte, com dois ou três subagentes em 10 a 15 minutos por run e três runs a menos de 17 pontos um do outro. Mudou um valor de negócio em todos os runs (−30 cada), e seus relatórios estão entre os mais bem calibrados daqui (Brier 0,000).

    Uma leitura escrita a partir dos scorecards e vereditos; não faz parte da nota.

    Nota máxima
    Performance
    Nunca corrigiu, em nenhum run
    Um dispatcher que faz tudo; Números mágicos para status e prioridade; Quatro níveis de if aninhado

    Run a run

    • Run 1 · 6689 de 13 falhas corrigidasnenhum falso positivo1 valor de negócio alterado22/22 checagens11minTokens: 174.060 de entrada · 38.839 de saída · 3.108.480 de cache · 3.321.379 no totalScorecard
    • Run 2 · 6669 de 13 falhas corrigidasnenhum falso positivo1 valor de negócio alterado22/22 checagens15minTokens: 142.970 de entrada · 36.517 de saída · 2.383.872 de cache · 2.563.359 no totalScorecard
    • Run 3 · 6518 de 13 falhas corrigidasnenhum falso positivo1 valor de negócio alterado22/22 checagens10minTokens: 171.561 de entrada · 25.580 de saída · 1.841.536 de cache · 2.038.677 no totalScorecard
  7. 7
    GPT-6.1-sol OpenAI · esforço xhigh 3 de 3 runs (666 · 653 · 661)
    661 de 1000 LEB Silver
    • Segurança246/250
    • Arquitetura25/200
    • Bugs129/150
    • Performance150/150
    • Código limpo0/100
    • Compatibilidade70/100
    • Explicação41/50

    Penalidades: nenhumaDescoberta 75.0Brier 0.000Scorecard

    Comentário e ficha

    Segurança em 246 de 250, a melhor fora do Claude, com a injeção de fórmula no CSV e o MD5 corrigidos no run oficial. O que o deixa abaixo dos modelos Claude é um valor de negócio alterado em cada run (−30) e os ifs aninhados mantidos como estavam.

    Uma leitura escrita a partir dos scorecards e vereditos; não faz parte da nota.

    Nota máxima
    Performance
    Zero
    Código limpo
    Nunca corrigiu, em nenhum run
    Um dispatcher que faz tudo; Números mágicos para status e prioridade; Quatro níveis de if aninhado

    Run a run

    • Run 1 · 6669 de 13 falhas corrigidasnenhum falso positivo1 valor de negócio alterado22/22 checagens27minTokens: 73.937 de entrada · 43.294 de saída · 1.233.792 de cache · 1.351.023 no totalScorecard
    • Run 2 · 6539 de 13 falhas corrigidasnenhum falso positivo1 valor de negócio alterado22/22 checagens26minTokens: 73.874 de entrada · 33.443 de saída · 887.296 de cache · 994.613 no totalScorecard
    • Run 3 · 66110 de 13 falhas corrigidasnenhum falso positivo1 valor de negócio alterado22/22 checagens24minTokens: 60.781 de entrada · 34.648 de saída · 953.728 de cache · 1.049.157 no totalScorecard
  8. 8
    GPT-6.1-sol pro OpenAI · esforço xhigh 1 de 3 runs não oficialsem corte ou lançamento anterior publicado
    654 de 1000 LEB Silver
    • Segurança228/250
    • Arquitetura0/200
    • Bugs139/150
    • Performance150/150
    • Código limpo25/100
    • Compatibilidade70/100
    • Explicação42/50

    Penalidades: nenhumaDescoberta 87.5Brier 0.000Custo US$ 1.01 por runScorecard

    Comentário e ficha

    Um run até agora, pelo opencode, a US$ 1,01: 654, perto do GPT-6.1-sol no Codex CLI. Deixou a injeção de fórmula no CSV no lugar e alterou um valor de negócio (−30).

    Uma leitura escrita a partir dos scorecards e vereditos; não faz parte da nota.

    Nota máxima
    Performance
    Zero
    Arquitetura
    Nunca corrigiu, em nenhum run
    Injeção de fórmula no CSV exportado; Um dispatcher que faz tudo; Números mágicos para status e prioridade; Quatro níveis de if aninhado

    Run a run

    • Run 1 · 6549 de 13 falhas corrigidasnenhum falso positivo1 valor de negócio alterado22/22 checagens16minUS$ 1.01Tokens: 126.508 de entrada · 41.237 de saída · 810.414 de cache · 1.000.316 no totalScorecard
  9. 9
    Grok 4.7 xAI · esforço high 3 de 3 runs (638 · 663 · 607)
    638 de 1000 LEB Silver
    • Segurança207/250
    • Arquitetura0/200
    • Bugs139/150
    • Performance150/150
    • Código limpo0/100
    • Compatibilidade100/100
    • Explicação42/50

    Penalidades: nenhumaDescoberta 83.3Brier 0.005Custo US$ 2.63 por runScorecard

    Comentário e ficha

    O modelo mais forte de fora da Anthropic e da OpenAI, com compatibilidade em 100 em dois dos três runs e relatórios em 42 de 50. Manteve as senhas em MD5 sem salt em todos os runs; no primeiro foi o único agente a consultar a web, a página do manual do PHP sobre fputcsv.

    Uma leitura escrita a partir dos scorecards e vereditos; não faz parte da nota.

    Nota máxima
    Performance, Compatibilidade
    Zero
    Arquitetura, Código limpo
    Nunca corrigiu, em nenhum run
    Senhas em MD5 sem salt; Um dispatcher que faz tudo; Números mágicos para status e prioridade; Quatro níveis de if aninhado

    Run a run

    • Run 1 · 6388 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens29minUS$ 2.43Tokens: 375.533 de entrada · 19.450 de saída · 2.298.496 de cache · 2.761.606 no totalScorecard
    • Run 2 · 6638 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens24minUS$ 2.88Tokens: 464.772 de entrada · 17.294 de saída · 2.760.320 de cache · 3.320.861 no totalScorecard
    • Run 3 · 6078 de 13 falhas corrigidasnenhum falso positivo1 valor de negócio alterado22/22 checagens26minUS$ 2.57Tokens: 388.897 de entrada · 16.860 de saída · 2.347.904 de cache · 2.839.851 no totalScorecard
  10. 10
    Grok 4.6 xAI · esforço high 3 de 3 runs (633 · 640 · 620) sem corte ou lançamento anterior publicado
    633 de 1000 LEB Silver
    • Segurança194/250
    • Arquitetura0/200
    • Bugs129/150
    • Performance150/150
    • Código limpo25/100
    • Compatibilidade100/100
    • Explicação35/50

    Penalidades: nenhumaDescoberta 62.5Brier 0.007Custo US$ 0.30 por runScorecard

    Comentário e ficha

    Quase a nota do Grok 4.7 por cerca de um oitavo do custo (US$ 0,28 a 0,31 por run), e estável: de 620 a 640, 9 falhas encontradas em cada run, nenhum contrato quebrado. Nunca mexeu no MD5 nem na injeção de fórmula no CSV.

    Uma leitura escrita a partir dos scorecards e vereditos; não faz parte da nota.

    Nota máxima
    Performance, Compatibilidade
    Zero
    Arquitetura
    Nunca corrigiu, em nenhum run
    Injeção de fórmula no CSV exportado; Senhas em MD5 sem salt; Um dispatcher que faz tudo; Números mágicos para status e prioridade; Quatro níveis de if aninhado

    Run a run

    • Run 1 · 6337 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens6minUS$ 0.31Tokens: 54.906 de entrada · 8.789 de saída · 158.208 de cache · 234.078 no totalScorecard
    • Run 2 · 6408 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens4minUS$ 0.31Tokens: 53.592 de entrada · 8.053 de saída · 158.720 de cache · 232.132 no totalScorecard
    • Run 3 · 6207 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens6minUS$ 0.28Tokens: 38.168 de entrada · 8.547 de saída · 145.536 de cache · 205.923 no totalScorecard
  11. 11
    Grok 4.7 xAI · esforço xhigh 3 de 3 runs (640 · 617 · 631)
    631 de 1000 LEB Silver
    • Segurança185/250
    • Arquitetura0/200
    • Bugs129/150
    • Performance150/150
    • Código limpo25/100
    • Compatibilidade100/100
    • Explicação42/50

    Penalidades: nenhumaDescoberta 75.0Brier 0.001Custo US$ 3.57 por runScorecard

    Comentário e ficha

    Mais esforço rendeu um pouco menos que o Grok 4.7 em high, a um custo maior: corrigiu 7 ou 8 falhas por run e deixou o MD5 e os segredos no código em todos. Os relatórios, de 42 a 44 de 50, são as melhores explicações de fora da Anthropic e da OpenAI.

    Uma leitura escrita a partir dos scorecards e vereditos; não faz parte da nota.

    Nota máxima
    Performance, Compatibilidade
    Zero
    Arquitetura
    Nunca corrigiu, em nenhum run
    Senhas em MD5 sem salt; Segredos fixos na configuração; Um dispatcher que faz tudo; Números mágicos para status e prioridade; Quatro níveis de if aninhado

    Run a run

    • Run 1 · 6408 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens37minUS$ 3.82Tokens: 630.356 de entrada · 24.515 de saída · 3.767.424 de cache · 4.510.681 no totalScorecard
    • Run 2 · 6177 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens29minUS$ 3.59Tokens: 607.690 de entrada · 20.802 de saída · 3.405.184 de cache · 4.125.277 no totalScorecard
    • Run 3 · 6317 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens33minUS$ 3.31Tokens: 579.862 de entrada · 20.500 de saída · 2.982.528 de cache · 3.672.680 no totalScorecard
  12. 12
    Kimi K3 Moonshot AI · esforço high 3 de 3 runs (629 · 634 · 574) sem corte ou lançamento anterior publicado
    629 de 1000 LEB Silver
    • Segurança198/250
    • Arquitetura0/200
    • Bugs150/150
    • Performance150/150
    • Código limpo25/100
    • Compatibilidade70/100
    • Explicação36/50

    Penalidades: nenhumaDescoberta 75.0Brier 0.008Custo US$ 0.75 por runScorecard

    Comentário e ficha

    O Kimi mais forte, com folga, com bugs e desempenho em nota máxima no run oficial, por US$ 0,41 a 1,02 por run. Todos os runs alteraram um valor de negócio (−30), e nenhum corrigiu a injeção de fórmula no CSV.

    Uma leitura escrita a partir dos scorecards e vereditos; não faz parte da nota.

    Nota máxima
    Bugs, Performance
    Zero
    Arquitetura
    Nunca corrigiu, em nenhum run
    Injeção de fórmula no CSV exportado; Um dispatcher que faz tudo; Números mágicos para status e prioridade; Quatro níveis de if aninhado

    Run a run

    • Run 1 · 6298 de 13 falhas corrigidasnenhum falso positivo1 valor de negócio alterado22/22 checagens7minUS$ 0.41Tokens: 28.836 de entrada · 11.322 de saída · 279.808 de cache · 324.940 no totalScorecard
    • Run 2 · 6349 de 13 falhas corrigidasnenhum falso positivo1 valor de negócio alterado22/22 checagens21minUS$ 1.02Tokens: 52.871 de entrada · 21.600 de saída · 1.249.024 de cache · 1.334.129 no totalScorecard
    • Run 3 · 5747 de 13 falhas corrigidasnenhum falso positivo1 valor de negócio alterado22/22 checagens15minUS$ 0.81Tokens: 48.057 de entrada · 18.001 de saída · 934.144 de cache · 1.008.035 no totalScorecard
  13. 13
    GPT-6-astra OpenAI · esforço xhigh 3 de 3 runs (661 · 596 · 628)
    628 de 1000 LEB Silver
    • Segurança228/250
    • Arquitetura0/200
    • Bugs139/150
    • Performance150/150
    • Código limpo0/100
    • Compatibilidade70/100
    • Explicação41/50

    Penalidades: nenhumaDescoberta 83.3Brier 0.002Scorecard

    Comentário e ficha

    O GPT-6-astra como agente único, 38 pontos abaixo do ajuste ultra. Os runs discordam sobre o que corrigir: o primeiro corrigiu a injeção de fórmula no CSV e manteve o MD5; o oficial migrou o MD5 para password_hash e deixou a injeção.

    Uma leitura escrita a partir dos scorecards e vereditos; não faz parte da nota.

    Nota máxima
    Performance
    Zero
    Arquitetura, Código limpo
    Nunca corrigiu, em nenhum run
    Um dispatcher que faz tudo; Números mágicos para status e prioridade; Quatro níveis de if aninhado

    Run a run

    • Run 1 · 6619 de 13 falhas corrigidasnenhum falso positivo1 valor de negócio alterado22/22 checagens17minTokens: 58.947 de entrada · 31.166 de saída · 753.408 de cache · 843.521 no totalScorecard
    • Run 2 · 5968 de 13 falhas corrigidasnenhum falso positivo1 valor de negócio alterado22/22 checagens12minTokens: 55.599 de entrada · 21.712 de saída · 549.120 de cache · 626.431 no totalScorecard
    • Run 3 · 6289 de 13 falhas corrigidasnenhum falso positivo1 valor de negócio alterado22/22 checagens14minTokens: 69.459 de entrada · 26.327 de saída · 659.328 de cache · 755.114 no totalScorecard
  14. 14
    GLM-5.3 Prime Z.AI · esforço high 3 de 3 runs (635 · 628 · 541) sem corte ou lançamento anterior publicado
    628 de 1000 LEB Silver
    • Segurança211/250
    • Arquitetura0/200
    • Bugs129/150
    • Performance150/150
    • Código limpo0/100
    • Compatibilidade100/100
    • Explicação38/50

    Penalidades: nenhumaDescoberta 70.8Brier 0.029Custo US$ 1.86 por runScorecard

    Comentário e ficha

    O GLM mais forte, a cerca de US$ 2 por run. O primeiro run corrigiu as quatro falhas cobertas pelas sondas, a injeção de fórmula no CSV entre elas; o terceiro alterou dois valores de negócio e caiu para 541.

    Uma leitura escrita a partir dos scorecards e vereditos; não faz parte da nota.

    Nota máxima
    Performance, Compatibilidade
    Zero
    Arquitetura, Código limpo
    Nunca corrigiu, em nenhum run
    Senhas em MD5 sem salt; Um dispatcher que faz tudo; Números mágicos para status e prioridade; Quatro níveis de if aninhado

    Run a run

    • Run 1 · 6359 de 13 falhas corrigidas1 falso positivocontrato mantido22/22 checagens14minUS$ 1.69Tokens: 66.011 de entrada · 21.625 de saída · 2.077.696 de cache · 2.182.652 no totalScorecard
    • Run 2 · 6288 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens26minUS$ 2.13Tokens: 78.339 de entrada · 24.496 de saída · 2.647.040 de cache · 2.773.658 no totalScorecard
    • Run 3 · 5417 de 13 falhas corrigidasnenhum falso positivo2 valores de negócio alterados22/22 checagens17minUS$ 1.77Tokens: 67.380 de entrada · 20.363 de saída · 2.154.240 de cache · 2.263.862 no totalScorecard
  15. 15
    GPT-5.6-terra OpenAI · esforço xhigh 3 de 3 runs (625 · 611 · 645)
    625 de 1000 LEB Silver
    • Segurança211/250
    • Arquitetura0/200
    • Bugs129/150
    • Performance150/150
    • Código limpo0/100
    • Compatibilidade100/100
    • Explicação35/50

    Penalidades: nenhumaDescoberta 45.8Brier 0.000Scorecard

    Comentário e ficha

    Relata menos falhas do que corrige: o primeiro run listou 7 e corrigiu 9, o resto feito de passagem, sem uma palavra no relatório. A compatibilidade se manteve em dois dos três runs, o que o deixa em 15º apesar do relatório curto.

    Uma leitura escrita a partir dos scorecards e vereditos; não faz parte da nota.

    Nota máxima
    Performance, Compatibilidade
    Zero
    Arquitetura, Código limpo
    Nunca corrigiu, em nenhum run
    Um dispatcher que faz tudo; Números mágicos para status e prioridade; Quatro níveis de if aninhado

    Run a run

    • Run 1 · 6259 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens8minTokens: 54.590 de entrada · 25.866 de saída · 486.656 de cache · 567.112 no totalScorecard
    • Run 2 · 61110 de 13 falhas corrigidasnenhum falso positivo1 valor de negócio alterado22/22 checagens8minTokens: 63.042 de entrada · 25.647 de saída · 822.016 de cache · 910.705 no totalScorecard
    • Run 3 · 64510 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens7minTokens: 52.130 de entrada · 22.262 de saída · 444.928 de cache · 519.320 no totalScorecard
  16. 16
    GLM-5.3-Flash Z.AI · esforço high 1 de 3 runs não oficialsem corte ou lançamento anterior publicado
    624 de 1000 LEB Silver
    • Segurança211/250
    • Arquitetura0/200
    • Bugs129/150
    • Performance150/150
    • Código limpo0/100
    • Compatibilidade100/100
    • Explicação34/50

    Penalidades: nenhumaDescoberta 70.8Brier 0.016Custo US$ 0.08 por runScorecard

    Comentário e ficha

    Um run até agora: 624 por US$ 0,08, cerca de um décimo do custo do GLM-5.3 para uma nota um pouco maior. Deixou a injeção de fórmula no CSV e os segredos no código.

    Uma leitura escrita a partir dos scorecards e vereditos; não faz parte da nota.

    Nota máxima
    Performance, Compatibilidade
    Zero
    Arquitetura, Código limpo
    Nunca corrigiu, em nenhum run
    Injeção de fórmula no CSV exportado; Segredos fixos na configuração; Um dispatcher que faz tudo; Números mágicos para status e prioridade; Quatro níveis de if aninhado

    Run a run

    • Run 1 · 6248 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens15minUS$ 0.08Tokens: 68.681 de entrada · 22.218 de saída · 1.549.184 de cache · 1.655.227 no totalScorecard
  17. 17
    GLM-5.3 Z.AI · esforço high 3 de 3 runs (629 · 621 · 604) sem corte ou lançamento anterior publicado
    621 de 1000 LEB Silver
    • Segurança203/250
    • Arquitetura0/200
    • Bugs129/150
    • Performance150/150
    • Código limpo0/100
    • Compatibilidade100/100
    • Explicação39/50

    Penalidades: nenhumaDescoberta 70.8Brier 0.014Custo US$ 0.57 por runScorecard

    Comentário e ficha

    Estável (de 604 a 629) e barato (US$ 0,47 a 0,73 por run), com compatibilidade em 100 nos três runs. Nunca corrigiu o MD5 nem a injeção de fórmula no CSV.

    Uma leitura escrita a partir dos scorecards e vereditos; não faz parte da nota.

    Nota máxima
    Performance, Compatibilidade
    Zero
    Arquitetura, Código limpo
    Nunca corrigiu, em nenhum run
    Injeção de fórmula no CSV exportado; Senhas em MD5 sem salt; Um dispatcher que faz tudo; Números mágicos para status e prioridade; Quatro níveis de if aninhado

    Run a run

    • Run 1 · 6298 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens17minUS$ 0.73Tokens: 65.504 de entrada · 21.730 de saída · 1.778.176 de cache · 1.883.245 no totalScorecard
    • Run 2 · 6217 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens15minUS$ 0.51Tokens: 376.050 de entrada · 21.002 de saída · 1.480.512 de cache · 1.906.219 no totalScorecard
    • Run 3 · 6047 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens13minUS$ 0.47Tokens: 63.302 de entrada · 22.219 de saída · 1.457.920 de cache · 1.561.006 no totalScorecard
  18. 18
    DeepSeek V4 Flash DeepSeek · esforço xhigh 1 de 3 runs não oficialsem corte ou lançamento anterior publicado
    617 de 1000 LEB Silver
    • Segurança207/250
    • Arquitetura0/200
    • Bugs129/150
    • Performance150/150
    • Código limpo0/100
    • Compatibilidade100/100
    • Explicação31/50

    Penalidades: nenhumaDescoberta 58.3Brier 0.004Custo US$ 0.18 por runScorecard

    Comentário e ficha

    Um run até agora, pela Novita: 617 por US$ 0,18, contra 282 do mesmo modelo em high. Corrigiu 7 falhas e deixou no lugar a injeção no CSV, o MD5 e os segredos no código.

    Uma leitura escrita a partir dos scorecards e vereditos; não faz parte da nota.

    Nota máxima
    Performance, Compatibilidade
    Zero
    Arquitetura, Código limpo
    Nunca corrigiu, em nenhum run
    Injeção de fórmula no CSV exportado; Senhas em MD5 sem salt; Segredos fixos na configuração; Um dispatcher que faz tudo; Números mágicos para status e prioridade; Quatro níveis de if aninhado

    Run a run

    • Run 1 · 6177 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens28minUS$ 0.18Tokens: 163.821 de entrada · 32.918 de saída · 4.833.280 de cache · 5.068.978 no totalScorecard
  19. 19
    GPT-6.1-sol OpenAI · esforço ultra 3 de 3 runs (597 · 656 · 616)
    616 de 1000 LEB Silver
    • Segurança228/250
    • Arquitetura0/200
    • Bugs129/150
    • Performance150/150
    • Código limpo0/100
    • Compatibilidade70/100
    • Explicação39/50

    Penalidades: nenhumaDescoberta 70.8Brier 0.001Scorecard

    Comentário e ficha

    O esforço ultra ficou 45 pontos abaixo do GPT-6.1-sol em xhigh, com runs de 597 a 656. Com três subagentes, o primeiro run manteve o MD5; com dois, o segundo corrigiu 10 falhas, a injeção de fórmula no CSV e o MD5 entre elas.

    Uma leitura escrita a partir dos scorecards e vereditos; não faz parte da nota.

    Nota máxima
    Performance
    Zero
    Arquitetura, Código limpo
    Nunca corrigiu, em nenhum run
    Um dispatcher que faz tudo; Números mágicos para status e prioridade; Quatro níveis de if aninhado

    Run a run

    • Run 1 · 5978 de 13 falhas corrigidasnenhum falso positivo1 valor de negócio alterado22/22 checagens24minTokens: 215.626 de entrada · 39.255 de saída · 3.416.064 de cache · 3.670.945 no totalScorecard
    • Run 2 · 65610 de 13 falhas corrigidasnenhum falso positivo1 valor de negócio alterado22/22 checagens13minTokens: 177.994 de entrada · 38.220 de saída · 2.064.000 de cache · 2.280.214 no totalScorecard
    • Run 3 · 6169 de 13 falhas corrigidasnenhum falso positivo1 valor de negócio alterado22/22 checagens11minTokens: 193.606 de entrada · 40.785 de saída · 3.059.328 de cache · 3.293.719 no totalScorecard
  20. 20
    GPT-5.6-sol OpenAI · esforço xhigh 3 de 3 runs (612 · 612 · 608)
    612 de 1000 LEB Silver
    • Segurança246/250
    • Arquitetura0/200
    • Bugs129/150
    • Performance150/150
    • Código limpo0/100
    • Compatibilidade70/100
    • Explicação32/50

    Penalidades: -15Descoberta 70.8Brier 0.001Scorecard

    Comentário e ficha

    Segurança em 246 de 250 e a injeção de fórmula no CSV corrigida, mas a correção também transformou o '-' de um chamado sem técnico em "'-", um bug novo, e todo run alterou um valor de negócio (−30). O GPT mais repetível: de 608 a 612.

    Uma leitura escrita a partir dos scorecards e vereditos; não faz parte da nota.

    Nota máxima
    Performance
    Zero
    Arquitetura, Código limpo
    Nunca corrigiu, em nenhum run
    Um dispatcher que faz tudo; Números mágicos para status e prioridade; Quatro níveis de if aninhado

    Run a run

    • Run 1 · 61210 de 13 falhas corrigidasnenhum falso positivo1 valor de negócio alterado22/22 checagens7minTokens: 52.386 de entrada · 18.315 de saída · 1.163.520 de cache · 1.234.221 no totalScorecard
    • Run 2 · 6129 de 13 falhas corrigidasnenhum falso positivo1 valor de negócio alterado22/22 checagens15minTokens: 67.246 de entrada · 32.457 de saída · 905.216 de cache · 1.004.919 no totalScorecard
    • Run 3 · 6089 de 13 falhas corrigidasnenhum falso positivo1 valor de negócio alterado22/22 checagens15minTokens: 63.699 de entrada · 33.962 de saída · 1.569.920 de cache · 1.667.581 no totalScorecard
  21. 21
    DeepSeek V4.1 Flash DeepSeek · esforço high 3 de 3 runs (625 · 612 · 597) sem corte ou lançamento anterior publicado
    612 de 1000 LEB Silver
    • Segurança203/250
    • Arquitetura0/200
    • Bugs129/150
    • Performance150/150
    • Código limpo0/100
    • Compatibilidade100/100
    • Explicação30/50

    Penalidades: nenhumaDescoberta 58.3Brier 0.013Custo US$ 0.02 por runScorecard

    Comentário e ficha

    O agente mais barato daqui, US$ 0,01 a 0,04 por run, dois deles em menos de dois minutos, para 597 a 625. A compatibilidade se manteve nos três; a menor nota de explicação entre os agentes acima de 600 (30 de 50).

    Uma leitura escrita a partir dos scorecards e vereditos; não faz parte da nota.

    Nota máxima
    Performance, Compatibilidade
    Zero
    Arquitetura, Código limpo
    Nunca corrigiu, em nenhum run
    Senhas em MD5 sem salt; Um dispatcher que faz tudo; Números mágicos para status e prioridade; Quatro níveis de if aninhado

    Run a run

    • Run 1 · 6259 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens9minUS$ 0.04Tokens: 30.817 de entrada · 24.049 de saída · 2.467.712 de cache · 2.543.405 no totalScorecard
    • Run 2 · 6128 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens1minUS$ 0.01Tokens: 20.053 de entrada · 12.321 de saída · 357.504 de cache · 397.812 no totalScorecard
    • Run 3 · 5977 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens1minUS$ 0.02Tokens: 27.064 de entrada · 13.385 de saída · 535.040 de cache · 585.035 no totalScorecard
  22. 22
    GPT-5.6-luna OpenAI · esforço xhigh 3 de 3 runs (599 · 601 · 624)
    601 de 1000 LEB Silver
    • Segurança220/250
    • Arquitetura0/200
    • Bugs129/150
    • Performance150/150
    • Código limpo0/100
    • Compatibilidade70/100
    • Explicação32/50

    Penalidades: nenhumaDescoberta 58.3Brier 0.000Scorecard

    Comentário e ficha

    O menor GPT-5.6, a até 24 pontos do terra e do sol, com runs de 599 a 624. Alterou um valor de negócio em cada run (−30).

    Uma leitura escrita a partir dos scorecards e vereditos; não faz parte da nota.

    Nota máxima
    Performance
    Zero
    Arquitetura, Código limpo
    Nunca corrigiu, em nenhum run
    Um dispatcher que faz tudo; Números mágicos para status e prioridade; Quatro níveis de if aninhado

    Run a run

    • Run 1 · 5998 de 13 falhas corrigidasnenhum falso positivo1 valor de negócio alterado22/22 checagens12minTokens: 74.979 de entrada · 30.975 de saída · 886.784 de cache · 992.738 no totalScorecard
    • Run 2 · 6019 de 13 falhas corrigidasnenhum falso positivo1 valor de negócio alterado22/22 checagens10minTokens: 65.711 de entrada · 31.899 de saída · 706.304 de cache · 803.914 no totalScorecard
    • Run 3 · 62410 de 13 falhas corrigidasnenhum falso positivo1 valor de negócio alterado22/22 checagens14minTokens: 146.803 de entrada · 42.381 de saída · 1.674.752 de cache · 1.863.936 no totalScorecard
  23. 23
    GLM-5.3-FlashX Z.AI · esforço high 1 de 3 runs não oficialsem corte ou lançamento anterior publicado
    597 de 1000 LEB Bronze
    • Segurança185/250
    • Arquitetura0/200
    • Bugs129/150
    • Performance150/150
    • Código limpo0/100
    • Compatibilidade100/100
    • Explicação33/50

    Penalidades: nenhumaDescoberta 70.8Brier 0.015Custo US$ 0.10 por runScorecard

    Comentário e ficha

    Um run até agora: 597 por US$ 0,10, 27 pontos abaixo do GLM-5.3-Flash. Corrigiu 7 falhas e deixou a injeção no CSV, o MD5 e os segredos no código.

    Uma leitura escrita a partir dos scorecards e vereditos; não faz parte da nota.

    Nota máxima
    Performance, Compatibilidade
    Zero
    Arquitetura, Código limpo
    Nunca corrigiu, em nenhum run
    Injeção de fórmula no CSV exportado; Senhas em MD5 sem salt; Segredos fixos na configuração; Um dispatcher que faz tudo; Números mágicos para status e prioridade; Quatro níveis de if aninhado

    Run a run

    • Run 1 · 5977 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens8minUS$ 0.10Tokens: 48.070 de entrada · 13.431 de saída · 702.784 de cache · 771.911 no totalScorecard
  24. 24
    Gemini 3.8 Flash Google · esforço high 3 de 3 runs (687 · 588 · 100) sem corte ou lançamento anterior publicado
    588 de 1000 LEB Bronze
    • Segurança181/250
    • Arquitetura0/200
    • Bugs129/150
    • Performance150/150
    • Código limpo0/100
    • Compatibilidade100/100
    • Explicação28/50

    Penalidades: nenhumaDescoberta 58.3Brier 0.003Custo US$ 0.71 por runScorecard

    Comentário e ficha

    Três runs muito diferentes: 687 (que o colocaria em 6º), 588, e 100 de um run que parou após dez minutos, num servidor de banco que ele mesmo subiu. Os dois runs completos mantiveram o MD5 e os dois segredos e deixaram a exportação CSV servindo qualquer cliente.

    Uma leitura escrita a partir dos scorecards e vereditos; não faz parte da nota.

    Nota máxima
    Performance, Compatibilidade
    Zero
    Arquitetura, Código limpo
    Nunca corrigiu, em nenhum run
    Injeção de fórmula no CSV exportado; Senhas em MD5 sem salt; Segredos fixos na configuração; Um dispatcher que faz tudo; Números mágicos para status e prioridade

    Run a run

    • Run 1 · 6878 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens12minUS$ 1.00Tokens: 447.362 de entrada · 30.814 de saída · 5.007.269 de cache · 5.532.273 no totalScorecard
    • Run 2 · 5887 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens25minUS$ 0.85Tokens: 466.673 de entrada · 14.937 de saída · 3.198.620 de cache · 3.735.479 no totalScorecard
    • Run 3 · 1000 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens10minUS$ 0.28Tokens: 214.747 de entrada · 1.444 de saída · 704.735 de cache · 937.623 no totalScorecard
  25. 25
    Gemini 3.7 Flash Google · esforço high 3 de 3 runs (587 · 587 · 556) sem corte ou lançamento anterior publicado
    587 de 1000 LEB Bronze
    • Segurança181/250
    • Arquitetura0/200
    • Bugs129/150
    • Performance150/150
    • Código limpo0/100
    • Compatibilidade100/100
    • Explicação27/50

    Penalidades: nenhumaDescoberta 58.3Brier 0.002Custo US$ 0.60 por runScorecard

    Comentário e ficha

    A geração anterior ao Gemini 3.8 Flash, um ponto atrás dele e bem mais estável (de 556 a 587). O primeiro run é o único fora do Claude a achatar os ifs aninhados; o segundo procurou o gabarito na VM, que não está lá.

    Uma leitura escrita a partir dos scorecards e vereditos; não faz parte da nota.

    Nota máxima
    Performance, Compatibilidade
    Zero
    Arquitetura, Código limpo
    Nunca corrigiu, em nenhum run
    Injeção de fórmula no CSV exportado; Senhas em MD5 sem salt; Segredos fixos na configuração; Um dispatcher que faz tudo; Números mágicos para status e prioridade; Quatro níveis de if aninhado

    Run a run

    • Run 1 · 5877 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens12minUS$ 0.72Tokens: 358.682 de entrada · 22.820 de saída · 3.161.645 de cache · 3.577.678 no totalScorecard
    • Run 2 · 5877 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens16minUS$ 0.60Tokens: 294.559 de entrada · 16.180 de saída · 2.248.786 de cache · 2.599.093 no totalScorecard
    • Run 3 · 5567 de 13 falhas corrigidasnenhum falso positivo1 valor de negócio alterado22/22 checagens7minUS$ 0.49Tokens: 315.568 de entrada · 15.092 de saída · 1.053.498 de cache · 1.416.483 no totalScorecard
  26. 26
    GPT-5.5 OpenAI · esforço xhigh 3 de 3 runs (558 · 568 · 536)
    558 de 1000 LEB Bronze
    • Segurança177/250
    • Arquitetura0/200
    • Bugs129/150
    • Performance150/150
    • Código limpo0/100
    • Compatibilidade70/100
    • Explicação32/50

    Penalidades: nenhumaDescoberta 58.3Brier 0.006Scorecard

    Comentário e ficha

    A geração anterior do GPT, de 43 a 108 pontos abaixo dos modelos GPT-5.6 e GPT-6: 8 falhas encontradas e 7 corrigidas em todos os runs, com o MD5 e a injeção de fórmula no CSV sempre no lugar.

    Uma leitura escrita a partir dos scorecards e vereditos; não faz parte da nota.

    Nota máxima
    Performance
    Zero
    Arquitetura, Código limpo
    Nunca corrigiu, em nenhum run
    Injeção de fórmula no CSV exportado; Senhas em MD5 sem salt; Um dispatcher que faz tudo; Números mágicos para status e prioridade; Quatro níveis de if aninhado

    Run a run

    • Run 2 · 5587 de 13 falhas corrigidasnenhum falso positivo1 valor de negócio alterado22/22 checagens6minTokens: 54.617 de entrada · 18.745 de saída · 374.272 de cache · 447.634 no totalScorecard
    • Run 3 · 5687 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens5minTokens: 47.993 de entrada · 16.748 de saída · 387.584 de cache · 452.325 no totalScorecard
    • Run 4 · 5367 de 13 falhas corrigidasnenhum falso positivo1 valor de negócio alterado22/22 checagens5minTokens: 50.817 de entrada · 16.437 de saída · 435.456 de cache · 502.710 no totalScorecard
  27. 27
    Gemini 3.8 Flash Google · esforço medium 1 de 3 runs não oficialsem corte ou lançamento anterior publicado
    550 de 1000 LEB Bronze
    • Segurança147/250
    • Arquitetura0/200
    • Bugs129/150
    • Performance150/150
    • Código limpo0/100
    • Compatibilidade100/100
    • Explicação24/50

    Penalidades: nenhumaDescoberta 45.8Brier 0.201Custo US$ 0.19 por runScorecard

    Comentário e ficha

    Um run até agora, em 4min 34s por US$ 0,19: 550. Corrigiu 6 falhas e apontou injeção de SQL em duas funções que só recebem inteiros.

    Uma leitura escrita a partir dos scorecards e vereditos; não faz parte da nota.

    Nota máxima
    Performance, Compatibilidade
    Zero
    Arquitetura, Código limpo
    Nunca corrigiu, em nenhum run
    Injeção de fórmula no CSV exportado; Session fixation no login; Senhas em MD5 sem salt; Segredos fixos na configuração; Um dispatcher que faz tudo; Números mágicos para status e prioridade; Quatro níveis de if aninhado

    Run a run

    • Run 1 · 5506 de 13 falhas corrigidas2 falsos positivoscontrato mantido22/22 checagens5minUS$ 0.19Tokens: 153.206 de entrada · 11.176 de saída · 464.128 de cache · 628.510 no totalScorecard
  28. 28
    Qwen3 Coder Next Alibaba (Qwen team) · esforço padrão (não configurável) 1 de 3 runs não oficial
    507 de 1000 LEB Bronze
    • Segurança125/250
    • Arquitetura0/200
    • Bugs129/150
    • Performance150/150
    • Código limpo0/100
    • Compatibilidade100/100
    • Explicação18/50

    Penalidades: -15Descoberta 54.2Brier 0.301Custo US$ 1.53 por runScorecard

    Comentário e ficha

    A explicação mais fraca (18 de 50) e a pior calibração daqui: três falhas que não existem relatadas com confiança 100, e nenhum teste executado. Por outro lado, é o único dos nove últimos que corrigiu a consulta N+1.

    Uma leitura escrita a partir dos scorecards e vereditos; não faz parte da nota.

    Nota máxima
    Performance, Compatibilidade
    Zero
    Arquitetura, Código limpo
    Nunca corrigiu, em nenhum run
    XSS refletido na busca; Injeção de fórmula no CSV exportado; Senhas em MD5 sem salt; Segredos fixos na configuração; Qualquer chamado legível pelo id (IDOR); Um dispatcher que faz tudo; Números mágicos para status e prioridade; Quatro níveis de if aninhado

    Run a run

    • Run 1 · 5075 de 13 falhas corrigidas3 falsos positivoscontrato mantido22/22 checagens16minUS$ 1.53Tokens: 7.393.841 de entrada · 32.724 de saída · 0 de cache · 7.426.565 no totalScorecard
  29. 29
    DeepSeek V4 Pro DeepSeek · esforço high 3 de 3 runs (604 · 496 · 432) sem corte ou lançamento anterior publicado
    496 de 1000 LEB Bronze
    • Segurança181/250
    • Arquitetura0/200
    • Bugs129/150
    • Performance56/150
    • Código limpo0/100
    • Compatibilidade100/100
    • Explicação30/50

    Penalidades: nenhumaDescoberta 58.3Brier 0.026Custo US$ 0.16 por runScorecard

    Comentário e ficha

    O DeepSeek maior: os três runs (604, 496 e 432) ficam abaixo dos 612 oficiais do DeepSeek V4.1 Flash. O primeiro apontou injeção de SQL com confiança 100 em duas funções que só recebem inteiros; os outros dois deixaram a consulta N+1 no lugar.

    Uma leitura escrita a partir dos scorecards e vereditos; não faz parte da nota.

    Nota máxima
    Compatibilidade
    Zero
    Arquitetura, Código limpo
    Nunca corrigiu, em nenhum run
    Injeção de fórmula no CSV exportado; Senhas em MD5 sem salt; Um dispatcher que faz tudo; Números mágicos para status e prioridade; Quatro níveis de if aninhado

    Run a run

    • Run 1 · 6048 de 13 falhas corrigidas2 falsos positivoscontrato mantido22/22 checagens8minUS$ 0.03Tokens: 68.936 de entrada · 13.219 de saída · 322.560 de cache · 412.383 no totalScorecard
    • Run 2 · 4966 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens23minUS$ 0.42Tokens: 28.203 de entrada · 15.517 de saída · 1.835.520 de cache · 1.904.131 no totalScorecard
    • Run 3 · 4326 de 13 falhas corrigidas1 falso positivocontrato mantido22/22 checagens12minUS$ 0.04Tokens: 103.562 de entrada · 15.859 de saída · 580.864 de cache · 708.898 no totalScorecard
  30. 30
    MiniMax-M3 MiniMax · esforço thinking 3 de 3 runs (462 · 616 · 434)
    462 de 1000 LEB Bronze
    • Segurança220/250
    • Arquitetura0/200
    • Bugs150/150
    • Performance0/150
    • Código limpo25/100
    • Compatibilidade40/100
    • Explicação27/50

    Penalidades: nenhumaDescoberta 62.5Brier 0.021Custo US$ 0.12 por runScorecard

    Comentário e ficha

    Corrigiu 8 falhas em todos os runs, com bugs em nota máxima, mas alterou valores de negócio (compatibilidade em 40 no run oficial) e deixou a consulta N+1. O segundo run fez 616; o terceiro quebrou quatro das 22 checagens de caracterização.

    Uma leitura escrita a partir dos scorecards e vereditos; não faz parte da nota.

    Nota máxima
    Bugs
    Zero
    Arquitetura, Performance
    Nunca corrigiu, em nenhum run
    Injeção de fórmula no CSV exportado; Um dispatcher que faz tudo; Números mágicos para status e prioridade

    Run a run

    • Run 1 · 4628 de 13 falhas corrigidasnenhum falso positivo1 valor de negócio alterado22/22 checagens4minUS$ 0.12Tokens: 55.144 de entrada · 19.131 de saída · 993.940 de cache · 1.085.756 no totalScorecard
    • Run 2 · 6168 de 13 falhas corrigidasnenhum falso positivo1 valor de negócio alterado22/22 checagens6minUS$ 0.10Tokens: 69.677 de entrada · 14.753 de saída · 601.806 de cache · 707.582 no totalScorecard
    • Run 3 · 4348 de 13 falhas corrigidas1 falso positivo1 valor de negócio alterado18/22 checagens5minUS$ 0.13Tokens: 63.000 de entrada · 22.731 de saída · 1.089.762 de cache · 1.188.744 no totalScorecard
  31. 31
    Kimi K2.7 Code Moonshot AI · esforço padrão (não configurável) 3 de 3 runs (415 · 415 · 512)
    415 de 1000 LEB Bronze
    • Segurança203/250
    • Arquitetura0/200
    • Bugs86/150
    • Performance0/150
    • Código limpo0/100
    • Compatibilidade100/100
    • Explicação26/50

    Penalidades: nenhumaDescoberta 50.0Brier 0.225Custo US$ 0.51 por runScorecard

    Comentário e ficha

    Deixou a consulta N+1 em todos os runs e relatou falhas inexistentes nos três, injeção de SQL em funções que só recebem inteiros entre elas. O terceiro run, 512, corrigiu uma falha a mais que os outros dois.

    Uma leitura escrita a partir dos scorecards e vereditos; não faz parte da nota.

    Nota máxima
    Compatibilidade
    Zero
    Arquitetura, Performance, Código limpo
    Nunca corrigiu, em nenhum run
    Injeção de fórmula no CSV exportado; Senhas em MD5 sem salt; Uma query por chamado para o técnico (N+1); Um dispatcher que faz tudo; Números mágicos para status e prioridade; Quatro níveis de if aninhado

    Run a run

    • Run 1 · 4156 de 13 falhas corrigidas2 falsos positivoscontrato mantido22/22 checagens14minUS$ 0.48Tokens: 55.678 de entrada · 20.809 de saída · 1.616.640 de cache · 1.702.051 no totalScorecard
    • Run 2 · 4156 de 13 falhas corrigidas1 falso positivocontrato mantido22/22 checagens4minUS$ 0.25Tokens: 43.066 de entrada · 10.167 de saída · 766.976 de cache · 826.182 no totalScorecard
    • Run 3 · 5127 de 13 falhas corrigidas2 falsos positivoscontrato mantido22/22 checagens15minUS$ 0.81Tokens: 80.899 de entrada · 20.334 de saída · 2.925.824 de cache · 3.051.753 no totalScorecard
  32. 32
    GPT-5.3-Codex OpenAI · esforço xhigh 1 de 3 runs não oficial
    403 de 1000 LEB Bronze
    • Segurança147/250
    • Arquitetura0/200
    • Bugs129/150
    • Performance0/150
    • Código limpo0/100
    • Compatibilidade100/100
    • Explicação27/50

    Penalidades: nenhumaDescoberta 37.5Brier 0.015Custo US$ 0.54 por runScorecard

    Comentário e ficha

    Um run até agora, pelo opencode: 403, o GPT mais baixo. Encontrou 6 falhas e corrigiu 5, deixando no lugar a consulta N+1, a fixação de sessão no login e o MD5, sem nenhum falso positivo.

    Uma leitura escrita a partir dos scorecards e vereditos; não faz parte da nota.

    Nota máxima
    Compatibilidade
    Zero
    Arquitetura, Performance, Código limpo
    Nunca corrigiu, em nenhum run
    Injeção de fórmula no CSV exportado; Session fixation no login; Senhas em MD5 sem salt; Segredos fixos na configuração; Uma query por chamado para o técnico (N+1); Um dispatcher que faz tudo; Números mágicos para status e prioridade; Quatro níveis de if aninhado

    Run a run

    • Run 1 · 4035 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens7minUS$ 0.54Tokens: 42.455 de entrada · 7.374 de saída · 351.744 de cache · 422.872 no totalScorecard
  33. 33
    Kimi K2.7 Code (highspeed) Moonshot AI · esforço padrão (não configurável) 3 de 3 runs (402 · 363 · 402) sem corte ou lançamento anterior publicado
    402 de 1000 LEB Bronze
    • Segurança155/250
    • Arquitetura0/200
    • Bugs129/150
    • Performance0/150
    • Código limpo25/100
    • Compatibilidade70/100
    • Explicação23/50

    Penalidades: nenhumaDescoberta 54.2Brier 0.216Custo US$ 0.74 por runScorecard

    Comentário e ficha

    A variante rápida do Kimi K2.7 Code, 13 pontos abaixo dele: 5 falhas corrigidas em todos os runs, duas falhas inexistentes relatadas em cada um, e a consulta N+1 sempre no lugar.

    Uma leitura escrita a partir dos scorecards e vereditos; não faz parte da nota.

    Zero
    Arquitetura, Performance
    Nunca corrigiu, em nenhum run
    Injeção de fórmula no CSV exportado; Session fixation no login; Senhas em MD5 sem salt; Segredos fixos na configuração; Uma query por chamado para o técnico (N+1); Um dispatcher que faz tudo; Números mágicos para status e prioridade; Quatro níveis de if aninhado

    Run a run

    • Run 1 · 4025 de 13 falhas corrigidas2 falsos positivos1 valor de negócio alterado22/22 checagens2minUS$ 0.38Tokens: 31.371 de entrada · 10.254 de saída · 506.880 de cache · 554.104 no totalScorecard
    • Run 2 · 3635 de 13 falhas corrigidas2 falsos positivos1 valor de negócio alterado22/22 checagens6minUS$ 0.68Tokens: 48.822 de entrada · 12.842 de saída · 960.722 de cache · 1.037.685 no totalScorecard
    • Run 3 · 4025 de 13 falhas corrigidas2 falsos positivoscontrato mantido22/22 checagens10minUS$ 1.16Tokens: 73.637 de entrada · 20.792 de saída · 2.034.944 de cache · 2.139.219 no totalScorecard
  34. 34
    GLM-5.2 Z.AI · esforço high 1 de 3 runs não oficial
    388 de 1000 Reprovada
    • Segurança172/250
    • Arquitetura0/200
    • Bugs86/150
    • Performance0/150
    • Código limpo0/100
    • Compatibilidade100/100
    • Explicação30/50

    Penalidades: nenhumaDescoberta 50.0Brier 0.001Custo US$ 0.35 por runScorecard

    Comentário e ficha

    Um run até agora: 388, abaixo da linha de aprovação e 233 pontos sob o GLM-5.3. Deixou no lugar a consulta N+1, o arquivo não fechado e a fixação de sessão; o que relatou estava certo, sem falso positivo.

    Uma leitura escrita a partir dos scorecards e vereditos; não faz parte da nota.

    Nota máxima
    Compatibilidade
    Zero
    Arquitetura, Performance, Código limpo
    Nunca corrigiu, em nenhum run
    Injeção de fórmula no CSV exportado; Session fixation no login; Senhas em MD5 sem salt; Arquivo deixado aberto no caminho de erro; Uma query por chamado para o técnico (N+1); Um dispatcher que faz tudo; Números mágicos para status e prioridade; Quatro níveis de if aninhado

    Run a run

    • Run 1 · 3885 de 13 falhas corrigidasnenhum falso positivocontrato mantido22/22 checagens6minUS$ 0.35Tokens: 52.899 de entrada · 13.001 de saída · 716.992 de cache · 790.478 no totalScorecard
  35. 35
    Nex N2.5 Pro Nex AGI · esforço high 2 de 3 runs (317 · 428) não oficialsem corte ou lançamento anterior publicado
    317 de 1000 Reprovada
    • Segurança194/250
    • Arquitetura0/200
    • Bugs107/150
    • Performance75/150
    • Código limpo0/100
    • Compatibilidade70/100
    • Explicação31/50

    Penalidades: -160Descoberta 62.5Brier 0.000Custo US$ 3.83 por runScorecard

    Comentário e ficha

    Lento demais para fechar três runs: 10h 03min e 19h 35min, e um terceiro anulado depois de mais de 21 horas, quando a conexão do operador caiu; fica com dois e publica o menor. Os dois runs foram fortes em segurança e os dois quebraram o contrato: o primeiro fez toda função não devolver nada sem usuário logado (8 checagens, −160, 317), o segundo fez a exportação CSV lançar exceção para quem já imprimiu saída (3 checagens, 428).

    Uma leitura escrita a partir dos scorecards e vereditos; não faz parte da nota.

    Zero
    Arquitetura, Código limpo
    Nunca corrigiu, em nenhum run
    Um dispatcher que faz tudo; Números mágicos para status e prioridade; Quatro níveis de if aninhado

    Run a run

    • Run 1 · 3179 de 13 falhas corrigidasnenhum falso positivo1 valor de negócio alterado14/22 checagens10h 3minUS$ 2.80Tokens: 29.260.714 de entrada · 117.982 de saída · 20.215.616 de cache · 49.594.312 no totalScorecard
    • Run 2 · 42810 de 13 falhas corrigidasnenhum falso positivo2 valores de negócio alterados19/22 checagens19h 35minUS$ 4.87Tokens: 50.033.318 de entrada · 254.132 de saída · 33.604.416 de cache · 83.891.866 no totalScorecard
  36. 36
    Claude Haiku 4.5 Anthropic · esforço padrão (não configurável) 3 de 3 runs (317 · 369 · 232)
    317 de 1000 Reprovada
    • Segurança138/250
    • Arquitetura0/200
    • Bugs86/150
    • Performance0/150
    • Código limpo0/100
    • Compatibilidade70/100
    • Explicação23/50

    Penalidades: nenhumaDescoberta 37.5Brier 0.215Custo US$ 0.29 por runScorecard

    Comentário e ficha

    O Claude pequeno, a US$ 0,21 a 0,40 por run, abaixo da linha de aprovação nos três. A correção de visibilidade do primeiro run esconde os chamados do próprio cliente, ao comparar um inteiro com a string que o mysqli devolve; o terceiro quebrou três checagens de caracterização.

    Uma leitura escrita a partir dos scorecards e vereditos; não faz parte da nota.

    Zero
    Arquitetura, Performance, Código limpo
    Nunca corrigiu, em nenhum run
    Injeção de fórmula no CSV exportado; Session fixation no login; Senhas em MD5 sem salt; Arquivo deixado aberto no caminho de erro; Uma query por chamado para o técnico (N+1); Um dispatcher que faz tudo; Números mágicos para status e prioridade; Quatro níveis de if aninhado

    Run a run

    • Run 1 · 3174 de 13 falhas corrigidas2 falsos positivos1 valor de negócio alterado22/22 checagens2minUS$ 0.21Tokens: 1.062 de entrada · 13.699 de saída · 819.787 de cache · 834.548 no totalScorecard
    • Run 2 · 3695 de 13 falhas corrigidas2 falsos positivoscontrato mantido22/22 checagens7minUS$ 0.40Tokens: 1.198 de entrada · 20.213 de saída · 2.111.822 de cache · 2.133.233 no totalScorecard
    • Run 3 · 2325 de 13 falhas corrigidas1 falso positivo1 valor de negócio alterado19/22 checagens10minUS$ 0.27Tokens: 1.213 de entrada · 17.741 de saída · 1.063.175 de cache · 1.082.129 no totalScorecard
  37. 37
    DeepSeek V4 Flash DeepSeek · esforço high 2 de 3 runs (612 · 282) não oficialsem corte ou lançamento anterior publicado
    282 de 1000 Reprovada
    • Segurança99/250
    • Arquitetura0/200
    • Bugs96/150
    • Performance0/150
    • Código limpo0/100
    • Compatibilidade100/100
    • Explicação22/50

    Penalidades: -35Descoberta 50.0Brier 0.122Custo US$ 0.04 por runScorecard

    Comentário e ficha

    Dois runs que mal poderiam ser mais diferentes: o primeiro corrigiu 9 falhas e fez 612; a correção de injeção de SQL do segundo quebra toda busca e o CSV do cliente sai numa linha só, 282. Publica o menor; não é certo quais pesos os provedores serviram com esse nome.

    Uma leitura escrita a partir dos scorecards e vereditos; não faz parte da nota.

    Nota máxima
    Compatibilidade
    Zero
    Arquitetura, Performance, Código limpo
    Nunca corrigiu, em nenhum run
    Injeção de fórmula no CSV exportado; Um dispatcher que faz tudo; Números mágicos para status e prioridade; Quatro níveis de if aninhado

    Run a run

    • Run 1 · 6129 de 13 falhas corrigidasnenhum falso positivo1 valor de negócio alterado22/22 checagens9minUS$ 0.07Tokens: 85.100 de entrada · 16.008 de saída · 1.518.080 de cache · 1.646.803 no totalScorecard
    • Run 2 · 2823 de 13 falhas corrigidas1 falso positivocontrato mantido21/22 checagens7minUS$ 0.00Tokens: 43.443 de entrada · 8.858 de saída · 445.696 de cache · 510.802 no totalScorecard

Falha por falha

O que cada agente achou e corrigiu entre as falhas plantadas. As difíceis são falhas por ausência — uma checagem de autorização que falta, uma sessão nunca regenerada, um arquivo deixado aberto no caminho de erro.

A tabela mostra os 10 primeiros de 37 agentes. O resultado de cada agente, falha por falha, está no scorecard dele.

  • corrigida
  • achada, não corrigida
  • não achada
FalhaClaude Sonnet 5.5 · xhighClaude Sonnet 5.5 · maxClaude Sonnet 5.5 · max (ultracode)Claude Fable 5.1Claude Opus 5.5GPT-6-astra · ultraGPT-6.1-sol · xhighGPT-6.1-sol proGrok 4.7 · highGrok 4.6
SQL injection na buscaSEC-001 · crítica · fácil10/10corrigida10/10corrigida10/10corrigida10/10corrigida10/10corrigida10/10corrigida10/10corrigida10/10corrigida10/10corrigida10/10corrigida
XSS refletido na buscaSEC-003 · alta · fácil8/8corrigida8/8corrigida8/8corrigida8/8corrigida8/8corrigida8/8corrigida8/8corrigida8/8corrigida8/8corrigida8/8corrigida
Injeção de fórmula no CSV exportadoSEC-008 · média · difícil6/6corrigida6/6corrigida6/6corrigida2/6achada, não corrigida2/6achada, não corrigida6/6corrigida6/6corrigida2/6achada, não corrigida6/6corrigida0/6não achada
Session fixation no loginSEC-013 · alta · difícil8/8corrigida8/8corrigida8/8corrigida8/8corrigida8/8corrigida8/8corrigida8/8corrigida8/8corrigida8/8corrigida8/8corrigida
Senhas em MD5 sem saltSEC-014 · alta · fácil8/8corrigida8/8corrigida8/8corrigida8/8corrigida8/8corrigida3/8achada, não corrigida8/8corrigida8/8corrigida3/8achada, não corrigida3/8achada, não corrigida
Segredos fixos na configuraçãoSEC-015 · alta · fácil8/8corrigida8/8corrigida8/8corrigida8/8corrigida8/8corrigida8/8corrigida8/8corrigida8/8corrigida3/8achada, não corrigida6/8achada, não corrigida
Qualquer chamado legível pelo id (IDOR)SEC-017 · crítica · difícil10/10corrigida10/10corrigida10/10corrigida10/10corrigida10/10corrigida9/10corrigida9/10corrigida9/10corrigida10/10corrigida10/10corrigida
Divisão por zero na média de SLABUG-001 · alta · moderada8/8corrigida8/8corrigida8/8corrigida8/8corrigida8/8corrigida8/8corrigida8/8corrigida8/8corrigida8/8corrigida8/8corrigida
Arquivo deixado aberto no caminho de erroBUG-004 · média · difícil5/6corrigida6/6corrigida4/6corrigida5/6corrigida5/6corrigida4/6corrigida4/6corrigida5/6corrigida5/6corrigida4/6corrigida
Uma query por chamado para o técnico (N+1)PERF-001 · alta · moderada8/8corrigida8/8corrigida8/8corrigida8/8corrigida8/8corrigida8/8corrigida8/8corrigida8/8corrigida8/8corrigida8/8corrigida
Um dispatcher que faz tudoARCH-002 · alta · fácil2/10achada, não corrigida1/10achada, não corrigida0/10não achada0/10não achada4/10achada, não corrigida2/10achada, não corrigida2/10achada, não corrigida0/10não achada0/10não achada0/10não achada
Números mágicos para status e prioridadeARCH-009 · baixa · moderada0/6não achada0/6não achada0/6não achada0/6não achada0/6não achada0/6não achada0/6não achada0/6não achada0/6não achada0/6não achada
Quatro níveis de if aninhadoCLN-007 · média · fácil8/8corrigida8/8corrigida8/8corrigida8/8corrigida0/8não achada2/8achada, não corrigida0/8não achada2/8achada, não corrigida0/8não achada2/8achada, não corrigida

O que chamou atenção

  • Seis agentes corrigiram a injeção de fórmula no CSV (SEC-008) — o Sonnet 5.5 nas três configurações, GPT-6.1-sol, GPT-5.6-sol e Grok 4.7 — com a correção que o gabarito espera; o Sonnet 5.5 é o único modelo com segurança em 250 de 250, nas três configurações. O GPT-5.6-sol também transformou o - de um chamado sem técnico em '-, um bug novo (−15).
  • Arquitetura foi a categoria mais fraca de todos: 50 de 200 para o Opus 5.5, 25 para o Sonnet 5.5 em xhigh e para o GPT-6.1-sol, 12 para o Sonnet 5.5 em max, e 0 para os outros vinte e oito. Ninguém separou o dispatcher que faz tudo; esses três o apontaram e decidiram não reestruturá-lo.
  • Dois runs publicados quebraram o contrato mecanicamente. Os trinta e sete ficaram no mysqli e não reportaram nenhuma isca, e trinta e cinco mantiveram as 22 checagens de caracterização verdes; o DeepSeek V4 Flash publica um run cuja busca lança exceção, e o Nex N2.5 Pro um cujas funções não devolvem nada sem um usuário logado (8 checagens quebradas, −160). O que separou os demais foi julgamento: vinte e quatro mantiveram compatibilidade em 100, e cada um dos outros treze mudou ao menos um valor de negócio (−30 cada), quase sempre a média de SLA, recortada por cliente.
  • Vinte e seis notas são oficiais: o Claude Sonnet 5.5 em xhigh, 809 (runs de 825, 809 e 724), o Claude Sonnet 5.5 em max, 807 (807, 773 e 820), o Claude Sonnet 5.5 em max no modo multiagente, 774 (774, 820 e 759), o Claude Opus 5.5, 717 (711, 717 e 805), o GPT-6.1-sol, 661 (666, 653 e 661), o GPT-6.1-sol em ultra, 616 (597, 656 e 616), o Grok 4.7, 638 (638, 663 e 607), o Grok 4.6, 633 (633, 640 e 620), o Grok 4.7 em xhigh, 631 (640, 617 e 631), o GPT-6-astra em ultra, 666 (668, 666 e 651), o Kimi K3 em high, 629 (629, 634 e 574), o GPT-6-astra, 628 (661, 596 e 628), o GPT-5.6-terra, 625 (625, 611 e 645), o GLM-5.3 Prime, 628 (635, 628 e 541), o GLM-5.3, 621 (629, 621 e 604), o DeepSeek V4.1 Flash, 612 (625, 612 e 597), o GPT-5.6-sol, 612 (612, 612 e 608), o GPT-5.6-luna, 601 (599, 601 e 624), o Gemini 3.8 Flash em high, 588 (687, 588 e 100), o GPT-5.5, 558 (558, 568 e 536), o DeepSeek V4 Pro, 496 (604, 496 e 432), o MiniMax-M3 com a variante thinking, 462 (462, 616 e 434), o Kimi K2.7 Code, 415 (415, 415 e 512), o Kimi K2.7 Code highspeed, 402 (402, 363 e 402), o Gemini 3.7 Flash em high, 587 (587, 587 e 556), e o Claude Haiku 4.5, 317 (317, 369 e 232), cada uma a mediana de três runs. Um run sozinho pode ficar mais de 100 pontos longe da mediana: o terceiro do Opus fez 805, o terceiro do Sonnet 724, o primeiro do DeepSeek V4 Pro 604, o terceiro do Gemini 3.8 Flash, que parou após dez minutos, 100, e o primeiro do astra, 661, o tinha posto em 5º, por decisões como quais falhas deixar sem correção. O Claude Fable 5.1 tem dois runs, 781 e 764, e publica o menor, em 4º
  • O Gemini 3.8 Flash em high é oficial com 588, em 24º, Bronze, a mediana de três runs muito diferentes (687, 588 e 100). O Gemini 3.7 Flash, a geração anterior, é oficial com 587 (587, 587 e 556), em 25º. O primeiro run, em 6º, corrigiu 8 das 13 falhas plantadas e é o único fora dos Claude a achatar os ifs aninhados (CLN-007); o segundo corrigiu 7 e procurou o gabarito na VM, pelo nome e pelo hash citado na tarefa. O gabarito não está na VM, e a busca não trouxe nada que o run já não tivesse. O terceiro parou após dez minutos, num servidor de banco que ele mesmo subiu e que impediu o próprio comando de retornar: sem relatório, com o código intacto, pontuado como entregue. Os dois runs completos mantiveram o MD5 e os dois segredos e deixaram o export CSV entregando a tabela toda a qualquer cliente. Em esforço medium o mesmo modelo fez 550 (27º) em 4min 34s: corrigiu 6 falhas e apontou injeção de SQL em duas funções que só recebem inteiros.
  • O GPT-6-astra em ultra é o agente GPT mais forte aqui, oficial com 666 (runs de 668, 666 e 651), em 6º, com dois ou três subagentes em 10 a 15 minutos. O GPT-6.1-sol vem a seguir, oficial com 661 (666, 653 e 661), em 7º, e o GPT-6.1-sol pro com 654, em 8º, com um run. O GPT-6-astra em xhigh, oficial com 628, está em 13º. O primeiro run dele corrigiu a injeção no CSV e manteve o MD5; o run oficial fez o contrário, migrou o MD5 para password_hash e deixou a injeção no CSV como estava; o run oficial do GPT-6.1-sol corrigiu as duas
  • O trabalho multiagente, no melhor caso, empatou com um agente só, por muitas vezes o custo. O Claude Sonnet 5.5 no modo multiagente do Claude Code, em esforço max, fez 774 no primeiro run (7 workflows, 68 subagentes, 7h 55min, US$ 233), 820 no segundo (2 workflows, 105 subagentes, 2h, US$ 171) e 759 no terceiro (3 workflows, 145 subagentes, 3h 34min, US$ 119). É oficial com 774, em 3º, Gold. O mesmo modelo no mesmo esforço max, como agente único, levou cerca de meia hora por run e é oficial com 807 (runs de 807, 773 e 820), em 2º; em xhigh é oficial com 809. O terceiro relatório foi avaliado em 47 de 50, a melhor explicação aqui, e nenhum run mexeu na arquitetura. Em cada run alguns subagentes (nove, oito, depois sete) caíram para um Sonnet anterior depois que um classificador de segurança os interrompeu; nada de nenhuma das entregas veio deles.
  • O GPT-6.1-sol em ultra é oficial 45 pontos abaixo dele mesmo em xhigh (616 contra 661), a mediana de três runs espalhados por 59 pontos (597, 656 e 616). Com três subagentes, o primeiro achou 9 das 13 falhas plantadas, manteve o MD5 e não nomeou o dispatcher; com dois, o segundo corrigiu 10, entre elas a injeção no CSV e o MD5. Cada um levou menos de meia hora, não as 8 horas do Sonnet multiagente.
  • O Grok 4.7 é o modelo mais forte aqui fora da Anthropic e da OpenAI (638, 9º, Silver, oficial em três runs de 638, 663 e 607), com explicação no nível dos melhores relatórios GPT (42 de 50). No primeiro run, é também o único agente que usou a web, para ler a página do manual do PHP sobre fputcsv; a VM bloqueia o GitHub, não a web. Em xhigh, o Grok 4.7 é oficial com 631 (640, 617 e 631), em 11º, abaixo do próprio esforço high, com relatórios avaliados de 42 a 44 de 50, as melhores explicações fora da Anthropic e da OpenAI. O Grok 4.6 vem em seguida, oficial com 633 (10º; runs de 633, 640 e 620), por cerca de um oitavo do custo (US$ 0,31 contra 2,43).
  • O GLM-5.3 Prime é o modelo GLM mais forte (628, 14º, Silver), oficial em três runs por dois provedores (635, 628 e 541): o primeiro corrigiu as quatro falhas cobertas por probe, a injeção no CSV entre elas, por US$ 1,69; o segundo deixou a injeção como estava. O GLM-5.3 é oficial com 621 (17º), a mediana de três runs (629, 621 e 604), os dois últimos servidos por outro provedor; o GLM-5.3-Flash faz 624 por cerca de um décimo do custo, e o GLM-5.3-FlashX 597
  • O DeepSeek V4.1 Flash é o agente mais barato aqui (de US$ 0,01 a 0,04 por run; os dois últimos levaram menos de dois minutos cada) e é oficial com 612 (runs de 625, 612 e 597), em 21º. O DeepSeek V4 Flash em xhigh, pela Novita, fez 617 no primeiro run (18º). Em high, rodado por dois outros provedores, publica 282, o menor de seus dois runs (612 e 282), em último: o primeiro corrigiu oito falhas por completo, enquanto a correção de injeção de SQL do segundo lança exceção em toda busca e o CSV do cliente sai numa linha só. A DeepSeek agora direciona o nome V4 Flash para o V4.1 na própria API, então não é certo quais pesos esses provedores serviram. O DeepSeek V4 Pro, o modelo maior, é oficial com 496, a mediana de três runs por dois provedores (604, 496 e 432), todos abaixo dos 612 oficiais do DeepSeek V4.1 Flash: o primeiro dá confiança 100 a injeção de SQL em duas funções que só recebem inteiros, e os outros dois deixaram a query N+1 no lugar.
  • Vinte e quatro agentes não rodaram em xhigh. O Kimi K2.7 Code (nos dois IDs da Moonshot), o Qwen3 Coder Next e o Claude Haiku 4.5 não têm ajuste de esforço e rodaram no padrão do modelo; os dois modelos Grok, os cinco modelos GLM, os três modelos DeepSeek, os Gemini 3.8 e 3.7 Flash e o Nex N2.5 Pro rodaram em high, no opencode, e o Gemini 3.8 Flash também em medium; o MiniMax-M3 rodou no opencode com a variante thinking e o Kimi K3 com a variante high; o Sonnet 5.5 rodou duas vezes em max, uma delas no modo multiagente, e o GPT-6.1-sol e o GPT-6-astra uma vez cada em ultra. Os demais rodaram em xhigh.
  • Qwen3 Coder Next, DeepSeek V4 Pro, MiniMax-M3 com a variante thinking, Kimi K2.7 Code, GPT-5.3-Codex, Kimi K2.7 Code highspeed, GLM-5.2, Nex N2.5 Pro, Claude Haiku 4.5 e DeepSeek V4 Flash fecham a tabela (507, 496, 462, 415, 403, 402, 388, 317, 317 e 282; os quatro últimos abaixo da linha de aprovação). O Nex N2.5 Pro é lento demais para fechar três runs: 10h 03min e 19h 35min, os runs de agente único mais longos daqui, e um terceiro anulado depois de mais de 21 horas, então fica com dois; os dois corrigiram a maior parte das falhas de segurança, os dois quebraram o contrato, e ele publica o menor, 317 (317 e 428). O Claude Haiku 4.5 é oficial com 317 (runs de 317, 369 e 232); no primeiro, de 2,5 minutos e US$ 0,21, a correção de visibilidade dele esconde os próprios chamados de um cliente na página principal, ao comparar um inteiro com a string que o mysqli devolve. Todos menos o Qwen3 Coder Next deixaram a query N+1 no lugar. O Qwen3 Coder Next tem a explicação mais fraca (18 de 50) e a pior calibração (Brier 0,301): reportou com confiança 100 três falhas que não podem existir, entre elas injeção de SQL em duas funções que só recebem inteiros, como o Kimi K2.7 Code. Também não rodou nenhum teste.
  • Do 9º ao 23º lugar a diferença é de 41 pontos (638 a 597), dentro do ruído de um run único. O GPT-5.6-terra reportou o menor número de falhas plantadas e mesmo assim ficou em 15º, pela compatibilidade e pelo que corrigiu.
  • Os modelos GPT estão entre os mais bem calibrados (Brier de 0,015 ou menos): menos achados, cada um com confiança alta e quase todos reais.

Achar não é corrigir

Lado a lado, os três modelos Claude acham quase as mesmas falhas e corrigem quantidades diferentes delas. Um total só esconde qual das duas coisas está medindo.

  1. Eles acham quase o mesmo. No run que conta de cada um, o Sonnet 5.5 em xhigh reportou 12 das 13 falhas plantadas e o Fable 5.1 e o Opus 5.5, 11; nos oito runs somados, cada um achou 11 ou 12
  2. Sonnet 5.5 corrige mais, no run que conta. O run oficial dele corrigiu 11 das 13, contra 9 do run oficial do Opus e 10 do Fable. Run a run, varia: o Sonnet corrigiu 11, 11 e 8, o Opus 9 em cada um dos três, o Fable 9 e 10. Fable e Opus acharam e explicaram a injeção de fórmula no CSV e a deixaram no lugar, para proteger quem consome o arquivo; o Sonnet a corrigiu em dois dos três runs, prefixando só as células que começam uma fórmula. A vantagem de 92 pontos sobre o 717 oficial do Opus vem de código limpo (+100), não de segurança (+17); a de 45 pontos sobre o 764 do Fable vem de segurança (+17) e arquitetura (+25)
  3. Mais computação não mudou o padrão. Os runs dos Claude de um agente só levaram de 16 a 27 minutos cada, e os três do mesmo esforço max fizeram 807, 773 e 820. O Sonnet 5.5 no modo multiagente levou 7h 55min, 2h e 3h 34min e US$ 233, 171 e 119 para fazer 774, 820 e 759, e é oficial com 774 contra os 807 de um agente só: no melhor caso empatou com os 820 de um agente só, com as mesmas correções e uma verificação mais funda do próprio código, e em nenhum dos três runs o dispatcher chegou ao relatório.
  4. Como ler. Nesta tarefa os três modelos Claude enxergam os mesmos problemas; o que os separa é até onde vão para corrigi-los dentro do contrato. Na mediana, o Sonnet foi mais longe; um run sozinho pode inverter isso, como o terceiro do Sonnet. Uma tarefa, dois ou três runs por modelo: um padrão para testar, não um veredito

Leia isto antes de citar um número

  • Até três runs por agente. A nota oficial do LEB é a mediana de três runs independentes. Enquanto um agente não tem os três, a nota dele é o menor dos totais até aqui, os totais aparecem ao lado, e tudo o que se mostra com a nota vem desse mesmo run.
  • O juiz é uma IA. O Claude Opus 5.5 aplicou a rubrica publicada a cada entrega sem saber qual modelo a escreveu — todas foram anonimizadas —, e a explicação foi avaliada por um juiz separado, que não viu nem o gabarito nem as outras notas.
  • O juiz também é competidor. O Claude Opus 5.5 é um dos agentes avaliados, e seis dos trinta e sete são modelos Claude, o Sonnet 5.5 três vezes: ocupam os cinco primeiros lugares e o penúltimo. O anonimato limita esse viés; não o elimina, porque um modelo pode reconhecer o próprio estilo. Cada veredito é publicado com a justificativa, falha por falha, e os quatro vereditos alterados na revisão dizem por quê; um deles soma 41 pontos ao total do GPT-5.6-terra.
  • Vinte e uma tentativas ficaram sem nota, todas antes de qualquer juiz vê-las. Duas vezes, as salvaguardas do Claude Fable 5.1 interromperam uma resposta enquanto ele trabalhava nas falhas de segurança, e o cliente passou o resto do run para o Claude Opus 4.8, que escreveu o relatório inteiro; um run precisa vir de um modelo só, então as duas foram anuladas, e o Fable 5.1 mostra os seus dois runs completos. Quatro terminaram por falha do provedor antes de a entrega ficar completa: o GPT-5.6-sol pro quando o gateway ficou sem crédito, e o Gemini 3.8 Flash três vezes, num timeout do gateway e duas vezes por limite de requisições. Cinco foram montadas errado: o primeiro run multiagente do Sonnet 5.5 foi interrompido para dar mais processadores à máquina, o segundo encontrou o cliente com o login expirado e nunca chegou ao modelo, assim como o terceiro do Claude Fable 5.1, a primeira tentativa do Claude Haiku 4.5 teve o modo do cliente trocado no meio, e uma tentativa do Gemini começou fora da pasta da tarefa. Uma terminou, mas o GPT-5.6-terra rodou num cliente diferente do primeiro run e foi repetido no mesmo cliente. Seis terminaram depois de o agente já ter os seus três runs, duas do GPT-6.1-sol em xhigh, três em ultra e uma do Gemini 3.7 Flash; um quarto run deixaria escolher a nota publicada. Duas terminaram, um run do Grok 4.7 em xhigh e um do Kimi K3 em high, mas as VMs foram restauradas antes de as entregas serem copiadas, e não sobrou nada para avaliar. Uma foi cortada pela conexão do próprio operador: o terceiro run do Nex N2.5 Pro, depois de mais de 21 horas, que o operador decidiu não repetir porque o modelo é lento demais. As vinte e uma ficam guardadas no repositório.
  • O gabarito é público. A matriz de falhas da LEB-100-A está no repositório público desde 13 de julho de 2026. Os runs de 29 de setembro tiveram só o bloqueio por nome da VM, então nenhum agente conseguia buscá-la por acidente; os de 30 de setembro tiveram também os endereços do GitHub bloqueados, e os logs de sessão de todo run que deixou um não mostram nenhuma requisição ao GitHub. O que um modelo viu no treino depende de até onde vão os dados de treino dele: cada run registra o corte que o provedor publica. Sem ele, a data de lançamento do provedor serve de limite, porque um modelo não treina com dados de depois do próprio lançamento. Um modelo com corte ou lançamento posterior, ou sem nenhum dos dois, aparece marcado no placar.
  • Os testes do próprio benchmark foram corrigidos. Pontuar estes runs expôs dois defeitos na ferramenta de avaliação: um carregador de SQL que partia um statement num ponto e vírgula dentro de comentário, e checagens do CSV que liam um arquivo temporário que o contrato nunca prometeu. Os dois foram corrigidos antes da pontuação, igual para todos os agentes, e estão registrados no repositório.
  • A máquina mudou em 30 de setembro. Até então os agentes rodavam como o administrador da VM, com sudo, numa máquina que guardava o que os runs anteriores deixaram. Os logs de sessão não mostram nenhum agente lendo o trabalho de outro; os agentes do opencode compartilharam um banco de teste remanescente, que só tinha as linhas do seed. A partir do Qwen3 Coder Next, os runs são feitos por um usuário sem privilégios, numa máquina limpa antes de cada run.
  • Nem todo parâmetro dos runs foi registrado. A versão exata do modelo e a temperatura não foram, e custo e tempo de modelo só onde o cliente os guardou; os três runs que não deixaram log de sessão nenhum (o primeiro do GPT-5.5, o do MiniMax-M3 no padrão e o do Kimi K3) foram retirados em 4 de outubro de 2026 e não são publicados. O MiniMax-M3 no padrão saiu da tabela; o Kimi K3 voltou com um run registrado em high. Cada run marca o que falta, em vez de chutar.

Audite

Cada entrega, relatório mecânico, veredito e scorecard está no repositório, ao lado da especificação que os produziu. Os mesmos dados estão aqui em duas planilhas: uma linha por run, e uma por run e falha plantada.

Resultados no GitHub Especificação Runs (CSV) Falha por falha (CSV) O que cada coluna significa

Os números desta página não são digitados à mão: saem dos resultados publicados no repositório ai-benchmark, os mesmos que o samirhv.com.br mostra.