LEB Default

Uma execução de um caso de cinco fez 831 (Gold). Terminou dentro do orçamento de 90 minutos, por cerca de US$ 7,47 e 37 minutos, e não quebrou um comportamento que os testes públicos protegem (compatibilidade 100). Corrigir bugs foi a área mais forte (195 de 213), depois desempenho (186 de 213), arquitetura (214 de 283) e código limpo (91 de 141). O relatório teve 45 de 50. É um sistema só, então como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Faltam quatro execuções, então o número vai mudar.

• 1 de 1 tentativa agendada terminou com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 831.0 (831.0 a 831.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Cinco execuções entre 752 e 836, média 785 com intervalo de 95% de 764 a 812, todas Gold. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de US$ 5,78 e 35 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (202 de 213 em média), depois desempenho (176 de 213), código limpo (88 de 141) e arquitetura (176 de 283). Os relatórios tiveram 45 de 50. Penalidades: a execução 3 perdeu 5 pontos por relatar algo que não é falha. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto.

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 785.2 (764.0 a 812.2).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 1.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Cinco execuções entre 625 e 812, média 732 com intervalo de 95% de 677 a 789, duas Gold e três Silver. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de US$ 3,97 e 22 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (173 de 213 em média), depois desempenho (173 de 213), arquitetura (166 de 283) e código limpo (79 de 141). Os relatórios tiveram de 43 a 44 de 50. Penalidades: a execução 2 perdeu 15 pontos por um defeito novo introduzido pela própria mudança. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto.

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 731.6 (676.8 a 789.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Cinco execuções entre 672 e 776, média 726 com intervalo de 95% de 698 a 754, uma Gold e quatro Silver. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de 4,6 milhões de tokens e 25 minutos cada (o log não guarda custo), e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (209 de 213 em média), depois desempenho (183 de 213), arquitetura (150 de 283) e código limpo (46 de 141). Os relatórios tiveram de 42 a 43 de 50. Penalidades: a execução 2 perdeu 15 pontos por um defeito novo introduzido pela própria mudança; as execuções 4 e 5 perderam 5 pontos cada por relatar algo que não é falha. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Rodou com as aprovações e o sandbox do cliente desligados, uma exceção à regra da série contra isso (veja as notas).

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 725.6 (698.0 a 753.8).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Cinco execuções entre 694 e 734, média 713 com intervalo de 95% de 700 a 728, todas Silver. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de US$ 2,29 e 20 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (199 de 213 em média), depois desempenho (173 de 213), arquitetura (138 de 283) e código limpo (66 de 141). Os relatórios tiveram de 40 a 43 de 50. Penalidades: as execuções 1, 2, 3 e 5 perderam 5 pontos cada por relatar algo que não é falha. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto.

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 713.4 (699.8 a 727.8).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Três execuções de um caso de cinco, entre 685 e 718, média 699 (o intervalo, de 685 a 718, é a amplitude das três), todas Silver. As três terminaram dentro do orçamento de 90 minutos, por cerca de 6,7 milhões de tokens e 25 minutos cada (o log não guarda custo), e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (209 de 213 em média), depois desempenho (183 de 213), arquitetura (140 de 283) e código limpo (35 de 141). Os relatórios tiveram de 41 a 43 de 50. Penalidades: a execução 1 perdeu 15 pontos por um defeito novo introduzido pela própria mudança; as execuções 1, 2 e 3 perderam 5 pontos cada por relatar algo que não é falha. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Faltam duas execuções, então os números vão mudar. Rodou com as aprovações e o sandbox do cliente desligados, uma exceção à regra da série contra isso (veja as notas).

• 3 de 3 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 699.3 (685.0 a 718.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Uma execução de um caso de cinco fez 690 (Silver). Terminou dentro do orçamento de 90 minutos, por cerca de 10,9 milhões de tokens e 15 minutos (o log não guarda custo), e não quebrou um comportamento que os testes públicos protegem (compatibilidade 100). Corrigir bugs foi a área mais forte (209 de 213), depois desempenho (199 de 213), arquitetura (146 de 283) e código limpo (0 de 141). O relatório teve 41 de 50. Penalidades: a execução 1 perdeu 5 pontos por relatar algo que não é falha. É um sistema só, então como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Faltam quatro execuções, então o número vai mudar. Rodou com as aprovações e o sandbox do cliente desligados, uma exceção à regra da série contra isso (veja as notas). O ultra é o esforço multiagente do cliente: um agente principal e subagentes do mesmo modelo, e os tokens contados são os de todos eles.

• 1 de 1 tentativa agendada terminou com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 690.0 (690.0 a 690.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Duas execuções de um caso de cinco, entre 622 e 648, média 635 (o intervalo, de 622 a 648, é a amplitude das duas), todas Silver. As duas terminaram dentro do orçamento de 90 minutos, por cerca de 17,8 milhões de tokens e 16 minutos cada (o log não guarda custo), e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (209 de 213 em média), depois desempenho (199 de 213), arquitetura (89 de 283) e código limpo (0 de 141). Os relatórios tiveram de 42 a 44 de 50. Penalidades: as execuções 1 e 2 perderam 5 pontos cada por relatar algo que não é falha. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Faltam três execuções, então os números vão mudar. Rodou com as aprovações e o sandbox do cliente desligados, uma exceção à regra da série contra isso (veja as notas). O ultra é o esforço multiagente do cliente: um agente principal e subagentes do mesmo modelo, e os tokens contados são os de todos eles.

• 2 de 2 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 635.0 (622.0 a 648.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Duas execuções de um caso de cinco, entre 579 e 627, média 603 (o intervalo, de 579 a 627, é a amplitude das duas), uma Silver e uma Bronze. As duas terminaram dentro do orçamento de 90 minutos, por cerca de US$ 7,71 (estimativa do próprio cliente) e 38 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (202 de 213 em média), depois desempenho (140 de 213), arquitetura (121 de 283) e código limpo (0 de 141). Os relatórios tiveram de 40 a 44 de 50. Penalidades: a execução 2 perdeu 5 pontos por relatar algo que não é falha. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Faltam três execuções, então os números vão mudar. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). Foi acessado pelo OpenRouter, cuja única origem para este modelo é a própria xAI.

• 2 de 2 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 603.0 (579.0 a 627.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Três execuções de um caso de cinco, entre 519 e 606, média 552 (o intervalo, de 519 a 606, é a amplitude das três), uma Silver e duas Bronze. As três terminaram dentro do orçamento de 90 minutos, por cerca de 5,7 milhões de tokens e 17 minutos cada (o log não guarda custo), e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (203 de 213 em média), depois desempenho (149 de 213), arquitetura (57 de 283) e código limpo (0 de 141). Os relatórios tiveram de 42 a 44 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Faltam duas execuções, então os números vão mudar. Rodou com as aprovações e o sandbox do cliente desligados, uma exceção à regra da série contra isso (veja as notas).

• 3 de 3 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 552.0 (519.0 a 606.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Cinco execuções entre 524 e 580, média 547 com intervalo de 95% de 530 a 565, todas Bronze. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de US$ 1,13 e 27 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (173 de 213 em média), depois desempenho (125 de 213) e arquitetura (96 de 283); código limpo teve 10 de 141 em média, com duas execuções em 0. Os relatórios tiveram de 41 a 43 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto.

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 546.8 (530.0 a 565.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 1.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 71dfeb7c3f82c75a96f3134e4e050b4476436116e14402d483e9c5f5510955e4.

Uma execução de um caso de cinco fez 541 (Bronze). Terminou dentro do orçamento de 90 minutos, por cerca de US$ 2,64 (estimativa do próprio cliente) e 36 minutos, e não quebrou um comportamento que os testes públicos protegem (compatibilidade 100). Corrigir bugs foi a área mais forte (159 de 213), depois desempenho (131 de 213), arquitetura (89 de 283) e código limpo (20 de 141). O relatório teve 42 de 50. É um sistema só, então como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Faltam quatro execuções, então o número vai mudar. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas).

• 1 de 1 tentativa agendada terminou com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 541.0 (541.0 a 541.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Duas execuções de um caso de cinco, entre 499 e 578, média 538 (o intervalo, de 499 a 578, é a amplitude das duas), todas Bronze. As duas terminaram dentro do orçamento de 90 minutos, por cerca de US$ 3,01 (estimativa do próprio cliente) e 37 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (166 de 213 em média), depois desempenho (108 de 213), arquitetura (111 de 283) e código limpo (10 de 141). Os relatórios tiveram de 42 a 44 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Faltam três execuções, então os números vão mudar. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas).

• 2 de 2 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 538.5 (499.0 a 578.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 2.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Duas execuções de um caso de cinco, entre 499 e 526, média 512 (o intervalo, de 499 a 526, é a amplitude das duas), todas Bronze. As duas terminaram dentro do orçamento de 90 minutos, por cerca de US$ 4,09 (estimativa do próprio cliente) e 52 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (166 de 213 em média), depois desempenho (104 de 213), arquitetura (101 de 283) e código limpo (0 de 141). Os relatórios tiveram de 41 a 42 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Faltam três execuções, então os números vão mudar. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas).

• 2 de 2 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 512.5 (499.0 a 526.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Duas execuções de um caso de cinco, entre 487 e 512, média 500 (o intervalo, de 487 a 512, é a amplitude das duas), todas Bronze. As duas terminaram dentro do orçamento de 90 minutos, por cerca de US$ 0,08 (estimativa do próprio cliente) e 30 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (144 de 213 em média), depois desempenho (134 de 213), arquitetura (85 de 283) e código limpo (0 de 141). Os relatórios tiveram de 43 a 44 de 50. Penalidades: a execução 2 perdeu 15 pontos por um defeito novo introduzido pela própria mudança. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Faltam três execuções, então os números vão mudar. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas).

• 2 de 2 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 499.5 (487.0 a 512.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Uma execução de um caso de cinco fez 498 (Bronze). Terminou dentro do orçamento de 90 minutos, por cerca de US$ 0,30 (estimativa do próprio cliente) e 32 minutos, e não quebrou um comportamento que os testes públicos protegem (compatibilidade 100). Corrigir bugs foi a área mais forte (173 de 213), depois desempenho (95 de 213), arquitetura (89 de 283) e código limpo (0 de 141). O relatório teve 41 de 50. É um sistema só, então como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Faltam quatro execuções, então o número vai mudar. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas).

• 1 de 1 tentativa agendada terminou com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 498.0 (498.0 a 498.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Duas execuções de um caso de cinco, entre 432 e 494, média 463 (o intervalo, de 432 a 494, é a amplitude das duas), todas Bronze. As duas terminaram dentro do orçamento de 90 minutos, por cerca de US$ 0,55 (estimativa do próprio cliente) e 46 minutos cada, e a compatibilidade ficou entre 70 e 100. Corrigir bugs foi a área mais forte (134 de 213 em média), depois desempenho (126 de 213), arquitetura (77 de 283) e código limpo (0 de 141). Os relatórios tiveram de 40 a 42 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Faltam três execuções, então os números vão mudar. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). Foi servido pela Novita AI, a hospedeira que a primeira série usou para este modelo, na versão 0731; o cliente não tem xhigh para ele, e a DeepSeek trata o xhigh como max.

• 2 de 2 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 463.0 (432.0 a 494.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 1.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Duas execuções de um caso de cinco, entre 446 e 464, média 455 (o intervalo, de 446 a 464, é a amplitude das duas), todas Bronze. As duas terminaram dentro do orçamento de 90 minutos, por cerca de US$ 2,06 (estimativa do próprio cliente) e 35 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (146 de 213 em média), depois desempenho (122 de 213), arquitetura (50 de 283) e código limpo (0 de 141). Os relatórios tiveram de 36 a 37 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Faltam três execuções, então os números vão mudar. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). Foi acessado pelo OpenRouter, cujas únicas origens para este modelo são do próprio Google.

• 2 de 2 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 455.0 (446.0 a 464.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Três execuções de um caso de cinco, entre 408 e 499, média 455 (o intervalo, de 408 a 499, é a amplitude das três), todas Bronze. As três terminaram dentro do orçamento de 90 minutos, por cerca de 2,4 milhões de tokens e 7 minutos cada (o log não guarda custo), e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (187 de 213 em média), depois desempenho (78 de 213), arquitetura (54 de 283) e código limpo (0 de 141). Os relatórios tiveram de 38 a 41 de 50. Penalidades: as execuções 2 e 3 perderam 5 pontos cada por relatar algo que não é falha. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Faltam duas execuções, então os números vão mudar. Rodou com as aprovações e o sandbox do cliente desligados, uma exceção à regra da série contra isso (veja as notas).

• 3 de 3 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 455.0 (408.0 a 499.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Duas execuções de um caso de cinco, entre 422 e 483, média 452 (o intervalo, de 422 a 483, é a amplitude das duas), todas Bronze. As duas terminaram dentro do orçamento de 90 minutos, por cerca de US$ 0,07 (estimativa do próprio cliente) e 25 minutos cada, e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (148 de 213 em média), depois desempenho (98 de 213), arquitetura (61 de 283) e código limpo (5 de 141). Os relatórios tiveram de 40 a 42 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Faltam três execuções, então os números vão mudar.

• 2 de 2 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 452.5 (422.0 a 483.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Cinco execuções entre 384 e 457, média 421 com intervalo de 95% de 398 a 442, quatro Bronze e uma Reprovada. As cinco terminaram dentro do orçamento de 90 minutos, por cerca de 3,8 milhões de tokens e 15 minutos cada (o log não guarda custo), e nenhuma quebrou um comportamento que os testes públicos protegem (compatibilidade 100 em todas). Corrigir bugs foi a área mais forte (162 de 213 em média), depois desempenho (67 de 213), arquitetura (53 de 283) e código limpo (0 de 141). Os relatórios tiveram de 39 a 41 de 50. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Rodou com as aprovações e o sandbox do cliente desligados, uma exceção à regra da série contra isso (veja as notas).

• 5 de 5 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 421.2 (397.6 a 442.4).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Uma execução de um caso de cinco fez 357 (Reprovada). Terminou dentro do orçamento de 90 minutos, por cerca de US$ 0,28 (estimativa do próprio cliente) e 23 minutos, e não quebrou um comportamento que os testes públicos protegem (compatibilidade 100). Corrigir bugs foi a área mais forte (101 de 213), depois desempenho (95 de 213), arquitetura (20 de 283) e código limpo (0 de 141). O relatório teve 41 de 50. É um sistema só, então como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Faltam quatro execuções, então o número vai mudar. Rodou com o sinalizador de aprovação automática do cliente, uma exceção à regra da série contra desligar as aprovações (veja as notas). Foi servido pela Novita AI, a hospedeira que a primeira série usou para este modelo, na versão 0731.

• 1 de 1 tentativa agendada terminou com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 357.0 (357.0 a 357.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 0.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.

Duas execuções de um caso de cinco, entre 275 e 291, média 283 (o intervalo, de 275 a 291, é a amplitude das duas), todas Reprovada. As duas terminaram dentro do orçamento de 90 minutos, por cerca de US$ 0,79 (estimativa do próprio cliente) e 53 minutos cada, e a compatibilidade ficou entre 70 e 100. Corrigir bugs foi a área mais forte (80 de 213 em média), depois desempenho (54 de 213), código limpo (20 de 141) e arquitetura (16 de 283). Os relatórios tiveram de 35 a 36 de 50. Penalidades: a execução 3 perdeu 15 pontos por um defeito novo introduzido pela própria mudança. É um sistema só, então o intervalo reflete apenas a variação entre as execuções nele: como a configuração se sai em vários sistemas ainda não foi medido. Os juízes cegos concordaram em quase todos os itens, e uma pessoa decidiu o resto. Faltam três execuções, então os números vão mudar. Algumas execuções rodaram com as permissões padrão do cliente e outras com o seu sinalizador de aprovação automática (veja as notas).

• 2 de 2 tentativas agendadas terminaram com o modelo pedido. Sistemas em que todas as tentativas terminaram: 1 de 1.
• Nota esperada por tentativa agendada: 283.0 (275.0 a 291.0).
• Bloqueadas: 0 (no início 0, durante o trabalho 0). Orçamento esgotado: 0. Trocas de modelo: 0. Perdidas para o laboratório ou o operador, refeitas: 1.

SHA-256 do gabarito (matriz) 9bd0c169e420927d8e0aadd87f30789b4cf6e60a2db49999c450c7f86f2207ce · SHA-256 do pacote 3370984d863313e524b7e976eca416d043489fa8f67858e70dabd5998f4dba4e.