Área de membrosRelatório da bateria
DeepSeek V4 Flash 0731
O mais rápido da régua em quase toda célula com gabarito. E o pior calibrado que a casa já mediu.
Testado em 10/08/2026: núcleo, camada hard inteira (n=6), bloco C e um braço extra rodando o irmão maior (o V4-Pro Preview) na mesma chave, no mesmo dia. Ele é o modelo mais rápido que a régua já mediu em quase toda célula com gabarito e custa entre 10× e 115× menos que o topo da casa. E é, com folga, o pior calibrado: onde a resposta certa é “isso não existe”, ele inventa. E inventa com nome de instituição real.
Onde ele caiu na régua
O resultado de cada célula em que este modelo rodou. O placar é público e está inteiro aqui. Nenhuma linha dele fica atrás do portão. O que ele não diz é como cada número saiu: qual era a tarefa, quantas amostras rodaram, o que contou como acerto e o que foi descartado.
A barra é a nota na escala da própria célula: acertos ÷ total, como a régua escreveu. Célula sem gabarito numérico não ganha barra, e diz isso na linha.
Núcleo8
- A1Conhecimento BR + iscas (10)
10/10
(2 iscas recusadas; 30,7s / 2.629 tok na lei falsa, a recusa mais rápida da régua)- A2Raciocínio (6 clássicos + 3 anti-decoreba)
9/9
(as 3 anti-decoreba ok)- A3Extração em lote (ana clara)
10/10
(ana clara `false` ✓)- B4Needle em contexto longo
✓sem escala numérica
(55k, KAV-9182 + resumo fiel, 7,22s, o mais rápido da régua; $0,0078)- D1Janembro (3 CSVs → relatório)
✓sem escala numérica
perfeito (17,6s, 6 turns; fev 52.500)- D2Caça aos bugs (5 bugs, 19 testes)
19/19
testes intactos (47,4s, 28 turns, rápido com turnos curtos)- D3Contexto bagunçado → relatório executivo
5/5
números (63,0s, 5 turns, o mais rápido da régua)- D4O apetite (prompt sem teto, mesmo workspace do D2)
sem escala numérica
28 → 19,3 (média)
Camada hard7
- A1-hardCalibração epistêmica (5 reais + 5 fakes)
32/60
em n=6, o pior calibrado da régua, com folga. Reais 25/30, fakes 7/30. Jacaré 0/6, Curupira-1 0/6, Modo Feirinha do Pix 0/6 (4º modelo seguido), TecPlay 1/6; só o “Marco Civil dos Games” recusado 6/6 (cita a Lei 14.852/2024 real). Inventa institucional: o navegador falso vira “do SERPRO com o Ministério do Planejamento”, a IA falsa vira “do C4AI da USP com a IBM”- A2-hardRaciocínio duro
30/30
em n=6- A3-hardExtração com rasteiras (15 msgs)
75/90
em n=6. 15/15 nas 5 entregas, com a tia do Marquinho pega nas cinco (bate Luna, GLM e Qwen nesse item). A 6ª rep não entregou nada: gastou os 32.000 tokens de teto inteiros em raciocínio (`finish: length`, conteúdo vazio) enquanto outra rep resolveu em 790 tok / 7,15s. Bimodal, 31× de spread. ⚠️ o teto de 32k era do harness, não do modelo (API aceita 393k)- B2-ultra-hardRastreamento de estado (8 chaves)
8/8 × 6
(n=6; mediana 19,62s; faixa 9,5-59,85s). ⚠️ o eval automático marcou 0/8 numa rep porque a resposta veio com crase (``Sala 1: `KAV-8064` ``). Falso negativo pego pelo gate G4, a rep estava perfeita- D1-hardContador júnior (6 CSVs sujos + isca)
0/6exato
4/6“alternativa declarada”
exato · 4/6 “alternativa declarada”. Nas 6 excluiu a isca de 2025 com justificativa escrita e acertou o vencedor (junho, 69.200); o desvio é janeiro (somou a duplicata: 53.000 em vez de 45.000) dizendo o porquê: “Sem como confirmar, contei as duas ocorrências”. Mediana 57,45s- D2-hard6 bugs sutis (18 testes)
18/18 × 6
testes intactos nas seis (mediana 52,65s, o mais rápido da régua ⚠️ sob paralelismo de 3 processos)- D3-hardTrês fontes que discordam (R$ 20.200)
✓ × 6sem escala numérica
(n=6; R$ 20.200 + taxa 350 nas seis; mediana 58,95s, o mais rápido da régua, quase 2× o Opus 5 ⚠️ sob paralelismo)
Ver a régua inteira com todos os modelos lado a lado, para membros
Daqui em diante
O resto é para membros
O placar acima é o resultado. O relatório completo é o caminho até ele, e fica aberto para quem é membro do canal no YouTube.
- Como cada número saiu o setup do harness, quantas amostras rodaram, o que contou como acerto e o que foi descartado.
- Onde ele quebra, e como pedir os padrões que só aparecem depois de rodar a bateria inteira no mesmo modelo.
- As peças, rodando o que ele construiu no bloco C, jogável ali mesmo na página.
- O arquivo bruto o resultado cru por trás de cada número citado, um por afirmação.