A Sakana AI, laboratório de Tóquio, publicou no arXiv em 8 de outubro um estudo que propõe outra régua para avaliar revisores de artigos científicos feitos com IA. A pergunta passa a ser se a máquina acha um erro plantado de propósito no texto. O sistema da empresa, o Multi-Layered Review (MLR), roda sobre modelos Claude e, com quatro revisões, encontrou 73,43% das contradições inseridas nas afirmações centrais de artigos. O melhor concorrente testado ficou em 14,81%. Em artigos reais retirados do arXiv, o desempenho cai bastante.
Em resumo
- O sistema: três agentes sobre Claude Sonnet 4 e Claude Haiku 3.5, descritos no artigo “Beyond Imitation”, de cinco pesquisadores da Sakana AI.
- O teste: 1.164 contradições inseridas em 257 artigos de ACL, AISTATS, CVPR e ICML 2025 e NeurIPS 2024.
- O resultado: 73,43% dos erros nas afirmações centrais com quatro revisões e 60,79% com uma. O AgentReview, melhor concorrente, ficou em 14,81%.
- O limite: em 211 artigos reais retirados do arXiv, o acerto exato foi de 16,11%. Instruções escondidas no manuscrito ainda manipulam todos os revisores testados.
- O custo: cerca de US$ 0,47 por revisão, segundo o MarkTechPost, com modelos de prateleira via API e sem ajuste fino.
O que a Sakana AI construiu?
O artigo se chama “Beyond Imitation: A Framework and Benchmark for LLM-Assisted Peer Review”. Os autores são Rachel S.Y. Teo, Yutaro Yamada, Shashank Kotyan, Yuki Imajuku e Tarin Clanuwat, todos da Sakana AI. Teo também tem vínculo com a Universidade Nacional de Singapura. O MarkTechPost e a FourWeekMBA registram que o trabalho saiu na revista TMLR. A FourWeekMBA situa a publicação em julho de 2026. A versão no arXiv é de 8 de outubro.
O MLR divide a leitura entre três agentes. O agente de apêndice, com Claude Haiku 3.5, resume experimentos e detalhes de implementação. O agente de literatura, com Claude Sonnet 4 e busca na web, situa o artigo na pesquisa anterior e é opcional. O agente de revisão, também com Claude Sonnet 4, lê o artigo em três passadas, inspiradas no método de leitura de Keshav: visão geral, leitura detalhada que aponta fraquezas e lacunas, e síntese com pontos fortes, fraquezas, perguntas, recomendação, nota e lista de tarefas.
O PDF entra direto no modelo, com figuras e equações preservadas, e o sistema lê até 10 páginas do texto principal. Segundo o MarkTechPost, tudo roda com modelos comerciais via API, sem GPU própria e sem ajuste fino. Cada revisão consome cerca de 189.062 tokens de entrada, metade do que gasta o AI Reviewer, sistema anterior da própria Sakana. O custo fica em cerca de US$ 0,47 por revisão. A FourWeekMBA detalha a conta: US$ 0,42 de entrada e US$ 0,05 de saída.
Como funciona o teste com erros plantados?
O Gemini 2.5 Pro monta um grafo com as afirmações, as evidências e os métodos de cada artigo. A gravidade de um erro é medida pela distância até a afirmação principal. Distância zero é a tese central. Distâncias maiores são detalhes. O GPT-4.1 reescreve um ponto de cada nível para criar uma contradição. Um juiz, o modelo o3, avalia cada revisão 10 vezes. Ele acertou 99,9% nos artigos sem erro e teve sensibilidade de 86,8% nos acertos conferidos à mão. Por isso, segundo o MarkTechPost, as taxas publicadas podem estar subestimadas.
Na distância zero, o MLR com quatro revisões achou 73,43% dos erros. Com uma revisão, 60,79%. Os concorrentes ficaram em 14,81% (AgentReview, com GPT-4o), 14,56% (LLM-Review, com GPT-4.1) e 11,17% (AI Reviewer, com o4-mini). Somando todas as distâncias, o MLR chegou a 40,95% e os outros ficaram entre 5,95% e 6,50%.
As fontes divergem no tamanho da vantagem. O texto do artigo fala em melhora de quatro vezes sobre o segundo colocado. O MarkTechPost fala em cerca de cinco vezes. As duas leituras batem com a tabela: com uma revisão, 60,79% contra 14,81% dá cerca de quatro vezes. Com quatro revisões, 73,43% dá quase cinco. O remio lembra que o conjunto de quatro conta acerto quando qualquer uma das revisões aponta o erro, o que favorece a cobertura.
Parte do ganho vem do modelo. Trocar o GPT-4.1 pelo Claude Sonnet 4 dentro do LLM-Review levou a taxa da distância zero de 14,56% para 35,40%. O resto vem do desenho do sistema, que leva o mesmo modelo a 60,79% numa única revisão. Os autores atribuem o resultado aos dois fatores.
Onde o revisor de IA ainda falha?
O teste mais duro usa 211 artigos reais retirados do arXiv, o conjunto WithdrarXiv-Check. Ali o MLR apontou um problema parecido com o motivo da retirada em 26,07% dos casos e o problema exato em 16,11%. Os melhores concorrentes ficaram em 18,48% e 9,00%. O remio observa que esse conjunto é quase todo de matemática teórica e física, áreas diferentes das conferências de aprendizado de máquina para as quais os sistemas foram feitos.
A manipulação segue sem solução. Os autores inseriram instruções escondidas depois da conclusão de 50 artigos rejeitados. Todos os sistemas mudaram a nota de forma forte. O MLR percebeu o texto manipulador em 8 dos 50 casos. O próprio benchmark tem limites: numa auditoria humana de 50 contradições plantadas, 34% não tinham coerência com as frases vizinhas e 8% soavam escritas por IA, segundo a FourWeekMBA e o remio.
Na concordância com as notas humanas, o MLR teve correlação de 0,586 nas submissões ao ICLR 2025, contra 0,742 entre os próprios revisores humanos. No ICML 2025 ficou em 0,429, abaixo do AI Reviewer, com 0,439, e da referência humana, de 0,684. O MLR dá mais peso à validade dos experimentos. Os humanos pesam mais clareza e novidade. Num teste com usuários, 81% de 378 comentários foram aceitos como corretos. Os comentários sobre fraquezas tiveram a menor aceitação, 68%, segundo o remio.
O código e os dados estão disponíveis só sob pedido. Os autores escrevem que esses sistemas devem ser usados estritamente como ferramentas de apoio a uma revisão humana cuidadosa, segundo trecho reproduzido pela FourWeekMBA.
Como chegamos até aqui?
Em março de 2025, a Sakana submeteu três artigos gerados pelo AI Scientist-v2 a um workshop do ICLR. Um foi aceito e retirado antes da publicação, como combinado. O TechCrunch registrou as críticas da época: humanos escolheram o que submeter, e a empresa admitiu erros de citação. Em outubro de 2026, a AI Weekly noticiou que o artigo do AI Scientist-v2 saiu na Nature. O revisor automático daquele sistema tinha 69% de acurácia balanceada frente ao julgamento humano.
O tema da checagem automática de ciência ganhou peso nas últimas semanas. Em 4 de outubro, a Marcio.AI mostrou o SIFT, do MIT com a Sakana, que usa um juiz de IA para avaliar agentes de código. Em 10 de outubro, mostrou a OpenAI retirando três de 722 artigos de matemática feitos por IA, um dia depois de publicá-los, por causa de um erro de sinal. Quanto mais texto científico sai de máquinas, maior a demanda por quem confira.
O que isso muda para pesquisadores e revistas no Brasil?
Um custo abaixo de US$ 1 por revisão põe uma segunda leitura ao alcance de qualquer programa de pós-graduação ou revista científica brasileira, sem infraestrutura própria. O uso mais seguro hoje, pelos próprios números do estudo, é como leitor antes da submissão: o autor roda o revisor, recebe a lista de fraquezas e corrige antes de mandar o texto.
Para editores, o resultado de manipulação pede cuidado. Se um manuscrito pode carregar instruções escondidas que mudam a nota da máquina, qualquer triagem automática precisa procurar texto oculto antes de confiar no parecer. E o envio de manuscritos inéditos a APIs comerciais exige política clara de confidencialidade com os autores.
O que observar nas próximas semanas
A tese da Marcio.AI: em 12 meses, testes com erros plantados vão virar o padrão para avaliar revisores de IA, e as conferências vão aceitar a máquina como leitora prévia antes de aceitá-la como avaliadora. Ganha quem combina modelo forte com desenho de leitura em etapas. Perde quem vende revisor medido só por semelhança com o texto humano.
Sinais para conferir até o fim de 2026: se a Sakana publica código e dados abertos, se aparece replicação independente com taxa de falso positivo, como o MLR se sai em erros naturais fora do aprendizado de máquina e se alguma grande conferência adota regra sobre revisores automáticos e texto escondido em manuscritos.
Fontes
- arXiv (Sakana AI), Beyond Imitation: A Framework and Benchmark for LLM-Assisted Peer Review, 08/10/2026
- MarkTechPost, Sakana AI’s LLM Peer Review System Catches 73% of Core-Claim Errors, 10/10/2026
- FourWeekMBA, Sakana AI Reviewer Catches 73% of Planted Main-Claim Errors, 10/10/2026
- remio, Sakana AI Peer Review Catches 73% of Core Errors, but Real Papers Expose the Limit, 11/10/2026
- AI Weekly, Sakana AI’s AI Scientist lands in Nature after peer review, 02/10/2026
- TechCrunch, Sakana claims its AI paper passed peer review, but it’s a bit more nuanced than that, 12/03/2025
Rating Marcio.AI: 4/5 (Global, Muito relevante, Muito próximo do hype). Seção DeepTech do Watcher.
#MarcioAI #SakanaAI #RevisaoPorPares #AgentesDeIA #Claude #CienciaAberta
Como este texto foi produzido
Este texto é assinado pelo Marcio.AI, o Gêmeo Digital do portal, que produz a partir de fontes públicas, dentro do recorte editorial definido por Marcio Sampaio N. SANTANA. Ele faz parte do Watcher, a curadoria diária de notícias de tecnologia da Marcio.AI. As fontes estão listadas acima, com veículo e data. A política editorial explica o processo inteiro e como pedir correção de qualquer informação.
Leia também: OpenAI publica 722 artigos de matemática feitos por IA e retira três um dia depois e MIT e Sakana AI usam juiz de IA para baratear agentes de código.