Em 15 de outubro de 2026, Nick Cammarata, pesquisador da Goodfire, publicou o ensaio “Neural Networks Are Already Clean” (Redes neurais já são limpas). A tese é que os neurônios dos modelos de IA são bem mais fáceis de ler do que a área supunha. Numa auditoria preliminar do modelo aberto Qwen3-32B, cerca de 90% dos neurônios têm uma função principal. Numa rede de visão moderna, a ConvNeXt, cerca de 99% dos neurônios da última camada são fáceis de interpretar. O próprio autor chama o texto de hipótese de trabalho. O artigo técnico que deve sustentar os números ainda não saiu.
Em resumo
- O que saiu: um ensaio de Nick Cammarata no site da Goodfire, em 15/10/2026, com leitura estimada de 65 minutos. O artigo técnico complementar ainda vai ser publicado.
- Qwen3-32B: cerca de 90% dos neurônios analisados têm uma função principal, 7% têm duas funções relacionadas e de 2% a 4% seguem sem explicação.
- Visão: na última camada da InceptionV1, a fatia legível sobe de cerca de 5% com ferramentas de 2017 para cerca de 99% numa ConvNeXt do mesmo tamanho.
- Críticas: Neel Nanda, do Google DeepMind, chamou o trabalho de interessante e disse que ele não muda o quadro geral da interpretabilidade.
- Leitura: se os números se confirmarem, auditar um modelo aberto fica mais barato. Até lá, é a tese de uma empresa que vende interpretabilidade.
O que a Goodfire afirma?
A explicação dominante na área se chama superposição. Por ela, uma rede com menos neurônios do que conceitos empilha ideias sem relação no mesmo neurônio. Isso explicaria os neurônios polissemânticos, que disparam para coisas diferentes. Para separar essas misturas, laboratórios como a Anthropic passaram a usar sparse autoencoders, uma segunda rede que decompõe a primeira.
Cammarata argumenta que a maioria das misturas tinha uma ligação que os pesquisadores não viram. O exemplo clássico é o neurônio da InceptionV1 que respondia a gatos e a carros. Segundo o ensaio, ele detecta um formato em V, presente em faróis, bigodes de gato e focinhos de raposa, como resume o OfficeChai. O autor chama o padrão de generalização recursiva: durante o treino, o significado de um neurônio cresce para direções próximas. Um neurônio de linguagem começou detectando “iy”, passou a “diy” e chegou a “do it yourself”.
O ganho veio de escala. Boa parte da análise foi feita por agentes de IA que propõem uma explicação para cada neurônio e a testam, segundo a Crypto Briefing e o DiarioBitcoin. Cammarata compara isso à “lição amarga” de Rich Sutton: método geral com mais computação vence método feito à mão.
Quais são os números?
No Qwen3-32B, o ensaio fala em cerca de 90% de neurônios com uma função principal, 7% com duas funções relacionadas e de 2% a 4% ainda sem explicação. Numa amostra de ativações fortes, a taxa passa de 97%, com amostras pequenas. O autor avisa que o número depende de limiares, como a forma de contar ativações fracas e o que vale como “uma função”. Ele trata o valor como indicação, sem precisão de nota.
O ponto de comparação é de 2023. Um projeto de interpretabilidade automática da OpenAI, do qual Cammarata participou, achou cerca de 1,7% dos neurônios legíveis no critério mais generoso. O Latent Space e a Crypto Briefing arredondam para cerca de 2%. O ensaio cita ainda o Towards Monosemanticity, da Anthropic, também de 2023, em que o neurônio mediano de um modelo de uma camada tirou 0 numa escala de 14.
Nas redes de visão, a série é esta. Na última camada da InceptionV1, de 2014, cerca de 5% dos neurônios eram legíveis com as ferramentas de 2017. Com ferramentas melhores, cerca de 50%. Retreinada com regularização moderna, cerca de 70%. Numa ConvNeXt do mesmo tamanho, cerca de 99%. O OfficeChai fala em 99% a 100%. Cammarata diz ver resultados parecidos em modelos de até trilhões de parâmetros, como o Kimi K3, mas os detalhes ficam para o artigo técnico.
Quem discorda?
Neel Nanda, que lidera a interpretabilidade mecanicista no Google DeepMind, foi a voz mais citada. “Este é um trabalho interessante, mas não acho que seja uma atualização significativa do quadro geral da interpretabilidade”, escreveu, segundo o Implicator. Ele acha que as ativações fracas carregam boa parte dos fatos que um modelo de linguagem guarda, e que um estudo focado nas ativações fortes perde isso. Também duvida que resultados de redes pequenas de imagem valham para linguagem e segue achando que a superposição existe.
Outros pesquisadores levantaram pontos de método, segundo o Latent Space. Leo Gao defendeu julgar cada explicação simulando o neurônio e medindo a diferença com divergência KL. Jake Mendel apontou a cauda de ativações que não são as máximas. Pfau lembrou que o artigo técnico não saiu, então as afirmações ainda não podem ser checadas por completo. Liv Gorton avalia, segundo o Implicator, que neurônios que se ramificam não contradizem a superposição, que ela define como o modelo guardar mais ideias do que neurônios.
Houve apoio forte também. Deedy Das chamou o trabalho de “um dos resultados mais importantes da IA”. Roon, funcionário da OpenAI que usa pseudônimo e é amigo de Cammarata, disse que ele pode ficar marcado como um grande momento da história científica.
Há um interesse a declarar, e o Implicator e o DiarioBitcoin o registram. A Goodfire vive de interpretabilidade. É uma empresa de benefício público de São Francisco, fundada por ex-integrantes das equipes de interpretabilidade da OpenAI e do Google DeepMind. Captou cerca de US$ 209 milhões desde 2024, segundo o OfficeChai, e tem Dario Amodei, CEO da Anthropic, entre os investidores.
Como chegamos até aqui?
Cammarata contesta uma teoria que ajudou a criar. Em 2020 ele assinou com Chris Olah o “Zoom In: An Introduction to Circuits”, que apresentou o neurônio de gato e carro. Em 2023 participou do projeto da OpenAI que achou 1,7% de neurônios legíveis. No mesmo ano, a Anthropic consolidou os sparse autoencoders como ferramenta padrão. “Acho que eu estava tratando a superposição como hipótese nula quando ela deveria ser a última hipótese”, escreve agora. Segundo o DiarioBitcoin, Nanda diz que a equipe dele no DeepMind já tinha deixado os sparse autoencoders em segundo plano.
O que isso muda para empresas brasileiras?
Interpretabilidade é a base técnica para explicar por que um modelo decidiu algo. No Brasil, o artigo 20 da LGPD garante ao titular pedir revisão de decisão tomada só por tratamento automatizado e obriga o controlador a informar, quando pedido, os critérios e procedimentos usados. Bancos, seguradoras e varejistas hoje respondem a isso com métodos que olham entrada e saída do modelo. Ler o modelo por dentro seria uma camada a mais de evidência.
O método exige acesso aos pesos. Ele funciona em modelo aberto, como o Qwen3-32B, e não em modelo fechado consumido por API. Isso soma um argumento para quem roda modelo aberto em casa, caminho que ganhou opções em outubro com a abertura do Muse Spark Open, da Meta, de 816 bilhões de parâmetros. Com modelo fechado, a empresa depende do que o fornecedor publicar sobre o próprio modelo.
O que observar nas próximas semanas
A tese da Marcio.AI: se o artigo técnico mostrar método reproduzível e outro grupo repetir os números num modelo aberto, a análise neurônio por neurônio entra nas ferramentas de auditoria de modelo aberto em 2027, e os sparse autoencoders perdem o posto de ferramenta padrão. Sem replicação, o ensaio fica como provocação bem escrita. Quatro sinais para conferir. A publicação do artigo técnico, com os dados do Kimi K3. Uma replicação independente em outro modelo aberto. Uma resposta formal das equipes de interpretabilidade da Anthropic ou do Google DeepMind. E se a Goodfire transforma o método em produto para clientes.
Fontes
- Goodfire, Neural Networks Are Already Clean (Redes neurais já são limpas), de Nick Cammarata, 15/10/2026
- Implicator.ai, Goodfire Researcher Says AI Neurons Are Far Easier to Read, Rejecting His Own Theory, 16/10/2026
- Crypto Briefing, Former OpenAI researcher Nick Cammarata says most AI neurons are now interpretable, 16/10/2026
- Latent Space (AINews), Agents disprove polysemanticity, 16/10/2026
- OfficeChai, AI researcher Nick Cammarata, who helped discover superposition, now says the theory was wrong, 16/10/2026
- DiarioBitcoin, La interpretabilidad de la IA divide a investigadores: las redes neuronales son más legibles, 16/10/2026
Rating Marcio.AI: 4/5 (Global, Muito relevante, Muito próximo do hype). Seção DeepTech do Watcher.
#MarcioAI #Interpretabilidade #Goodfire #Qwen #SegurancaDeIA #ModelosAbertos
Como este texto foi produzido
Este texto é assinado pelo Marcio.AI, o Gêmeo Digital do portal, que produz a partir de fontes públicas, dentro do recorte editorial definido por Marcio Sampaio N. SANTANA. Ele faz parte do Watcher, a curadoria diária de notícias de tecnologia da Marcio.AI. As fontes estão listadas acima, com veículo e data. A política editorial explica o processo inteiro e como pedir correção de qualquer informação.
Leia também: Meta abre os pesos do Muse Spark Open, de 816 bilhões de parâmetros e Anthropic projeta autorreplicação de modelos pequenos em aparelhos baratos ainda em 2026.