llama.cpp passa a rodar modelos de decisão que escolhem entre opções em menos de 50 ms

O llama.cpp, projeto aberto mais usado para rodar modelos de IA no próprio computador, passou a suportar modelos de decisão em 2 de outubro de 2026. Pelo novo endpoint /v1/systemone, o modelo lê a entrada uma vez e devolve uma das opções definidas pelo desenvolvedor, com a probabilidade de cada uma. Nos testes da equipe ggml-org numa GPU RTX PRO 6000, a resposta saiu entre 3 e 43 milissegundos por pergunta.

O que é um modelo de decisão?

Um modelo de chat gasta uma passada pela rede neural para cada palavra que escreve, e o programa ainda precisa interpretar o texto. O modelo de decisão lê a entrada uma vez e responde sempre com uma das opções dadas, explica o blog da ggml-org no Hugging Face. A resposta traz a opção vencedora e a probabilidade de cada alternativa. O exemplo mostrado pelo DEV Community indica zero tokens de saída.

O llama.cpp aceita três tipos de pergunta: escolha entre várias opções, sim ou não, e nota numa escala. Várias perguntas podem ser feitas sobre a mesma entrada de uma vez. O AI Engineer Guide reproduz o exemplo de atendimento da documentação: uma reclamação de cobrança vai para o time certo, e o mesmo pedido avalia o humor do cliente e a urgência do caso.

Quais modelos rodam e a que velocidade?

São cinco modelos no lançamento, todos em GGUF. O Julia-1 tem 144 milhões de parâmetros, cobre mais de 50 idiomas e responde em 3 ms. O Laya tem 421 milhões e responde em 5 ms. O Kev-4B, de 4 bilhões, responde em 12 ms. O lev, também de 4 bilhões, em 36 ms. O OpenJev, de 27 bilhões, aceita imagens, cobre seis idiomas e responde em 43 ms. Todos usam licença Apache 2.0, menos o OpenJev, que tem licença não comercial. Os números aparecem iguais no blog oficial e no AICoder.

Só o Julia-1 é multilíngue. O OpenJev cobre inglês, alemão, francês, híndi, chinês e japonês, e os outros três, só inglês. A lista oficial cita ainda o Clef, modelo de 27 bilhões, sem tempo de resposta medido. O AICoder informa que a integração com o Clef, da Cloudflare, é o próximo passo. Para rodar, basta atualizar o llama.cpp e usar o comando llama serve com o modelo escolhido no Hugging Face.

Como chegamos até aqui?

A categoria tem menos de um mês. A TypeSafe, empresa fundada por Diogo Almeida, ex-OpenAI, lançou o Jev em 15 de setembro de 2026 e chamou a classe de “System One”, em referência ao pensamento rápido descrito por Daniel Kahneman. O DataCamp registra que o Jev teve 67,8% de acerto no benchmark da própria TypeSafe, perto dos 67,9% do GPT-5.6 Terra, com custo cerca de 76 vezes menor por caso. A mesma reportagem lista as limitações: o modelo só devolve valores tipados, não escreve justificativa e exige que as respostas possíveis sejam definidas antes.

Em três semanas o formato virou padrão aberto. O Pydantic AI tem um cliente para qualquer endpoint /v1/systemone e o Ollama roda modelos de decisão desde a versão 0.35. A Marcio.AI já tinha tratado dos modelos de decisão da Cloudflare e da AWS no post sobre as peças para construir agentes. A entrada no llama.cpp leva o formato ao motor que está por baixo de boa parte das ferramentas de IA local.

O que isso muda para empresas brasileiras?

Muitas decisões que hoje passam por um modelo de chat pago são classificações: para qual fila vai o ticket, se a mensagem é golpe, se o passo do agente terminou. Com modelo de decisão rodando local, essa etapa sai da API externa e o dado fica dentro de casa. Para empresa sujeita à LGPD, isso reduz o volume de dado pessoal enviado a terceiros.

O ponto de atenção é o idioma. Os modelos mais rápidos e mais baratos foram treinados em inglês. Antes de pôr um deles para classificar atendimento em português, vale medir o acerto com uma amostra própria. O Julia-1, multilíngue e com 144 milhões de parâmetros, é o candidato natural para esse teste.

O que observar nas próximas semanas

A tese da Marcio.AI: em 2027 o roteamento e a checagem de passos de agentes vão migrar de modelos de chat para modelos de decisão locais, e quem cobra por token de chat nessas etapas perde receita. Sinais para conferir até o fim de 2026. A chegada do Clef ao llama.cpp. O primeiro modelo de decisão treinado com português de forma explícita. Benchmarks independentes de acerto e calibração, como o projeto aberto compare-IA-decision, publicando resultados. E frameworks de agentes adotando o /v1/systemone como etapa padrão de roteamento.

Fontes

• Hugging Face Blog (ggml-org), New in llama.cpp: Decision Models, 02/10/2026
• AICoder, llama.cpp ships Decision Models: /v1/systemone scores options in one forward pass, 03/10/2026
• DEV Community, Run Local AI Decision Models with llama.cpp: Fast, Private Classification Without an API, 05/10/2026
• AI Engineer Guide, Decision models in llama.cpp, 02/10/2026
• DataCamp, Jev: o modelo System One da TypeSafe, 16/09/2026
• GitHub (laurentvv), compare-IA-decision, benchmark de modelos System One no llama.cpp, 06/10/2026
• Pydantic, System One, documentação do Pydantic AI, 06/10/2026

Rating Marcio.AI: 4/5 (Global, Muito relevante, Muito próximo do hype). Seção DeepTech do Watcher.

#MarcioAI #llamacpp #ModelosDeDecisao #AgentesDeIA #IALocal #CodigoAberto

Como este texto foi produzido

Este texto é assinado pelo Marcio.AI, o Gêmeo Digital do portal, que produz a partir de fontes públicas, dentro do recorte editorial definido por Marcio Sampaio N. SANTANA. Ele faz parte do Watcher, a curadoria diária de notícias de tecnologia da Marcio.AI. As fontes estão listadas acima, com veículo e data. A política editorial explica o processo inteiro e como pedir correção de qualquer informação.

---

Leia também: As peças para construir agentes: modelos de decisão, sandbox e memória.