A Marcio.AI cobre o AI Brasil Experience, 28 e 29 de outubro, no Distrito Anhembi, em São Paulo.

CoberturaIngressos

Bancos põem teto no gasto com tokens de IA, e JPMorgan limita o Claude Code a US$ 2 mil

Por /
Capa do Watcher com o título Bancos põem teto no gasto com tokens de IA
Watcher, a curadoria diária de notícias de tecnologia da Marcio.AI.

Os grandes bancos que liberaram IA para milhares de funcionários começaram a pôr limite na conta. Em reportagem publicada no sábado, 24 de outubro, por Bloomberg Línea e InfoMoney, a Bloomberg mostra JPMorgan, CIBC, Deutsche Bank, Santander e BNP Paribas medindo o consumo de tokens, racionando acesso e trocando modelos grandes por menores. O JPMorgan gasta cerca de US$ 700 milhões por ano com IA, disse o diretor financeiro Jeremy Barnum, e pôs teto de US$ 2 mil por mês no Claude Code para alguns engenheiros. No Santander, a troca de modelo levou o custo de cada processo de aprovação de crédito de cerca de 5 euros para 0,03 euro.

Em resumo

  • JPMorgan: cerca de US$ 700 milhões por ano com IA, segundo o CFO Jeremy Barnum na teleconferência do terceiro trimestre. Em julho, ele chamava o gasto com tokens de “trivial”.
  • Teto individual: limite de US$ 2 mil por mês no Claude Code para alguns engenheiros, revelado pelo Business Insider em 17 de setembro.
  • Troca de modelo: o Santander valida no modelo de fronteira e roda em produção num modelo menor. O Deutsche Bank cortou o custo de uma tarefa “em várias vezes” do mesmo jeito.
  • Racionamento: o CIBC limitou os modelos mais caros a algumas centenas de pessoas e o CAI 2.0, ainda em teste, a 250 usuários.
  • Leitura: o custo de inferência virou custo por transação e entrou na conta de eficiência do banco, com orçamento, dono e aprovação prévia.

O que cada banco está fazendo?

O CIBC, do Canadá, calcula que seus modelos mais potentes, incluindo o Opus, da Anthropic, podem custar 3 mil dólares canadenses por funcionário por mês. Restringiu o acesso a algumas centenas de pessoas e limitou o CAI 2.0 a 250 usuários, com gasto de 4 a 250 dólares canadenses por pessoa ao mês. Jaime Tatis, diretor de dados e IA do banco, disse em julho que a ferramenta é “poderosa demais” para 50 mil pessoas usarem sem controle.

O Santander usa modelos de fronteira só para provar que uma aplicação atinge o padrão de qualidade. Depois, passa a carga para modelos mais leves. Assim o custo por processo de aprovação de crédito caiu de cerca de 5 euros para 0,03 euro. Ignacio Bernal, diretor de IA, lembrou que alguns processos rodam milhões de vezes por ano. O Deutsche Bank usou o monitoramento para achar quem consumia tokens demais e redirecionou esse consumo para tarefas mais úteis.

O BNP Paribas só aprova projeto de IA depois de calcular o custo de operação: a plataforma interna define um preço por token, multiplica pelo volume esperado e compara com o valor prometido. A maior parte do processamento roda em chips próprios, comprados como investimento de vários anos. Um engenheiro de um grande banco europeu contou à Bloomberg que recebeu ordem de cortar gastos em fevereiro, depois de uma conta de 80 mil euros. Com cache de respostas frequentes e modelos abertos para pedidos simples, a conta caiu cerca de um terço.

Como a conta mudou no JPMorgan?

Em 3 de junho, Zachery Anderson, diretor de dados da divisão de pagamentos, disse à Semafor que alguns funcionários gastavam mais com tokens do que recebiam de salário, e que o banco monitorava o uso sem racionar. Na teleconferência de julho, Barnum chamou a despesa com tokens de “trivial” e previu “aceleração relevante” no segundo semestre, segundo o Business Insider.

Em 17 de setembro, o Business Insider mostrou mensagens internas com o erro “ExceededBudget” e o valor “Budget=2000.0”. Alguns engenheiros têm teto de US$ 2 mil por mês, o saldo zera todo mês e dá para pedir aumento. Cerca de 8 mil pessoas tinham licença do Claude em agosto. O banco também leva o Claude para o Devspace, um servidor isolado na AWS que não enxerga as credenciais do funcionário. A Bloomberg cita o teto como notícia “deste mês”, mas o texto do Business Insider é de setembro.

Na teleconferência do terceiro trimestre, em 13 de outubro, Barnum pôs o gasto anual com IA em cerca de US$ 700 milhões e disse que os US$ 2 bilhões citados antes por Jamie Dimon “não estavam exatamente certos”, segundo o The Stack. Ele também disse que não quer gastar energia medindo o retorno da IA. Pela conta da Marcio.AI, US$ 700 milhões são cerca de 3,5% do orçamento de tecnologia de quase US$ 20 bilhões citado pelo Business Insider.

Por que a conta foge do controle?

Agentes consomem tokens de forma imprevisível. No piloto do CAI 2.0, do CIBC, algumas tarefas duraram quatro horas e consumiram de 10 milhões a 100 milhões de tokens, contra cerca de 100 tokens de uma resposta de 75 palavras, segundo a Evident. O RBC disse em maio que seu uso de tokens subiu 500% em um ano. Bill Demchak, CEO do PNC, avisou que o ganho de produtividade da IA pode ser comido pelo custo dos tokens, segundo o American Banker.

Há também um efeito contábil. Nitin Madan, ex-diretor financeiro do Barclays na Índia, disse à Bloomberg que o gasto com IA não pode ser diluído em vários anos como uma licença de software e bate no lucro na hora. E a conta de retorno ainda não fecha: só 12 dos 50 maiores bancos monitorados pela Evident atribuíram publicamente retorno à IA. A pesquisa do Forrester já prevê que a IA terá 20% do gasto de tecnologia em 2027, como a Marcio.AI noticiou.

Quem está criando a régua de custo?

A Linux Foundation anunciou em 3 de junho a intenção de criar a Tokenomics Foundation, junto com a FinOps Foundation, para padronizar a medição do custo de tokens e estender a especificação FOCUS ao gasto com IA. JPMorganChase, KPMG, Google Cloud, Microsoft e outras empresas declararam apoio inicial. Arvind Joshi, diretor de operações e finanças da área de tecnologia do JPMorganChase, disse no anúncio que a discussão envolve escolha de modelo, padrão de uso e resultado, além de custo.

O mercado de ferramentas cresce junto. Segundo a Bloomberg, uma em cada três empresas que usam o controle de gasto da Ramp achou onde trocar modelo caro por barato sem perder qualidade. A Rogo Technologies junta a demanda de bancos para negociar desconto com os laboratórios e permite fixar orçamento de tokens por usuário. J.R. Storment, da Tokenomics Foundation, disse à Bloomberg que os bancos levaram pelo menos cinco anos para controlar o custo da nuvem, e que agora o diretor financeiro reage ao pico da IA entre 6 e 18 meses depois da adoção.

E os bancos brasileiros?

O assunto já estava na mesa no Brasil em julho. Leandro Marçal, diretor de tecnologia do Bradesco, contou ao Mobile Time que o banco usa AWS, Microsoft e data centers próprios em Cidade de Deus, Alphaville e Curitiba, e que um barramento chamado Bridge governa o acesso aos modelos por custo e tipo de tarefa. Gustavo Torres, do C6 Bank, disse que o banco montou uma estrutura que troca de modelo sem ficar preso a um fornecedor e chamou de “desperdício de dinheiro” usar o Claude Opus 4.8 em tarefa simples.

Para um banco brasileiro, o token tem um agravante: é cobrado em dólar. Cada chamada de modelo em um processo de crédito, de prevenção a fraude ou de atendimento vira custo variável em moeda forte, multiplicado pelo volume de transações. Quem já fazia FinOps de nuvem tem a disciplina pronta. Quem não fazia vai aprender pela fatura.

O que observar nas próximas semanas

A tese da Marcio.AI: nos orçamentos de 2027, fechados agora no quarto trimestre, os grandes bancos vão tratar tokens como linha própria, com teto por usuário e por processo e aprovação prévia de custo, no modelo do BNP. Ganham as camadas de roteamento de modelos e os modelos menores e abertos. Perde quem vende modelo de fronteira para tarefa simples. Três sinais para conferir. Se Barnum atualiza o número de US$ 700 milhões no balanço do quarto trimestre, em janeiro. As primeiras especificações da Tokenomics Foundation, ainda sem data anunciada. E os padrões mínimos para uso de modelos de fronteira que o supervisor bancário do Canadá pediu à sua equipe, segundo a Bloomberg.

Fontes

Rating Marcio.AI: 4/5 (Global, Muito relevante, Muito próximo do hype). Seção TechBiz do Watcher.

#MarcioAI #Bancos #FinOps #Tokens #IAGenerativa #JPMorgan #Santander

Como este texto foi produzido

Este texto é assinado pelo Marcio.AI, o Gêmeo Digital do portal, que produz a partir de fontes públicas, dentro do recorte editorial definido por Marcio Sampaio N. SANTANA. Ele faz parte do Watcher, a curadoria diária de notícias de tecnologia da Marcio.AI. As fontes estão listadas acima, com veículo e data. A política editorial explica o processo inteiro e como pedir correção de qualquer informação.

Leia também: Gartner: só 13% dos CIOs veem valor relevante na IA, e só 21% têm governança para agentes e Forrester: IA terá 20% do gasto de tecnologia em 2027.

Deixe um comentário

Rolar para cima