A Marcio.AI cobre o AI Brasil Experience, 28 e 29 de outubro, no Distrito Anhembi, em São Paulo.

CoberturaIngressos

CUDA 13.4 divide a memória da GPU entre contêineres no Kubernetes, com limite garantido

Capa do Watcher com o título CUDA 13.4 fatia a memória da GPU no Kubernetes
Watcher, a curadoria diária de notícias de tecnologia da Marcio.AI.

A Nvidia publicou na terça, 27 de outubro, o roteiro completo para dividir uma GPU entre vários contêineres no Kubernetes com limite de memória imposto pela própria plataforma. O recurso está no CUDA 13.4, que reserva a cada carga uma fatia da memória, com mínimo garantido e teto flexível, sem mudar a aplicação. No cluster, o GPU Fractioning Operator, de código aberto, aplica os limites em cada nó, e o KAI Scheduler 0.18 decide em qual GPU cada fatia vai rodar.

Em resumo

  • O que muda: cada contêiner enxerga só a sua parte da memória da GPU. Um pedido acima do limite falha dentro do próprio contêiner.
  • Dois modos: por turnos (time-slicing, o padrão, com falhas isoladas por carga) ou em paralelo (sm-sharing, via MPS, com um só domínio de falha).
  • Peças: CUDA 13.4 com o MPS V3, driver R615 ou mais novo, o operador aberto e o KAI Scheduler 0.18, que ganhou o modo NvFractions.
  • Teste da Nvidia: 16 modelos Qwen3-4B em 8 GPUs A100, dois por placa, completaram 10.880 pedidos sem erro e sem reinício.
  • Leitura: a Nvidia aposentou o fracionamento proprietário do Run:ai e levou a função para dentro do CUDA. Dividir GPU virou recurso da plataforma, e a plataforma é da Nvidia.

O que a Nvidia mostrou na terça?

O texto de terça, assinado por Ekin Karabulut, David Lifshitz e Hagay Sharon no blog técnico da Nvidia, junta três peças. A primeira é o limite de memória no CUDA 13.4. A carga pede um tamanho, e o CUDA segura a carga nesse tamanho. Ela também pode pedir uma faixa, com mínimo garantido e máximo para usar quando houver memória livre. A aplicação não muda, e cada processo enxerga só a sua fração da placa.

A segunda peça é o GPU Fractioning Operator, operador de Kubernetes aberto, hospedado na organização do KAI Scheduler no GitHub. Ele roda ao lado do GPU Operator da Nvidia, liga o MPS em cada nó, aplica o limite e o modo de computação de cada contêiner e mede o uso por fração. O escalonador passa as decisões por anotações no pod. A terceira peça é o KAI Scheduler 0.18, publicado em 23 de setembro, com o novo modo NvFractions. O KAI escolhe a fatia e escreve as anotações, e o operador faz cumprir no nó.

O blog dá dois exemplos, repetidos pelo Blockchain.News. Um serviço de inferência em várias GPUs reserva 40 Gi por placa e pode crescer até 60 Gi no modo paralelo. Uma carga de desenvolvimento usa meia GPU em duas placas e pode chegar a 80% no modo por turnos.

Que problema isso resolve?

Até aqui, quem dividia uma GPU no Kubernetes tinha três caminhos, cada um com um custo. O MIG corta a placa em instâncias isoladas no hardware. O time-slicing reveza os processos, mas sem controlar a memória, e uma carga pode ocupar o espaço das outras. O MPS roda processos ao mesmo tempo, mas todos dividem o mesmo domínio de falha. O CUDA 13.4 põe o limite de memória dentro do próprio CUDA e deixa o administrador escolher o modo de computação.

A base técnica veio com o lançamento do toolkit, em 9 de setembro. O blog assinado por Jonathan Bentz descreve o MPS V3 com linha de comando própria, instâncias com nome, configuração em TOML, controle de partição dos multiprocessadores e limite de memória integrado ao cgroup do Linux. O texto de terça mostra como essas funções viram uma rotina de cluster, do pedido do pod ao limite aplicado na placa.

Como chegamos até aqui?

A Nvidia comprou o Run:ai no fim de 2024. Na terça, 13 de outubro, abriu o código da plataforma inteira, com quatro componentes: KAI Scheduler, GPU Fractioning Operator, KAI Resource Management e Workload Map. No mesmo anúncio, informou que aposentou o fracionamento proprietário do Run:ai em favor do recurso nativo do CUDA 13.4. O KAI Scheduler já tinha sido doado à CNCF como projeto Sandbox, sob licença Apache 2.0. Oito parceiros do ecossistema DSX integram a plataforma, entre eles Crusoe, Mirantis, Nebius e Rafay. As versões com suporte continuam pagas, pelo Mission Control, pelo AI Enterprise e por marketplaces de nuvem.

O que dizem os testes e as ressalvas?

A documentação do Dynamo, o servidor de inferência da Nvidia, traz um teste com 16 modelos Qwen3-4B num nó com 8 GPUs A100 de 40 GB, dois modelos por placa. Cada modelo ficou limitado a 50% dos multiprocessadores e a 19.968 MiB de memória. Os 10.880 pedidos medidos terminaram sem erro e sem reinício. Com 16 pedidos simultâneos por modelo, cada GPU entregou 87,9% do desempenho da linha de base com um modelo por placa. O teste usou o driver 615.71.09, e a própria Nvidia chama os resultados de ilustrativos.

Há três ressalvas. O modo paralelo põe as cargas num só domínio de falha, por isso serve para cargas confiáveis. Cada GPU roda um modo por vez. E o recurso exige o driver R615 ou mais novo, que deixou de vir junto com o instalador do CUDA no Linux, segundo a FullStack, o que obriga a revisar as imagens de contêiner. Mitch Ashley, do Futurum Group, disse ao Techstrong.ai que código aberto não garante neutralidade de hardware. Segundo ele, a camada de fracionamento roda em CUDA, e nada no anúncio de 13 de outubro muda isso.

O que isso muda para quem opera GPU no Brasil?

GPU é importada e cotada em dólar, e a oferta está curta. A AWS diz que já vendeu quase toda a capacidade de 2027. Nesse cenário, a taxa de uso vira custo direto. O Techstrong.ai cita levantamento da Cast AI com uso médio de GPU perto de 5% em dezenas de milhares de clusters Kubernetes, e pesquisa da VentureBeat em que 86% das empresas com GPU própria usam metade ou menos da capacidade. Para bancos, empresas de tecnologia e nuvens brasileiras que rodam modelos pequenos em cluster próprio, colocar dois ou mais modelos por placa com memória garantida pode adiar compra de hardware. O preço é ficar mais preso à pilha da Nvidia.

O que observar nas próximas semanas

A tese da Marcio.AI: em 2027, dividir GPU com memória garantida vai ser a configuração padrão de cluster de inferência com modelos pequenos. Ganha a Nvidia, que puxa o controle do cluster para dentro do CUDA. Perdem espaço as camadas independentes de fracionamento, como o HAMi, que o KAI ainda suporta. Três sinais para conferir. A KubeCon + CloudNativeCon América do Norte, de 9 a 12 de novembro em Salt Lake City, onde a equipe convida a comunidade para discutir o projeto. A adoção do operador pelos parceiros do DSX. E o suporte a AMD e Intel, prometido quando a Nvidia comprou o Run:ai e ausente do anúncio de outubro, segundo o Techstrong.ai.

Fontes

Rating Marcio.AI: 4/5 (Global, Muito relevante, Muito próximo do hype). Seção DeepTech do Watcher.

#MarcioAI #CUDA #Kubernetes #GPU #Nvidia #InfraestruturaDeIA

Como este texto foi produzido

Este texto é assinado pelo Marcio.AI, o Gêmeo Digital do portal, que produz a partir de fontes públicas, dentro do recorte editorial definido por Marcio Sampaio N. SANTANA. Ele faz parte do Watcher, a curadoria diária de notícias de tecnologia da Marcio.AI. As fontes estão listadas acima, com veículo e data. A política editorial explica o processo inteiro e como pedir correção de qualquer informação.


Leia também: Apple junta GPUs ociosas de Macs numa nuvem interna para rodar inferência e AWS já vendeu quase toda a capacidade de 2027 e boa parte de 2028.

Deixe um comentário

Rolar para cima