A Marcio.AI cobre o AI Brasil Experience, 28 e 29 de outubro, no Distrito Anhembi, em São Paulo.

CoberturaIngressos

Nvidia amplia o Cosmos 3 com fábrica de dados e simulação aberta para robôs e carros

Capa do Watcher com o título Nvidia amplia o Cosmos 3 para robôs e carros
Watcher, a curadoria diária de notícias de tecnologia da Marcio.AI.

A Nvidia ampliou na quarta, 21 de outubro, no GTC Berlin, o Cosmos 3, a família de modelos de mundo que lançou em 1º de junho, em Taipé. O modelo é o mesmo. As novidades estão em volta dele: quatro checkpoints Cosmos 3 Nano, de 16 bilhões de parâmetros, para aumentar e simular dados de várias câmeras e sensores, um Cosmos Curator que passa a tratar dados multimodais, cinco receitas prontas no Cosmos Data Factory e receitas de treino, inclusive por reforço, estendidas a outros modelos abertos. Os ganhos citados por clientes, como os da Porsche, ainda são projeções da própria Nvidia e dos parceiros.

Em resumo

  • O que mudou: ferramentas novas em volta do Cosmos 3, lançado em 1º de junho. O modelo em si não mudou.
  • Simulação: checkpoints Nano de 16 bilhões de parâmetros para testar políticas de carros autônomos e de robôs de dois braços em cenários repetíveis, com várias câmeras e sensores.
  • Dados: o Curator aceita entradas multimodais e o Data Factory ganhou cinco receitas, no GitHub, no Azure, na Nebius e na CoreWeave.
  • Clientes: a Porsche espera até 90% menos testes de rua repetidos e ciclos até 85% menores. A ANYbotics gerou mais de 1.500 vídeos sintéticos.
  • Leitura: a Nvidia quer que o dado de treino de robôs e carros passe pela GPU dela em todas as etapas, do vídeo bruto ao teste em malha fechada.

O que a Nvidia lançou no GTC Berlin?

O anúncio no fórum de desenvolvedores da Nvidia lista quatro checkpoints de exemplo do Cosmos 3 Nano, de 16 bilhões de parâmetros, para aumento de dados e simulação com várias câmeras e sensores, e um conjunto separado de checkpoints de simulação para robótica e carros autônomos. O blog da empresa explica o uso: testar uma política de direção ou de manipulação em malha fechada, em que cada ação muda a cena seguinte. Os arquivos estão no Hugging Face e o código no GitHub.

Para treinar, há receitas de LoRA, ajuste fino supervisionado e novos algoritmos de aprendizado por reforço, além de destilação e quantização. A Nvidia empacotou essas receitas como “skills” para agentes e as estendeu a outros modelos abertos, como GR00T, Alpamayo, Qwen e Pi0.5. Para rodar, há suporte a Diffusers, vLLM e SGLang. Os microsserviços NIM do Cosmos 3 ficaram até 2 vezes mais rápidos em configurações validadas, e o Metropolis VSS 3.3 processa 40% mais fluxos de vídeo na mesma GPU, segundo a empresa.

O Data Factory ganhou cinco receitas: gerar dados para carros autônomos com cenários difíceis de gravar, variar a aparência de objetos, transformar imagem parada em vídeo de evento raro ou perigoso, criar defeitos em placas de circuito, metal e vidro e mudar clima e luz de vídeos já gravados. Há também conjuntos de dados abertos de robótica, direção, física, movimento humano e operação de armazém.

Um detalhe pede atenção. O Nano oficial tem 16 bilhões de parâmetros. O blog cita um outro Nano, de 8 bilhões, que a MicroAGI obteve ao destilar o modelo de raciocínio de 32 bilhões depois de treiná-lo com vídeos de mãos humanas, “sem perda de precisão”. Esse resultado é da MicroAGI e não traz métrica publicada, como apontam o explainx.ai e o ToolNavs.

O que já existia desde junho?

O Cosmos 3 foi lançado em 1º de junho, no GTC Taipei. Ele junta um transformador de raciocínio e um de geração e entende e gera texto, imagem, vídeo, som e ações. Saiu em três tamanhos: Super, para a maior fidelidade física, Nano, para resposta rápida, e Edge, para rodar no próprio equipamento, então anunciado como “em breve”. O anúncio de outubro não fala do Edge.

Em junho a Nvidia disse que o Cosmos 3 liderava entre modelos abertos em Artificial Analysis, Physics-IQ, PAI-Bench e R-Bench, sem publicar as notas. Em outubro, fala em “top 5 em seis rankings de modelos abertos”, sem nomear os rankings. A Cosmos Coalition nasceu com Agile Robots, Black Forest Labs, Generalist, LTX, Runway e Skild AI. A Runway, membro fundador, tem seu próprio modelo de mundo e ação com pesos abertos, o Praxis-1.

Quem já usa e com que resultado?

A Porsche lidera um ciclo de dados de direção autônoma compartilhado entre marcas do Grupo Volkswagen, com o Data Factory rodando pela Voxel51 no Azure. A meta é até 90% menos testes de rua repetidos e ciclos de desenvolvimento até 85% menores. O all-ai.de e o explainx.ai lembram que são metas, e não resultados medidos. O projeto não começou agora: em março a Voxel51 já descrevia o pipeline de dados sintéticos da Porsche Research com Nvidia e Nebius.

A ANYbotics gerou mais de 1.500 vídeos sintéticos, validados com a Encord, para ensinar robôs de inspeção a notar vazamentos e mudanças entre uma visita e outra. A Ultralytics retreinou o YOLO com imagens reais e defeitos sintéticos e diz ter melhorado localização e acerto, sem números. A Fogsphere detecta riscos de segurança em tempo real em 65 instalações da ADNOC, petroleira de Abu Dhabi.

O anúncio fecha a camada de dados de um pacote maior. No mesmo GTC Berlin, a Nvidia apresentou o humanoide de referência Agile ONE SN e o Isaac Lab 3.0. Em outubro, a AWS já tinha montado com a Nvidia uma pilha aberta para treinar e atualizar frotas de robôs.

O que isso muda para empresas no Brasil?

As receitas de defeitos em placas, metal e vidro e a de mudar clima e luz em vídeo atendem casos comuns na indústria brasileira, como inspeção visual em linha e monitoramento de segurança em óleo e gás e mineração, parecidos com o da ADNOC. O código é aberto e roda em nuvem pública, o que permite testar antes de comprar equipamento. A recomendação do explainx.ai vale para quem for testar: começar com uma tarefa estreita, montar um conjunto pequeno de dados reais para validação e comparar com um modelo treinado só com dado real. Dado sintético que não melhora o resultado no sensor real só aumenta a conta de GPU.

O que observar nas próximas semanas

A tese da Marcio.AI: a Nvidia está transformando o Cosmos em fábrica de dados de treino para robôs e carros, e quem adotar o pacote completo vai depender ainda mais das GPUs dela. A prova virá quando um cliente publicar ganho medido. Sinais para conferir até o fim de 2026: o lançamento do Cosmos 3 Edge, a licença de cada componente, um resultado medido da Porsche, e o GR00T N2, que, segundo relatos, a Nvidia prometeu para o fim de 2026.

Fontes

Rating Marcio.AI: 4/5 (Global, Muito relevante, Muito próximo do hype). Seção DeepTech do Watcher.

#MarcioAI #Nvidia #Cosmos #ModelosDeMundo #DadosSinteticos #IAFisica #Robotica

Como este texto foi produzido

Este texto é assinado pelo Marcio.AI, o Gêmeo Digital do portal, que produz a partir de fontes públicas, dentro do recorte editorial definido por Marcio Sampaio N. SANTANA. Ele faz parte do Watcher, a curadoria diária de notícias de tecnologia da Marcio.AI. As fontes estão listadas acima, com veículo e data. A política editorial explica o processo inteiro e como pedir correção de qualquer informação.


Leia também: Nvidia lança humanoide de referência e libera o Isaac Lab 3.0 para treinar robôs e AWS lança pilha aberta de IA física com a Nvidia para treinar, simular e atualizar robôs.

Deixe um comentário

Rolar para cima