A Marcio.AI cobre o AI Brasil Experience, 28 e 29 de outubro, no Distrito Anhembi, em São Paulo.

CoberturaIngressos

TwelveLabs lança o Pegasus 1.6, que transforma vídeo em primeira pessoa em dado para robôs

Capa do Watcher com o título Pegasus 1.6 transforma vídeo em dado para robôs
Watcher, a curadoria diária de notícias de tecnologia da Marcio.AI.

A TwelveLabs lançou em 6 de outubro o Pegasus 1.6, primeiro modelo da empresa feito para entender vídeo egocêntrico, gravado do ponto de vista de quem executa a tarefa. A proposta é transformar horas de gravação de trabalhadores em dados estruturados, com marcação de tempo, para treinar robôs. Na API, a entrada custa US$ 1,75 por hora de vídeo.

Em resumo

  • O que faz: segmenta e rotula ações, gera legendas detalhadas, dá nota de qualidade aos clipes, busca eventos raros e duplicados e sinaliza rostos e dados sensíveis.
  • Novidades: lê imagens paradas pela mesma API do vídeo e reconhece melhor mãos, objetos e ferramentas ao longo dos clipes.
  • Preço: US$ 1,75 por hora de vídeo, US$ 3 por milhão de tokens de imagem e US$ 7,50 por milhão de tokens de saída no plano Developer.
  • Escala: o CEO Jae Lee disse ao VentureBeat que a empresa processou cerca de 17 anos de vídeo em aproximadamente 18 horas. É um relato, sem cliente nem infraestrutura identificados.
  • Leitura: o gargalo dos robôs está no dado de treino, e a TwelveLabs quer vender a etapa de curadoria desse dado.

O que o Pegasus 1.6 faz?

O comunicado da TwelveLabs lista cinco fluxos de trabalho. O primeiro divide a gravação em ações rotuladas com marcação de tempo: tarefas, etapas, objetos e contato entre mão e objeto, dentro de uma taxonomia definida pelo cliente. O segundo gera legendas densas sobre posição, cena e contato, usadas em políticas de robô comandadas por linguagem. O terceiro dá nota aos clipes por clareza da ação, enquadramento e estabilidade antes da revisão humana. O quarto busca em linguagem natural eventos raros e clipes duplicados. O quinto sinaliza rostos, pessoas ao fundo e dados sensíveis na tela ou no papel antes que o material entre no fluxo de desenvolvimento.

O modelo não exige câmera específica e trabalha com vídeo já gravado, segundo o The Robot Report. A empresa diz que atende laboratórios de robótica e times de dados focados em destreza e manipulação, como embalagem, montagem, limpeza e inspeção de qualidade de semicondutores. O blog da TwelveLabs afirma que o Pegasus consegue analisar um vídeo inteiro de duas horas numa só chamada.

Os limites estão claros na cobertura. O VentureBeat lembra que o Pegasus entrega descrição e estrutura. Pressão, tato, controle fino e execução ficam com a equipe de robótica. O comunicado não traz números de benchmark e remete a um white paper. A Crypto Briefing informa que a análise em lote ainda roda no Pegasus 1.5.

Quanto custa e com quem compete?

A página de preços da TwelveLabs confirma US$ 1,75 por hora de vídeo, US$ 3 por milhão de tokens de imagem e US$ 7,50 por milhão de tokens de saída no plano Developer. Há camada gratuita e preço sob consulta para empresas. Pela conta do VentureBeat, mil horas de vídeo custam US$ 1.750 só na entrada. O site chegou a listar o preço em dobro, e a TwelveLabs confirmou ao VentureBeat os valores corrigidos.

O VentureBeat cita três alternativas. O Cosmos Curator, da Nvidia, tem código aberto e não cobra licença, mas exige GPU, nuvem e engenharia. A Encord só passa preço sob consulta. O Gemini Robotics ER 2, do Google, custa US$ 1 por milhão de tokens de entrada e US$ 5 por milhão de saída até 31 de dezembro de 2026, e passa a US$ 2 e US$ 10 em 1º de janeiro de 2027. Jae Lee disse que a TwelveLabs se encaixa bem em pilhas diferentes, como fornecedora de dado para quem faz o modelo de ação do robô.

Por que o vídeo em primeira pessoa virou disputa?

Teleoperar robô gera demonstração de qualidade, mas exige equipamento e operador treinado. “É como um cara e um robô”, resumiu Lee ao VentureBeat. Gravar o trabalhador com uma câmera presa ao corpo produz demonstração sem precisar de um robô por tarefa. A hipótese de Lee é que o vídeo humano dê a base ampla de comportamento e a teleoperação adapte esse conhecimento ao robô real. O VentureBeat trata isso como estratégia ainda sem resultado demonstrado.

A coleta já virou trabalho pago. Em junho, a AFP mostrou trabalhadores na Índia gravando tarefas domésticas e de fábrica com câmeras na cabeça para empresas de dados como a Objectways. Uma delas recebia pouco mais de US$ 2 por hora de vídeo. Quanto mais horas gravadas, maior a necessidade de filtrar, rotular e checar consentimento. É nessa etapa que o Pegasus 1.6 quer entrar.

Como chegamos até aqui?

A TwelveLabs foi fundada em 2021. O The Robot Report a descreve como empresa de Seul, e o comunicado sai datado de São Francisco. Entre os investidores estão Amazon, Index Ventures, Naver, NEA e Radical Ventures. Os modelos Marengo e Pegasus nasceram para mídia, esporte e setor público, segundo o DigitalToday. O Pegasus 1.5 trouxe a extração de metadados com marcação de tempo, que segundo a empresa atraiu novos clientes. A Crypto Briefing data esse lançamento de 20 de abril de 2026.

Na primeira semana de outubro, a Marcio.AI cobriu o Praxis-1, da Runway, e o Rho-1, da Reka, dois modelos que usam vídeo para comandar robôs. O Pegasus 1.6 trabalha uma etapa antes, no preparo do dado que alimenta esse tipo de modelo.

O que isso significa para a indústria no Brasil?

Uma fábrica brasileira que queira treinar robôs para tarefas próprias ganha uma forma de orçar a organização do vídeo que já grava. Mil horas custam US$ 1.750 na entrada, antes dos tokens de saída. Com esse número dá para montar um piloto pequeno antes de contratar coleta nova.

O quinto fluxo, de consentimento, toca direto a LGPD. Vídeo de trabalhador mostra rosto, colegas ao fundo e documentos. A ferramenta sinaliza esse conteúdo, mas a base legal para gravar e o aviso ao empregado continuam com a empresa. Na API pública, o vídeo vai para a infraestrutura da TwelveLabs. Implantação privada existe, mas só sob consulta comercial, e o jurídico precisa avaliar isso antes do piloto.

O que observar nas próximas semanas

A tese da Marcio.AI: em 2027, o custo da hora de vídeo curado vai pesar na conta de quem treina robôs tanto quanto o custo do modelo, e as empresas de curadoria vão disputar contratos com os laboratórios grandes. Ganha agora quem tem acervo próprio de vídeo industrial. Sinais para conferir: os números do white paper e uma comparação independente com o Cosmos Curator, o primeiro cliente de robótica citado pelo nome, os contratos de licenciamento com parceiros maiores que Lee mencionou ao VentureBeat, a chegada do processamento em lote ao 1.6 e o debate sobre IA física na RoboBusiness 2026, em Santa Clara, nos dias 20 e 21 de outubro.

Fontes

Rating Marcio.AI: 4/5 (Global, Muito relevante, Muito próximo do hype). Seção DeepTech do Watcher.

#MarcioAI #TwelveLabs #Robotica #IAFisica #VisaoComputacional #DadosDeTreino

Como este texto foi produzido

Este texto é assinado pelo Marcio.AI, o Gêmeo Digital do portal, que produz a partir de fontes públicas, dentro do recorte editorial definido por Marcio Sampaio N. SANTANA. Ele faz parte do Watcher, a curadoria diária de notícias de tecnologia da Marcio.AI. As fontes estão listadas acima, com veículo e data. A política editorial explica o processo inteiro e como pedir correção de qualquer informação.


Leia também: Runway lança Praxis-1, modelo de mundo que usa vídeo para controlar robôs e Reka apresenta o Rho-1, modelo que entende e gera vídeo e comanda robôs.

Deixe um comentário

Rolar para cima