Meta AI lança Sapiens2: um modelo de visão centrado no ser humano de alta resolução para pose, segmentação, normais, mapa de pontos e albedo | NeuralNet IA

🇧🇷 O Que Isso Significa para o Brasil?

Com o crescimento do ecossistema de IA no país e discussões sobre regulação (PL 2338/2023), avanços em inteligência artificial, machine learning e automação impactam diretamente profissionais, startups e empresas brasileiras. Fique atento a:

• 🎓 Capacitação profissional: Demanda por habilidades em IA cresce 3x ao ano no mercado brasileiro
• ⚖️ Marco Regulatório: Proposta de lei sobre IA pode afetar desenvolvimento e uso de ferramentas
• 🏢 Adoção empresarial: Setores como saúde, jurídico e financeiro lideram implementação de IA no Brasil

Se você já viu um sistema de captura de movimento lutar com os dedos de uma pessoa ou viu um modelo de segmentação falhar em distinguir dentes de gengivas, você já entende por que a visão computacional centrada no ser humano é difícil. Os humanos não são apenas objetos, eles vêm com estrutura articulada, detalhes finos de superfície e enorme variação de pose, roupas, iluminação e etnia. Conseguir que um modelo entenda tudo isso, de uma só vez, através de imagens arbitrárias do mundo real, é genuinamente difícil.

Equipe de pesquisa Meta AI apresentada Sapiens2a segunda geração de sua família de modelos básicos para visão centrada no ser humano. Treinado em um conjunto de dados recém-curado de 1 bilhão de imagens humanasabrangendo tamanhos de modelo de parâmetros de 0,4B a 5B e projetado para operar em modo nativo Resolução 1K com variantes hierárquicas suportando 4Ko Sapiens2 representa um salto substancial em relação ao seu antecessor em todos os benchmarks avaliados pela equipe.

O que Sapiens2 está tentando resolver

O modelo Sapiens original baseava-se principalmente em Autoencoder mascarado (MAE) pré-treinamento. O MAE funciona mascarando uma grande parte dos patches da imagem de entrada, 75% neste caso, e treinando o modelo para reconstruir os pixels ausentes. Isso força o modelo a aprender detalhes espaciais e texturas, o que é útil para tarefas de previsão densas, como segmentação ou estimativa de profundidade.

O problema é que o MAE, como forma de modelagem de imagem mascarada (MIM), aprende principalmente por meio da compressão. Não aprende naturalmente semântica de alto nível. Pode dizer-lhe o que algo visual gosta, mas não necessariamente o que é significa no contexto de um corpo humano. É aí que brilham os métodos de aprendizagem contrastiva (CL), como DINO e SimCLR: eles organizam representações semanticamente treinando o modelo para tratar diferentes visualizações da mesma imagem como semelhantes e visualizações de imagens diferentes como distintas.

Mas CL tem a sua própria compensação. Suas estratégias agressivas de aumento, como instabilidade de cor e desfoque, podem eliminar sinais de aparência, como tom de pele ou condições de iluminação, que são essenciais para tarefas como estimativa de albedo (recuperar a cor verdadeira de uma superfície independente da iluminação). Isso é o que a equipe de pesquisa chama desvio de representação.

O Sapiens2 aborda esse problema diretamente, combinando ambos os objetivos: uma perda de reconstrução de imagem mascarada (LMAE) para preservar a fidelidade de baixo nível, e um perda contrastiva global (LCL) no [CLS] token usando uma estrutura aluno-professor baseada em DINOv3, onde os parâmetros do professor são uma média móvel exponencial (EMA) do aluno. Crucialmente, os aumentos de cores são não aplicado a visualizações globais usado para o objetivo MAE, preservando as dicas de aparência necessárias para tarefas fotorrealistas.

Os dados: Humanos-1B

Acertar 1 bilhão de imagens de treinamento exigiu um pipeline de filtragem de vários estágios. Começando com um pool em escala web de aproximadamente 4 bilhões de imagensA equipe Meta aplicou detecção de caixa delimitadora, estimativa de pose de cabeça, pontuação estética e de realismo, filtragem de recursos baseada em CLIP e detecção de sobreposição de texto. O resultado é um corpus com curadoria onde cada imagem contém pelo menos uma pessoa proeminente com uma resolução mínima de lado curto de 384 pixels.

Para garantir a diversidade, a equipe de pesquisa usou hashing perceptivo e poda profunda do vizinho mais próximo para desduplicação, depois agrupou incorporações visuais e aplicou amostragem seletiva para equilibrar o conjunto de dados em poses, pontos de vista, níveis de oclusão, tipos de roupas e condições de iluminação. Nenhum rótulo de tarefa ou antecedentes específicos de humanos foram injetados durante o pré-treinamento – apenas imagens.

A Arquitetura: Escalando para 5B e 4K

Sapiens2 apresenta quatro tamanhos de modelo: Parâmetros 0,4B, 0,8B, 1B e 5Bcada um com resolução nativa de 1K. O modelo 5B é o transformador de visão com maior FLOP relatado até o momento em 15.722 TFLOPs.

Para resolução 4K, a equipe de pesquisa adotou um design de atenção hierárquica em janela. As primeiras camadas K aplicam autoatenção em janela localmente para capturar texturas finas e limites dentro de janelas espaciais. UM [CLS]A etapa de pooling guiada reduz a amostragem da grade de token 2D em um passo espacial √ω, e as camadas L subsequentes aplicam autoatenção global sobre essa sequência reduzida. Esse layout é compatível com o pré-treinamento estilo MAE porque os tokens mascarados podem ser descartados após o estágio local, evitando que informações vazem entre regiões mascaradas – um problema que os backbones convolucionais normalmente precisam de convoluções mascaradas para evitar.

A própria estratégia de mascaramento também é cuidadosamente projetada: Sapiens2 usa mascaramento misto blockwise/patchwise (probabilidade em bloco 0,4) em um Proporção de máscara de 75% com tamanho de patch 16. Na resolução de 1024 × 768 (64 × 48 = 3.072 patches), isso mascara aproximadamente 2.304 patches por imagem, o que é suficiente para criar oclusões grosseiras que regularizam o MAE, preservando contexto suficiente para o objetivo contrastante.

Para estabilidade em escala, a arquitetura incorpora diversas melhorias: Norma RMS substituindo LayerNorm, Atenção de consulta agrupada (GQA) em blocos de profundidade média para maior rendimento, Norma QK para treinamento robusto de alta resolução e Feedforward SwiGLU camadas. O decodificador usa embaralhamento de pixels upsampling para raciocínio de subpixel. A resolução de saída do decodificador também foi aumentada de 0,5K para 1K para backbones básicose para 2K para backbones 4K.

Pós-treinamento: cinco tarefas humanas, 10× mais supervisão

Uma melhoria crítica em relação ao Sapiens original é a escala e a qualidade da supervisão de tarefas específicas. Em relação à primeira geração, o Sapiens2 dimensiona rótulos específicos de tarefas 10×normalmente atingindo cerca de 1 milhão de rótulos por tarefa. Após o pré-treinamento, o backbone é ajustado para cinco tarefas posteriores usando cabeçotes leves específicos para tarefas, deixando o backbone inalterado:

• Estimativa de pose: Um esqueleto de corpo inteiro de 308 pontos-chave com cobertura densa de face (243 pontos-chave) e mão (40 pontos-chave). A equipe de pesquisa anotou recentemente imagens in-the-wild de 100 mil para complementar os dados de captura de estúdio, melhorando significativamente a generalização.
• Segmentação por Parte do Corpo: 29 classes semânticas (ampliadas de 28 com a adição de óculos), treinadas com entropia cruzada ponderada por pixel combinada com perda de dados para limites mais nítidos.
• Estimativa de mapa de pontos: Em vez de prever a profundidade relativa, o Sapiens2 regride um mapa de pontos 3D por pixel P̂(u) ∈ ℝ³ no quadro da câmera — uma tarefa mais difícil que requer raciocínio sobre os intrínsecos da câmera.
• Estimativa Normal: Normais de unidade de superfície por pixel, decodificados usando várias camadas PixelShuffle para aumento da resolução sem artefatos.
• Estimativa de Albedo: Albedo difuso por pixel Â(u) ∈ [0,1]³, treinado exclusivamente com dados sintéticos de alta fidelidade e projetado para recuperar o tom real da pele e a cor da roupa sob iluminação variada.

Resultados

Os números são difíceis de contestar. No conjunto de teste de pose in-the-wild de 11K imagens, Sapiens2-5B atinge 82,3 mAP em comparação com 78,3 mAP para Sapiens-2B – um +4 mAP melhoria. Na segmentação por partes do corpo, mesmo o menor modelo, Sapiens2-0.4B, pontuação 79,5 mIoU (+21,3 acima do Sapiens-2B*), enquanto Sapiens2-5B atinge 82,5 milhões de UI – um +24,3 milhões de UI ganho em relação ao maior modelo da geração anterior. A variante 4K, Sapiens2-1B-4Kempurra ainda mais a segmentação para 81,9 milhões de UI e 92,0 mAccdemonstrando o benefício do raciocínio de alta resolução.

Na estimativa normal de superfície, Sapiens2-0.4B já atinge erro angular médio de 8,63°superando o DAViD-L de última geração anterior em 10,73°. O modelo 5B reduz isso ainda mais para 6,73°e a variante 4K atinge 6,98° com um erro angular médio de apenas 3,08°.

Para estimativa de albedo, Sapiens2-5B atinge MAE de 0,012 e PSNR de 32,61 dBcom melhoria consistente em todos os tamanhos de modelo. Na estimativa de mapa de pontos, todos os tamanhos de modelo Sapiens2 superam o MoGe, que anteriormente era o estado da arte para estimativa de geometria monocular.

Em avaliações de sondagem densa onde o backbone é congelado e apenas decodificadores leves são treinados com hiperparâmetros idênticos Sapiens2-5B ultrapassa todas as linhas de base em todas as tarefas, incluindo DINOv3-7B (parâmetros 6,71B), apesar de Sapiens2 ser um modelo especializado em humanos avaliado em relação a um backbone de uso geral com quase 1,5x seu tamanho.

---

 

📚 Leia Também no NeuralNet:

• 👉 Guia de Inteligência Artificial para Iniciantes
• 👉 Melhores Ferramentas de IA para Aumentar sua Produtividade
• 👉 Ética e Regulação de IA no Brasil: O Que Você Precisa Saber

⚠️ Aviso Importante: Este conteúdo é apenas para fins educacionais e informativos. Não constitui aconselhamento técnico, jurídico ou profissional. Tecnologias de IA evoluem rapidamente e podem apresentar limitações, vieses ou riscos. Sempre valide informações em fontes oficiais e use ferramentas de IA com responsabilidade e crítica.