Qwen Lança FlashQLA com 3x Desempenho!

🇧🇷 O Que Isso Significa para o Brasil?

Com o crescimento do ecossistema de IA no país e discussões sobre regulação (PL 2338/2023), avanços em inteligência artificial, machine learning e automação impactam diretamente profissionais, startups e empresas brasileiras. Fique atento a:

• 🎓 Capacitação profissional: Demanda por habilidades em IA cresce 3x ao ano no mercado brasileiro
• ⚖️ Marco Regulatório: Proposta de lei sobre IA pode afetar desenvolvimento e uso de ferramentas
• 🏢 Adoção empresarial: Setores como saúde, jurídico e financeiro lideram implementação de IA no Brasil

A corrida para tornar grandes modelos de linguagem mais rápidos e baratos de executar tem sido travada em grande parte em dois níveis: a arquitetura do modelo e o hardware. Mas há uma terceira fronteira, muitas vezes subestimada – o kernel da GPU. Um kernel é a rotina computacional de baixo nível que realmente executa uma operação matemática na GPU. Escrever um bom requer compreender não apenas a matemática, mas também o layout exato da memória, o agendamento de instruções e as peculiaridades de hardware do chip que você está almejando. A maioria dos profissionais de ML nunca escreve kernels diretamente; eles contam com bibliotecas como Flash Attention ou Triton para fazer isso por eles.

Encontrar QLA do Flash: uma contribuição do QwenLM para esta camada. Lançado sob a licença MIT e construído com base no Tile Lang estrutura do compilador, é uma biblioteca de kernel de atenção linear de alto desempenho otimizada especificamente para o mecanismo de atenção Gated Delta Network (GDN) – a arquitetura de atenção linear que alimenta as famílias de modelos Qwen3.5 e Qwen3.6.

O que é atenção linear e por que isso é importante?

Para entender o que o FlashQLA resolve, é útil entender quanto custa a atenção padrão do softmax. Em um Transformer convencional, o mecanismo de atenção tem complexidade O(n²) — o que significa que duplicar o comprimento da sequência quadruplica o cálculo. Esse é o gargalo fundamental que torna caro o processamento de documentos longos, arquivos de código longos ou conversas longas.

A atenção linear substitui o softmax por uma formulação que o reduz à complexidade O(n), tornando-o escalonado muito mais favoravelmente com o comprimento da sequência. A Gated Delta Network (GDN) é um desses mecanismos de atenção linear e foi integrada à arquitetura de modelo híbrido de Qwen, onde as camadas GDN se alternam com camadas padrão de atenção total. Este design híbrido tenta obter o melhor dos dois mundos: a expressividade da atenção plena onde ela é mais necessária e a eficiência da atenção linear em todos os outros lugares.

A GDN usa o que é chamado de formulação “fechada” – ela aplica uma porta de decaimento exponencial para controlar quanto contexto passado é transportado. Essa porta é a chave para como o FlashQLA obtém ganhos de desempenho.

O problema com os kernels existentes

Antes do FlashQLA, a implementação padrão para operações GDN vinha da biblioteca Flash Linear Attention (FLA), que usa kernels Triton – Triton sendo a linguagem de programação de GPU baseada em Python da OpenAI. Embora o Triton torne a criação de kernel mais acessível, ele traz vantagens: os kernels que ele produz nem sempre são programados de maneira ideal para hardware específico, especialmente na arquitetura Hopper da NVIDIA (geração de GPU H100 e H200).

A arquitetura Hopper introduziu novos recursos, como operações Tensor Core em nível de grupo de warp e pipelines de dados assíncronos que o Triton nem sempre consegue explorar em todo o seu potencial. Esta é a lacuna que o FlashQLA foi projetado para preencher.

O que o FlashQLA faz de diferente

FlashQLA aplica fusão de operadores e otimização de desempenho tanto para a passagem para frente (usada durante inferência e treinamento) quanto para a passagem para trás (usada durante o treinamento para cálculo de gradiente) do GDN Chunked Prefill. O resultado é um 2–3× aceleração em passes para frente e um 2× aceleração em passes para trás em comparação com o kernel FLA Triton em vários cenários em GPUs NVIDIA Hopper.

Três inovações técnicas impulsionam esses ganhos:

1. Paralelismo de contexto intra-placa automático orientado por portão: Paralelismo de contexto (CP) refere-se à divisão de uma longa sequência em várias unidades de processamento para que possam trabalhar em diferentes partes simultaneamente. FlashQLA explora a propriedade de decaimento exponencial da porta GDN para tornar essa divisão matematicamente válida – porque a decadência da porta significa que tokens distantes em uma sequência têm influência decrescente uns sobre os outros. Isso permite que o FlashQLA ative automaticamente o CP intra-placa sob configurações de paralelismo de tensor (TP), sequência longa e contagem pequena, melhorando a utilização do multiprocessador de streaming de GPU (SM) sem exigir configuração manual.

2. Reformulação algébrica amigável ao hardware: FlashQLA reformula, até certo ponto, o cálculo matemático dos fluxos de avanço e retrocesso do GDN Chunked Prefill para reduzir a sobrecarga em três tipos de unidades de hardware de GPU: Tensor Cores (que lidam com multiplicações de matrizes), CUDA Cores (que lidam com operações escalares e vetoriais) e a Special Function Unit (SFU, que lida com operações como exponenciais e raízes quadradas). Criticamente, isso é feito sem sacrificar a precisão numérica – uma garantia importante quando a reformulação está sendo usada para treinamento de modelos.

3. Kernels especializados em warp fundidos TileLang: em vez de decompor a computação em kernels sequenciais independentes (muito lentos) ou fundir tudo em um único kernel monolítico (muito rígido para otimizar), o FlashQLA segue um caminho intermediário. Ele usa TileLang para construir vários kernels fundidos e implementa manualmente a especialização de warpgroup – uma técnica que atribui diferentes warpgroups (grupos de 128 threads no Hopper) a funções especializadas, como um warpgroup movendo dados da memória global para a memória compartilhada enquanto outro executa simultaneamente multiplicações de matrizes Tensor Core. Essa sobreposição de movimentação de dados, computação do Tensor Core e computação CUDA Core é o que permite que o FlashQLA se aproxime do pico teórico de rendimento do hardware.

Referências

FlashQLA foi comparado com duas linhas de base: o kernel FLA Triton (versão 0.5.0, Triton 3.5.1) e FlashInfer (versão 0.6.9), usando TileLang 0.1.8, em GPUs NVIDIA H200. Os benchmarks usaram as configurações de cabeçote das famílias de modelos Qwen3.5 e Qwen3.6, com dimensões de cabeçote h_v ∈ 64, 48, 32, 24, 16, 8, correspondendo às configurações de paralelismo tensorial de TP1 a TP8.

Os benchmarks forward (FWD) medem a latência de kernel único para diferentes modelos e configurações de TP em vários comprimentos de lote. Os benchmarks retroativos (BWD) examinam a relação entre a contagem total de tokens em um lote e a latência durante uma única etapa de atualização.

Principais conclusões

• FlashQLA é uma biblioteca de kernel de atenção linear de alto desempenho construído pela equipe Qwen no TileLang, otimizado especificamente para passes para frente e para trás Chunked Prefill da Gated Delta Network (GDN).
• Ele atinge 2–3× aceleração para frente e 2× para trás sobre o kernel FLA Triton em vários cenários em GPUs NVIDIA Hopper (SM90+), com ganhos de eficiência mais pronunciados no pré-treinamento e na inferência de agentes na borda.
• Três inovações principais impulsionam os ganhos de desempenho: paralelismo de contexto intra-placa automático acionado por gate, reformulação algébrica amigável ao hardware que reduz a sobrecarga do Tensor Core, CUDA Core e SFU sem perder a precisão numérica e TileLang fundiu kernels especializados em warp que se sobrepõem à movimentação de dados, à computação do Tensor Core e à computação do CUDA Core.
• GDN é um mecanismo de atenção linear com complexidade O(n)usado na arquitetura de modelo híbrido do Qwen junto com camadas padrão de atenção total — tornando os kernels GDN eficientes essenciais para treinamento e inferência de contexto longo em escala.
• FlashQLA é de código aberto sob a licença MIT e requer SM90 ou superior, CUDA 12.8+ e PyTorch 2.8+, com uma instalação simples de pip e APIs Python de alto e baixo nível disponíveis para integração.

---

 

📚 Leia Também no NeuralNet:

• 👉 Guia de Inteligência Artificial para Iniciantes
• 👉 Melhores Ferramentas de IA para Aumentar sua Produtividade
• 👉 Ética e Regulação de IA no Brasil: O Que Você Precisa Saber

⚠️ Aviso Importante: Este conteúdo é apenas para fins educacionais e informativos. Não constitui aconselhamento técnico, jurídico ou profissional. Tecnologias de IA evoluem rapidamente e podem apresentar limitações, vieses ou riscos. Sempre valide informações em fontes oficiais e use ferramentas de IA com responsabilidade e crítica.