O próximo gargalo da IA ​​não é o protótipo: é o sistema de inferência | NeuralNet IA

🇧🇷 O Que Isso Significa para o Brasil?

Com o propagação do ecossistema de IA no país e discussões sobre regulação (PL 2338/2023), avanços em perceptibilidade sintético, machine learning e automação impactam diretamente profissionais, startups e empresas brasileiras. Fique atilado a:

• 🎓 Capacitação profissional: Demanda por habilidades em IA cresce 3x ao ano no mercado brasílico
• ⚖️ Marco Regulatório: Proposta de lei sobre IA pode afetar desenvolvimento e uso de ferramentas
• 🏢 Adoção empresarial: Setores uma vez que saúde, jurídico e financeiro lideram implementação de IA no Brasil

Vamos conversar sobre algoTenho observado isso com frequência ao trabalhar com equipes de IA corporativa: quase sempre culpam o modelo quando algo dá errado. Isso é compreensível, mas também costuma ser incorreto e acaba sendo bastante custoso.

O cenário típico é o seguinte: os resultados são inconsistentes; quando alguém aponta o problema, a primeira reação é culpar o modelo. Isso pode exigir mais dados de treinamento, outra rodada de ajuste fino ou um modelo base diferente. Após semanas de trabalho, o problema permanece o mesmo ou mudou apenas ligeiramente. O problema real, frequentemente localizado na camada de recuperação, na janela de contexto ou na forma como as tarefas estavam sendo roteadas, nunca foi examinado.

Já vi isso acontecer tantas vezes que acredito que vale a pena escrever sobre o assunto.

O ajuste fino é útil, mas é usado em excesso.

Em muitos casos, ainda vale a pena fazer alguns ajustes. Se a adaptação de domínio, o alinhamento de tons ou a calibração de segurança forem necessários, isso deve fazer parte do fluxo de trabalho. Não estou dizendo que você não deva usá-los.

O problema é que essa é a resposta automática para qualquer problema, mesmo que não seja a ferramenta apropriada. Em parte, porque dá a sensação de ser algo produtivo. Você inicia um ajuste fino, algo claramente acontece e há um antes e um depois. Parece que você está resolvendo o problema quando, na verdade, não está.

Um exemplo disso é um sistema de análise de contratos que eu estava observando uma equipe depurando. Os resultados eram pouco confiáveis ​​para documentos complexos, e a ideia inicial era que o modelo carecia de raciocínio jurídico. Então, eles executaram várias iterações de ajuste. O problema persistiu. Eventualmente, alguém percebeu que a camada de recuperação estava realizando as mesmas buscas várias vezes e adicionando-as à janela de contexto. O modelo estava tentando processar uma grande quantidade de texto de baixo valor que se repetia constantemente. Eles ajustaram a classificação de recuperação e introduziram compressão de contexto, e o sistema acabou ficando muito melhor. 

O modelo em si nunca foi alterado. E isso é algo bastante comum.

O que acontece no momento da inferência?

Durante muito tempo, a inferência era apenas a etapa em que você usava o modelo. O treinamento era onde todas as decisões interessantes aconteciam. Isso está mudando agora.

Uma das razões para isso é que alguns modelos começaram a alocar mais poder computacional para a geração, em vez de incorporá-lo ao processo de treinamento. Outro fator foi que pesquisas demonstraram que comportamentos como autoverificação ou reescrita de uma resposta podem ser aprendidos por meio de aprendizado por reforço. Ambos apontaram para a própria inferência como uma área onde o desempenho poderia ser aprimorado.

O que vejo agora é que as equipes de engenharia estão começando a tratar a inferência como algo que pode ser projetado em torno dela, em vez de apenas uma etapa fixa que se aceita sem questionamento. Quanta profundidade de raciocínio essa tarefa exige? Como a memória está sendo gerenciada? Como a recuperação de informações está sendo priorizada? Essas estão se tornando questões reais, em vez de configurações padrão que você simplesmente ignora. 

O problema de alocação de recursos

O que muitas vezes é subestimado é que a maioria dos sistemas de IA utiliza uma abordagem uniforme para todas as suas consultas. Uma simples pergunta sobre o status de uma conta segue o mesmo processo que um processo de conformidade em várias etapas, com informações a serem conciliadas em diversos documentos conflitantes. O custo é o mesmo, o processo é o mesmo, o poder computacional é o mesmo.

Isso não parece fazer muito sentido quando paramos para pensar. Em todas as outras aplicações de engenharia, os recursos seriam alocados com base no trabalho necessário. Algumas equipes estão começando a fazer isso com IA, transferindo inferências mais simples para cargas de trabalho mais leves e direcionando o poder computacional maior para tarefas que realmente o exigem. A relação custo-benefício melhora e a qualidade das tarefas mais complexas também, já que não há mais subutilização de recursos.

Esses sistemas são mais complexos do que as pessoas imaginam.

Ao analisar um sistema de IA em produção atualmente, geralmente não se trata apenas de um modelo respondendo a perguntas. Frequentemente, ele é acompanhado por uma etapa de recuperação, uma etapa de classificação, possivelmente uma etapa de verificação e uma etapa de sumarização; várias etapas em conjunto para gerar o resultado final. Não se trata apenas da capacidade do modelo subjacente, mas também de como todas essas peças se encaixam para produzir o resultado.

Se o mecanismo de classificação de recuperação não estiver devidamente calibrado, produzirá resultados semelhantes a erros de modelo. Uma janela de contexto que pode crescer sem restrições afetará sutilmente a qualidade do raciocínio, mas nada obviamente falhará. Esses são problemas de sistema, não de modelo, e precisam ser abordados com pensamento sistêmico.

Um exemplo prático desse tipo de raciocínio é a decodificação especulativa. O conceito é que um modelo menor gera saídas candidatas, e um modelo maior as verifica. Inicialmente, isso surgiu como uma otimização de latência, mas na verdade é um exemplo de distribuição do raciocínio entre múltiplos componentes, em vez de esperar que um único modelo faça tudo. Duas equipes usando o mesmo modelo base, mas arquiteturas de inferência diferentes, podem obter resultados bastante distintos em produção.

A memória está se tornando um problema real.

Janelas de contexto maiores têm sido úteis, mas, a partir de certo ponto, mais contexto não melhora o raciocínio; pelo contrário, o degrada. A recuperação de informações torna-se mais ruidosa, o modelo rastreia com menos eficácia e os custos de inferência aumentam. As equipes que executam IA em larga escala estão investindo tempo real em recursos como atenção paginada e compressão de contexto, que não são empolgantes de se discutir, mas são extremamente importantes na prática. 

A ideia é ter o contexto certo, mas não em excesso, e que ele seja bem administrado.

Remover

A seleção do modelo importa menos do que antes. Modelos básicos robustos estão agora disponíveis em diversos fornecedores, e as lacunas de capacidade diminuíram para a maioria dos casos de uso. O que realmente determina o sucesso de uma implementação é a infraestrutura em torno do modelo, como a recuperação de dados é otimizada, como o poder computacional é alocado e como o sistema lida com casos extremos ao longo do tempo. 

As equipes que estarão em uma boa posição daqui a alguns anos são aquelas que tratam a arquitetura de inferência como algo que vale a pena projetar com cuidado, em vez de presumir que um modelo suficientemente bom resolverá todo o resto. Na minha experiência, geralmente não resolve.

📚 Leia Também no NeuralNet:

• 👉 Guia de Inteligência Artificial para Iniciantes
• 👉 Melhores Ferramentas de IA para Aumentar sua Produtividade
• 👉 Ética e Regulação de IA no Brasil: O Que Você Precisa Saber

⚠️ Aviso Importante: Oriente teor é unicamente para fins educacionais e informativos. Não constitui aconselhamento técnico, jurídico ou profissional. Tecnologias de IA evoluem rapidamente e podem apresentar limitações, vieses ou riscos. Sempre valide informações em fontes oficiais e use ferramentas de IA com responsabilidade e sátira.