Meta AI lança NeuralBench: uma estrutura unificada de código desimpedido para confrontar modelos NeuroAI em 36 tarefas de EEG e 94 conjuntos de dados | NeuralNet IA

🇧🇷 O Que Isso Significa para o Brasil?

Com o incremento do ecossistema de IA no país e discussões sobre regulação (PL 2338/2023), avanços em perceptibilidade sintético, machine learning e automação impactam diretamente profissionais, startups e empresas brasileiras. Fique sengo a:

• 🎓 Capacitação profissional: Demanda por habilidades em IA cresce 3x ao ano no mercado brasílio
• ⚖️ Marco Regulatório: Proposta de lei sobre IA pode afetar desenvolvimento e uso de ferramentas
• 🏢 Adoção empresarial: Setores porquê saúde, jurídico e financeiro lideram implementação de IA no Brasil

A avaliação de modelos de IA treinados em sinais cerebrais tem sido um tópico confuso e inconsistente. Diferentes grupos de pesquisa usam diferentes pipelines de pré-processamento, treinam modelos em diferentes conjuntos de dados e relatam resultados em um conjunto restrito de tarefas – tornando quase impossível saber qual padrão realmente funciona melhor ou para quê. Uma novidade estrutura da equipe Meta AI foi projetada para emendar isso.

Meta pesquisadores lançaram NeuralBench, uma estrutura unificada e de código desimpedido para estimar modelos de atividade cerebral de IA. Seu primeiro lançamento, NeuralBench-EEG v1.0é o maior benchmark desimpedido desse tipo: 36 tarefas downstream, 94 conjuntos de dados, 9.478 indivíduos, 13.603 horas de dados de eletroencefalografia (EEG) e 14 arquiteturas de aprendizagem profunda avaliadas em uma única interface padronizada.

O problema que o NeuralBench resolve

O campo mais extenso da NeuroAI, onde a aprendizagem profunda se encontra com a neurociência, explodiu nos últimos anos. Técnicas de aprendizagem auto-supervisionadas originalmente desenvolvidas para linguagem, fala e imagens estão agora sendo adaptadas para erigir modelos de instauração cerebral: modelos grandes pré-treinados em gravações cerebrais não rotuladas e ajustados para tarefas posteriores que vão desde a detecção clínica de convulsões até a decodificação do que uma pessoa está vendo ou ouvindo.

Mas o quadro da avaliação tem sido muito fragmentado. Os benchmarks existentes, porquê o MOABB, cobrem até 148 conjuntos de dados de interface cérebro-computador (BCI), mas limitam a avaliação a somente 5 tarefas posteriores. Outros esforços – EEG-Bench, EEG-FM-Bench, AdaBrain-Bench – são cada um limitados à sua maneira. Para modalidades porquê magnetoencefalografia (MEG) e sonância magnética funcional (fMRI), não existe nenhum benchmark sistemático.

O resultado – afirmações sobre os modelos fundamentais serem “generalizáveis” ou “fundacionais” muitas vezes baseiam-se em tarefas escolhidas a dedo, sem nenhum ponto de referência generalidade.

O que é NeuralBench?

NeuralBench é fundamentado em três pacotes principais do Python que formam um pipeline modular.

NeuralFetch lida com a obtenção de conjuntos de dados, extraindo dados selecionados de repositórios públicos, incluindo OpenNeuro, DANDI e NEMAR. NeuralSet prepara dados porquê dataloaders prontos para PyTorch, agrupando ferramentas de neurociência existentes porquê MNE-Python e nilearn para pré-processamento e HuggingFace para extrair incorporações de estímulos (para tarefas envolvendo imagens, fala ou texto). Trem Neural fornece código de treinamento modular construído em PyTorch-Lightning, Pydantic e o exca livraria de realização e cache.

Uma vez instalado através pip install neuralbencha estrutura é controlada por meio de uma interface de risca de comando (CLI). Executar uma tarefa é tão simples quanto três comandos: diminuir os dados, preparar o cache e executar. Cada tarefa é configurada por meio de um registo YAML ligeiro que especifica a manadeira de dados, divisões de treinamento/validação/teste, etapas de pré-processamento, processamento de sorte, hiperparâmetros de treinamento e métricas de avaliação.

O que o NeuralBench-EEG v1.0 cobre

A primeira versão concentra-se no EEG e abrange oito categorias de tarefas: decodificação cognitiva (imagem, frase, fala, digitação, vídeo e decodificação de palavras), interface cérebro-computador (BCI), respostas evocadas, tarefas clínicas, estado interno, dormir, fenotipageme variado.

Três classes de modelos são comparadas:

• Arquiteturas específicas de tarefas (Parâmetros de aproximadamente 1,5K – 4,2M, treinados do zero): ShallowFBCSPNet, Deep4Net, EEGNet, BDTCN, ATCNet, EEGConformer, SimpleConvTimeAgg e CTNet.
• Modelos básicos de EEG (parâmetros ~3,2M–157,1M, pré-treinados e ajustados): BENDR, LaBraM, BIOT, CBraMod, LUNA e REVE.
• Linhas de base de recursos artesanais: pipelines no estilo sklearn usando representações de matriz definida positiva simétrica (SPD) alimentadas em retorno logística ou Ridge.

Todos os modelos básicos são ajustados de ponta a ponta usando uma receita de treinamento compartilhada – otimizador AdamW, taxa de tirocínio de 10⁻⁴, redução de peso de 0,05, recozimento de cosseno com aquecimento de 10%, até 50 épocas com paragem antecipada (paciência = 10). A única exceção é o BENDR, para o qual a taxa de tirocínio é reduzida para 10⁻⁵ e o recorte de gradiente é aplicado em 0,5 para obter curvas de tirocínio estáveis. Caso contrário, essa padronização propositado remove truques de otimização específicos do padrão – porquê redução da taxa de aprendizagem em camadas, sondagem em dois estágios ou LoRA – para que a arquitetura e a metodologia de pré-treinamento sejam o que realmente são avaliados.

A subdivisão de dados é tratada de forma dissemelhante por tipo de tarefa para refletir as restrições de generalização do mundo real: divisões predefinidas são fornecidas pela equipe de pesquisa do conjunto de dados, deixar o concepção de fora para tarefas de decodificação cognitiva (todos os assuntos vistos no treinamento, mas um conjunto de estímulos mantidos usados ​​para teste), divisões entre assuntos para a maioria das tarefas clínicas e BCI e divisões dentro dos assuntos para conjuntos de dados com muito poucos participantes. Cada padrão é treinado três vezes por tarefa usando três sementes aleatórias diferentes.

As métricas de avaliação são padronizadas por tipo de tarefa: precisão balanceada para classificação binária e multiclasse, pontuação macro F1 para classificação multirrótulo, interdependência de Pearson para retorno e precisão top-5 para tarefas de recuperação. Todos os resultados são adicionalmente relatados porquê pontuações normalizadas (s̃), onde 0 corresponde ao desempenho de nível imaginário e 1 corresponde ao desempenho perfeito, permitindo comparações justas entre tarefas, independentemente da graduação métrica.

Uma reparo metodológica importante: alguns modelos básicos de EEG foram pré-treinados em conjuntos de dados que se sobrepõem aos conjuntos de avaliação downstream do NeuralBench. Em vez de descartar esses resultados, o benchmark os sinaliza com barras hash nos números dos resultados para que os leitores possam identificar possíveis vazamentos de dados pré-treinamento – nenhuma tendência potente sugerindo que o vazamento aumente o desempenho foi observada, mas a transparência é preservada.

O benchmark oferece duas variantes: NeuralBench-EEG-Core v1.0que usa um único conjunto de dados representativo por tarefa para ampla cobertura, e NeuralBench-EEG-Full v1.0que se expande para até 24 conjuntos de dados por tarefa para estudar a versatilidade dentro da tarefa em hardware de gravação, laboratórios e populações de indivíduos. Um τ de Kendall de 0,926 (p <0,001) entre as classificações Core e Full confirma que a versão Core é um proxy confiável – embora algumas posições do padrão mudem, incluindo CTNet ultrapassando LUNA quando mais conjuntos de dados são incluídos.

Constatação 1: Os modelos básicos superam somente marginalmente os modelos específicos de tarefas. Os modelos mais muito classificados em universal são REVE (69,2 milhões de parâmetros, classificação média normalizada 0,20), LaBraM (5,8 milhões, classificação 0,21) e LUNA (40,4 milhões, classificação 0,30). Mas vários modelos específicos de tarefas treinados do zero – CTNet (150K parâmetros, classificação 0,32), SimpleConvTimeAgg (4,2M, classificação 0,35) e Deep4Net (146K, classificação 0,43) – ficam logo detrás. Na verdade, o CTNet ultrapassa o padrão de base LUNA para permanecer em terceiro lugar na versão Full, apesar de ter tapume de 270 vezes menos parâmetros.

Isto mostra que a vazio entre os modelos específicos de tarefas e os modelos básicos é suficientemente estreita para que a expansão da cobertura do conjunto de dados por si só seja suficiente para modificar as classificações globais.

Constatação 2: Muitas tarefas permanecem genuinamente difíceis. As tarefas de decodificação cognitiva – restabelecer representações densas de imagens, fala, frases, vídeos ou palavras da atividade cerebral – são particularmente desafiadoras, mesmo com os melhores modelos pontuando muito aquém do teto. Tarefas porquê imagens mentais, excitação do sono, decodificação de psicopatologia e imagens motoras entre sujeitos e classificação P300 freqüentemente produzem desempenho próximo ao nível do manequim. Essas tarefas representam os melhores benchmarks para testar o estresse da próxima geração de modelos básicos de EEG.

As tarefas que se aproximam da saturação incluem classificação SSVEP, detecção de patologia, detecção de convulsões, classificação dos estágios do sono e tarefas de fenotipagem, porquê retorno de idade e classificação de sexo.

Além do EEG: MEG e fMRI

Mesmo nesta versão inicial focada em EEG, o NeuralBench já suporta tarefas de MEG e fMRI porquê prova de concepção. Notavelmente, o padrão REVE – pré-treinado exclusivamente em dados de EEG – alcança o melhor desempenho entre todos os modelos testados na tarefa de decodificação de digitação em MEG. Leste é um sinal inicial impressionante de que as representações pré-treinadas por EEG podem ser transferidas de forma significativa entre as modalidades de registro cerebral, uma hipótese que a estrutura está posicionada para testar rigorosamente em versões futuras.

A infraestrutura é explicitamente projetada para expansão para EEG intracraniano (iEEG), espectroscopia funcional no infravermelho próximo (fNIRS) e eletromiografia (EMG).

Porquê debutar

A instalação requer um único comando: pip install neuralbench. A partir daí, a realização da tarefa de classificação de estímulos audiovisuais no EEG fica assim:

neuralbench eeg audiovisual_stimulus --download   # Download data
neuralbench eeg audiovisual_stimulus --prepare    # Prepare cache
neuralbench eeg audiovisual_stimulus              # Run the task

Para executar todas as 36 tarefas em todos os 14 modelos de EEG, o -m all_classic all_fm flag cuida da orquestração. Os requisitos completos de armazenamento de benchmark são substanciais: aproximadamente 11 TB no totalidade (~3,2 TB de dados brutos, ~7,8 TB de cache pré-processado, ~333 GB de resultados registrados), com uma GPU de pelo menos 32 GB de VRAM por trabalho – embora o pico médio de uso da GPU medido nos experimentos seja de somente ~1,3 GB (sumo de ~30,3 GB).

A realização completa do NeuralBench-EEG-Full v1.0 requer aproximadamente 1.751 horas de GPU em 4.947 experimentos.

Principais conclusões

• O NeuralBench-EEG v1.0 da Meta AI é um benchmark de EEG desimpedido – 36 tarefas, 94 conjuntos de dados, 9.478 assuntos e 14 arquiteturas de aprendizagem profunda em uma interface padronizada.
• Apesar de até 270 vezes mais parâmetros, os modelos básicos de EEG, porquê o REVE, superam somente marginalmente os modelos leves e específicos para tarefas, porquê o CTNet (150 milénio parâmetros) em todo o benchmark.
• Tarefas de decodificação cognitiva (fala, vídeo, frase, decodificação de palavras da atividade cerebral) e previsões clínicas permanecem altamente desafiadoras, com a maioria dos modelos pontuando perto do nível imaginário.
• REVE, pré-treinado somente em dados de EEG, superou todos os modelos na decodificação de digitação MEG – um sinal precoce de transferência significativa entre modalidades.
• NeuralBench é licenciado pelo MIT.

📚 Leia Também no NeuralNet:

• 👉 Guia de Inteligência Artificial para Iniciantes
• 👉 Melhores Ferramentas de IA para Aumentar sua Produtividade
• 👉 Ética e Regulação de IA no Brasil: O Que Você Precisa Saber