Quando as equações diferenciais encontram as redes neurais: a ascensão dos CDEs neurais

Em nossa sessão do clube do jornal em 19 de julho de 2024, discutimos o artigo”Equações diferenciais controladas por neurônios para séries temporais irregulares“de Kidger et al. Este artigo é baseado nessa discussão.

Equações diferenciais e redes neurais representam dois paradigmas dominantes na modelagem matemática. Embora as equações diferenciais tenham sido a base da modelagem de sistemas dinâmicos em física, engenharia e outras ciências, as redes neurais revolucionaram o aprendizado de máquina e a inteligência artificial. Em 2018, pesquisadores propuseram uma fusão intrigante dessas abordagens por meio de Equações Diferenciais Ordinárias Neurais (ODEs Neurais) [1], que definem a evolução de estados ocultos por meio de equações diferenciais ordinárias parametrizadas por redes neurais, reimaginando a computação neural como um fluxo contínuo em vez de uma sequência de transformações discretas.

No entanto, em ODEs neurais, a dimensão do tempo serve apenas como um detalhe interno do modelo, sem conexão direta com dados sequenciais. Simplesmente alinhar esse tempo interno com a ordenação natural dos dados sequenciais não é simples, pois a solução para uma ODE é determinada inteiramente por sua condição inicial, sem nenhum mecanismo para ajustar a trajetória com base nas observações subsequentes. Essa limitação levou ao desenvolvimento de Equações Diferenciais Controladas por Neurais (CDEs neurais) [2] em 2020.

Os CDEs neurais podem ser considerados o análogo de tempo contínuo das redes neurais recorrentes (RNNs). Enquanto os RNNs processam dados sequenciais em etapas discretas, atualizando seu estado oculto a cada nova entrada, os CDEs neurais permitem a evolução contínua do estado oculto, onde a evolução é influenciada não apenas por sua condição inicial, mas também pelos dados recebidos, por meio de um caminho contínuo derivado da entrada. É importante observar que os ODEs e CDEs neurais diferem fundamentalmente das redes neurais informadas pela física (PINNs). Enquanto os PINNs incorporam equações diferenciais ao processo de treinamento, incorporando-as à função de perda, os ODEs e CDEs neurais introduzem equações diferenciais na evolução real da própria rede neural.

O que torna os CDEs neurais particularmente poderosos é sua capacidade de lidar com dados de séries temporais com amostragem irregular e parcialmente observados — um desafio comum em aplicações do mundo real, como saúde, onde as medições podem ser feitas em intervalos irregulares e algumas variáveis podem estar ausentes. O modelo funciona convertendo observações discretas em um caminho contínuo usando interpolação e, em seguida, usando esse caminho para controlar a evolução do estado oculto do sistema. Beneficiando-se do treinamento com eficiência de memória por meio da retropropagação baseada em conjuntos, os CDEs neurais mostraram um forte desempenho em tarefas que vão desde a previsão de séries temporais até a classificação.

Naturalmente, essas vantagens vêm com algumas vantagens e desvantagens. Os CDEs neurais tendem a ser computacionalmente mais lentos do que os RNNs tradicionais e podem exigir uma análise cuidadosa em seu projeto de arquitetura para gerenciar o número de parâmetros. Apesar dessas limitações, elas representam um avanço significativo ao reunir equações diferenciais clássicas e abordagens modernas de aprendizado profundo, oferecendo novas possibilidades para modelar sistemas dinâmicos em aprendizado de máquina.

Referências:
[1] Chen RTQ, Rubanova Y, Bettencourt J, Duvenaud D. Equações diferenciais ordinárias neurais. Adv Neural Inf Process Syst. 2018; 31:6571-83.
[2] Kidger P, Morrill J, Foster J, Lyons T. Equações diferenciais controladas por neurônios para séries temporais irregulares. Adv Neural Inf Process Syst. 2020; 33:6696-707.