[Sessões do clube de papel] Grandes modelos conceituais: modelagem de linguagem em um espaço de representação de frases

No campo em rápida evolução da inteligência artificial, os modelos de linguagem grande (LLMs) se tornaram a abordagem dominante para tarefas de processamento de linguagem natural. No entanto, eles normalmente operam no nível do token, o que não reflete a forma como os humanos processam as informações em vários níveis de abstração. No jornal “Modelos de grandes conceitos: modelagem de linguagem em um espaço de representação de frases” [1], pesquisadores da FAIR at Meta apresentam uma nova arquitetura que opera em uma representação semântica explícita de alto nível que eles chamam de “conceito”. Essa abordagem vai além do processamento em nível de token para modelar a linguagem no nível da frase, aproveitando o espaço de incorporação do SONAR que suporta até 200 idiomas nas modalidades de texto e fala.

‍

‍

Os atuais LLMs de última geração, como Llama, Mistral, Bloom, Gemini, GPT e Claude, compartilham uma arquitetura subjacente semelhante: são modelos de linguagem baseados em transformadores e somente decodificadores, pré-treinados para prever o próximo token, considerando um longo contexto de tokens anteriores. Apesar de suas capacidades impressionantes, esses modelos perdem uma característica crucial da inteligência humana: raciocínio explícito e planejamento em vários níveis de abstração. Os humanos normalmente processam as informações hierarquicamente, começando com uma estrutura de alto nível antes de adicionar detalhes. Além disso, os LLMs atuais enfrentam desafios com contextos longos devido à complexidade quadrática da atenção do transformador e exigem esforços substanciais de dados e engenharia para oferecer suporte a vários idiomas e modalidades.

‍

Figura 1: Esquerda: visualização do raciocínio em um espaço de incorporação de conceitos (tarefa de resumir). À direita: arquitetura fundamental de um modelo de grande conceito (LCM). [1]

‍

O Large Concept Model (LCM) aborda essas limitações por meio de uma abordagem fundamentalmente diferente. Conforme mostrado em FIGURA 1, a entrada é primeiro segmentada em frases, cada uma codificada com o SONAR para criar uma sequência de incorporações de conceitos. Essa sequência é então processada pelo LCM para gerar novos conceitos incorporados, que são finalmente decodificados no texto de saída. Os pesquisadores exploraram várias arquiteturas, incluindo regressão direta de MSE (base-LCM), abordagens baseadas em difusão (LCM de uma e duas torres) e modelos baseados em quantização (Quant-LCM). A principal vantagem dessa abordagem é que o LCM opera em um espaço independente de linguagem e modalidade, permitindo que ele raciocine em um nível puramente semântico sem estar vinculado a nenhum idioma específico. Além disso, a mesma sequência de conceitos pode ser decodificada em diferentes linguagens sem repetir o processo de raciocínio.

‍

Figura 2: Pontuações Rouge-L no XLSum para desempenho multilíngue [1].

‍

Os resultados experimentais demonstram o potencial dessa abordagem. Os pesquisadores testaram inicialmente diferentes variantes do LCM com parâmetros de 1,6 B antes de escalar a arquitetura mais promissora para 7 B de parâmetros. Os modelos foram avaliados em várias tarefas generativas, incluindo sumarização e uma nova tarefa chamada expansão resumida. FIGURA 2 mostra um dos resultados mais impressionantes: a generalização zero do LCM para vários idiomas, onde ele supera o Llama-3.1-8b-IT em inglês e alcança um forte desempenho em vários idiomas com poucos recursos, como pashto, birmanês e hausa, sem nenhum treinamento específico em um idioma. Além disso, FIGURA 3 ilustra como a eficiência de inferência do LCM aumenta melhor do que os LLMs tradicionais à medida que o comprimento do contexto aumenta, devido à operação em sequências que são pelo menos uma ordem de magnitude mais curtas.

‍

Figura 3: Eficiência de inferência teórica de LCMs em comparação com LLMs. Somente frases extremamente curtas (≤10 tokens) favorecem os LLMs. [1]

Esse trabalho representa um passo significativo em direção a sistemas de IA mais versáteis, eficientes e multilíngues. Embora as implementações atuais ainda não correspondam ao desempenho de modelos especializados em todas as tarefas, a arquitetura LCM demonstra recursos promissores, particularmente na generalização zero entre linguagens e no tratamento de documentos longos. Os pesquisadores abriram seu código de treinamento para promover uma maior exploração nessa direção. Trabalhos futuros poderiam se concentrar no desenvolvimento de espaços de incorporação mais otimizados, projetados especificamente para modelagem de conceitos, estendendo a abordagem a modalidades adicionais e explorando níveis mais altos de abstração além das frases. À medida que o campo continua evoluindo, os modelos de grandes conceitos oferecem um caminho alternativo intrigante para o paradigma atual baseado em tokens.

‍

Observações finais

Na minha opinião, o artigo representa um passo ousado e inovador para repensar os modelos de linguagem. Ao passar da geração em nível de token para uma abordagem baseada em conceitos em nível de frase, ela abre as portas para um raciocínio mais eficiente e potencialmente mais humano. A ideia de operar em um espaço semântico compartilhado não apenas melhora a generalização multilíngue, mas também sugere um melhor tratamento de contexto longo.

No entanto, há vantagens e desvantagens claras: gerar texto por meio de incorporações intermediárias às vezes pode comprometer a fluência e os detalhes, e a escolha de usar uma frase como o “conceito” fundamental pode simplificar demais as ideias complexas.

No geral, embora a abordagem seja promissora e possa inspirar uma nova classe de modelos hierárquicos e multimodais, são necessários mais refinamentos e avaliações mais amplas antes que ela possa ser vista como uma alternativa completa aos modelos atuais baseados em tokens.

‍

Aqui estão algumas questões abertas que vale a pena explorar:

• Granularidade ideal do conceito:
  Tratar cada frase como um único “conceito” é a melhor abordagem? Seria mais eficaz usar unidades mais finas (cláusulas) ou mais grosseiras (parágrafos), ou até mesmo uma estratégia de segmentação dinâmica que se adapte ao conteúdo?
  
  
• Arquiteturas híbridas:
  A combinação do raciocínio em nível de conceito com o refinamento em nível de token forneceria o melhor dos dois mundos — capturando o planejamento de alto nível e preservando a fluência e a precisão detalhadas?
  
  
• Extensões multimodais e multilíngues:
  Até que ponto uma abordagem baseada em conceitos pode se generalizar para outras modalidades (como imagens ou áudio) ou funcionar em ainda mais idiomas? Quais modificações podem ser necessárias para lidar com essa diversidade de forma eficaz?

‍

Referências:

[1] Barrault, L., Duquenne, P. A., Elbayad, M., Kozhevnikov, A., Alastruey, B., Andrews, P.,... e Schwenk, H. (2024). Modelos de grandes conceitos: modelagem de linguagem em um espaço de representação de frases. Impressões eletrônicas arXiv, ArXiv-2412. Disponível em: https://arxiv.org/pdf/2412.08821

‍