Sessões de clube de papel: NavGPT - Raciocínio explícito na navegação de visão e linguagem com grandes modelos de linguagem

Grandes modelos de linguagem (LLMs), como o GPT-4, mostraram habilidades notáveis de raciocínio e integração de conhecimento em vários domínios. Embora esses modelos sejam excelentes em lidar com texto, aplicativos que vão além do texto, como obter dados sensoriais, como imagens, para concluir tarefas como navegação, continuam sendo uma fronteira. No jornal “NavGPT: raciocínio explícito na navegação por visão e linguagem com grandes modelos de linguagem” [1], discutido recentemente em nossa sessão do Paper Club, pesquisadores da Universidade de Adelaide e da Australian National University apresentam o NavGPT, um sistema que aproveita os recursos de raciocínio dos LLMs para navegar em ambientes com base em instruções de linguagem natural sem nenhum treinamento específico para tarefas.

As abordagens atuais de navegação por visão e linguagem (VLN) geralmente dependem de aprendizado supervisionado e arquiteturas especializadas treinadas em conjuntos de dados de navegação. Um dos benchmarks de VLN mais proeminentes é o Sala a sala (R2R) [2] desafio, em que um agente deve navegar por ambientes internos seguindo instruções em linguagem natural, como “Saia do quarto, vire à direita no final do corredor e pare na terceira porta à sua esquerda”. Embora os métodos atuais sejam eficazes, eles geralmente lutam com a generalização para ambientes invisíveis e instruções complexas. Enquanto isso, os LLMs, apesar de seu amplo conhecimento e capacidade de raciocínio, enfrentam desafios no processamento direto de informações visuais e na manutenção da consciência espacial. As tentativas anteriores de integrar LLMs à navegação limitaram principalmente seu papel à análise de instruções ou ao fornecimento de conhecimento de bom senso, em vez de controlar diretamente as decisões de navegação.

O NavGPT aborda esses desafios por meio de uma nova arquitetura que une a percepção visual e a compreensão da linguagem. Conforme mostrado na Figura 2, o sistema consiste em quatro componentes principais: Modelos de base visual que convertem cenas em descrições textuais usando BLIP-2 e modelos de detecção de objetos, um Buffer de histórico que mantém o contexto de navegação, um Gerenciador de solicitações que coordena todos os fluxos de informação, e o Princípio do sistema de navegação que serve como tomador de decisões, formulando o comportamento do LLM como agente de VLN. Os Modelos de Base Visual processam o ambiente a partir de oito direções diferentes e três níveis de elevação para criar descrições de cenas abrangentes. Essas descrições, junto com o histórico de navegação e as regras do sistema, são organizadas pelo Prompt Manager em entradas estruturadas para o LLM. Em cada etapa, o GPT-4 raciocina explicitamente sobre o ambiente e escolhe ações, enquanto o History Buffer mantém um registro de observações, ações e raciocínios para o contexto. O que torna o NavGPT único é sua capacidade de dividir instruções complexas em subobjetivos, integrar o conhecimento do senso comum e ajustar planos com base em observações inesperadas, ao mesmo tempo em que torna seu processo de raciocínio explícito e interpretável.

Os resultados experimentais revelam tanto a promessa quanto as limitações dessa abordagem. Embora o NavGPT demonstre capacidades de raciocínio impressionantes, alcançando uma taxa de sucesso de 34% em tarefas de navegação zero, ele ainda está aquém dos métodos supervisionados que alcançam mais de 60% de taxas de sucesso. O sistema mostra uma força especial em tarefas complexas de raciocínio, como detalhar instruções em várias etapas e lidar com situações inesperadas. No entanto, ele enfrenta a perda de informações durante a conversão de visual em texto e mantém uma consciência ambiental detalhada ao longo de longas trajetórias.

Este trabalho abre direções empolgantes para pesquisas futuras em IA incorporada. Embora o desempenho atual ainda não corresponda aos modelos especializados, o NavGPT demonstra que os LLMs podem realizar raciocínios de navegação sofisticados sem treinamento específico para tarefas. Os autores sugerem que trabalhos futuros possam se concentrar no desenvolvimento de LLMs multimodais especificamente para navegação ou na criação de sistemas híbridos que combinem o planejamento de alto nível dos LLMs com o controle preciso de modelos especializados.

Observações finais

O artigo propõe uma nova abordagem para aplicar LLMs em tarefas de navegação, que pode ser vista como os primeiros passos para perceber o potencial do uso de LLMs para tarefas incorporadas. O trabalho destacou a importância de os LLMs terem um bom contexto da tarefa e do ambiente relevantes, o que pode faltar em abordagens mais ingênuas. Com relação ao uso de LLMs para tarefas incorporadas, a proposta de criar e usar um gráfico de navegação demonstrou uma interessante abstração de ambientes complexos em uma estrutura simples, que tem o potencial de funcionar para tais tarefas. Talvez o mesmo se aplique a agentes em lugares completamente desconhecidos (por exemplo, usando um mecanismo de atualização de um gráfico durante a exploração), mas o uso de tais abstrações também limita a forma como o agente interagiria com o ambiente.

Há algumas questões em aberto, nas quais achamos que vale a pena pensar:

• E quanto às capacidades de visão dos modelos LLM, como o GPT-4o? Eles poderiam substituir o BLIP-2 como descritor de imagem? Acho que os recursos atuais dos LLMs integrados à visão disponíveis devem ser suficientes para gerar boas descrições, mas seria interessante verificar se isso é verdade.
• As métricas atuais do VLN são suficientes para avaliar abordagens baseadas em raciocínio? Como avaliar a qualidade dos traços de raciocínio gerados? As métricas de avaliação atuais no VLN são centradas no objetivo e talvez seja interessante (não apenas para o VLN, mas para tarefas gerais de LLM) ter algumas métricas relacionadas à qualidade do raciocínio (ou outros aspectos, como criatividade, por exemplo).
• Como abordagens semelhantes às do artigo poderiam ser estendidas para lidar com ambientes dinâmicos? Os experimentos atuais mostram capacidades em tempo e espaço discretos e, dado o tamanho atual dos LLMs e o tempo necessários para processar um único prompt, ainda é um desafio considerar o uso de sistemas semelhantes em ambientes que mudam com o tempo, ou que o agente deva interagir com outros agentes no mesmo espaço, como um robô baseado em LLM em uma fábrica compartilhando espaço com outros robôs e humanos.
• Uma compreensão de imagens baseada em “Computação Gráfica Inversa” seria uma forma de melhorar os resultados na compreensão de imagens para tarefas incorporadas? Esse é um pouco estranho, mas acho que se pudéssemos construir um modelo de visão que tentasse replicar a forma como objetos reais existem em uma imagem, um raciocínio melhor poderia ser derivado, especialmente em relação a como os objetos interagem ou possíveis oclusões ou interferências. A ideia é semelhante à Computação Gráfica Inversa que Sabour e Hinton propuseram. Redes de cápsulas [3]. Embora nenhuma aplicação real ou bons resultados tenham sido alcançados pela Capsule Networks, ainda acho que uma abordagem semelhante poderia levar a uma melhor compreensão real dos modelos de IA.

‍

Referências

[1] Zhou, Gengze, Yicong Hong e Qi Wu. “Navgpt: raciocínio explícito na navegação por visão e linguagem com grandes modelos de linguagem.” Anais da Conferência AAAI sobre Inteligência Artificial. Volume 38. Nº 7. 2024. Disponível em: https://arxiv.org/pdf/2305.16986 

[2] Anderson, Peter et al. “Navegação por visão e idioma: interpretando instruções de navegação visualmente fundamentadas em ambientes reais.” Anais da conferência do IEEE sobre visão computacional e reconhecimento de padrões. 2018. Disponível em: https://bringmeaspoon.org/ 

[3] Sabour, Sara, Nicholas Frosst e Geoffrey E. Hinton. “Roteamento dinâmico entre cápsulas.” Avanços nos sistemas de processamento de informações neurais 30 (2017). Disponível em: https://arxiv.org/abs/1710.09829