Desafios na navegação em um espaço 2D usando os recursos de imagem de LLMs multimodais

No contexto de nossa pesquisa sobre consciência incorporada, tentamos criar um sistema de navegação em um ambiente simulado, inteiramente baseado em LLMs, de modo a avaliar para quais tarefas eles poderiam ser usados e em que medida. Selecionamos esse ambiente como um mundo simulado, com liberdade suficiente para planejar, capacidade de tomar decisões e com a possibilidade de morte pairando sobre a criatura (por meio de um perigo, conforme detalhado abaixo). Como no mundo real, queríamos que as ações tivessem consequências. Como será mais elaborado aqui, os experimentos indicam dois obstáculos principais no uso de LLMs para esse tipo de tarefa:

1. Posicionalidade (a capacidade do Vision-LMS de entender a posição relativa dos objetos no ambiente)
2. A falta de um “senso de identidade”. Simplificando: o LLM não conseguia se ver como o agente em questão.

Esses são desafios claros que tentamos resolver com a criação de uma espécie de “córtex visual” e um sistema de memória artificial, para cada um dos respectivos problemas. Ainda assim, são obstáculos relevantes para que os LLMs tenham um bom desempenho em casos de incorporação, pelo menos quando se trata de sistemas inteiramente baseado em LLMs.

Multimodalidade e composicionalidade

Sabe-se que LLMs como o GPT, mesmo que sejam comercializados como multimodais, não são totalmente multimodais. Há uma forte preferência por dados de texto (afinal de contas, está no nome: Grande Idioma Modelos) e outras integrações geralmente são adicionadas após o fato. As imagens, por exemplo, são traduzidas em texto por meio de mecanismos semelhantes aos modelos de descrição de imagens, cujo resultado é então devolvido ao modelo para inferência. Esse mecanismo é semelhante ao que nós humanos fazemos quando tentamos falar sobre uma cena, mas carece de uma etapa crucial: a criação e manutenção de um modelo mundial interno.

Os humanos processam estímulos visuais por meio de canais verbais e não verbais, criando um modelo de mundo interno que é então traduzido em linguagem para comunicação com o mundo exterior. O mecanismo adicional de um modelo mundial nos permite entender algo que nem sempre é claro para LLMs multimodais, ou melhor, para qualquer modelo que traduza imagens em suas descrições: composicionalidade. Isso é o que pretendemos confirmar e tentar mitigar, criando um sistema que pudesse entender a posição do agente que ele estava direcionando o suficiente para direcioná-lo em direção a uma meta. Basicamente, tentamos ver se um LLM era capaz de usar imagem em texto para navegar em um ambiente.

‍

Figura 1: Sistema LLM final implementado

O experimento

Tentamos criar um sistema de navegação baseado inteiramente em LLMs, para testar os limites do que poderia ser feito com eles e para quais tarefas exatamente eles poderiam ser usados. Projetamos um experimento baseado no GPT 4o e usando o pacote Gymnasium, originalmente projetado para ser usado no Aprendizado por Reforço (RL), como forma de criar e manipular um mundo simulado. Nós usamos o lago congelado ambiente, ilustrado abaixo, para alimentar um sistema de Cadeia de Pensamento (CoT). O ambiente testado sempre foi uma grade 8x4, com a fileira inferior coberta por gelo fino, que, quando pisada, levava à queda e ao retorno ao estado inicial. O agente começou no canto inferior esquerdo e recebeu 4 opções - Para cima, para baixo, para a esquerda e para a direita - e teve que contornar com sucesso o obstáculo perigoso para alcançar a Meta, uma caixa de presente localizada no canto inferior direito.

‍

Figura 2: Ambiente de Frozenlake (com cenário base) e espaço de jogo, com rótulos

‍

Figura 3: Outros cenários testados, aumentando a área de risco para testar decisões localizadas

‍

Ficou muito claro desde o início que o modelo estava lutando para entender a relação entre o Agente (um pequeno elfo, conforme mostrado na imagem acima) e o ambiente, especialmente quando se tratava dos quadrados de gelo fino que formavam o principal desafio do mapa. Embora as praças tenham sido identificadas como perigosas e uma descrição geral do terreno tenha sido feita sem falhas, o modelo ainda tendia a seguir em frente até o presente, indo direto para o buraco. Também tendia, quando contornava o buraco, a cair muito cedo, caindo para a morte ao lado do gol. O modelo parecia entender muito claramente o contexto global e o que precisava fazer em geral, mas não conseguiu entender o que estava acontecendo em nível local, onde a posição e a relação entre o agente e o meio ambiente eram igualmente fundamentais para a resolução do problema. Isso persistiu mesmo quando o prompt de descrição foi ajustado para instruir o agente a: concentre-se e detalhe objetos mais próximos do agente e reduza o nível de detalhes à medida que você se afasta, o que implica que uma cutucada contextualizada não ajudaria nessa situação.

Memória e gráficos

‍O ajuste do prompt de descrição não foi a única modificação que tentamos mitigar o problema de posição. Uma de nossas principais suposições era que o Decider LLM se beneficiaria de um sistema de memória. Se o sistema geral pudesse aprender o caminho, a confusão em relação à posição local diminuiria. Isso provou ser o caso, com a recuperação de memória auxiliando o sistema em geral, mas ocasionalmente levando à repetição de práticas “ruins” e fazendo com que o sistema fique preso em um loop. Isso foi mitigado com a criação de memórias, com base em um avaliador, que avaliaria a situação para verificar se o agente estava mais próximo da meta ou não.

Embora essas melhorias tenham ajudado, elas não resolveram o problema principal. A ameaça de “Morte ao cair” não pareceu se prender às memórias do LLM, o estímulo contextual não ajudou a detectar melhor um caminho e a criação da memória deu resultados úteis, mas nenhum que pudesse fazer o modelo realmente “enxergar”. Tudo isso ficou dolorosamente claro quando demos ao modelo uma maneira diferente de entender o mundo: gráficos. Ao substituir as imagens de processamento multimodais do LLM na primeira etapa e fornecer ao planejador um mapa composto por nós (conectados em uma grade idêntica à imagem), o sistema resolveu diretamente o problema.

O agente não cometeu um único erro e foi direto para a meta no caminho mais eficiente. Os resultados usando um gráfico no “descritor” foram os mesmos de seguir diretamente um sistema padrão de localização de caminhos gráficos. O modelo simplesmente não seria capaz de interpretar imagens de uma forma que permitisse a navegação, pelo menos não em seu estado atual (a partir da GPT 4o). Devido à natureza abstrata, a representação gráfica era ideal para navegar em um espaço 2D. É necessária uma investigação mais aprofundada para saber se os modelos de visão poderiam ser usados na criação desses gráficos, mas a solução provavelmente envolveria segmentar a grade da imagem em quadrados 1x1 e categorizar cada um para garantir a confiabilidade.

‍

Figura 4: Representação gráfica do cenário base

Conclusão

As consequências para um sistema incorporado vão além dos problemas com multimodalidade e composicionalidade. Os modelos em si parecem não ser capazes de gerar memórias e escolher ações que levem em conta o bem-estar do agente. Não há “medo da morte”, nenhum desejo de aprender além da curiosidade simulada. Isso deve impactar a forma como abordamos a personificação e como escolhemos representar os estímulos. Embora possamos supor que o modelo se beneficiaria de mais dados sensoriais, precisamos levar em consideração que o modelo não possui um impulso de autopreservação ou um forte “desejo” por um objetivo, coisas que são frequentemente exploradas para aprendizado intensivo, conforme demonstrado por Pavlov em seus experimentos de condicionamento de entrevistados.