Consciência, raciocínio e LLMs jogando tic-tac-toe: experimento em cadeia de pensamento

Embora tic-tac-toe seja um jogo resolvido e relativamente simples para humanos, ele apresenta desafios significativos para os LLMs. As previsões diretas de seus modelos mundiais não são suficientes; eles geralmente têm dificuldade até mesmo em sugerir movimentos válidos. Isso representa uma oportunidade ideal para testar o aumento dos LLMs com raciocínio, que, por sua vez, é um processo cognitivo no cerne da própria consciência.

Raciocínio e consciência

Uma das observações mais profundas da psicologia é a dualidade entre a mente consciente e a inconsciente. Essa divisão não apenas molda nossa experiência subjetiva, mas também reflete os mecanismos distintos que governam nossa cognição e suas funções específicas. Situações familiares e bem aprendidas geralmente são tratadas inconscientemente, contando com o poder preditivo de modelos mentais robustos. Em contraste, situações desconhecidas capturam nossa atenção consciente, exigindo um tipo diferente de processamento — mais ou menos o que chamamos de raciocínio. Como o renomado psicólogo e filósofo William James afirmou apropriadamente, o raciocínio é “mais adequado para nos ajudar a sair de situações sem precedentes - situações para as quais toda a nossa sabedoria associativa comum... nos deixa sem recursos” [1].

A suposição aqui é que o raciocínio é um objeto de estudo mais tangível do que a consciência, embora ainda seja fundamental para ele. Na IA, o raciocínio tem sido amplamente estudado dentro da abordagem simbólica, onde é amplamente entendido como a manipulação iterativa de símbolos de uma maneira direcionada a um objetivo. No entanto, em humanos, isso é apenas parte do quadro - o raciocínio é mais poderoso quando combinado com um modelo mundial robusto. É isso que torna os grandes modelos de linguagem (LLMs) particularmente especiais para nosso estudo. Eles possuem modelos mundiais e já existem técnicas para tentar incutir raciocínio neles. A principal delas é a técnica da cadeia de pensamento, na qual os LLMs são instruídos a usar sua janela de contexto para raciocinar sobre um problema antes de chegar a uma resposta final. É bastante simplista, mas já é um passo na direção certa.

Experiência Tic-tac-toe

Para testar isso, conduzimos nove configurações experimentais diferentes de LLMs usando um conjunto de 100 movimentos críticos do tic-tac-toe [2]. Na configuração básica (configuração 1), eles tiveram dificuldade até mesmo em sugerir movimentos válidos de forma confiável. Esse é exatamente o tipo de situação desconhecida que é adequada para testar o raciocínio, em que as previsões diretas do modelo mundial não são suficientes.

A forma mais simples de cadeia de pensamento envolve simplesmente adicionar a instrução “Vamos pensar passo a passo”, conforme visto na configuração 2. As etapas específicas de raciocínio seguidas são deixadas para o LLM decidir. Embora essa abordagem já leve a uma melhoria substancial, ela carece de estrutura sistemática e não aproveita conceitos específicos de domínio.

Para resolver isso, nas configurações 3 a 6, orientamos o LLM usando o conjunto de heurísticas de Newell e Simon para uma jogabilidade ideal de tic-tac-toe [3]. Também variamos os formatos de saída, que impõem diferentes restrições sobre como o modelo gera respostas. As configurações 3, 4 e 5 usam o modo JSON. A configuração 4 tem um desempenho pior do que a configuração 3 porque impõe restrições excessivas ao especificar etapas individuais, o que interfere na geração de linguagem natural do LLM. Na configuração 5, cada etapa de raciocínio é tratada por uma chamada LLM dedicada, permitindo um raciocínio mais focado em cada etapa. Isso resultou no melhor desempenho com a versão do GPT-4o disponível antes de agosto.

Em agosto, a OpenAI introduziu saídas estruturadas [4], treinando o novo GPT-4o para gerenciar melhor as restrições de saída, mantendo a fluência em linguagem natural. Como resultado, na configuração 6, ele alcançou o mesmo alto desempenho da configuração 5, mas com apenas uma única chamada LLM.

Tudo mudou novamente quando a OpenAI lançou o o1 [5], o modelo mais recente disponível no momento em que este artigo foi escrito. Esse modelo foi treinado especificamente para construir o raciocínio em cadeia de pensamento de forma mais eficaz. Nas configurações 7 e 8, vemos que, com o mínimo de solicitação, ele já supera os melhores resultados das configurações anteriores.

Finalmente, na configuração 9, alcançamos a maior pontuação de todas. Ao instruir o1 com a mesma heurística de jogo perfeita, observamos uma melhora substancial de 5 pontos. Nossa conclusão - potencialmente extensível a outras tarefas - é que, embora o o1 gere autonomamente sua própria cadeia de pensamento, ele ainda se beneficia de dicas sobre estratégias de raciocínio ideais, como conceitos-chave em tic-tac-toe, como ameaças, bifurcações e a ordem geral de tomada de decisão.

Referências

1. James, W. (1890). Os princípios da psicologia. Página 957.
2. ADENDO: De todos os estados do conselho alcançáveis em tic-tac-toe, selecionamos uma amostra dos 100 estados mais “críticos”. Esses estados foram determinados como tendo o maior potencial para uma oscilação de pontuação final, conforme calculado pelo algoritmo minimax. Em cada estado do tabuleiro, as jogadas disponíveis podem receber pontuações de 1 (vitória), 0 (empate) ou -1 (derrota), representando o resultado a que elas levariam a um jogo abaixo do ideal (como no minimax). Para obter mais detalhes, confira aqui.
3. https://en.wikipedia.org/wiki/Tic-tac-toe#Strategy
4. https://openai.com/index/introducing-structured-outputs-in-the-api/
5. https://openai.com/index/learning-to-reason-with-llms/