Além das habilidades: redefinindo a inteligência com o ARC-AGI

Em um artigo anterior, discutimos as habilidades de raciocínio de grandes modelos de linguagem (LLMs) no contexto do jogo Tic-tac-toe. Agora estamos entrando em uma arena mais avançada: a Referência ARC-AGI (Corpus de abstração e raciocínio para inteligência artificial geral). Escolhemos explorar o ARC-AGI porque é sem dúvida o melhor desafio para nos levar à próxima etapa em direção à AGI.

O ARC foi introduzido há cinco anos no artigo seminal, Sobre a medida da inteligência, de François Chollet, o influente pesquisador e criador da biblioteca de aprendizado profundo Keras. No artigo, Chollet aborda o que ele vê como um erro categórico em nossa compreensão da inteligência. O erro está em confundir inteligência — o próprio processo adaptativo — com habilidade, o resultado desse processo. Uma é sobre adquirir habilidades e a outra é sobre ter habilidades. Vamos esclarecer essa distinção.

Inteligência como a quantidade de habilidades específicas para tarefas

Chollet considera que focar em habilidades específicas de tarefas é uma “meta útil, mas uma medida incorreta de inteligência”. Sua utilidade é clara no ecossistema atual de IA, onde a maioria dos desenvolvimentos visa resolver problemas específicos. Esse foco estreito inegavelmente impactou a sociedade e, à medida que a IA continua avançando no domínio de habilidades específicas de tarefas, podemos eventualmente chegar a um ponto em que uma parte significativa do trabalho economicamente valioso seja automatizada, tarefa por tarefa. Essa mudança, sem dúvida, transformaria nossa relação com o trabalho de maneiras que nunca experimentamos.

Tudo isso quer dizer que buscar habilidades específicas para tarefas tem mérito. No entanto, falta algo importante, embora também apresente alguns problemas:

O poste continua se movendo. Essa é uma observação familiar em IA, em que os benchmarks continuam saturando o desempenho em nível humano, mas não estamos convencidos sobre o status de inteligência desses sistemas. Essa tendência se tornou ainda mais pronunciada nos últimos anos, com os LLMs fazendo avanços notáveis em vários benchmarks, desde tarefas de codificação até exames de pós-graduação.

No entanto, mesmo após cinco anos, o benchmark ARC mostrou uma resiliência única a essa tendência (veja o gráfico abaixo). Como expressa Chollet, “O ARC-AGI ainda é a única referência projetada para resistir à memorização”. Para garantir isso, a ARC evita estritamente a exposição pública de seu conjunto de tarefas de avaliação e projeta tarefas que são distintas, exigindo que os participantes do teste demonstrem uma compreensão mais profunda, em vez de confiar apenas na correspondência de padrões de tarefas disponíveis publicamente.

Você obtém o que você otimiza. Depois que um objetivo é definido, qualquer processo de otimização está propenso a explorar atalhos para alcançá-lo. Esse é um desafio recorrente no aprendizado de máquina, em que os modelos geralmente podem resolver problemas confiando em estatísticas superficiais em vez de desenvolver as ricas representações pretendidas por seus desenvolvedores. Por exemplo, um modelo treinado para reconhecer animais pode se basear apenas no fundo arenoso para identificar um camelo, em vez de aprender as características definidoras do animal. Normalmente, o desenvolvedor quer que seu modelo seja generalizado além do conjunto de dados de treinamento, mas isso é especialmente complicado ao otimizar para habilidades específicas de tarefas. Idealmente, como sugere Chollet, “é preciso encontrar uma maneira de otimizar diretamente para flexibilidade e generalidade”.

Inteligência como eficiência na aquisição de habilidades

Chollet define inteligência como “uma medida da eficiência de aquisição de habilidades [de um sistema] em uma série de tarefas, considerando seu conhecimento prévio, sua experiência e a dificuldade de generalização”. Observe a ênfase no controle dos antecedentes e da experiência. Isso é essencial para medir a inteligência. Para esclarecer, pense nos antecedentes como o comportamento codificado pelo desenvolvedor e na experiência como os dados usados para aprendizado de máquina.

Como observa Chollet, “antecedentes ilimitados ou dados de treinamento ilimitados permitem que os desenvolvedores 'comprem' o nível de habilidade de um sistema”. Essa é a norma do paradigma anterior, que leva a sistemas restritos de IA que se destacam em habilidades específicas para tarefas, mas são ineficazes fora de seus domínios especializados. Esses sistemas dão uma impressão enganosa de inteligência porque são excelentes no que fazem, mas seu desempenho depende muito de conhecimento e experiência predefinidos, e não do tipo de generalidade vista em humanos. No entanto, para Chollet, a verdadeira inteligência consiste em generalizar eficientemente de situações familiares para outras desconhecidas (veja a imagem abaixo).

Controle de antecedentes. As tarefas do ARC pressupõem que o solucionador tenha antecedentes, conforme descrito pela Teoria do Conhecimento Básico. Eles são evolutivamente antigos e amplamente compartilhados entre as espécies, particularmente entre primatas não humanos. Eles são divididos em quatro categorias principais. 1) Objetividade: objetos podem ser distinguidos por meio da contiguidade espacial e de cores; e eles podem interagir. 2) Direcionamento a metas: alguns objetos são “agentes” e seu comportamento pode ser organizado de acordo com metas. 3) Números: objetos podem ser contados ou classificados. 4) Geometria: objetos podem ser espelhados, girados, traduzidos, combinados etc.

‍Controle da experiência. Cada tarefa segue uma configuração resumida em que algumas demonstrações (entrada, saída) são fornecidas para uma transformação desconhecida, e espera-se que o solucionador aplique a transformação a um teste (somente entrada). Por exemplo, na imagem abaixo, são fornecidos 3 exemplos, e espera-se que o solucionador tenha uma compreensão prévia dos conceitos de “extrapolação de linha”, “ativação de obstáculos” e “alcance eficiente de uma meta”.

O ARC força os participantes do teste a demonstrar uma forma sofisticada de raciocínio que os sistemas de IA atuais têm dificuldade em replicar. O número limitado de exemplos é especialmente útil para expor a forte ineficiência do treinamento do aprendizado profundo moderno, que há muito tempo é criticado por exigir grandes quantidades de dados — equivalentes a muitas vidas humanas — para se adaptar a novas tarefas. Só o tempo revelará o quão resiliente o ARC permanece à exploração pelo aprendizado de máquina, mas, por enquanto, é um desafio muito necessário para a comunidade de IA. Esse desafio nos obriga a explorar ideias melhores e mais profundas para implementar a verdadeira inteligência. Na próxima parte desta série, apresentaremos algumas das principais ideias que já surgiram de soluções de última geração para ARC.

Referências:
‍[1] https://www.cloudwalk.io/ai/consciousness-reasoning-and-llms-playing-tic-tac-toe
‍[2] https://arcprize.org/
[3] Chollet, François. “Sobre a medida da inteligência”. 2019. - https://arxiv.org/abs/1911.01547