TL;DR: A análise dos modelos O3 e O4-Mini no benchmark ARC-AGI revela bom desempenho em tarefas de raciocínio de baixa e média complexidade, com O3-medium destacando-se entre os modelos públicos. Contudo, ambos apresentam limitações significativas e ineficiências em configurações de raciocínio “high”, falhando em completar tarefas mais complexas de forma confiável. O benchmark ARC-AGI é eficaz em diferenciar essas capacidades e limitações de raciocínio.

Takeaways:

• Os modelos O3 e O4-Mini mostram desempenho variável no ARC-AGI, sendo mais eficazes em níveis de raciocínio baixo e médio do que no alto.
• A configuração de raciocínio “high” frequentemente se mostra ineficiente, consumindo mais recursos (tokens, tempo) sem ganhos proporcionais de precisão e com altas taxas de falha na conclusão de tarefas.
• Existem diferenças significativas entre o o3-preview (testado com computação irrestrita) e o O3 de produção, incluindo arquitetura, capacidades multimodais e limites computacionais.
• Observou-se que respostas mais rápidas dos modelos tendem a apresentar maior precisão, indicando melhor desempenho em tarefas resolvidas mais cedo no processo de raciocínio.

Análise do Desempenho de Modelos O3 e O4-Mini da OpenAI no Benchmark ARC-AGI

Introdução

O benchmark ARC-AGI representa um avanço significativo na avaliação da capacidade de raciocínio dos modelos de inteligência artificial, ao estabelecer desafios que ilustram a diferença entre tarefas fáceis para humanos e complexas para máquinas. Essa ferramenta tem sido empregada para medir a qualidade de respostas e o desempenho de diferentes configurações de raciocínio, evidenciando os pontos fortes e as limitações dos modelos testados. Assim, compreender como os modelos O3 e O4-Mini se comportam neste contexto torna-se fundamental para o avanço da IA aplicada a tarefas de raciocínio complexo.

A aplicação do ARC-AGI envolve não só a análise dos resultados quantitativos, como os percentuais em avaliações semiprivadas, mas também a identificação de aspectos qualitativos relacionados à eficiência dos processos de pensamento. Os testes realizados com diferentes configurações de computação e níveis de raciocínio revelam padrões importantes, como o desempenho superior em tarefas de raciocínio de baixa a média complexidade, em contraste com as limitações enfrentadas quando os modelos são submetidos a configurações de raciocínio “high”. Dessa forma, a análise detalhada dos resultados oferece um panorama que pode orientar futuras melhorias e adaptações nos modelos.

Neste artigo, abordaremos de forma detalhada os resultados dos testes realizados com os modelos O3 e O4-Mini, explicando a metodologia empregada no benchmark ARC-AGI, as diferenças entre as versões testadas e as particularidades de desempenho observadas. Discutiremos também a ferramenta de avaliação ARC-AGI e suas duas versões, destacando as implicações dos testes para as configurações de raciocínio e para a eficiência computacional dos modelos. Ao fim, serão apresentadas as principais observações e conclusões instrucionais que sintetizam os desafios e avanços identificados nesta análise.

Desempenho dos Modelos O3 e O4-Mini no ARC-AGI

O benchmark ARC-AGI foi desenvolvido para mensurar a capacidade de raciocínio dos modelos de IA, avaliando desde tarefas mais simples até desafios complexos que exigem processos deliberativos. Nesta avaliação, os modelos O3 e O4-Mini foram submetidos a diferentes níveis de complexidade, fornecendo dados importantes sobre a eficácia de cada configuração. Os resultados revelam que, embora ambos obtenham bons índices em tarefas de menor complexidade, há limitações significativas quando confrontados com desafios mais elaborados.

No ARC-AGI-1, por exemplo, o modelo O3-low obteve 41% de acerto, enquanto o O3-medium melhorou esse desempenho para 53%. Por outro lado, o O4-mini-low marcou 21% e o O4-mini-medium atingiu 41% na mesma avaliação, demonstrando uma diferença significativa entre os níveis de computação disponíveis. Entretanto, para o ARC-AGI-2, ambos os modelos tendem a apresentar resultados inferiores, com pontuações abaixo de 3% e dificuldades em retornar saídas confiáveis.

Observa-se ainda que, apesar dos desempenhos promissores em configurações de raciocínio de baixa e média complexidade, os modelos demonstram uma cobertura incompleta em configurações de raciocínio “high”. Essa diferença evidencia a necessidade de um ajuste fino nos processos de raciocínio para atingir uma performance mais robusta em desafios extremos. O entendimento desses aspectos é crucial para orientar futuras modificações e aprimoramentos nos sistemas de IA.

ARC-AGI como Ferramenta de Avaliação

O ARC-AGI atua como um benchmark voltado para a avaliação de modelos de linguagem (LLMs) e modelos de raciocínio (LRMs), exigindo que esses sistemas se aprofundem em seus processos de pensamento para fornecer respostas mais complexas. A ferramenta permite uma análise verificável da qualidade das respostas, contribuindo para identificar áreas de melhoria e potenciais falhas nos modelos avaliados. Dessa forma, o ARC-AGI se destaca como um instrumento essencial para medir o progresso na capacidade de raciocínio das inteligências artificiais.

Diferencia-se em duas versões que abordam aspectos complementares da avaliação: o ARC-AGI-1, que é mais sensível e oferece uma variedade de sinais sobre o desempenho do modelo, e o ARC-AGI-2, que introduz elementos como interpretação simbólica e regras multi-composicionais. Essa divisão permite que os avaliadores obtenham um panorama mais detalhado, onde os desafios vão além de simples tarefas e se estendem a contextos que exigem uma análise mais profunda das respostas. Assim, cada versão fornece informações valiosas que, em conjunto, formam um quadro abrangente sobre a capacidade dos modelos.

Ao mesmo tempo, o benchmark serve para analisar modelos específicos, como o Deepseek e o o3-preview, inserindo-os em um cenário que simula desafios reais de raciocínio. A utilização de um domínio verificável para a avaliação assegura que as respostas fornecidas possam ser validadas de forma objetiva. Portanto, o ARC-AGI não apenas mede a performance dos modelos, mas também estabelece critérios que incentivam a melhoria contínua das técnicas de resolução de problemas em IA.

Testando o O3-Preview

Os testes realizados com o modelo o3-preview evidenciaram o seu potencial ao operar com recursos de computação irrestritos, estabelecendo um novo padrão para a computação em tempo de teste. Essa avaliação demonstrou que a configuração de computação influencia significativamente a performance, possibilitando que o modelo alcance resultados muito superiores quando os limites computacionais são removidos. Tais descobertas reforçam a importância de se considerar diferentes cenários de uso na análise de desempenho.

Em avaliações específicas, o o3-preview na configuração de “low compute” marcou 76% no ARC-AGI-1 Semi Private Eval, enquanto, ao remover as restrições computacionais, a versão de “high compute” alcançou 88%. Esse salto de performance destaca a sensibilidade do modelo à disponibilidade de recursos, evidenciando que, em contextos onde o poder computacional é otimizado, resultados de ponta podem ser atingidos. Dessa forma, o teste do o3-preview não só mensura a eficiência do modelo, mas também define parâmetros que podem ser replicados em futuras avaliações.

A participação da ARC Prize Foundation, convidada pela OpenAI, para compartilhar os resultados, reforça a credibilidade e o rigor da avaliação realizada. A verificação dos resultados demonstra que o o3-preview está entre os modelos de vanguarda, estabelecendo uma referência para os testes de computação em tempo de teste. Assim, os achados desse teste contribuem para a discussão sobre as condições necessárias para otimizar o desempenho dos sistemas de IA.

Mudanças entre O3-Preview e O3

A transição do modelo o3-preview para o o3 de produção evidencia mudanças significativas que refletem o amadurecimento e a adaptação dos sistemas de IA. Entre essas mudanças, destaca-se a diferença estrutural entre os modelos, pois o o3 de produção utiliza uma arquitetura distinta e otimizada em comparação com a versão preview. Essas alterações compreendem desde o conjunto de dados utilizado até as limitações de computação e as capacidades multimodais.

Uma das principais diferenças é que o o3 de produção incorpora entradas visuais, ampliando seu campo de aplicação, enquanto o o3-preview foi desenvolvido exclusivamente com foco em texto. Além disso, o modelo de produção é otimizado para aplicações de chat e produtos, o que implica em ajustes que visam melhorar a interação com o usuário final. Essa evolução não só aprimora a experiência, como também possibilita a aplicação do modelo em cenários mais diversificados.

Outro ponto relevante é o aspecto do treinamento: o o3-preview contou com 75% do conjunto de dados ARC-AGI-1 durante seu processo de treinamento, uma estratégia que não se mantém integralmente no modelo de produção. Além disso, a disponibilidade de recursos computacionais em tempo de teste, amplamente acessível no preview, não está presente na versão final. Essas mudanças demonstram a necessidade de equilibrar desempenho e viabilidade operacional em modelos disponíveis ao público.

Testando O3 e O4-Mini no ARC-AGI

Os testes realizados com os modelos O3 e O4-Mini foram conduzidos em diferentes níveis de raciocínio – baixo, médio e alto – com o objetivo de avaliar o desempenho em ambos os conjuntos de dados, ARC-AGI-1 e ARC-AGI-2. Essa abordagem permitiu analisar não apenas a capacidade global de raciocínio dos modelos, mas também identificar a profundidade do pensamento exigida para cada tarefa. A diversidade de níveis de raciocínio evidencia a complexidade dos desafios propostos e a adaptabilidade dos modelos a esses cenários.

Durante os testes, foram utilizadas aproximadamente 740 tarefas, gerando um total de 4.4K pontos de dados, o que forneceu uma base robusta para a análise de desempenho. Os resultados revelaram que, em configurações de raciocínio médio, o O3-medium demonstrou um desempenho forte, retornando 93 de 100 resultados na avaliação ARC-AGI-1 Semi Private Eval. Esses resultados indicam que a configuração de raciocínio médio é capaz de capturar a maioria dos desafios apresentados pelo benchmark.

Porém, na configuração de raciocínio “high”, os testes não conseguiram retornar um número suficiente de conclusões de tarefas para suportar uma pontuação confiável. Essa limitação evidencia que, embora os modelos consigam resolver tarefas de menor complexidade com boa precisão, desafios mais intensos ainda representam uma barreira significativa. Portanto, os testes ressaltam a importância de se ajustar e otimizar a configuração de raciocínio para que os modelos possam alcançar desempenho superior em todas as áreas avaliadas.

Esforço de Raciocínio Elevado

A configuração de raciocínio “high” revelou desafios inerentes ao aumento da complexidade das tarefas, indicando que os modelos frequentemente não conseguem responder ou atingem o tempo limite estipulado. Em ambientes de alta carga computacional, a performance se torna inconsistente, com uma redução no número de tarefas concluídas de forma satisfatória. Essa dificuldade ressalta a importância de se explorar alternativas e otimizações que possam permitir uma melhor eficácia em contextos que exigem maior esforço racional.

Nos testes, o O3-high respondeu a 37 de 100 tarefas no ARC-AGI-1 Semi Private Eval, atingindo 82% de precisão, enquanto o O4-mini-high conseguiu responder a 29 de 100 tarefas, com 89% de precisão. Esses números, embora positivos em termos de acurácia nas respostas fornecidas, demonstram que a elevada carga de raciocínio impacta na completude das respostas. Assim, a avaliação destes cenários mostra que os modelos possuem um desempenho razoável quando conseguem completar as tarefas, mas enfrentam dificuldades na consistência das respostas em ambientes de alta complexidade.

A análise dos resultados do raciocínio elevado indica que tarefas que demandam respostas mais complexas e prolongadas tendem a ser menos representativas do desempenho dos modelos. De fato, as configurações “high” frequentemente exigem um uso maior de tokens e maior tempo de processamento, sem necessariamente proporcionar ganhos significativos de precisão. Essa ineficiência reforça a necessidade de aprimoramentos técnicos que permitam otimizar os processos internos dos modelos, reduzindo o custo computacional sem sacrificar a qualidade das respostas.

Observações Chave

A análise do uso de tokens e do tempo de execução dos modelos O3 evidenciou que respostas iniciais, geralmente retornadas de forma mais rápida, apresentam maior precisão e confiabilidade. Essa observação sugere que, em muitos casos, os modelos conseguem resolver tarefas mais simples de maneira eficiente antes de se depararem com desafios que exigem um raciocínio mais elaborado. A rapidez na obtenção da resposta pode, portanto, indicar uma zona de conforto operacional dos modelos.

Além disso, as avaliações indicam que o raciocínio “high” é frequentemente ineficiente, com o O3-high utilizando mais tokens para chegar às mesmas respostas que o O3-medium em tarefas similares. Essa diferenciação evidencia variações sutis nos algoritmos subjacentes às diferentes configurações e ressalta a importância de equilibrar a profundidade do pensamento com a eficiência computacional. Em paralelo, modelos como o O3-mini-low e o O4-mini-low mostraram uma maior taxa de transferência (tokens por segundo), sugerindo uma eficácia superior sob condições de computação menos intensas.

Por fim, as observações chaves apontam para uma relação intrínseca entre o tempo de resposta, a utilização de tokens e a precisão das tarefas realizadas. Tarefas respondidas mais rapidamente tendem a ter um desempenho melhor, enquanto aquelas que demandam mais tempo e recursos não demonstram uma melhoria proporcional na acurácia. Essa constatação reforça a necessidade de estratégias que maximizem o equilíbrio entre rapidez e precisão para explorar todo o potencial dos modelos de IA.

Conclusão

Os resultados obtidos no benchmark ARC-AGI demonstram que os modelos O3 e O4-Mini da OpenAI apresentam um potencial significativo, especialmente em configurações de raciocínio de baixa e média complexidade. Destaca-se que o O3-medium se mostra como o modelo disponível publicamente mais forte, apesar dos desafios ainda presentes nas configurações de raciocínio “high”. Essas constatações oferecem uma base sólida para futuras investigações e aprimoramentos.

A análise detalhada das diferentes configurações de raciocínio, dos níveis de computação e dos dados de treinamento revela que o desempenho dos modelos está intrinsecamente ligado a esses aspectos. O benchmark ARC-AGI, ao utilizar diferentes cenários de avaliação, proporciona um ambiente que permite identificar áreas de eficiência e pontos críticos a serem melhorados. Esse entendimento é essencial para a evolução contínua dos sistemas de IA, direcionando esforços para a otimização dos processos de pensamento.

Por fim, as implicações futuras apontam para a importância de se investir em melhorias na velocidade, no custo e no uso de tokens, fatores que se tornam cada vez mais relevantes à medida que os sistemas se tornam mais poderosos. A partir dessa análise, fica claro que benchmarks públicos e avaliações técnicas periódicas serão fundamentais para impulsionar o progresso e garantir que os modelos de IA continuem se aproximando de padrões de excelência. A busca por um equilíbrio entre eficiência e profundidade de raciocínio permanece como um desafio chave para os próximos desenvolvimentos.

Referências

Fonte: arXiv. “ARC Prize 2024: Technical Report”. Disponível em: https://arxiv.org/abs/2412.04604.

Fonte: arXiv. “Understanding and Benchmarking Artificial Intelligence: OpenAI’s o3 Is Not AGI”. Disponível em: https://arxiv.org/abs/2501.07458.

Fonte: Axios. “New OpenAI models ‘think’ with images”. Disponível em: https://www.axios.com/2025/04/16/openai-o3-o4-mini-advanced-ai-tools.

Fonte: The Atlantic. “The Man Out to Prove How Dumb AI Still Is”. Disponível em: https://www.theatlantic.com/technology/archive/2025/04/arc-agi-chollet-test/682295/.

Fonte: Reuters. “OpenAI finalizes ‘o3 mini’ reasoning AI model version, to launch it soon”. Disponível em: https://www.reuters.com/technology/artificial-intelligence/openai-finalizes-o3-mini-reasoning-ai-model-version-launch-it-soon-2025-01-17/.

Fonte: Axios. “Advanced AI gets more unpredictable”. Disponível em: https://www.axios.com/2025/04/23/ai-jagged-frontier-o3.

Fonte: Wikipedia. “OpenAI o3”. Disponível em: https://en.wikipedia.org/wiki/OpenAI_o3.

Fonte: Wikipedia. “OpenAI o4-mini”. Disponível em: https://en.wikipedia.org/wiki/OpenAI_o4-mini.

Fonte: Wikipedia. “GPT-4o”. Disponível em: https://en.wikipedia.org/wiki/GPT-4o.