o3挑战ARC-AGI,遇见大网格就懵圈?英国工程师:ARC-AGI不适合大模型
o3挑战ARC-AGI,遇见大网格就懵圈?英国工程师:ARC-AGI不适合大模型o3在超难推理任务ARC-AGI上的成绩,属实给人类带来了不少震撼。 但有人专门研究了它不会做的题之后,有了更有趣的发现—— o3之所以不会做这些题,原因可能不是因为太难,而是题目的规模太大了。
来自主题: AI资讯
8003 点击 2024-12-26 15:49
搜索
o3在超难推理任务ARC-AGI上的成绩,属实给人类带来了不少震撼。 但有人专门研究了它不会做的题之后,有了更有趣的发现—— o3之所以不会做这些题,原因可能不是因为太难,而是题目的规模太大了。
OpenAI 最新的 o3 系统在 ARC-AGI-1 公共训练集上训练后,在公共排行榜规定的 10,000 美元算力限制内,于半私有评估集上实现了 75.7% 的突破性成绩。而在高算力配置(172 倍)下,o3 更是达到了 87.5% 的成绩。
OpenAI下一代模型——o3,重磅诞生了!陶哲轩预言难住AI好几年的数学测试,它瞬间破解,编程水平位于全球前200,在ARC-AGI基准中更是惊人,打破所有AI纪录接近人类水平,离AGI更近一步。
号称不可能轻易被击败的AGI基准ARC-AGI被GPT-4o撼动,GPT-4o以在公共测试集50%、在训练集71%的准确率成为了新的SOTA!