研究机构 Epoch AI 近日发布了一款全新的 AI 模型数学基准测试集，名为 FrontierMath。该测试集旨在全面评估 AI 模型的数学推理能力，尤其是面对复杂数学问题时的表现。
与现有的数学测试题集如 GSM-8K 和 MATH 相比，FrontierMath 的特色在于其收录的数学问题极为复杂，涵盖了数论、代数和几何等多个现代数学领域。这些问题的难度极高，甚至对于人类专家而言，解答也往往需要耗费数小时乃至数天的时间。
据悉，FrontierMath 的题目由资深的人工智能学专家精心设计。这些问题不仅要求 AI 具备对数学概念的深刻理解，更需要在复杂情境下进行高效推理。这样的设计要求旨在防止 AI 模型通过比对过往学习过的相似题目来寻求答案。
研究机构使用 FrontierMath 对当前市场上的主流 AI 模型进行了初步测试。结果显示，这些模型在 FrontierMath 上的表现普遍不佳。即便是此前在 GSM-8K 和 MATH 测试中取得近乎满分成绩的 Claude 3.5 和 GPT-4 等先进模型，在 FrontierMath 中的解题成功率也低于 2%。
研究团队进一步指出，AI 在解决高级数学问题时的主要挑战在于它们往往过于依赖训练数据中的相似题目来生成答案。这种方式忽略了对问题本身逻辑结构的深入理解和推理。因此，当面对未曾学习过的新题目时，这些模型容易陷入困境。这一问题并非仅仅通过增加模型规模就能解决，而是需要从模型的推理架构层面进行根本性的改进。
