MathNet

Overview

GitHub

MathNet 是一个大规模、多模态、多语言的奥林匹克级别数学问题数据集与评测基准平台，由 MIT 研究团队构建并公开发布。该平台收录了来自47个国家、17种语言、跨越数十年的30,676道专家编写的竞赛数学题及其解答，旨在为大型语言模型和多模态模型的数学推理能力以及基于嵌入系统的数学检索能力提供评估标准。 ### 主要能力 - **海量题库浏览**：支持按国家（如美国、中国、法国等）或国际赛事（如 IMO、Baltic Way、JBMO）分类浏览全部3万余道题目。 - **三项核心评测任务**： - **Problem Solving**：测试模型能否直接求解代数、组合、几何和数论等领域的奥赛题目，并以专家解答为标准进行评分。 - **Math-Aware Retrieval**：测试嵌入模型能否从3万道题的题库中检索出数学上等价或结构相似的题目。 - **Retrieval-Augmented Problem Solving (RAG)**：将检索到的相似题目作为上下文提供给模型，评估检索质量对最终解题准确率的影响。 - **用户交互**：网页端目前支持每日超过3万名用户访问，并新增了分享个人解答的功能。 ### 数据处理流程 每道题目最初来源于扫描版的竞赛手册。团队通过 OCR 提取文本，将其拆分为题目与解答对，使用 GPT-4.1 进行格式标准化，最后由人类专家验证后才纳入数据集。 ### 适用人群 MathNet 既适合准备数学竞赛的学生和研究人员用于日常练习与查阅，也适合 AI 研究者作为评估生成式模型数学推理能力和检索系统性能的基准工具。数据集和基准均已公开，可通过 arXiv、HuggingFace Dataset 和 GitHub 获取。

Q&A

MathNet 是什么？AI-generated

MathNet 是一个高质量、大规模、多模态且多语言的奥林匹克级别数学问题数据集，同时也是一个用于评估生成式模型数学推理能力和嵌入系统数学检索能力的基准平台。

MathNet 包含多少道题目？AI-generated

MathNet 包含30,676道由专家编写的奥林匹克级别数学题及其解答，覆盖47个国家、17种语言和数十年的竞赛历史。

MathNet 支持哪些评测任务？AI-generated

支持三项任务：Problem Solving（直接解题）、Math-Aware Retrieval（数学感知检索）以及 Retrieval-Augmented Problem Solving（检索增强解题）。

目前哪些模型在 MathNet 上表现较好？AI-generated

在解题任务中，Gemini-3.1-Pro 达到78.4%，GPT-5 达到69.3%。但在检索任务中，所有测试模型的 Recall@1 均低于5%，表明数学等价检索仍具挑战。

MathNet 的数据是如何处理的？AI-generated

数据源自扫描版竞赛手册，经过 OCR 提取、拆分为题目与解答对、使用 GPT-4.1 进行格式标准化，最后由人类专家验证后入库。

MathNet 是免费的吗？AI-generated

是的，MathNet 被描述为学生和研究人员的免费资源，其数据集和评测基准也已公开发布。

如何引用 MathNet？AI-generated

如果在工作中使用 MathNet，需引用其 ICLR 2026 论文，原文提供了完整的 BibTeX 引用格式。