九游游戏资讯与下载中心

与传统的基准测试主要关注模型是否能记住信息或遵循固定步骤不同，OpenAI 新推出的 GeneBench-Pro 基准测试着重于人工智能在实际科研情境中的应用能力。它模拟了真实科研中常见的“不明确、不完整，甚至包含干扰信息”的数据环境，要求模型进行判断和分析以得出结论。

GeneBench-Pro 包含了基因组学、定量生物学和转化医学等多个领域的任务，共设计了 129 道题目。这些题目被划分为 10 个主要领域和 21 个子领域，涉及统计遗传学、群体遗传学、功能基因组学、蛋白质组学等多个方面。每道题目都为模型提供了一份接近真实科研环境的数据集、一份简要的实验背景说明以及一个与后续决策相关的目标问题。模型需要自主完成数据探索、选择分析方法，并在过程中调整策略，最终给出答案。

为了解决传统长流程基准测试中常见的评分偏差问题，OpenAI 在开发 GeneBench-Pro 时采用了合成数据。这种方法避免了使用历史真实数据出题时可能出现的多种合理分析路径，从而防止模型即使采用错误方法也可能偶然答对的情况。通过合成数据，OpenAI 能够完全掌握底层因果关系和数据生成过程，从而更精确地评估模型是否真正理解了问题，而非仅仅走了捷径。

目前，OpenAI 已在 Hugging Face 上公开了 10 道 GeneBench-Pro 的示例题目，并提供了交互式界面供外部研究人员进行体验。未来，OpenAI 计划开放其中的 50 道题目，供 Artificial Analysis 进行独立的第三方评测，以验证不同模型在该基准测试上的实际性能。