LAB-Bench发布:测试时推理预算约为非推理模型的5倍,未见稳定、普遍优势

讨论中常见一种假设:“只要给模型更多算力,湿实验预测就应该更准”。LAB-Bench 的结果并不支持这一推断:在其生物学研究任务集上,推理模型即使获得的测试时推理预算约为非推理模型的5倍,也没有形成稳定、普遍的成绩优势。

先界定一个容易被标题掩盖的边界:LAB-Bench 正式定位为生物学研究能力基准,不是由模型操作机器人完成培养、测序或成像,再根据真实测量值评分的高通量湿实验系统。它测试的是模型能否从文献、图表、数据库、实验协议和序列等材料中做出正确判断。由于没有物理实验执行,就没有“实验成功率”这一层证据。因此,“推理拉满、算力翻5倍仍白搭”应限定理解为:在该基准任务上,增加测试时推理预算没有带来稳定、普遍的优势。

FutureHouse 团队于2025年7月公开了 LAB-Bench 的论文和代码。正式材料显示,该基准包含8类任务、约2400道题,评估了100余个闭源和开放权重模型,其中既包括普通生成模型,也包括推理模型。

核验项 公开信息
基准名称 LAB-Bench
发布机构 FutureHouse 团队
公开时间 2025年7月公开论文及代码
任务范围 LitQA2、SuppQA、FigQA、TableQA、DbQA、ProtocolQA、CloningScenarios、SeqQA
数据来源 科研文献及补充材料、论文图表、生物数据库、实验协议、分子克隆场景和序列等
参评模型 100余个,覆盖闭源API、开放权重模型和推理模型;具体版本以论文表格及当期排行榜为准
核心指标 各任务答案准确率,即答对题数占该任务有效题数的比例
提交方式 通过统一运行与评测入口提交模型回答,由基准程序进行自动评分,不是向实验室提交样本
物理湿实验 不执行;基准没有产生培养、测序、成像等真实实验结果
论文与代码 论文发布于 arXiv,代码、题面和评测工具公开在 GitHub 仓库中

从正式定义看,36氪标题中的“湿实验预测基准”是一种便于传播的概括。LAB-Bench 的任务覆盖实验设计和研究决策所需的多种材料形态,但评测对象仍是模型回答是否命中正确答案,而不是实验方案能否在实验室里重复成功。

LAB-Bench 与普通生物学问答的差别,不只是题目更长或专业词汇更多。生命科学实验设计本身是对研究策略、变量、步骤和验证方式的系统组织,而不只是给出一个知识点答案。 一套面向实验的模型输出,至少要经过知识正确、机制成立、数值和操作约束满足、协议可以执行、结果可以验证几个层次。LAB-Bench 能覆盖其中一部分文本化判断,却不能自动替代后三层的物理验证。

因此,相关能力可划为三个层级:第一层是“榜单可预测”,即模型在给定材料上答对题;第二层是“实验方案可生成”,即模型能够给出满足仪器、试剂和操作约束的方案;第三层是“结果可稳定复现”,即方案经过真实执行、重复批次和盲法验证后仍得到可靠结果。三个层级不能互相替代,榜单分数尤其不能直接换算成第三层。

基准发布后,除参评模型名单外,还应检查评测能否把不同能力分开。

首先需要核查数据泄漏。生命科学材料大量来自公开论文和数据库,题目、答案及其解释可能已经进入训练集,或者能被联网检索模型直接找到。严谨的评测应区分闭卷与开卷、训练截止时间前后的题目,以及允许搜索、调用数据库和禁止使用外部工具等条件;如果排行榜没有公开这些配置,仅比较总排名很难判断提升来自模型能力还是信息获取能力。

其次是基线公平性。模型版本、系统提示词、温度、最大输出 token、重试次数、并行采样数量、搜索工具、代码执行器、答案重排和是否允许多轮自我修正,都可能改变结果。推理模型与非推理模型如果使用了不同的工具权限或提示模板,即便都标注为“同一模型家族”,也不是严格的同条件比较。

再次是统计稳定性。生物研究任务中的单次回答可能受到采样随机性影响。严谨的报告应给出多次运行结果、置信区间和任务级差异;只公布一次运行的单点分数,无法区分真实能力差异与随机波动。综合排名也可能掩盖任务偏科:一个模型在文献检索题上领先,在协议约束或序列题上大幅落后,平均分未必能代表它适合哪类工作。

评分粒度同样重要。多选题需要检查随机猜测基线、答案位置偏置和格式遵循情况;开放式任务则需要说明完全匹配、子问题得分还是专家评分。如果只记录最终答案是否正确,就不能据此判断模型的推理过程是否可靠。一个答案可能来自正确分解,也可能来自猜测、记忆或工具偶然返回;反过来,写出冗长而错误的推理过程,也可能碰巧得到正确选项。

“推理拉满”和“算力翻5倍”容易引发误读,因为它们混合了测试时扩展的几种不同方式。

扩展方式 实际增加的资源 可能改善的问题 不能直接证明的事情
增加推理 token 更长的中间推理过程 多步分解、约束检查、自我修正 基础知识一定更完整
多路径采样 同时生成多个候选答案 提高正确答案被选中的概率 每条推理路径都更正确
反思与重试 额外调用和答案修订轮次 修正格式、发现局部矛盾 错误前提本身已经解决
工具调用 搜索、数据库、代码执行等外部能力 检索事实、计算、验证参数 纯模型推理能力提升
扩大参数或训练算力 模型容量、训练数据和训练计算 知识覆盖与生成能力 测试时一定能形成更长有效推理
增加实验轮次 真实操作、测量和反馈 修正物理条件与批次偏差 可以用更多 token 直接替代实验

LAB-Bench 所说的5倍指测试时推理预算,并不表示参数规模变成5倍、训练 FLOPs 变成5倍、工具调用变成5倍或机器人多做5轮实验。论文给出的结论是:推理模型在获得显著更高的推理预算后,仍未在其任务集上相对非推理模型形成稳定优势。 这一结果不能推导出“所有测试时扩展都无效”,因为不同任务、不同预算和不同工具条件可能得到不同结果;但它足以说明,单纯延长推理链不是可靠的增长策略。

仅凭“5倍”这一数字,不能直接判断同一模型从1倍到2倍、再到5倍是否遵循扩展规律(scaling law)。判断这种扩展是否有效,至少要看到同一模型快照、相同提示与工具权限、明确 token 上限、相同采样策略,以及多轮重复结果。如果只看到“某推理模型”和“某非推理模型”的总榜对比,就无法把差异单独归因于推理预算。

从失败类型看,增加 token 能修复的问题其实很有限。

失败层级 典型表现 继续增加推理预算是否足够
知识检索失败 找错论文、记错试剂属性、引用了错误数据库条目 通常不够,需要检索和证据核验
因果与机制推理错误 事实大体正确,但机制链条或干预方向错误 较长推理可能改善,但需要可靠前提
数值约束错误 单位、浓度、转速、时间或体积换算错误 通常不够,需要计算器和约束检查
实验协议错误 步骤顺序、仪器条件、样本处理方式不可执行 需要结构化协议、软件或仿真器
工具选择错误 调用了错误数据库、接口或分析工具 增加推理不一定能解决,需要工具路由
物理执行错误 移液偏差、污染、仪器漂移、批次差异 无法靠增加 token 跳过
数据反馈失败 元数据缺失、结果整合错误、异常值处理失当 需要实验信息系统和统计验证

这也解释了为什么“推理拉满”仍可能无效。生命科学任务经常同时包含检索、计算、约束满足和领域判断。一个模型即使能写出严密推导,也可能从错误文献开始;即使能生成完整协议,也可能忽略一个关键浓度或设备限制。推理是在既有信息和可用工具内组织答案,不能自动补回没有被检索到的知识,也不能替代量具校准和物理重复。

真实湿实验还会把计算问题改写成工程问题。镁伽鲲鹏实验室3.0的案例中,实验通量提升40倍,数据生成能力提高100倍;其高内涵细胞成像系统每秒可产生GB级图像数据。更多算力可以处理这些数据,但前提是设备能够稳定产生结构化、可追踪、质量可控的数据。

实验执行环节还会产生无法用 token 替代的成本。迈迪克的精密移液能力达到1微升,其一款测序前处理设备经历两年研发和两年客户验证才进入量产体系。液面感应、吸液深度、移动速度、角度和设备一致性都会影响实验结果,这类问题需要设备工程、质控和现场迭代,而不是再写一段更长的推理。

镁伽LABILLION平台已经部署DeepSeek-R1推理模型,用于实时分析实验数据、提供建议,并通过自然语言指令触发执行。它展示了“模型推理—工具调用—实验反馈”的闭环形态,但这是行业基础设施案例,不是LAB-Bench模型成绩的直接证明,也不能据此认定推理模型在湿实验中必然优于普通模型。

对开发者而言,核对这类榜单时可依次检查以下方面。

首先,确认任务是否与自己的场景一致。文献问答、图表理解、数据库检索、协议排错和分子克隆决策不是同一种能力,不能只用一个总榜分数代替任务匹配。

其次,核对模型快照和完整配置,包括推理强度、token上限、采样次数、重试策略、工具权限、联网范围和是否允许代码执行。只写模型家族名而不写日期和配置,榜单结果很快就会失去可比性。

第三,查看多次运行结果及不确定性。应优先参考任务级分数、重复运行分布和置信区间,而不是只看名次。对于分数接近的模型,成本和稳定性往往比一两个百分点的差异更有选型价值。

第四,把推理成本与调用成本一起计算,包括输入输出 token、搜索或数据库调用、代码执行、延迟和人工介入。只比较准确率,容易选出“每次都对但成本不可接受”的方案。

第五,要求外部验证。文本基准上的正确答案应再经过证据核验;协议生成结果应通过结构化解析和专家审查;准备进入自动执行环节的方案,则应增加小规模物理预实验、重复批次和失败回滚流程。

具体到不同场景,评测重点也应有所区别:

应用场景 首要指标 最低验证要求
知识问答与证据检索 答案准确率、证据召回与引用正确率 闭卷与开卷分榜,排查训练污染
实验方案生成 硬约束通过率、可执行性、关键步骤完整率 结构化解析、专家审查和干运行
闭环实验执行 单次任务成功率、重复性、人工干预次数、总成本 盲法执行、跨批次复现和异常回滚
研发决策支持 决策收益、错误代价、结果不确定性 影子运行,与资深人员决策对照

更稳妥的架构应按环节分工,而不是让一个模型包办全部:普通模型承担检索与格式转换,推理模型处理确实需要分解的问题,数据库、代码和仿真工具负责验证,自动化系统执行确定性操作,并为高风险协议保留人工审批。推理模型是否值得增加预算,应当由任务级增益和单位成本证明,而不是由“它会写更长思考过程”推定。

LAB-Bench 并未宣告某类模型已经解决湿实验。它所能支持的判断是:更多计算并不自动等于更好的实验决策。算力扩展真正遇到的边界,可能不在GPU数量,而在新增计算能否被评测准确隔离、被工具可靠验证,并最终转化为可执行、可复现的实验收益。

© 版权声明
THE END
喜欢就支持一下吧
点赞0 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容