ZYLING / DAILY PERSPECTIVES

OpenAI新测试让GPT-6.1在COBOL迁移评测达86.6%:遗留系统改造能省下多少人工?

OpenAI公开MultiLangBench并发布COBOL迁移评测结果,GPT-6.1 Sol在低推理成本设置下准确率为86.6%。这些是OpenAI自己的测试,不是独立复现;企业迁移仍需以旧系统业务行为和回归测试验收。

企业谈AI编程,最容易被演示带偏的地方,是把“生成了一段看起来合理的代码”当成“可以替换现有系统”。真正昂贵的遗留软件往往没有一份完美、完整的规格书;多年的业务规则散落在代码、批处理、数据库结构和操作习惯里。迁移后代码能编译只是第一关,账单、边界条件、失败处理和历史兼容行为都不能悄悄改变。

OpenAI这次试图把评测落到可运行结果上。MultiLangBench要求模型用20种编程语言实现一个SQLite兼容数据库引擎,并通过可执行测试核对预期输出。官方文章报告,GPT-6 Astra平均通过率为87.4%,GPT-5.6 Sol为26.8%;GPT-6 Luna为40.3%,OpenAI估计其API成本低约78%。另一项COBOL迁移评测里,GPT-6.1 Sol在低推理成本设置下准确率为86.6%,GPT-5.6 Sol为5.4%;高推理成本设置最高报告到97.9%。比较的任务与设置不同,不能把这些数字混成一个“模型进步倍数”。

这项工作的价值在于测试方法可检查。OpenAI公开的仓库说明,测试以SQLite 3.40.1为基准,来源包括SQLite TCL测试;约24,000项测试可转换,推荐的常规运行集合为272项。公开测试脚本让开发团队有机会检查测试覆盖什么、哪些兼容行为被纳入,也能尝试在相同条件下复现。但“公开了测试”不等于“外部已独立复现结论”:目前文章中的成绩仍应明确归因OpenAI,且测试集覆盖范围不能代表所有企业程序、数据迁移和生产事故场景。

评测数字还要看“通过”的定义。基准测试通常把输入交给程序,再将实际输出与预期输出逐项比对;它能捕捉遗漏、格式差异和部分边界错误,却不一定覆盖原系统几十年形成的例外操作。迁移团队应从业务日志与操作人员访谈补出测试集,尤其检查舍入规则、日期切换、重复提交、异常中断恢复和跨系统对账。基准的作用是提供一个公开起点,而不是替企业决定哪些历史行为必须保留。

对企业而言,实用问题不是“AI能否把COBOL全部换掉”,而是能否把某一段逻辑的隐含行为转成清晰、可回归的测试。可从风险较低、输入输出清楚的模块开始:先冻结旧系统的代表性样本和边界情况,再让模型解释依赖关系、提出迁移代码,最后在隔离环境运行回归测试。验收要看行为一致率、人工复核时间、未覆盖场景、数据访问权限和回滚能力,而不能只记模型生成速度或代码行数。

还要注意,兼容测试通过不等于生产级迁移完成。企业实际系统可能包含厂商扩展、编码格式、主机环境、作业调度、外部接口以及监管留痕;这些未必都在公开基准里。把模型当成“可审计的迁移助手”更稳妥:它帮助整理规则、生成候选实现和测试,但关键业务判断仍由熟悉系统的人签字,切换前保留并行验证与回滚方案。

OpenAI此项发布是研究与评测更新,不是新模型上线。它值得关注的原因,是AI编程的讨论开始从“能否写代码”往“能否保持既有行为、怎样证明”移动。公开测试集提供了一个可复查起点;下一步真正有说服力的证据,应来自更多独立团队在不同遗留系统上的复现和成本记录。

来源

*配图说明:官方图片、示意图或技术页面截图的转载授权尚未确认,本篇暂不上传配图;获得使用依据后再补。*

来源与说明

原稿日期:2026-10-19 · 官网发布: