Swe bench 是 什么

4月10日，字节跳动旗下的豆包大模型团队宣布，正式开源一个全新的多语言数据集—Multi-SWE-bench。这一数据集主要用于评估和提升大模型在“自动修复代码错误”方面的能力。基于SWE-bench的设计...

OpenAI推出更可靠的代码生成评估基准：SWE-bench Verified。公司在官网的一篇Blog中称：“随着我们的系统越来越接近AGI（通用人工智能），我们需要在越来越具有挑战性的任务中对它们进行评估”...

编码（SWE-Bench Pro）：GPT-5.4 mini拿下54.4%，而满血版GPT-5.4是57.7%；计算机使用（OSWorld-Verified）：GPT-5.4 mini 72.1%的成绩，媲美GPT-5.4（75%） 另外，在推理、工具调用等任务中，...

首个全自动 AI 软件工程师 Devin 一出场就引爆了技术圈，其江湖地位也在权威基准 SWE-Bench 上被进一步坐实— 独立解决了 13.86%的问题，远远甩开 GPT-4 仅有的 1.7%，Claude2 也不过 4.8%。没...

近日，在权威SWE-Bench Verified基准测试中，京东云 JoyCode-Agent凭借74.6%的高通过率位居SWE-Bench榜单全球Top3，展现出卓越的复杂编程问题解决能力，并正式在GitHub上开源。作为面向严肃开发...

在权威评测SWE-Bench Lite上，ExpeRepair以60.33%的修复率登榜首： 这项研究由来自中国科学院软件研究所的团队提出，以下是更多细节。打开APP，查看更多精彩图片