SWE-Agent: 开源 AI 软件工程师挑战者 DEVIN

新开源项目SWE-Agent在SWE基准测试中的性能非常接近由认知实验室开发的AI软件工程师DEVIN。SWE基准测试是基于解决GitHub问题,之前DEVIN在这个基准测试上达到了13.86%的最先进准确率。

然而,SWE-Agent能够匹配这一性能,甚至可能超越它。值得注意的是,SWE-Agent只用了大约93秒就完成了这个任务,这明显快于DEVIN的5分钟。

需要注意的是,认知实验室团队只在SWE基准测试数据集的25%上测试了DEVIN,而SWE-Agent的性能是在整个数据集上报告的。这表明,如果DEVIN在完整的数据集上进行测试,其性能可能会下降,并可能接近SWE-Agent的水平。

SWE-Agent采用了与DEVIN类似的基于代理的方法,关键区别在于引入了"代理-计算机接口"层。这一层为代理提供了一组友好于语言模型的命令和专门的终端环境,使其能够更有效地与GitHub存储库进行交互。

SWE-Agent项目完全开源,团队计划soon发布一篇详细的论文,介绍他们的工作。这将提供宝贵的见解,了解该系统的技术细节以及与DEVIN等专有解决方案的性能对比。

SWE-Agent是一个新的开源项目,旨在复制认知实验室开发的专有Deon系统的功能。该代理具有独特的架构,使其能够以令人印象深刻的效率执行软件工程任务,特别是在GitHub存储库上。

SWE-Agent设计和功能的关键方面包括:

1. 代理-计算机接口:SWE-Agent通过专门的"代理-计算机接口"层与计算机进行交互。该接口提供了一组友好于语言模型的命令和反馈格式,使语言模型更容易浏览存储库、查看、编辑和执行文件。

2. 增量文件解析:SWE-Agent不是一次性分析整个文件,而是将文件分成100行的块,并搜索相关的代码部分。这种方法使代理能够保持更好的上下文,并相比于全文分析表现更高效。

3. 专注于GitHub的功能:目前,SWE-Agent专门设计用于处理GitHub存储库,允许它解决问题并创建拉取请求。但开发人员表示,未来的范围可能会扩展到包括其他软件工程任务。

4. 性能比较:SWE-Agent在基于解决GitHub问题的SWE基准测试中的性能非常接近专有的Deon系统。值得注意的是,SWE-Agent可以在大约93秒内完成基准测试任务,明显快于Deon的5分钟。

5. 开源和可访问性:SWE-Agent项目完全开源,开发人员计划soon发布详细介绍该系统架构和功能的论文。这种透明度和可访问性允许开源社区进一步增强和扩展代理的功能。

总的来说,SWE-Agent代表了开源软件工程代理发展的重要一步,挑战了像Deon这样的专有系统的性能。随着开源社区继续为该项目做出贡献,SWE-Agent的功能很可能会继续增强。

SWE-Agent,一个新的开源项目,在基于解决GitHub问题的SWE基准测试中展现了令人印象深刻的性能。SWE-Agent能够达到与专有的Devon系统非常接近的性能,而Devon此前被认为是最先进的。

值得注意的是,SWE-Agent能够在仅93秒内完成基准测试,这明显快于Devon需要的5分钟。这表明SWE-Agent拥有高度高效和优化的软件工程任务解决方法。

此外,SWE-Agent的性能是在SWE基准测试的完整数据集上实现的,而Devon只在25%的数据集上进行了测试。这表明SWE-Agent的功能更加稳健和通用。

SWE-Agent的成功归功于其独特的架构,包括提供了一个抽象层的"代理-计算机接口"。这使得代理能够以更自然和高效的方式与代码库进行交互。

总的来说,SWE-Agent作为专有系统Devon的强大开源替代方案的出现,是人工智能驱动的软件工程领域一个令人兴奋的发展。社区正期待着SWE-Agent研究论文的发布,这将提供更多关于其功能和潜力的见解。

尽管SWE-Agent在SWE基准测试中展现了令人印象深刻的性能,但它目前仅限于处理GitHub存储库。该代理的功能受限于特定的软件工程任务,无法用于其他类型的任务。此外,该代理需要使用像Opus或GPT-4这样的强大语言模型才能有效运行。目前可用的开源大型语言模型还不够强大,无法运行像SWE-Agent这样的代理。

然而,SWE-Agent和类似项目取得的进展是令人鼓舞的。随着开源社区继续开发更先进的语言模型,这些软件工程代理的功能很可能会扩展。SWE-Agent论文的发布备受期待,因为它可能提供宝贵的见解,了解这类系统的发展和潜力。

像SWA Agent这样的开源项目能够接近专有的Devon系统的性能,这是人工智能驱动的软件工程领域的一个重要发展。SWA Agent能够在几秒钟内自主解决GitHub问题,而Devon需要5分钟,这是一个令人印象深刻的成就。

虽然SWA Agent目前仅限于处理GitHub问题,但开源社区很可能会继续扩展其功能。该项目的论文发布将提供宝贵的见解,了解其底层技术和方法。

一个关键的启示是,专有系统如Devon的主要优势在于它们可以访问专有数据和计算资源,而不是任何固有的技术优势。开源社区复制这种性能的能力突出了这个领域进一步发展的潜力。

然而,当前开源语言模型运行这些高级代理的局限性仍然是一个挑战。对于像Opus或GPT-4这样的更强大模型的需求是显而易见的。随着这个领域的发展,看到开源社区如何继续推动人工智能驱动的软件工程的边界将是令人兴奋的。