SWE-Agent: Người thách thức AI phần mềm nguồn mở của DEVIN

Dự án mã nguồn mở mới SWE-Agent đã đạt được hiệu suất rất gần với DEVIN, phần mềm kỹ sư phần mềm do Cognition Lab phát triển, trên Bộ Tiêu chuẩn SWE. Bộ Tiêu chuẩn SWE dựa trên việc giải quyết các vấn đề trên GitHub, và trước đây DEVIN được báo cáo là đã đạt độ chính xác tối ưu 13,86% trên bộ tiêu chuẩn này.

Tuy nhiên, SWE-Agent có thể đạt được hiệu suất này và thậm chí vượt qua nó. Đáng chú ý, SWE-Agent hoàn thành nhiệm vụ này chỉ trong khoảng 93 giây, nhanh hơn nhiều so với 5 phút của DEVIN.

Đáng lưu ý rằng nhóm Cognition Lab chỉ kiểm tra DEVIN trên 25% tập dữ liệu Bộ Tiêu chuẩn SWE, trong khi hiệu suất của SWE-Agent được báo cáo trên toàn bộ tập dữ liệu. Điều này cho thấy nếu DEVIN được kiểm tra trên toàn bộ tập dữ liệu, hiệu suất của nó có thể suy giảm và tiến gần hơn đến mức độ đạt được bởi SWE-Agent.

SWE-Agent là một dự án mã nguồn mở mới nhằm nhân bản chức năng của hệ thống chuyên dụng Deon do Cognition Lab phát triển. Tác nhân này có một kiến trúc độc đáo cho phép nó thực hiện các nhiệm vụ kỹ thuật phần mềm, đặc biệt là trên các kho lưu trữ GitHub, với hiệu quả ấn tượng.

Các khía cạnh chính của thiết kế và khả năng của SWE-Agent là:

1. Giao diện Tác nhân-Máy tính: SWE-Agent tương tác với máy tính thông qua một lớp "giao diện tác nhân-máy tính" chuyên biệt. Giao diện này cung cấp một tập các lệnh và định dạng phản hồi thân thiện với mô hình ngôn ngữ, giúp mô hình ngôn ngữ duyệt qua các kho lưu trữ, xem, chỉnh sửa và thực thi các tệp dễ dàng hơn.

2. Phân tích tệp từng phần: Thay vì phân tích toàn bộ tệp cùng một lúc, SWE-Agent chia tệp thành các phần 100 dòng và tìm kiếm các phần mã liên quan. Phương pháp này cho phép tác nhân duy trì ngữ cảnh tốt hơn và hoạt động hiệu quả hơn so với phân tích toàn bộ tệp.

SWE-Agent, một dự án mã nguồn mở mới, đã chứng minh được hiệu suất ấn tượng trên Bộ Tiêu chuẩn SWE, dựa trên việc giải quyết các vấn đề trên GitHub. SWE-Agent có thể đạt được hiệu suất rất gần với hệ thống chuyên dụng Devon, trước đây được coi là tối ưu.

Đáng chú ý, SWE-Agent có thể hoàn thành bộ tiêu chuẩn trong 93 giây, nhanh hơn nhiều so với 5 phút của Devon. Điều này cho thấy SWE-Agent có một phương pháp hiệu quả và tối ưu hóa cao để giải quyết các nhiệm vụ kỹ thuật phần mềm.

Hơn nữa, hiệu suất của SWE-Agent được đạt trên toàn bộ tập dữ liệu của Bộ Tiêu chuẩn SWE, không giống như Devon, chỉ được kiểm tra trên 25% tập dữ liệu. Điều này cho thấy khả năng của SWE-Agent mạnh mẽ và có tính khái quát cao hơn.

Mặc dù SWE-Agent đã chứng minh được hiệu suất ấn tượng trên Bộ Tiêu chuẩn SWE, nhưng hiện tại nó chỉ giới hạn trong việc làm việc với các kho lưu trữ GitHub. Khả năng của tác nhân bị giới hạn trong các nhiệm vụ kỹ thuật phần mềm cụ thể và không thể được sử dụng cho các loại nhiệm vụ khác. Ngoài ra, tác nhân yêu cầu sử dụng các mô hình ngôn ngữ mạnh như Opus hoặc GPT-4 để hoạt động hiệu quả. Các mô hình ngôn ngữ mã nguồn mở hiện có không đủ khả năng để chạy các tác nhân như SWE-Agent.

Sự xuất hiện của các dự án mã nguồn mở như SWA Agent, có thể sánh ngang với hiệu suất của hệ thống chuyên dụng Devon, là một bước phát triển đáng kể trong lĩnh vực kỹ thuật phần mềm được hỗ trợ bởi trí tuệ nhân tạo. Khả năng của SWA Agent giải quyết các vấn đề trên GitHub một cách tự động trong vài giây, so với 5 phút của Devon, là một thành tựu đáng chú ý.

Mặc dù SWA Agent hiện chỉ giới hạn trong các vấn đề trên GitHub, cộng đồng mã nguồn mở có thể tiếp tục mở rộng khả năng của nó. Việc công bố bài báo về dự án sẽ cung cấp những hiểu biết quý giá về các kỹ thuật và phương pháp cơ bản được sử dụng.