SWE-Agent: DEVIN에 대한 오픈 소스 AI 소프트웨어 엔지니어 도전자

새로운 오픈 소스 프로젝트인 SWE-Agent는 Cognition Lab에서 개발한 AI 소프트웨어 엔지니어 DEVIN과 매우 유사한 성능을 달성했습니다. SWE 벤치마크는 GitHub 이슈 해결을 기반으로 하며, DEVIN은 이 벤치마크에서 13.86%의 최고 정확도를 달성한 것으로 보고되었습니다.

SWE-Agent는 이 성능을 맞출 수 있으며 심지어 능가할 수 있습니다. 특히 SWE-Agent는 이 작업을 약 93초 만에 완료할 수 있어 DEVIN의 5분보다 훨씬 빠릅니다.

Cognition Lab 팀은 DEVIN을 SWE 벤치마크 데이터셋의 25%만 테스트했지만, SWE-Agent의 성능은 전체 데이터셋에서 보고되었습니다. 이는 DEVIN이 전체 데이터셋에서 테스트되면 성능이 저하되어 SWE-Agent 수준으로 떨어질 수 있음을 시사합니다.

SWE-Agent는 DEVIN과 유사한 에이전트 기반 접근 방식을 사용하지만, '에이전트-컴퓨터 인터페이스' 계층을 도입한 것이 핵심 차이점입니다. 이 계층은 에이전트에게 언어 모델 친화적인 명령어와 전용 터미널 환경을 제공하여 GitHub 리포지토리와 더 효과적으로 상호 작용할 수 있게 합니다.