SWE-Agent: Den öppna källkodens AI-programvaruingenjörsutmanare till DEVIN

SWE-agenten, ett nytt öppenkällkodsprojekt, har uppnått prestanda som ligger mycket nära den som DEVIN, den AI-programvaruingenjör som utvecklats av Cognition Lab, har på SWE-benchmarken. SWE-benchmarken baseras på att lösa GitHub-problem, och det har tidigare rapporterats att DEVIN uppnådde en topprestanda på 13,86% på denna benchmark.

Men SWE-agenten kan matcha denna prestanda och kan till och med överträffa den. Noterbart är att SWE-agenten klarar av denna uppgift på bara cirka 93 sekunder, vilket är betydligt snabbare än de 5 minuter som DEVIN tog.

Det är värt att notera att Cognition Lab-teamet endast hade testat DEVIN på 25% av SWE-benchmarkdatauppsättningen, medan SWE-agentens prestanda rapporteras på hela datauppsättningen. Detta tyder på att om DEVIN testades på den fullständiga datauppsättningen, skulle dess prestanda kunna försämras och potentiellt närma sig den nivå som uppnås av SWE-agenten.

SWE-agenten är ett nytt öppenkällkodsprojekt som syftar till att replikera funktionaliteten hos det proprietära Deon-systemet som utvecklats av Cognition Lab. Agenten har en unik arkitektur som gör att den kan utföra programvaruingenjörsuppgifter, särskilt på GitHub-förråd, med imponerande effektivitet.

De viktigaste aspekterna av SWE-agentens design och funktioner är:

1. Agent-datoranslutning: SWE-agenten interagerar med datorn genom ett specialiserat "agent-datoranslutningslager". Detta gränssnitt tillhandahåller en uppsättning språkmodellsvänliga kommandon och återkopplingsformat, vilket gör det enklare för språkmodellen att bläddra i förråd, visa, redigera och köra filer.

2. Inkrementell filanalys: Istället för att analysera hela filen på en gång delar SWE-agenten upp filen i 100-raders block och söker efter relevanta kodavsnitt. Detta tillvägagångssätt gör att agenten kan behålla bättre kontext och utföra mer effektivt jämfört med en fullständig filanalys.

3. GitHub-fokuserade funktioner: För närvarande är SWE-agenten specifikt utformad för att fungera med GitHub-förråd, vilket gör att den kan lösa problem och skapa pull-förfrågningar. Utvecklarna har dock antytt att omfattningen kan utökas för att inkludera andra programvaruingenjörsuppgifter i framtiden.

4. Prestationsjämförelse: SWE-agenten har visat prestanda som ligger mycket nära det proprietära Deon-systemet på SWE-benchmarken, som baseras på att lösa GitHub-problem. Noterbart är att SWE-agenten kan slutföra benchmarktesterna på cirka 93 sekunder, betydligt snabbare än Deons 5 minuter.

5. Öppenkällkod och tillgänglighet: SWE-agentprojektet är helt öppenkällkod, och utvecklarna planerar att snart släppa en artikel som detaljerar systemets arkitektur och funktioner. Denna transparens och tillgänglighet gör att öppenkällkodssamfundet kan vidareutveckla och utöka agentens funktionalitet.

SWE-agenten, ett nytt öppenkällkodsprojekt, har visat imponerande prestanda på SWE-benchmarken, som baseras på att lösa GitHub-problem. SWE-agenten kan uppnå en prestanda som ligger mycket nära den hos det proprietära Devon-systemet, som tidigare ansågs vara topprestanda.

Noterbart är att SWE-agenten kan slutföra benchmarken på bara 93 sekunder, vilket är betydligt snabbare än de 5 minuter som Devon behövde. Detta tyder på att SWE-agenten har ett mycket effektivt och optimerat tillvägagångssätt för att lösa programvaruingenjörsuppgifter.

Förutom det, uppnår SWE-agentens prestanda på hela SWE-benchmarkdatauppsättningen, till skillnad från Devon som endast testades på 25% av datauppsättningen. Detta indikerar att SWE-agentens funktioner är mer robusta och generaliserbara.

SWE-agentens framgång tillskrivs dess unika arkitektur, som inkluderar ett "Agent-datoranslutningslager" som ger ett abstraktionslager mellan språkmodellen och datorterminalen. Detta gör att agenten kan interagera med kodbasen på ett mer naturligt och effektivt sätt.

Sammanfattningsvis är framväxten av SWE-agenten som ett starkt öppenkällkods alternativ till proprietära system som Devon en spännande utveckling inom AI-driven programvaruutveckling. Samfundet ser med spänning fram emot att få ta del av SWE-agentens forskningsrapport, som förväntas ge ytterligare insikter i dess funktioner och potential.

Men även om SWE-agenten har visat imponerande prestanda på SWE-benchmarken, är den för närvarande begränsad till att arbeta med GitHub-förråd. Agentens funktioner är begränsade till specifika programvaruingenjörsuppgifter och den kan inte användas för andra typer av uppgifter. Dessutom kräver agenten användning av kraftfulla språkmodeller som Opus eller GPT-4 för att fungera effektivt. De öppenkällkods-språkmodeller som för närvarande finns tillgängliga är inte tillräckligt kapabla för att köra agenter som SWE-agenten.

Den framsteg som gjorts av SWE-agenten och liknande projekt är dock uppmuntrande. Eftersom öppenkällkodssamfundet fortsätter att utveckla mer avancerade språkmodeller, kommer sannolikt även dessa programvaruingenjörsagenters funktioner att utökas. Lanseringen av SWE-agentens rapport väntas med spänning, eftersom den kan ge värdefulla insikter i utvecklingen och potentialen för den här typen av system.

Framväxten av öppenkällkodsprojekt som SWA Agent, som kan matcha prestandan hos det proprietära Devon-systemet, är en betydande utveckling inom AI-driven programvaruutveckling. SWA Agentens förmåga att autonomt lösa GitHub-problem på bara sekunder, jämfört med de 5 minuter som Devon tog, är en imponerande prestation.

Men även om SWA Agenten för närvarande är begränsad till GitHub-problem, kommer sannolikt öppenkällkodssamfundet att fortsätta att utöka dess funktioner. Lanseringen av projektets rapport kommer att ge värdefulla insikter i de underliggande teknikerna och tillvägagångssätten som används.

En nyckelinsikt är att den primära fördelen med proprietära system som Devon ligger i deras tillgång till proprietära data och beräkningsresurser, snarare än någon inneboende teknologisk överlägsenhet. Öppenkällkodssamfundets förmåga att replikera sådan prestanda belyser potentialen för ytterligare framsteg inom detta område.

Men de nuvarande begränsningarna hos öppenkällkods-språkmodeller när det gäller att köra dessa avancerade agenter är fortfarande en utmaning. Behovet av kraftfullare modeller, som Opus eller GPT-4, är uppenbart. Allteftersom området utvecklas kommer det att bli spännande att se hur öppenkällkodssamfundet fortsätter att driva gränserna för AI-driven programvaruutveckling.