SWE-Agent: De Open Source AI Software Engineer Uitdager van DEVIN

De SWE-Agent, een nieuw open-source project, heeft een prestatie behaald die zeer dicht bij die van DEVIN, de AI-softwareingenieur ontwikkeld door Cognition Lab, op de SWE-benchmark. De SWE-benchmark is gebaseerd op het oplossen van GitHub-problemen, en eerder werd gemeld dat DEVIN een state-of-the-art nauwkeurigheid van 13,86% op deze benchmark had bereikt.

De SWE-Agent kan echter deze prestatie evenaren en zelfs overtreffen. Opmerkelijk is dat de SWE-Agent deze taak in slechts ongeveer 93 seconden voltooit, wat aanzienlijk sneller is dan de 5 minuten die DEVIN nodig had.

Het is vermeldenswaard dat het Cognition Lab-team DEVIN alleen op 25% van de SWE-benchmarkdataset had getest, terwijl de prestaties van de SWE-Agent op de volledige dataset worden gerapporteerd. Dit suggereert dat als DEVIN op de volledige dataset zou worden getest, zijn prestaties zouden kunnen verslechteren en mogelijk dichter bij het niveau van de SWE-Agent zouden komen.

De SWE-Agent is een nieuw open-source project dat tot doel heeft de functionaliteit van het eigendomssysteem Deon, ontwikkeld door Cognition Lab, na te bootsen. De agent heeft een unieke architectuur die hem in staat stelt softwareengineering-taken, met name op GitHub-opslagplaatsen, met indrukwekkende efficiëntie uit te voeren.

De belangrijkste aspecten van het ontwerp en de mogelijkheden van de SWE-Agent zijn:

1. Agent-Computer Interface: De SWE-Agent communiceert met de computer via een gespecialiseerde "agent-computer interface"-laag. Deze interface biedt een set taalmodel-vriendelijke opdrachten en feedbackformaten, waardoor het voor het taalmodel gemakkelijker is om opslagplaatsen te doorzoeken, bestanden te bekijken, te bewerken en uit te voeren.

2. Incrementeel Bestandsparsen: In plaats van het hele bestand in één keer te analyseren, verdeelt de SWE-Agent het bestand in stukken van 100 regels en zoekt hij naar de relevante code-secties. Deze aanpak stelt de agent in staat om een betere context te behouden en efficiënter te presteren in vergelijking met een volledige bestandsanalyse.

3. GitHub-Gerichte Mogelijkheden: Momenteel is de SWE-Agent specifiek ontworpen om te werken met GitHub-opslagplaatsen, waardoor hij in staat is om problemen op te lossen en pull-verzoeken te maken. De ontwikkelaars hebben echter aangegeven dat de scope in de toekomst kan worden uitgebreid om andere softwareengineering-taken te omvatten.

4. Prestatie Vergelijking: De SWE-Agent heeft een prestatie behaald die zeer dicht bij het eigendomssysteem Deon op de SWE-benchmark ligt, die is gebaseerd op het oplossen van GitHub-problemen. Opmerkelijk is dat de SWE-Agent de benchmark-taken in ongeveer 93 seconden kan voltooien, aanzienlijk sneller dan Deon's 5-minuten-prestatie.

5. Open-Source en Toegankelijkheid: Het SWE-Agent-project is volledig open-source en de ontwikkelaars zijn van plan binnenkort een paper uit te brengen met details over de systeemarchitectuur en -mogelijkheden. Deze transparantie en toegankelijkheid stellen de open-source gemeenschap in staat om de functionaliteit van de agent verder te verbeteren en uit te breiden.

De SWE-Agent, een nieuw open-source project, heeft indrukwekkende prestaties geleverd op de SWE-benchmark, die is gebaseerd op het oplossen van GitHub-problemen. De SWE-Agent is in staat om een prestatie te behalen die zeer dicht bij die van het eigendomssysteem Devon ligt, dat eerder werd beschouwd als de state-of-the-art.

Opmerkelijk is dat de SWE-Agent de benchmark in slechts 93 seconden kan voltooien, wat aanzienlijk sneller is dan de 5 minuten die Devon nodig had. Dit suggereert dat de SWE-Agent een zeer efficiënte en geoptimaliseerde aanpak heeft voor het oplossen van softwareengineering-taken.

Bovendien is de prestatie van de SWE-Agent behaald op de volledige dataset van de SWE-benchmark, in tegenstelling tot Devon, dat alleen op 25% van de dataset is getest. Dit geeft aan dat de mogelijkheden van de SWE-Agent robuuster en generaliseerbaarder zijn.

Het succes van de SWE-Agent wordt toegeschreven aan zijn unieke architectuur, die een "Agent-Computer Interface" omvat die een abstractielaag biedt tussen het taalmodel en de computer-terminal. Hierdoor kan de agent op een natuurlijkere en efficiëntere manier met de codebase omgaan.

Hoewel de SWE-Agent indrukwekkende prestaties heeft laten zien op de SWE-benchmark, is hij momenteel beperkt tot het werken met GitHub-opslagplaatsen. De mogelijkheden van de agent zijn beperkt tot specifieke softwareengineering-taken en kunnen niet worden gebruikt voor andere soorten taken. Bovendien vereist de agent het gebruik van krachtige taalmodellen zoals Opus of GPT-4 om effectief te kunnen functioneren. De open-source taalmodellen die momenteel beschikbaar zijn, zijn niet krachtig genoeg om agents zoals de SWE-Agent uit te voeren.

De vooruitgang die is geboekt door de SWE-Agent en soortgelijke projecten is echter bemoedigend. Naarmate de open-source gemeenschap meer geavanceerde taalmodellen blijft ontwikkelen, zullen de mogelijkheden van deze softwareengineering-agents waarschijnlijk uitbreiden. De publicatie van het paper over de SWE-Agent wordt met spanning verwacht, aangezien het waardevolle inzichten kan bieden in de ontwikkeling en het potentieel van dit soort systemen.

De opkomst van open-source projecten zoals SWA Agent, die de prestaties van het eigendomssysteem Devon dicht kunnen benaderen, is een belangrijke ontwikkeling op het gebied van AI-aangedreven softwareengineering. Het vermogen van de SWA Agent om autonoom GitHub-problemen op te lossen in een kwestie van seconden, in vergelijking met de 5 minuten die Devon nodig had, is een indrukwekkende prestatie.

Hoewel de SWA Agent momenteel beperkt is tot GitHub-problemen, zal de open-source gemeenschap waarschijnlijk doorgaan met het uitbreiden van zijn mogelijkheden. De publicatie van het projectpaper zal waardevolle inzichten bieden in de onderliggende technieken en benaderingen die worden gebruikt.

Eén belangrijke les is dat het belangrijkste voordeel van eigendomssystemen zoals Devon ligt in hun toegang tot eigendomsgegevens en rekenkracht, en niet in enige inherente technologische superioriteit. Het vermogen van de open-source gemeenschap om dergelijke prestaties na te bootsen, benadrukt het potentieel voor verdere vooruitgang op dit gebied.

De huidige beperkingen van open-source taalmodellen bij het uitvoeren van deze geavanceerde agents blijven echter een uitdaging. De behoefte aan krachtigere modellen, zoals Opus of GPT-4, is duidelijk. Naarmate het veld vordert, zal het spannend zijn om te zien hoe de open-source gemeenschap de grenzen van AI-aangedreven softwareengineering blijft verleggen.