SWE-Agent: Der Open-Source-KI-Software-Ingenieur-Herausforderer zu DEVIN

Der SWE-Agent, ein neues Open-Source-Projekt, hat eine Leistung erreicht, die sehr nah an der von DEVIN, der von der Cognition Lab entwickelten KI-Software-Ingenieurin, auf dem SWE-Benchmark liegt. Der SWE-Benchmark basiert auf der Lösung von GitHub-Problemen, und es wurde zuvor berichtet, dass DEVIN eine Spitzengenauigkeit von 13,86% auf diesem Benchmark erreicht hat.

Der SWE-Agent kann jedoch diese Leistung erreichen und sie sogar übertreffen. Bemerkenswert ist, dass der SWE-Agent diese Aufgabe in nur etwa 93 Sekunden erledigt, was deutlich schneller ist als die 5 Minuten, die DEVIN dafür benötigt.

Es ist erwähnenswert, dass das Cognition Lab-Team DEVIN nur auf 25% des SWE-Benchmark-Datensatzes getestet hat, während die Leistung des SWE-Agents auf dem gesamten Datensatz berichtet wird. Dies legt nahe, dass, wenn DEVIN auf dem vollständigen Datensatz getestet würde, seine Leistung möglicherweise abnehmen und sich dem Niveau des SWE-Agents annähern könnte.

Der SWE-Agent verwendet einen ähnlichen agenten-basierten Ansatz wie DEVIN, mit dem Hauptunterschied, dass eine "Agent-Computer-Schnittstelle"-Schicht eingeführt wird. Diese Schicht bietet dem Agenten eine Reihe von sprachmodell-freundlichen Befehlen und eine spezialisierte Terminal-Umgebung, was ihm eine effektivere Interaktion mit GitHub-Repositorys ermöglicht.

Der SWE-Agent ist ein neues Open-Source-Projekt, das darauf abzielt, die Funktionalität des proprietären Deon-Systems der Cognition Lab zu replizieren. Der Agent hat eine einzigartige Architektur, die es ihm ermöglicht, Softwareentwicklungsaufgaben, insbesondere auf GitHub-Repositorys, mit beeindruckender Effizienz auszuführen.

Die Schlüsselaspekte des Designs und der Fähigkeiten des SWE-Agents sind:

1. Agent-Computer-Schnittstelle: Der SWE-Agent interagiert mit dem Computer über eine spezialisierte "Agent-Computer-Schnittstelle"-Schicht. Diese Schnittstelle bietet eine Reihe von sprachmodell-freundlichen Befehlen und Feedback-Formaten, was es dem Sprachmodell erleichtert, Repositorys zu durchsuchen, Dateien anzuzeigen, zu bearbeiten und auszuführen.

2. Inkrementelles Datei-Parsing: Anstatt die gesamte Datei auf einmal zu analysieren, teilt der SWE-Agent die Datei in 100-Zeilen-Blöcke auf und sucht nach den relevanten Codeabschnitten. Dieser Ansatz ermöglicht es dem Agenten, einen besseren Kontext beizubehalten und effizienter zu arbeiten als bei einer Volltext-Analyse.

3. GitHub-fokussierte Fähigkeiten: Derzeit ist der SWE-Agent speziell darauf ausgelegt, mit GitHub-Repositorys zu arbeiten und Probleme zu lösen sowie Pull-Requests zu erstellen. Die Entwickler haben jedoch angedeutet, dass der Umfang in Zukunft auf andere Softwareentwicklungsaufgaben erweitert werden könnte.

4. Leistungsvergleich: Der SWE-Agent hat eine Leistung gezeigt, die sehr nah an der des proprietären Deon-Systems auf dem SWE-Benchmark liegt, der auf der Lösung von GitHub-Problemen basiert. Bemerkenswert ist, dass der SWE-Agent die Benchmark-Aufgaben in etwa 93 Sekunden abschließen kann, deutlich schneller als Deons 5-Minuten-Leistung.

5. Open-Source und Zugänglichkeit: Das SWE-Agent-Projekt ist vollständig Open-Source, und die Entwickler planen, in Kürze ein Papier zu veröffentlichen, das die Architektur und Fähigkeiten des Systems detailliert beschreibt. Diese Transparenz und Zugänglichkeit ermöglichen es der Open-Source-Community, die Funktionalität des Agenten weiter zu verbessern und auszubauen.

Der SWE-Agent, ein neues Open-Source-Projekt, hat eine beeindruckende Leistung auf dem SWE-Benchmark gezeigt, der auf der Lösung von GitHub-Problemen basiert. Der SWE-Agent kann eine Leistung erreichen, die sehr nah an der des proprietären Devon-Systems liegt, das zuvor als der Stand der Technik galt.

Bemerkenswert ist, dass der SWE-Agent den Benchmark in nur 93 Sekunden abschließen kann, was deutlich schneller ist als die 5 Minuten, die Devon dafür benötigt. Dies deutet darauf hin, dass der SWE-Agent einen hocheffizienten und optimierten Ansatz zur Lösung von Softwareentwicklungsaufgaben hat.

Darüber hinaus wird die Leistung des SWE-Agents auf dem gesamten Datensatz des SWE-Benchmarks erzielt, im Gegensatz zu Devon, das nur auf 25% des Datensatzes getestet wurde. Dies deutet darauf hin, dass die Fähigkeiten des SWE-Agents robuster und verallgemeinerbarer sind.

Der Erfolg des SWE-Agents wird seiner einzigartigen Architektur zugeschrieben, die eine "Agent-Computer-Schnittstelle" umfasst, die eine Abstraktionsschicht zwischen dem Sprachmodell und der Computerterminal-Umgebung bietet. Dies ermöglicht es dem Agenten, auf eine natürlichere und effizientere Weise mit dem Codebase zu interagieren.

Obwohl der SWE-Agent eine beeindruckende Leistung auf dem SWE-Benchmark gezeigt hat, ist er derzeit auf die Arbeit mit GitHub-Repositorys beschränkt. Die Fähigkeiten des Agenten sind auf bestimmte Softwareentwicklungsaufgaben beschränkt und können nicht für andere Arten von Aufgaben verwendet werden. Darüber hinaus erfordert der Agent den Einsatz leistungsfähiger Sprachmodelle wie Opus oder GPT-4, um effektiv zu funktionieren. Die derzeit verfügbaren Open-Source-Sprachmodelle sind dafür nicht leistungsfähig genug.

Der von SWE-Agent und ähnlichen Projekten erzielte Fortschritt ist jedoch ermutigend. Da die Open-Source-Community weiterhin fortschrittlichere Sprachmodelle entwickelt, werden sich die Fähigkeiten dieser Softwareentwicklungs-Agenten voraussichtlich erweitern. Die Veröffentlichung des SWE-Agent-Papiers wird mit Spannung erwartet, da es wertvolle Einblicke in die Entwicklung und das Potenzial dieser Systeme liefern könnte.

Das Auftauchen von Open-Source-Projekten wie SWA Agent, die die Leistung des proprietären Devon-Systems nahezu erreichen können, ist eine bedeutende Entwicklung im Bereich der KI-gesteuerten Softwareentwicklung. Die Fähigkeit des SWA Agents, GitHub-Probleme in Sekundenschnelle autonom zu lösen, im Vergleich zu den 5 Minuten, die Devon dafür benötigt, ist eine beeindruckende Leistung.

Während der SWA Agent derzeit auf GitHub-Probleme beschränkt ist, wird die Open-Source-Community seine Fähigkeiten voraussichtlich weiter ausbauen. Die Veröffentlichung des Projektpapiers wird wertvolle Einblicke in die zugrunde liegenden Techniken und Ansätze liefern.

Ein Schlüsselergebnis ist, dass der Hauptvorteil proprietärer Systeme wie Devon in ihrem Zugang zu proprietären Daten und Rechenressourcen liegt, und nicht in einer inhärenten technologischen Überlegenheit. Die Fähigkeit der Open-Source-Community, eine solche Leistung zu replizieren, hebt das Potenzial für weitere Fortschritte in diesem Bereich hervor.

Die derzeitigen Einschränkungen von Open-Source-Sprachmodellen bei der Ausführung dieser fortgeschrittenen Agenten sind jedoch nach wie vor eine Herausforderung. Der Bedarf an leistungsfähigeren Modellen wie Opus oder GPT-4 ist offensichtlich. Mit dem Fortschritt des Bereichs wird es spannend sein zu sehen, wie die Open-Source-Community die Grenzen der KI-gesteuerten Softwareentwicklung weiter vorantreibt.