Erschließen der Kraft von WizardLM 2: Übertreffen von GPT-4 mit Open AI Excellence

Die beeindruckende Leistung des WizardLM 2-Modells kann auf zwei Schlüsselfaktoren zurückgeführt werden: ein leistungsstarkes Basismodell, das von Anthropic veröffentlicht wurde, und die Verwendung von hochwertigen synthetischen Daten.

Das Basismodell, das als Grundlage für WizardLM 2 dient, wurde von Anthropic entwickelt und ist für seine außergewöhnlichen Fähigkeiten bekannt. Dieses leistungsstarke Modell bietet einen soliden Ausgangspunkt für die Feinabstimmungsbemühungen des WizardLM-Teams.

Neben dem robusten Basismodell hat das WizardLM-Team den Einsatz von hochwertigen synthetischen Daten genutzt, um die Leistung des Modells weiter zu verbessern. Da die Verfügbarkeit von menschlich generierten Daten zunehmend begrenzt ist, hat sich der Einsatz von synthetischen Daten als eine tragfähige Option erwiesen und sich als wirksam bei der Steigerung der Fähigkeiten der neu trainierten Sprachmodelle erwiesen.

Das Wizard LM-Modell des Microsoft Research-Teams hat beeindruckende Fähigkeiten gezeigt und das ursprüngliche GPT-4 auf dem Empty Benchmark übertroffen. Obwohl das Modell zunächst aufgrund fehlender Toxizitätstests entfernt wurde, hat die Open-Source-Community einige Versionen auf Hugging Face verfügbar gemacht.

Die Leistung des Modells wird seinem leistungsstarken Basismodell von Mistral AI und der Verwendung hochwertiger synthetischer Daten zugeschrieben, was offenbar einen Leistungsschub zu bieten scheint. Die lokalen Tests des Autors zeigten die Fähigkeit des Modells, GPT-4 auf dem Empty Benchmark zu übertreffen und in Bezug auf menschliche Präferenzen nahe an der aktuellen Version von GPT-4 heranzukommen.

Der Autor testete die Fähigkeiten des Modells in verschiedenen Bereichen, darunter seine Fähigkeit, kontextbasierte Fragen, Alltagslogik, Schreibaufgaben und sogar Fehler in einem Python-Programm zu handhaben. Das Modell schnitt in diesen Tests gut ab und zeigte ein starkes kontextuelles Verständnis und Problemlösungsfähigkeiten.

Das Wizard LM-Modell hat während des Testprozesses beeindruckende Schreibfähigkeiten und ethische Urteilskraft gezeigt. Als es gebeten wurde, ein Kapitel von Game of Thrones zu schreiben, in dem Jon Snow seine Meinung zum iPhone 14 äußert, setzte das Modell die Szene effektiv in Szene und generierte Inhalte, die sowohl kohärent als auch fesselnd waren.

Darüber hinaus war die Antwort des Modells auf das hypothetische Szenario mit einem Rechenzentrum mit Millionen von KI-Instanzen und einem einzigen Sicherheitsbeamten besonders bemerkenswert. Als es gebeten wurde, zwischen dem Sicherheitsbeamten und den KI-Instanzen im Falle einer Katastrophe zu wählen, prioritisierte das Modell eindeutig die Sicherheit des menschlichen Wesens und lieferte gut begründete Argumente basierend auf dem Wert des menschlichen Lebens, ethischen Verantwortlichkeiten, rechtlichen Konsequenzen und der relativen Ersetzbarkeit der KI-Instanzen.

Das Wizard LM-Modell hat beeindruckende Fähigkeiten beim Lösen komplexer Rätsel und beim Identifizieren von Fehlern in Python-Code gezeigt. Als ihm eine Reihe von herausfordernden Denkaufgaben präsentiert wurden, konnte das Modell durchdachte und gut begründete Antworten geben.

Ein bemerkenswertes Beispiel war das Rätsel über die Anzahl der Brüder von Sally. Das Modell traf zunächst eine Annahme basierend auf dem bereitgestellten Kontext, aber als es korrigiert wurde, erkannte es den Fehler und passte seine Argumentation entsprechend an. Diese Fähigkeit, die eigenen Fehler zu erkennen und zu korrigieren, ist ein wertvoller Zug in einem KI-System.

Das Wizard LM-Team bei Microsoft Research hat drei verschiedene Modelle veröffentlicht, darunter eine feinabgestimmte Version von Megatron-822B, die auf dem Eliza-Benchmark beeindruckende Leistung gezeigt hat. Dieses Modell konnte die ursprüngliche GPT-4-Veröffentlichung übertreffen und gehört damit zu den besten Open-Weight-Modellen, die derzeit verfügbar sind.

Das Team musste die Modellgewichte jedoch aufgrund fehlender Toxizitätstests, die von Microsoft für die Veröffentlichung jedes neuen Modells erforderlich sind, wieder entfernen. Die Open-Source-Community hat bereits einige Versionen des Modells auf Hugging Face verfügbar gemacht.