Entfessle die Zukunft: Googles Gemini Pro übertrifft GPT-4, Metas ehrgeiziger Llama 4 Plan

Meta hat sich zum Ziel gesetzt, bis 2025 das fortschrittlichste KI-Modell der Branche zu entwickeln. Sie planen, ihr kommendes Llama-4-Modell auf zehnmal mehr Daten zu trainieren als Llama 3, das ihrer Aussage nach bereits mit den fortschrittlichsten Modellen konkurrenzfähig ist.

Zuckerberg erklärte, dass Meta lieber zu viel Rechenkapazität aufbauen würde als zu wenig, da sie sich auf die Rechenkapazität und Daten für die nächsten Jahre vorbereiten. Die für das Training von Llama 4 erforderliche Rechenleistung wird wahrscheinlich fast zehnmal höher sein als die, die für Llama 3 verwendet wurde, und zukünftige Modelle werden darüber hinaus weiter wachsen.

Dieses ehrgeizige Ziel bedeutet, dass Llama 4 die neuesten Modelle von Google, Anthropic, OpenAI und anderen übertreffen muss. Es bleibt abzuwarten, ob Meta dies erreichen kann, da der KI-Wettbewerb mit rasanten Fortschritten in der gesamten Branche weiter an Fahrt aufnimmt. Die Bereitschaft von Meta, massiv in Rechenkapazität und Daten zu investieren, deutet jedoch darauf hin, dass sie es ernst meinen, ihre Position als Marktführer bei großen Sprachmodellen zu behaupten.

Laut Adam D'Angelo, dem CEO von Quora und Aufsichtsratsmitglied bei OpenAI, könnte die Künstliche Allgemeine Intelligenz (KAI) innerhalb der nächsten 5 bis 15 Jahre erreicht werden. D'Angelo machte diese Vorhersage während einer kürzlichen Veranstaltung und erklärte, dass das Aufkommen von KAI eine sehr wichtige Veränderung für die Welt sein wird.

OpenAI, das Unternehmen hinter dem beliebten Sprachmodell GPT, hat intern ein neues Fünf-Stufen-Klassifizierungssystem entwickelt, um seinen Fortschritt beim Aufbau von KAI zu verfolgen. Die ersten drei Stufen umfassen:

1. Chatbots mit Konversationsfähigkeiten.
2. Denksysteme und Systeme mit menschenähnlichen Problemlösungsfähigkeiten.
3. Agenten und Systeme, die Handlungen ausführen können.

D'Angelos Vorhersage deutet darauf hin, dass selbst bevor der volle KAI-Meilenstein erreicht wird, die Erreichung von menschenähnlichen Problemlösungs- und Handlungsfähigkeiten "spielverändernde" Ereignisse sein werden, die die Welt erheblich transformieren könnten.

Angesichts der rasanten Fortschritte in der KI in den letzten Jahren wird die Vorhersage von KAI innerhalb der nächsten 5 bis 15 Jahre, obwohl ehrgeizig, von Branchenexperten als im Bereich des Möglichen liegend angesehen. Insbesondere die nächsten 5 Jahre werden voraussichtlich eine Beschleunigung der KI-Entwicklung bringen, da sich mehr der weltweit führenden Forschungslabore und Unternehmen auf diese Herausforderung konzentrieren.

Googles neues experimentelles Modell, Gemini Pro 0801, wurde in der Chatbot-Arena in der vergangenen Woche getestet und hat über 20.000 Gemeinschaftsstimmen gesammelt. Zum ersten Mal hat Gemini den ersten Platz belegt und GPT-4 und CLAUDE 3.5 übertroffen, mit einer beeindruckenden Punktzahl von 1.300 und auch den ersten Platz in der Vision-Rangliste erreicht.

Gemini Pro zeichnet sich durch Mehrsprachigkeit und robuste Leistung in technischen Bereichen, anspruchsvollen Prompts und beim Programmieren aus. Dies ist eine beachtliche Leistung, da Gemini 1.5 Pro es geschafft hat, die hochleistungsfähigen Modelle GPT-4 und CLAUDE 3.5 zu übertreffen.

Interessanterweise hat Google dieses Modell nicht als Gemini 2 bezeichnet, was darauf hindeutet, dass sie möglicherweise zusätzliche Reasoning- oder Post-Training-Techniken implementiert haben, um die Fähigkeiten des Modells zu verbessern. Dieser Ansatz ähnelt dem, was Anthropic mit CLAUDE 3.5 getan hat, wo das Modell im Vergleich zu früheren Versionen verbesserte Reasoning-Fähigkeiten zeigt.

Die Leistung von Gemini Pro 0801 unterstreicht die kontinuierlichen Fortschritte in der Chatbot-Arena, wobei die Modelle die Grenzen des Möglichen ständig erweitern. Es wird interessant sein zu sehen, wie lange Gemini Pro 0801 seine Spitzenposition halten kann und ob OpenAI oder andere KI-Unternehmen in naher Zukunft mit noch leistungsfähigeren Modellen antworten werden.

Nvidia arbeitet daran, die Entwicklung humanoider Roboter mit seiner Initiative Project Roo zu vereinfachen und zu beschleunigen. Das Unternehmen führt eine Reihe von Tools für Entwickler im Ökosystem humanoider Roboter ein, um ihre KI-Modelle effizienter zu erstellen.

Die Schlüsselkomponenten von Nvidias Ansatz umfassen:

1. Synthetische Datengenerierungs-Pipeline: Nvidia beginnt mit von Menschen gesammelten Demonstrationen unter Verwendung von Mixed-Reality-Geräten wie der Apple Vision Pro. Sie vervielfachen diese Daten dann um das Tausendfache mithilfe von Nvidias Simulationstools wie Omniverse, RoboSuite und MimicGen.

2. Verteilte Recheninfrastruktur: Nvidia nutzt seine DGX-, OVX- und Jetson-Thor-Rechenplattformen, um den Entwicklungsworkflow anzutreiben. Der DGX verarbeitet Videos und Text, um das multimodale Basismodell zu trainieren, der OVX führt den Simulationsstapel aus, und der Jetson Thor wird zum Testen des Modells auf echten Robotern verwendet.

3. Omniverse-gestützte Simulation: Nvidias Omniverse-Simulationsrahmen, integriert in das Isaac Lab, ermöglicht es Entwicklern, eine riesige Anzahl von Umgebungen und Layouts zu generieren, um die Vielfalt der Trainingsdaten zu erhöhen.

4. Von generativer KI unterstützte Tools: Nvidias MimicGen-Tool hilft bei der Generierung großer synthetischer Bewegungsdatensätze basierend auf einer geringen Anzahl von Originalaufnahmen, um die Trainingsdaten weiter zu erweitern.

Das Ziel ist es, Entwickler auf der ganzen Welt dabei zu unterstützen, bessere KI-Modelle für Plattformen humanoider Roboter zu erstellen. Nvidia glaubt, dass das Zeitalter der "physischen KI" angebrochen ist, in dem Roboter die physische Welt verstehen und mit ihr interagieren können.

Durch die Vereinfachung des Entwicklungsworkflows und die Bereitstellung leistungsfähiger Recheninfrastruktur will Nvidia den Fortschritt in der Robotik beschleunigen und uns dem Zeitalter der KI-gesteuerten humanoiden Roboter näher bringen.

Forscher auf der ICML 2024 präsentierten eine neue Prompt-Engineering-Technik namens "Plan Like a Graph", die die Leistung von Sprachmodellen bei komplexen, mehrstufigen Aufgaben deutlich verbessern kann.

Die Schlüsselerkenntnisse hinter dieser Technik sind, dass derzeitige Sprachmodelle Schwierigkeiten mit asynchroner Planung - der Fähigkeit, bestimmte Teilaufgaben parallel auszuführen, während andere sequenziell ausgeführt werden - haben. Um dies anzugehen, veranlasst die "Plan Like a Graph"-Methode das Modell, zunächst eine Graphendarstellung der Aufgabe zu generieren, um die Abhängigkeiten zwischen den Teilaufgaben zu erfassen. Das Modell kann dann diesen Graphen nutzen, um einen optimalen Plan zur Bewältigung der Gesamtaufgabe zu entwickeln.

Die Forscher fanden, dass dieser Ansatz Baseline-Methoden über verschiedene Sprachmodelle hinweg übertraf. Zum Beispiel reduzierte die "Plan Like a Graph"-Methode bei einer Aufgabe, bei der es darum ging, Frühstück zuzubereiten (z.B. Kaffee kochen, ein Ei braten, Toast machen), die Gesamtzeit zur Aufgabenbewältigung um über 20% im Vergleich zur sequenziellen Planung.

Diese Arbeit zeigt, dass in Sprachmodellen noch erhebliches ungenutztes Potenzial steckt und dass neuartige Prompt-Engineering-Techniken neue Fähigkeiten erschließen können. Wie die Forscher anmerken, handelt es sich hierbei um eine "einfache Prompt-Engineering-Methode", die kein zusätzliches Training erfordert, was sie zu einem zugänglichen Weg macht, um die Modellleistung zu verbessern.

Insgesamt stellt die "Plan Like a Graph"-Technik einen wichtigen Fortschritt in den Fähigkeiten von Sprachmodellen dar, insbesondere wenn es um komplexe, mehrstufige Schlussfolgerungen geht. Da sich Sprachmodelle weiterentwickeln, können wir erwarten, dass wir in Zukunft weitere innovative Prompt-Engineering-Ansätze sehen werden, die die Grenzen dessen, was diese Systeme erreichen können, erweitern.