تحسين أنظمة تشغيل وكيل LLM باستخدام محاكاة بيئة التشغيل

OS-World هو إطار عمل حاسم يعمل كبيئة حاسوبية قابلة للتطوير والحقيقية لتقييم أداء الوكلاء متعددي الوسائط. توفر هذه المنصة حلاً موحدًا لإعداد المهام والتقييم القائم على التنفيذ والتعلم التفاعلي عبر أنظمة التشغيل المختلفة، بما في ذلك Ubuntu و Windows و macOS.

إحدى الميزات الرئيسية لـ OS-World هي مجموعتها الواسعة من 369 مهمة حاسوبية واقعية، والتي تم اختيارها بعناية لضمان التقييمات الموثوقة والقابلة للتكرار. تغطي هذه المهام مجموعة متنوعة من التطبيقات والعمليات، بما في ذلك إدخال/إخراج الملفات والتفاعلات متعددة التطبيقات والعمليات المكتبية.

OS-World هي إطار عمل قوي للقياس المرجعي مصمم لتقييم أداء الوكلاء متعددي الوسائط في بيئات الحاسوب الواقعية. توفر هذه الإطار عدة قدرات رئيسية تجعله أداة قيمة لتحسين كفاءة وفعالية عوامل الذكاء الاصطناعي.

1. إعداد المهام: توفر OS-World مجموعة شاملة من 369 مهمة حاسوبية واقعية تغطي مجموعة متنوعة من التطبيقات والعمليات. تم تصميم هذه المهام لتحاكي الأنشطة التي قد يواجهها عوامل الذكاء الاصطناعي في بيئة واقعية، مما يضمن تقييمات موثوقة وقابلة للتكرار.

2. التقييم القائم على التنفيذ: يستخدم الإطار نصوص تقييم مصممة خصيصًا لتقييم أداء عوامل الذكاء الاصطناعي على هذه المهام. تتمكن هذه النصوص من تفسير ملفات البرامج والإعدادات والجوانب الحقيقية في الوقت الفعلي، مما يضمن تقييمات دقيقة وشاملة.

3. التعلم التفاعلي: إحدى الميزات البارزة لـ OS-World هي قدرتها على تسهيل التعلم التفاعلي. يمكن دمج الإطار مع أطر عمل الذكاء الاصطناعي الأخرى، مثل AIOS، لتوفير التعليقات والتحسينات للعوامل المنشورة. يسمح هذا للعوامل بالتعلم والتكيف، مما يعزز أدائها في المهام المستقبلية.

تم تصميم بنية بيئة OS-World لتسهيل نشر وتقييم الوكلاء متعددي الوسائط في بيئات الحاسوب الحقيقية. وتتكون من عدة مكونات رئيسية، يلعب كل منها دورًا حاسمًا في العملية الشاملة:

1. إدارة المهام والتهيئة: الموضح باللون الأحمر، يتعامل هذا المكون مع ملفات التكوين التي تدير المهام وتهيئة البيئة.

2. تفاعلات الوكيل والمعالجة اللاحقة: الموضح باللون البرتقالي، يشرف هذا المكون على التفاعلات بين الوكلاء والبيئة، وكذلك المعالجة اللاحقة لإجراءات الوكيل بعد الإكمال.

3. استرداد الملفات: الموضح باللون الأصفر، يكون هذا المكون مسؤولاً عن استرداد الملفات والموارد اللازمة للمهام.

4. تنفيذ وظيفة التقييم: الموضح باللون الأخضر، يقوم هذا المكون بتنفيذ وظائف التقييم التي تقيّم أداء الوكلاء في إكمال المهام المخصصة.

OS World هو إطار عمل قوي للقياس المرجعي يتجاوز أدوات القياس المرجعي التقليدية. يوفر مكتبة شاملة من 369 مهمة حاسوبية واقعية مصممة لتقييم أداء الوكلاء متعددي الوسائط في بيئات نظام التشغيل الواقعية.

تغطي هذه المهام مجموعة متنوعة من التطبيقات والعمليات، بما في ذلك المهام متعددة التطبيقات والمهام لتطبيق واحد والمهام المتكاملة والمهام الممكنة. تم تصميم المهام بعناية لضمان التقييمات الموثوقة والقابلة للتكرار، معالجة قيود المعايير السابقة.

OS-World هو أداة قياس مرجعي حاسمة تساعد على تحسين أداء وكفاءة عوامل الذكاء الاصطناعي متعددة الوسائط التي تعمل في بيئات الحاسوب الواقعية. على عكس المعايير التقليدية، لا يقتصر OS-World على مجرد تقييم العوامل - بل يساعدهم أيضًا على التعلم والتحسين من خلال التدريب التفاعلي.

يتكون الإطار من 369 مهمة حاسوبية واقعية في مختلف الفئات، بما في ذلك سيناريوهات العمل متعددة التطبيقات والتكامل لتطبيق واحد والمهام الممكنة. تم تصميم هذه المهام لتقييم قدرات العوامل في تنفيذ عمليات متنوعة وعملية. تتحقق نصوص التقييم الخاصة بـ OS-World من إجراءات العوامل، مما يضمن تقييمات موثوقة وقابلة للتكرار.