رؤية Grok 1.5: اختراق في قدرات الذكاء الاصطناعي المتعددة الوسائط

Grok 1.5V، أحدث إصدار من نموذج الذكاء الاصطناعي الذي طوره فريق إيلون ماسك، قد قدم قدرات رؤية جديدة مثيرة للإعجاب. بالإضافة إلى قدراته القوية في معالجة النص، يمكن الآن لـ Grok معالجة مجموعة واسعة من المعلومات المرئية، بما في ذلك المستندات والمخططات والرسوم البيانية والصور الملتقطة بالشاشة والصور الفوتوغرافية.

إن الوتيرة السريعة التي يطلق بها Grok ميزات جديدة أمر مذهل حقًا، خاصة إذا أخذنا في الاعتبار أن المشروع لا يزال حديثًا نسبيًا مقارنة بنماذج الذكاء الاصطناعي البارزة الأخرى مثل تلك الخاصة بـ OpenAI. يُقال إن Grok 1.5V، والذي سيكون متاحًا قريبًا للمختبرين المبكرين ومستخدمي Grok الحاليين، يُعد منافسًا للنماذج المتعددة الوسائط الرائدة في عدة مجالات، بما في ذلك الاستدلال متعدد التخصصات وفهم المستندات والمخططات العلمية والرسوم البيانية والصور الملتقطة بالشاشة والصور الفوتوغرافية.

أحد أكثر الجوانب إثارة للاهتمام في Grok 1.5V هو أداؤه على مؤشر "Real World QA" الجديد، والذي يقيس فهم النموذج وقدراته على الاستدلال المكاني في السيناريوهات الواقعية. يُذكر أن Grok يتفوق على نظرائه في هذا المؤشر، وهذا قد يكون سابقة لمنافس SOTA (الأفضل في الفئة) من فريق Grok لمجموعات بيانات متنوعة.

توضح الأمثلة الواردة في النص مدى تنوع Grok في المهام مثل ترجمة المخططات اليدوية إلى رمز Python وحساب السعرات الحرارية بناءً على حقائق التغذية وإنشاء قصة نوم من رسم بسيط وشرح الفكاهة وراء ميم وتحويل صورة جدول إلى ملف CSV وحتى حل مشكلة برمجية من لقطة شاشة. تُظهر هذه الحالات الاستخدام قدرة Grok المذهلة على فهم العالم المادي والتفاعل معه، والتي قد تكون لها آثار كبيرة على تطوير المساعدات الذكية العملية.

إن إدخال مؤشر "Real World QA" يشير إلى أن فريق Grok يضع تركيزًا قويًا على تعزيز فهم النموذج للعالم الحقيقي، وهو أمر حاسم لإنشاء تطبيقات ذكاء اصطناعي مفيدة. قد يكون استخدام مخزون Tesla الضخم من البيانات الواقعية، بما في ذلك المعلومات المكانية والنصية، عاملاً مميزًا رئيسيًا يسمح لـ Grok بالتفوق على منافسيه في هذا المجال.

بشكل عام، يُعد عرض قدرات الرؤية في Grok 1.5V شهادة على التقدم السريع الذي يتم إحرازه في مجال الذكاء الاصطناعي المتعدد الوسائط. مع استمرار Grok في التطور وإمكانية أن يصبح مفتوح المصدر ومفتوح الوزن، سيكون من المثير للاهتمام رؤية كيف سيتم مقارنته بالنماذج الرائدة الأخرى وكيف يمكن الاستفادة منه لإنشاء تطبيقات مبتكرة للعالم الحقيقي.

Grok 1.5V، أحدث إصدار من نموذج الذكاء الاصطناعي الخاص بإيلون ماسك، قد أظهر قدرات مذهلة في معالجة مجموعة واسعة من المعلومات المرئية، بما في ذلك المستندات والمخططات والرسوم البيانية والصور الملتقطة بالشاشة والصور الفوتوغرافية. يُعد أداء النموذج ملحوظًا بشكل خاص في مجالي الاستدلال متعدد التخصصات والفهم الواقعي.

في إعداد الصفر، بدون استخدام تعليمات سلسلة الفكر، يتفوق Grok 1.5V على نظرائه في عدة مؤشرات. في مهمة الاستدلال متعدد التخصصات، يحصل Grok 1.5V على 53.6٪، مقارنة بـ 56.8٪ لـ GPT-4V و 59.4٪ للنموذج الأفضل أداءً CLaude 3 Opus.

يُظهر قوة Grok في مؤشر Vista المركز على الرياضيات، حيث يحتل المركز الأول بنتيجة 52.8٪. بالإضافة إلى ذلك، في مؤشر AI 2D الذي يقيم فهم النموذج للمخططات، يحقق Grok 1.5V درجة مذهلة تبلغ 88.3٪، متخلفًا بشكل طفيف عن الأفضل أداءً CLaude 3 Sonic بنتيجة 88.7٪.

النجم الحقيقي، ومع ذلك، هو أداء Grok 1.5V في مؤشر "Real-World QA"، والذي تم تصميمه لتقييم قدرات الفهم المكاني الأساسية للنماذج المتعددة الوسائط. في هذا المجال، يتفوق Grok 1.5V على منافسيه، مما يُظهر قدرته على تفسير وتحليل السيناريوهات الواقعية، مثل فهم الحجم النسبي للأشياء والتنقل في حركة المرور وتحديد اتجاه الديناصور.

إن التقدم السريع لـ Grok، والذي كان في التطوير لمدة 6 أشهر فقط مقارنة بجهود OpenAI التي استمرت لسنوات، أمر مذهل حقًا. إن طبيعة Grok المفتوحة المصدر والمفتوحة الوزن، كما أعلن عنها إيلون ماسك مؤخرًا، تزيد من جاذبيته وإمكانية انتشاره واسع النطاق والتعاون معه.

تتيح القدرات الجديدة للرؤية في Grok 1.5 معالجة مجموعة واسعة من المعلومات المرئية، بما في ذلك المخططات والعمليات. في أحد الأمثلة، يقدم المستخدم مخططًا بسيطًا مكتوبًا باليد يوضح خطوات لعبة تخمين الأرقام. يتمكن Grok 1.5 من تحليل المخطط وترجمته مباشرة إلى رمز Python عامل.

يمثل الرمز الذي ولّده Grok 1.5 المنطق الدقيق لعملية لعبة التخمين، بما في ذلك توليد رقم هدف عشوائي وقراءة تخمين المستخدم وطباعة الإخراج المناسب بناءً على ما إذا كان التخمين صحيحًا أم لا. هذا يُظهر القدرة المذهلة لـ Grok 1.5 على فهم المعلومات المرئية وتحويلها إلى رمز وظيفي، دون أي تعليمات أو تعليمات إضافية.

إن الترجمة السلسة من المخطط إلى الرمز العامل تسلط الضوء على قوة القدرات المتعددة الوسائط لـ Grok 1.5. من خلال الجمع بين فهمه للغة الطبيعية وقدرات المعالجة المرئية الجديدة، يمكن لـ Grok 1.5 التعامل مع مجموعة أوسع من المهام والمشكلات الواقعية. قد تكون هذه الميزة مفيدة بشكل خاص لنماذج التطبيقات السريعة وأتمتة المهام البرمجية المتكررة أو التعاون مع أصحاب المصلحة غير الفنيين.

إن قدرات الرؤية في Grok 1.5 مذهلة حقًا. في أحد الأمثلة، يقدم المستخدم صورة لحقائق التغذية لعلبة وجبة خفيفة، ويتمكن Grok من حساب السعرات الحرارية في عدد معين من الحصص بدقة.

يسأل المستخدم كم سعرة حرارية في خمس شرائح، حيث تنص حقائق التغذية على أن الحصة الواحدة هي ثلاث شرائح وتحتوي على 60 سعرة حرارية. يحدد Grok بشكل صحيح أن خمس شرائح ستحتوي على حوالي 100 سعرة حرارية، مما يُظهر قدرته على فهم المعلومات الواردة في الصورة وإجراء الحسابات اللازمة.

هذا يُظهر المهارات المتقدمة لـ Grok 1.5 في الرؤية الحاسوبية والاستدلال. يمكن للنموذج ليس فقط التعرف على البيانات ذات الصلة واستخراجها من الصور، ولكن أيضًا تطبيق التفكير المنطقي لتقديم إجابات دقيقة وواقعية. إن هذا المستوى من الفهم المرئي والحل المشكلات مذهل حقًا ويسلط الضوء على التقدم السريع الذي يحرزه Grok في مجال الذكاء الاصطناعي المتعدد الوسائط.

أحد أكثر الأمثلة إثارة للإعجاب التي تم عرضها في النص هو قدرة Grok1.5 على فهم وشرح الفكاهة وراء ميم. يقارن الميم الفروق بين الشركات الناشئة والشركات الكبيرة، باستخدام استعارة بصرية لمجموعة من الناس يحفرون حفرة.

في الجانب الأيسر، المُسمى "الشركات الناشئة"، يشارك مجموعة من الناس بنشاط، ويعملون جميعًا معًا على حفر الحفرة. في المقابل، في الجانب الأيمن، المُسمى "الشركات الكبيرة"، هناك شخص واحد فقط يحفر الحفرة بينما الآخرون إما يراقبون أو ينخرطون في أنشطة أخرى.

تمكن Grok1.5 من التعرف على الاختلافات المبالغ فيها بين السيناريوهين وشرح الفكاهة الكامنة وراءها. فهم أن الميم يسخر من التباين المألوف بين الإحساس بالعجلة والمشاركة المباشرة في الشركات الناشئة، مقارنة بالبيروقراطية والنهج الأقل مباشرة في الشركات الكبيرة والأكثر استقرارًا.

يُظهر هذا المثال قدرة Grok1.5 المذهلة ليس فقط على التعرف على العناصر البصرية للميم، ولكن أيضًا على فهم الاختلافات المفاهيمية التي يتم نقلها والنية الفكاهية وراء المقارنة. إن هذا المستوى من الفهم، حيث يمكن للذكاء الاصطناعي تفسير المعنى الدقيق والسياق للنكتة البصرية، ه