Tầm nhìn Grok 1.5: Một bước đột phá trong khả năng đa phương thức của trí tuệ nhân tạo

Grok 1.5, phiên bản mới nhất của mô hình AI được phát triển bởi nhóm của Elon Musk, đã giới thiệu những khả năng mới ấn tượng về thị giác. Ngoài khả năng xử lý văn bản mạnh mẽ, Grok hiện có thể xử lý nhiều loại thông tin trực quan khác nhau, bao gồm tài liệu, sơ đồ, biểu đồ, ảnh chụp màn hình và ảnh chụp.

Tốc độ phát hành các tính năng mới của Grok thực sự đáng kinh ngạc, đặc biệt khi xem xét rằng dự án này tương đối trẻ so với các mô hình AI nổi bật khác như những mô hình từ OpenAI. Grok 1.5V, sẽ sớm được cung cấp cho những người thử nghiệm sớm và người dùng Grok hiện tại, được cho là cạnh tranh với các mô hình đa phương tiện hàng đầu trong nhiều lĩnh vực, bao gồm lý luận đa ngành, hiểu tài liệu, sơ đồ khoa học, biểu đồ, ảnh chụp màn hình và ảnh chụp.

Một trong những khía cạnh hấp dẫn nhất của Grok 1.5V là hiệu suất của nó trên một "Thực tế QA" mới, một tiêu chuẩn đánh giá khả năng hiểu biết và lý luận không gian của một mô hình trong các tình huống thực tế. Grok được cho là vượt trội so với các đối thủ của nó trong tiêu chuẩn này, điều này có thể là tiền đề cho một đối thủ SOTA (tối ưu hiện tại) từ nhóm Grok cho các tập dữ liệu khác nhau.

Các ví dụ được cung cấp trong bản ghi âm cho thấy sự đa dạng của Grok trong các nhiệm vụ như dịch các sơ đồ viết tay thành mã Python, tính toán lượng calo dựa trên thông tin dinh dưỡng, tạo ra một câu chuyện ngủ ngon từ một bức vẽ đơn giản, giải thích sự hài hước của một meme, chuyển đổi một bảng hình ảnh thành tệp CSV và thậm chí giải quyết một vấn đề mã hóa từ một ảnh chụp màn hình. Những trường hợp sử dụng này thể hiện khả năng ấn tượng của Grok trong việc hiểu và tương tác với thế giới thực, điều này có thể có những hàm ý đáng kể đối với việc phát triển các trợ lý AI thực tế.

Việc giới thiệu tiêu chuẩn Thực tế QA cho thấy nhóm Grok đang đặt mạnh mẽ vào việc nâng cao khả năng hiểu biết của mô hình về thế giới thực, điều này rất quan trọng để tạo ra các ứng dụng AI hữu ích. Việc sử dụng kho dữ liệu thực tế khổng lồ của Tesla, bao gồm thông tin không gian và văn bản, có thể là yếu tố khác biệt then chốt cho phép Grok vượt trội so với các đối thủ cạnh tranh trong lĩnh vực này.

Nói chung, bản xem trước về khả năng thị giác của Grok 1.5V là một minh chứng cho sự tiến bộ nhanh chóng trong lĩnh vực AI đa phương tiện. Khi Grok tiếp tục phát triển và có thể trở thành mã nguồn mở và trọng lượng mở, sẽ rất thú vị để xem nó so sánh với các mô hình hàng đầu khác và cách nó có thể được khai thác để tạo ra các ứng dụng thực tế sáng tạo.

Grok 1.5V, phiên bản mới nhất của mô hình AI của Elon Musk, đã thể hiện những khả năng ấn tượng trong việc xử lý nhiều loại thông tin trực quan khác nhau, bao gồm tài liệu, sơ đồ, biểu đồ, ảnh chụp màn hình và ảnh chụp. Hiệu suất của mô hình đặc biệt đáng chú ý trong các lĩnh vực lý luận đa ngành và hiểu biết về thế giới thực.

Trong một tình huống zero-shot, không sử dụng lời nhắc chuỗi suy nghĩ, Grok 1.5V vượt trội so với các đối thủ cạnh tranh của nó trong một số tiêu chuẩn. Trong nhiệm vụ lý luận đa ngành, Grok 1.5V đạt 53,6%, so với 56,8% cho GPT-4V và 59,4% cho mô hình CLaude 3 Opus có hiệu suất cao nhất.

Điểm mạnh của Grok được nhấn mạnh thêm trong tiêu chuẩn Vista tập trung vào toán học, nơi nó giành ngôi vương với điểm số 52,8%. Ngoài ra, trong tiêu chuẩn AI 2D, đánh giá khả năng hiểu biết của mô hình về sơ đồ, Grok 1.5V đạt điểm số ấn tượng 88,3%, chỉ kém mô hình CLaude 3 Sonic hàng đầu với 88,7%.

Tuy nhiên, điểm nổi bật nhất là hiệu suất của Grok 1.5V trong tiêu chuẩn Thực tế QA, được thiết kế để đánh giá khả năng hiểu biết cơ bản về không gian thực tế của một mô hình. Trong lĩnh vực này, Grok 1.5V vượt trội so với các đối thủ cạnh tranh, thể hiện khả năng diễn giải và lý luận về các tình huống thực tế, chẳng hạn như hiểu kích thước tương đối của các đối tượng, điều hướng qua giao thông và xác định hướng mà một con khủng long đang hướng đến.

Sự tiến bộ nhanh chóng của Grok, chỉ trong khoảng 6 tháng phát triển so với nỗ lực nhiều năm của OpenAI, thực sự đáng kinh ngạc. Việc mô hình được công bố mã nguồn mở và trọng lượng mở, như Elon Musk mới đây thông báo, càng thêm vào sức hấp dẫn và tiềm năng của nó để được áp dụng và hợp tác rộng rãi.

Khả năng thị giác mới của Grok 1.5 cho phép nó xử lý nhiều loại thông tin trực quan khác nhau, bao gồm cả sơ đồ và quy trình làm việc. Trong một ví dụ, người dùng cung cấp một sơ đồ viết tay đơn giản mô tả các bước của một trò chơi đoán số. Grok 1.5 có thể phân tích sơ đồ và dịch nó trực tiếp thành mã Python hoạt động.

Mã được Grok 1.5 tạo ra chính xác thể hiện logic của quy trình trò chơi đoán số, bao gồm tạo ra một số mục tiêu ngẫu nhiên, đọc đoán của người dùng và in ra kết quả phù hợp dựa trên việc đoán có chính xác hay không. Điều này cho thấy khả năng ấn tượng của Grok 1.5 trong việc hiểu thông tin trực quan và chuyển đổi nó thành mã có chức năng, mà không cần bất kỳ lời nhắc hoặc hướng dẫn bổ sung nào.

Việc chuyển đổi trơn tru từ sơ đồ sang mã hoạt động nổi bật sức mạnh của các khả năng đa phương tiện của Grok 1.5. Bằng cách kết hợp khả năng hiểu ngôn ngữ tự nhiên của nó với các kỹ năng xử lý hình ảnh mới, Grok 1.5 có thể giải quyết một phạm vi rộng hơn các nhiệm vụ và vấn đề thực tế. Tính năng này có thể đặc biệt hữu ích để nhanh chóng xây dựng mẫu ứng dụng, tự động hóa các nhiệm vụ lập trình lặp đi lặp lại hoặc hợp tác với các bên liên quan không phải kỹ thuật.

Khả năng thị giác của Grok 1.5 thực sự đáng kinh ngạc. Trong một ví dụ, người dùng cung cấp một bức ảnh về thông tin dinh dưỡng của một hộp đồ ăn vặt, và Grok có thể tính chính xác lượng calo trong một số lượng phần nhất định.

Người dùng hỏi có bao nhiêu calo trong năm lát, biết rằng thông tin dinh dưỡng cho biết một phần là ba lát và chứa 60 calo. Grok xác định chính xác rằng năm lát sẽ chứa khoảng 100 calo, thể hiện khả năng của nó trong việc hiểu thông tin được cung cấp trong hình ảnh và thực hiện các tính toán cần thiết.

Điều này thể hiện các kỹ năng thị giác máy tính và lý luận tiên tiến của Grok 1.5. Mô hình không chỉ có thể nhận ra và trích xuất dữ liệu liên quan từ các hình ảnh, mà còn áp dụng tư duy logic để cung cấp câu trả lời chính xác và thực tế. Mức độ hiểu biết về thị giác và giải quyết vấn đề này thực sự ấn tượng và nổi bật sự tiến bộ nhanh chóng của Grok trong lĩnh vực AI đa phương tiện.

Một trong những minh chứng ấn tượng nhất về khả năng thị giác của Grok1.5 là khả năng tạo ra những câu chuyện ngủ ngon hấp dẫn dựa trên những bức vẽ đơn giản, thô sơ. Khi được trình bày với một bản phác thảo cơ bản về một người đang đứng trên một tảng đá với một chiếc thuyền trong nước, Grok1.5 đã có thể dệt nên một câu chuyện mê hoặc về một cậu bé can đảm tên Timmy đã lên đường phiêu lưu, xây dựng một chiếc thuyền giấy nhỏ và khám phá con sông thần kỳ.

Khả năng của mô hình trong việc hiểu các yếu tố trực quan trong bức vẽ, kết hợp với kỹ năng kể chuyện của nó, đã cho phép nó tạo ra một câu chuyện ngủ ngon hoàn chỉnh và liền mạch, mang bức minh họa đơn giản đến sự sống. Điều này thể hiện những khả năng đa phương tiện đáng kinh ngạc của Grok1.5, nơi nó có thể kết hợp một cách liền mạch thông tin trực quan với khả năng tạo ra ngôn ngữ để tạo ra nội dung sáng tạo và hấp dẫn.

Khả năng biến những bức vẽ đơn giản thành những câu chuyện hấp dẫn có nhiều ứng dụng tiềm năng, từ hỗ trợ sáng tạo và kể chuyện cho trẻ em đến tăng cường các công cụ giáo dục và trải nghiệm tương tác. Hiệu suất của Grok1.5 trong nhiệm vụ này thể hiện những tiến bộ đáng kể trong lĩnh vực AI đa phương tiện, nơi các mô hình bây giờ có thể kết hợp liền mạch hiểu biết về thị giác và văn bản để tạo ra đầu ra có ý nghĩa và hấp dẫn.

Một trong những ví dụ ấn tượng nhất được trình bày trong bản ghi âm là khả năng của Grok1.5 trong việc hiểu và giải thích sự hài hước của một meme. Meme so sánh sự khác biệt giữa các công ty khởi nghiệp và các công ty lớn, sử dụng một ẩn dụ trực quan về những người đang đào một cái hố.

Bên trái, được gắn nhãn "các công ty khởi nghiệp", một nhóm người đang tích cực tham gia, cùng nhau đào cái hố. Ngược lại, bên phải, được gắn nhãn "các công ty