Phát huy sức mạnh của LLaMA 405b: Biên giới mở nguồn trong trí tuệ nhân tạo

Các mô hình mới nhất của chúng tôi mở rộng độ dài ngữ cảnh bản địa lên 128k, tăng từ 8k trước đây. Sự gia tăng đáng kể này trong cửa sổ ngữ cảnh cho phép các mô hình của chúng tôi xử lý các nhiệm vụ dạng dài hiệu quả hơn, chẳng hạn như tóm tắt văn bản dài, tác nhân hội thoại đa ngôn ngữ và hỗ trợ lập trình.

Ngoài việc mở rộng ngữ cảnh, Llama 3.1 hiện hỗ trợ tám ngôn ngữ bản địa, cho phép các ứng dụng đa ngôn ngữ và đa dạng hơn. Mô hình cờ đầu 405 tỷ tham số, Llama 3.1 405b, được coi là mô hình nền tảng nguồn mở hàng đầu trong ngành, sánh ngang với khả năng của các mô hình nguồn đóng tốt nhất.

Phát hành mô hình mới này trao quyền cho cộng đồng để mở khóa các quy trình làm việc mới, chẳng hạn như tạo dữ liệu tổng hợp và phân giải mô hình. Bằng cách khai thác khả năng của Llama 3.1 405b, các nhà phát triển có thể tạo ra các tác nhân tùy chỉnh của riêng họ và khám phá các loại hành vi tác nhân mới. Chúng tôi cũng đang tăng cường hệ sinh thái với các công cụ bảo mật và an toàn mới, bao gồm Llama Guard 3 và Prompt Guard, để giúp xây dựng có trách nhiệm.

Meta đã phát hành Llama 3.1, một mô hình 405 tỷ tham số được coi là tiên tiến nhất và có thể sánh ngang với các mô hình nguồn đóng tốt nhất. Đây là một cột mốc đáng kể đối với cộng đồng nguồn mở, vì nó chứng minh rằng các mô hình nguồn mở bây giờ có thể cạnh tranh với các mô hình độc quyền tinh vi nhất.

Điểm nổi bật chính của Llama 3.1 405b bao gồm:

• Linh hoạt và Kiểm soát Vượt trội: Mô hình cung cấp khả năng tiên tiến nhất, sánh ngang với các mô hình nguồn đóng tốt nhất, cho phép các quy trình làm việc mới như tạo dữ liệu tổng hợp và phân giải mô hình.
• Mở rộng Độ dài Ngữ cảnh: Mô hình hiện hỗ trợ độ dài ngữ cảnh lên đến 128k token, tăng đáng kể so với 8k trước đây.
• Hỗ trợ Đa ngôn ngữ: Llama 3.1 hỗ trợ 8 ngôn ngữ, cho phép các ứng dụng đa dạng hơn.
• Cải thiện Hiệu suất: Các bộ đánh giá cho thấy Llama 3.1 405b vượt trội GPT-4 trong một loạt các nhiệm vụ, bao gồm kiến thức chung, khả năng điều hướng, toán học, sử dụng công cụ và dịch thuật đa ngôn ngữ.
• Tiếp cận Hệ sinh thái: Meta đang chuyển Llama thành một hệ sinh thái bằng cách cung cấp thêm các thành phần và công cụ, bao gồm một hệ thống tham chiếu, công cụ bảo mật và an toàn, và một yêu cầu nhận xét về API Llama stack.
• Hỗ trợ Hệ sinh thái Rộng rãi: Llama 3.1 được hỗ trợ bởi một loạt các đối tác, bao gồm AWS, Nvidia, Databricks, Google Cloud và những người khác, đảm bảo việc áp dụng và tích hợp rộng rãi.

Việc phát hành Llama 3.1 405b là một bước tiến quan trọng đối với cộng đồng AI nguồn mở, vì nó chứng minh rằng các mô hình nguồn mở bây giờ có thể cạnh tranh với các lựa chọn nguồn đóng tốt nhất. Đây là một minh chứng cho sự cần cù và tận tâm của nhóm Meta, và chắc chắn sẽ có tác động lâu dài đến cảnh quan AI.

Llama 3.1 là một mô hình nguồn mở đột phá có tiềm năng cạnh tranh với các mô hình AI nguồn đóng hàng đầu. Với 405 tỷ tham số, đây là mô hình nguồn mở tinh vi nhất được phát hành đến nay.

Mô hình này cung cấp khả năng tiên tiến nhất trong kiến thức chung, khả năng điều hướng, toán học, sử dụng công cụ và dịch thuật đa ngôn ngữ. Nó có thể cạnh tranh và thường vượt qua hiệu suất của GPT-4, mô hình mới nhất từ OpenAI.

Việc phát hành Llama 3.1 là một cột mốc quan trọng đối với cộng đồng nguồn mở, vì nó chứng minh rằng các mô hình nguồn mở bây giờ có thể đạt được khả năng tương đương với các đối tác nguồn đóng của họ. Đây là một minh chứng cho sự cần cù và tận tâm của nhóm Meta, những người đã đẩy ranh giới của những gì có thể với AI nguồn mở.

Một trong những tính năng chính của Llama 3.1 là tính linh hoạt và kiểm soát của nó. Mô hình này có thể được tùy chỉnh và tinh chỉnh cho một loạt các ứng dụng, cho phép các nhà phát triển mở khóa các quy trình làm việc mới như tạo dữ liệu tổng hợp và phân giải mô hình.

Ngoài ra, hệ sinh thái Llama đang được mở rộng với các thành phần và công cụ mới, bao gồm một hệ thống tham chiếu, công cụ bảo mật và an toàn, và một yêu cầu nhận xét về API Llama stack. Tiếp cận hệ sinh thái này nhằm trao quyền cho các nhà phát triển để tạo ra các tác nhân tùy chỉnh của riêng họ và các loại hành vi tác nhân mới.

Việc phát hành Llama 3.1 là một bước tiến quan trọng đối với cộng đồng AI nguồn mở, và chắc chắn sẽ có tác động lâu dài đến toàn ngành.

Như một phần của bản phát hành mới nhất, Meta đang giới thiệu các phiên bản nâng cấp của các mô hình Llama 8 tỷ tham số và 70 tỷ tham số. Các mô hình mới này đa ngôn ngữ và có độ dài ngữ cảnh đáng kể hơn lên đến 128k token. Chúng cũng có khả năng sử dụng công cụ tiên tiến nhất, hiện tốt hơn bất kỳ mô hình nguồn đóng nào trên thị trường, bao gồm cả Cohere của Anthropic.

Ngoài ra, các mô hình nâng cấp này có khả năng lý luận mạnh hơn, cho phép chúng hỗ trợ các trường hợp sử dụng nâng cao như tóm tắt văn bản dài, tác nhân hội thoại đa ngôn ngữ và hỗ trợ lập trình. Đây là một diễn biến đáng chú ý, vì nó cho phép các mô hình nhỏ hơn này cạnh tranh hiệu quả hơn với các mô hình lớn hơn, nguồn đóng.

Hiệu suất của các mô hình nâng cấp này đã được đánh giá trên 150 bộ dữ liệu chuẩn bao gồm nhiều ngôn ngữ. Kết quả cho thấy các mô hình Llama nhỏ hơn bây giờ cạnh tranh được với cả các mô hình nguồn đóng và nguồn mở có kích thước tham số tương tự, tiếp tục chứng minh sự tiến bộ ấn tượng của hệ sinh thái Llama.

Để hỗ trợ suy luận quy mô lớn cho một mô hình với quy mô 405B tham số, Meta đã thực hiện một số kỹ thuật then chốt:

1. Định lượng Mô hình: Họ đã định lượng các mô hình của mình từ 16-bit xuống 8-bit, giảm đáng kể yêu cầu tính toán cần thiết và cho phép mô hình chạy trong một nút máy chủ đơn.

2. Căn chỉnh sau Đào tạo: Trong quá trình sau đào tạo, Meta tạo ra các mô hình trò chuyện cuối cùng bằng cách thực hiện nhiều vòng căn chỉnh trên mô hình được đào tạo trước. Điều này bao gồm các kỹ thuật như tinh chỉnh có giám sát, lấy mẫu từ chối và tối ưu hóa trực tiếp về sở thích để cải thiện khả năng của mô hình thêm nữa.

3. Tạo Dữ liệu Tổng hợp: Meta đã sử dụng tạo dữ liệu tổng hợp để tạo ra phần lớn các ví dụ tinh chỉnh có giám sát của họ, lặp lại nhiều lần để tạo ra dữ liệu tổng hợp chất lượng cao hơn trên tất cả các khả năng. Điều này cho phép họ mở rộng dữ liệu đào tạo mà không chỉ dựa vào các tập dữ liệu thực tế hiếm hoi.

4. Đối tác Hệ sinh thái: Để đảm bảo hỗ trợ rộng rãi cho việc triển khai quy mô lớn, Meta đã hợp tác với các đối tác như AWS, NVIDIA, Databricks và những người khác để xây dựng hỗ trợ ngày một cho các mô hình Llama 3.1 trên các nền tảng và khung sườn suy luận khác nhau.

Bằng cách thực hiện các chiến lược này, Meta nhằm mục đích làm cho mạnh mẽ 405B tham số Llama 3.1 mô hình có thể tiếp cận được cho các trường hợp sử dụng sản xuất quy mô lớn, trao quyền cho cộng đồng AI rộng lớn hơn để khai thác các khả năng tiên tiến nhất mà không cần cơ sở hạ tầng nội bộ khổng lồ.

Việc phát hành Llama 3.1 đánh dấu một cột mốc quan trọng trong cảnh quan AI nguồn mở. Như một phần của bản cập nhật này, Meta đang giới thiệu Llama Stack - một tập hợp các giao diện tiêu chuẩn và có chủ kiến để xây dựng các thành phần chuỗi công cụ chính, tinh chỉnh, tạo dữ liệu tổng hợp và các ứng dụng tác nhân.

Mục tiêu của Llama Stack là thúc đẩy khả năng tương tác dễ dàng hơn trong toàn bộ hệ sinh thái Llama, khác với các mô hình đóng nơi các giao diện thường là độc quyền. Bằng cách định nghĩa các giao diện tiêu chuẩn này, Meta hy vọng sẽ được áp dụng rộng rãi trong cộng đồng rộng lớn hơn, cho phép các nhà phát triển dễ dàng hơn trong việc tùy chỉnh và xây dựng trên các mô hình Llama.

Một số thành phần chính của Llama Stack bao gồm:

1. Suy luận Thời gian thực và Theo Lô: Các giao diện tiêu chuẩn để triển khai các mô hình Llama trong các môi trường sản xuất, hỗ trợ cả trường hợp suy luận thời gian thực và theo lô.

2. Tinh chỉnh có Giám sát: Các giao diện được định nghĩa để tinh chỉnh các mô hình Llama trên các tập dữ