Giải phóng Siêu năng lực AI: Nền tảng Tất cả trong Một của OnDemand tích hợp LLM, Plugins và Đại lý/Ứng dụng AI

On Demand là một nền tảng AI cung cấp một loạt các tính năng để giúp người dùng tạo và lưu trữ các mô hình AI. Hãy cùng tìm hiểu các tính năng chính của nền tảng này:

Bring Your Own Model (BYOM)

Tính năng BYOM cho phép bạn tích hợp các mô hình AI tùy chỉnh của mình vào nền tảng On Demand. Bạn có thể kết nối tài khoản Hugging Face của mình và chọn từ một thư viện rộng lớn các mô hình đã được huấn luyện sẵn để triển khai trên nền tảng. Mức độ tùy chỉnh này cho phép bạn thử nghiệm với các mô hình phù hợp với các trường hợp sử dụng cụ thể của mình.

Bring Your Own Inference (BYOI)

Tính năng BYOI cho phép bạn mang theo máy chủ suy luận của riêng mình và tích hợp nó với nền tảng On Demand. Bạn có thể tạo một điểm cuối, chỉ định loại điểm cuối và cung cấp URL để kết nối máy chủ suy luận tùy chỉnh của mình. Sự linh hoạt này cho phép bạn tận dụng cơ sở hạ tầng và quy trình hiện có của mình.

Serverless Applications

On Demand cung cấp tính năng ứng dụng không máy chủ, cho phép bạn tạo và quản lý các kho lưu trữ không máy chủ của riêng mình. Bạn có thể kết nối các kho lưu trữ này từ các nền tảng như GitHub hoặc Bitbucket, cho phép bạn tích hợp các chức năng được hỗ trợ bởi AI một cách trơn tru vào các ứng dụng của mình.

Cloud Services

Nền tảng cung cấp một loạt các dịch vụ đám mây, bao gồm chuyển đổi giọng nói thành văn bản, chuyển đổi văn bản thành giọng nói và dịch ngôn ngữ. Các dịch vụ này có thể dễ dàng được tích hợp vào các quy trình công việc của bạn bằng cách sao chép các URL điểm cuối được cung cấp và kết hợp chúng vào các ứng dụng của bạn.

Agent Creation

Một trong những tính năng nổi bật của On Demand là khả năng tạo các đại lý AI của riêng bạn. Bạn có thể chọn từ các bộ chuyển đổi đại lý khác nhau, chẳng hạn như các đại lý API REST hoặc các đại lý dựa trên kiến thức, và tùy chỉnh chúng với các hành động, luồng và trình khởi động cuộc trò chuyện cụ thể. Điều này cho phép bạn xây dựng các trợ lý AI được thiết kế riêng để tự động hóa các nhiệm vụ khác nhau.

Usage Tracking

Tab Sử dụng trong On Demand cung cấp theo dõi toàn diện việc sử dụng nền tảng của bạn, bao gồm các số liệu liên quan đến tài liệu, âm thanh, video và hình ảnh của bạn. Tính năng này giúp bạn theo dõi và tối ưu hóa việc sử dụng tài nguyên của mình.

Bằng cách khám phá các tính năng này, bạn có thể khai thác trọn vẹn tiềm năng của nền tảng AI On Demand và tạo ra các giải pháp AI tinh vi để đáp ứng các nhu cầu kinh doanh hoặc cá nhân của mình.

On Demand cung cấp một tính năng mạnh mẽ được gọi là "Bring Your Own Model" (BYOM) cho phép bạn triển khai và sử dụng các mô hình AI tùy chỉnh của riêng mình, ngoài những mô hình được cung cấp bởi nền tảng. Điều này mang lại cho bạn mức độ tùy chỉnh và linh hoạt cao để thử nghiệm với các mô hình không có sẵn trên On Demand.

Để bắt đầu với BYOM:

1. Nhấp vào nút "Deploy Model" trong phần quản lý BYOM.
2. Đăng nhập bằng tài khoản Hugging Face của bạn và chọn mô hình bạn muốn triển khai từ kho mô hình Hugging Face.
3. Nhập ID mô hình Hugging Face hoặc ID kho lưu trữ của bạn, sau đó nhấp vào "Deploy" để thêm mô hình tùy chỉnh của bạn vào On Demand.

Khi mô hình của bạn đã được triển khai, bạn sẽ cần tạo một điểm cuối cho nó. Để làm điều này:

1. Nhấp vào menu thả xuống trong phần BYOM và chọn "Deploy Endpoint".
2. Tìm kiếm mô hình bạn vừa triển khai và nhập tên cho điểm cuối.
3. Chọn loại phiên bản (CPU, GPU, v.v.) và cấu hình thêm các thiết lập khác, chẳng hạn như tự động mở rộng quy mô.
4. Nhấp vào "Deploy" để tạo điểm cuối cho mô hình tùy chỉnh của bạn.

Với mô hình tùy chỉnh của bạn đã được triển khai và một điểm cuối được tạo, bây giờ bạn có thể sử dụng nó trên các tính năng và dịch vụ khác nhau được cung cấp bởi On Demand, chẳng hạn như Playground, Serverless Applications và tạo đại lý.

Tính năng "Bring Your Own Inference" (BYOI) trong On Demand cho phép bạn tích hợp các máy chủ suy luận tùy chỉnh của riêng mình với nền tảng. Điều này mang lại mức độ tùy chỉnh cao, cho phép bạn sử dụng các mô hình và máy chủ suy luận chuyên biệt của riêng mình, thay vì chỉ giới hạn ở các mô hình được cung cấp bởi On Demand.

Để thiết lập một máy chủ suy luận tùy chỉnh, hãy làm theo các bước sau:

1. Nhấp vào nút "Create Endpoint" ở góc trên bên phải.
2. Chỉ định tên cho điểm cuối của bạn.
3. Chọn "Endpoint Type" là "Custom Inference".
4. Nhập URL của máy chủ suy luận tùy chỉnh của bạn.
5. Nhấp vào "Create Endpoint" để lưu cấu hình.

Khi điểm cuối suy luận tùy chỉnh của bạn đã được thiết lập, bây giờ bạn có thể sử dụng nó trên các tính năng khác nhau trong On Demand, chẳng hạn như triển khai các mô hình của riêng bạn, tạo các đại lý AI và tích hợp với các ứng dụng không máy chủ. Điều này cho phép bạn tận dụng các khả năng suy luận độc đáo của mình và tích hợp chúng một cách trơn tru vào nền tảng On Demand.

Nền tảng AI On Demand cung cấp khả năng sử dụng các kho lưu trữ không máy chủ và các dịch vụ đám mây để tăng cường các khả năng AI của bạn. Dưới đây là cách bạn có thể sử dụng các tính năng này:

1. Serverless Repositories:

   • Bạn có thể kết nối các kho lưu trữ GitHub hoặc Bitbucket của mình với On Demand.
   • Sau khi kết nối, bạn có thể truy cập và triển khai các ứng dụng không máy chủ từ các kho lưu trữ này.
   • Điều này cho phép bạn tích hợp mã tùy chỉnh của mình và sử dụng nó trong nền tảng On Demand.

2. Cloud Services:

   • On Demand cung cấp một loạt các dịch vụ đám mây mà bạn có thể sử dụng, chẳng hạn như chuyển đổi giọng nói thành văn bản, chuyển đổi văn bản thành giọng nói và dịch ngôn ngữ.
   • Bạn có thể khám phá các dịch vụ đám mây có sẵn và sao chép các URL điểm cuối được cung cấp để tích hợp chúng vào các ứng dụng hoặc quy trình công việc của mình.
   • Các dịch vụ đám mây này được lập hóa đơn dựa trên mức sử dụng, cho phép bạn mở rộng các khả năng AI của mình khi cần thiết.

Bằng cách sử dụng các kho lưu trữ không máy chủ và các dịch vụ đám mây, bạn có thể mở rộng chức năng của nền tảng On Demand và tạo ra các giải pháp AI tinh vi hơn được thiết kế riêng cho các yêu cầu cụ thể của mình. Sự linh hoạt và khả năng tích hợp này khiến On Demand trở thành một nền tảng mạnh mẽ để xây dựng và triển khai các ứng dụng AI tùy chỉnh.

Tính năng tạo đại lý của On Demand cho phép bạn xây dựng các đại lý AI tinh vi để tự động hóa các nhiệm vụ khác nhau. Dưới đây là cách bạn có thể bắt đầu:

1. Chọn Bộ Chuyển Đổi Đại Lý: Chọn loại đại lý bạn muốn tạo, chẳng hạn như đại lý API REST hoặc đại lý dựa trên kiến thức. Điều này xác định các khả năng và tùy chọn tích hợp cho đại lý của bạn.

2. Cấu Hình Chi Tiết Đại Lý: Cung cấp tên, danh mục và mô tả cho đại lý của bạn. Thêm các trình khởi động cuộc trò chuyện để xác định cách đại lý nên bắt đầu tương tác.

3. Định Nghĩa Các Trường Đại Lý: Cấu hình các tên, loại và phạm vi chính cho dữ liệu mà đại lý của bạn sẽ làm việc.

4. Tích Hợp Các API Bên Ngoài: Đối với đại lý API REST, bạn có thể kết nối với các API bên ngoài và định nghĩa các hành động hoặc luồng tùy chỉnh để tích hợp chức năng của chúng vào đại lý của bạn.

5. Sử Dụng Các Cơ Sở Kiến Thức: Các đại lý dựa trên kiến thức có thể sử dụng dữ liệu và lưu trữ có sẵn trong On Demand, cho phép bạn xây dựng các đại lý có thể truy cập và xử lý thông tin của riêng mình.

6. Kiểm Tra và Hoàn Thiện: Sử dụng tính năng Playground để kiểm tra khả năng của đại lý, thử các lời nhắc khác nhau và thực hiện các điều chỉnh để tối ưu hóa hiệu suất của nó.

Với các công cụ tạo đại lý mạnh mẽ này, bạn có thể tạo ra các trợ lý AI tùy chỉnh để tự động hóa một loạt các nhiệm vụ, từ hỗ trợ khách hàng đến phân tích dữ liệu và nhiều hơn nữa. Khám phá toàn bộ tiềm năng của các khả năng tạo đại lý của On Demand để tối ưu hóa quy trình công việc và mở khóa các mức độ năng suất mới.

Tab Sử dụng trong nền tảng On Demand cung cấp các thông tin chi tiết và khả năng giám sát giá trị cho các hoạt động của bạn. Phần này cho phép bạn theo dõi và phân tích các khía cạnh khác nhau của việc sử dụng của bạn, bao gồm:

• Tài Liệu: Theo dõi việc lưu trữ và sử dụng các tài liệu đã tải lên của bạn, chẳng hạn như tệp văn bản, PDF và nhiều hơn nữa.
• Âm Thanh: Theo dõi việc sử dụng và lưu trữ bất