AI 초능력 unleash: OnDemand의 올인원 플랫폼이 LLM, 플러그인, AI 에이전트/앱을 통합합니다

온디맨드는 사용자가 AI 모델을 생성하고 호스팅할 수 있는 다양한 기능을 제공하는 AI 플랫폼입니다. 이 플랫폼의 주요 기능을 살펴보겠습니다:

사용자 모델 사용(BYOM)

사용자 모델 사용(BYOM) 기능을 통해 사용자 맞춤형 AI 모델을 온디맨드 플랫폼에 통합할 수 있습니다. 사용자는 Hugging Face 계정을 연결하고 플랫폼에 배포할 수 있는 다양한 사전 학습 모델을 선택할 수 있습니다. 이러한 맞춤화 수준을 통해 사용자는 특정 사용 사례에 맞춰 모델을 실험할 수 있습니다.

사용자 추론 사용(BYOI)

사용자 추론 사용(BYOI) 기능을 통해 사용자는 자신의 추론 서버를 가져와 온디맨드 플랫폼과 통합할 수 있습니다. 사용자는 엔드포인트를 생성하고, 엔드포인트 유형을 지정하며, 사용자 맞춤형 추론 서버의 URL을 제공할 수 있습니다. 이러한 유연성을 통해 사용자는 기존 인프라와 워크플로를 활용할 수 있습니다.

서버리스 애플리케이션

온디맨드는 사용자가 자신의 서버리스 리포지토리를 생성하고 관리할 수 있는 서버리스 애플리케이션 기능을 제공합니다. 사용자는 GitHub 또는 Bitbucket과 같은 플랫폼에서 이러한 리포지토리를 연결할 수 있으며, 이를 통해 AI 기반 기능을 애플리케이션에 원활하게 통합할 수 있습니다.

클라우드 서비스

이 플랫폼은 음성-텍스트 변환, 텍스트-음성 변환, 언어 번역과 같은 다양한 클라우드 서비스를 제공합니다. 이러한 서비스는 제공된 엔드포인트 URL을 복사하고 애플리케이션에 통합하여 쉽게 사용할 수 있습니다.

에이전트 생성

온디맨드의 두드러진 기능 중 하나는 사용자 자신의 AI 에이전트를 생성할 수 있는 기능입니다. 사용자는 REST API 에이전트 또는 지식 기반 에이전트와 같은 다양한 에이전트 어댑터를 선택하고, 특정 작업, 흐름, 대화 시작점으로 이를 사용자 정의할 수 있습니다. 이를 통해 사용자는 다양한 작업을 자동화할 수 있는 맞춤형 AI 어시스턴트를 구축할 수 있습니다.

사용량 추적

온디맨드의 사용량 탭에서는 문서, 오디오, 비디오, 이미지와 관련된 지표를 포함하여 플랫폼 사용량에 대한 종합적인 추적이 가능합니다. 이 기능을 통해 사용자는 리소스 활용을 모니터링하고 최적화할 수 있습니다.

이러한 기능을 탐색함으로써 사용자는 온디맨드 AI 플랫폼의 전체 잠재력을 활용하고 비즈니스 또는 개인적 요구사항을 충족하는 복잡한 AI 기반 솔루션을 만들 수 있습니다.

온디맨드는 플랫폼에서 제공하는 모델 외에 사용자 고유의 맞춤형 AI 모델을 배포하고 사용할 수 있는 강력한 기능인 '사용자 모델 사용(BYOM)'을 제공합니다. 이를 통해 사용자는 온디맨드에 기본적으로 제공되지 않는 모델을 실험할 수 있는 높은 수준의 맞춤화와 유연성을 얻을 수 있습니다.

BYOM 시작하기:

1. BYOM 관리 섹션에서 '모델 배포' 버튼을 클릭합니다.
2. Hugging Face 계정으로 로그인하고 Hugging Face 모델 저장소에서 배포할 모델을 선택합니다.
3. Hugging Face 모델 ID 또는 저장소 ID를 입력하고 '배포'를 클릭하여 사용자 맞춤형 모델을 온디맨드에 추가합니다.

모델이 배포되면 엔드포인트를 생성해야 합니다. 이를 위해:

1. BYOM 섹션의 드롭다운 메뉴에서 '엔드포인트 배포'를 선택합니다.
2. 방금 배포한 모델을 검색하고 엔드포인트 이름을 입력합니다.
3. 인스턴스 유형(CPU, GPU 등)을 선택하고 자동 스케일링과 같은 추가 설정을 구성합니다.
4. '배포'를 클릭하여 사용자 맞춤형 모델의 엔드포인트를 생성합니다.

사용자 맞춤형 모델이 배포되고 엔드포인트가 생성되면 이를 온디맨드의 다양한 기능 및 서비스(Playground, 서버리스 애플리케이션, 에이전트 생성 등)에서 활용할 수 있습니다.

온디맨드의 '사용자 추론 사용(BYOI)' 기능을 통해 사용자는 자신의 맞춤형 추론 서버를 플랫폼과 통합할 수 있습니다. 이를 통해 사용자는 온디맨드에서 제공하는 모델에 국한되지 않고 자신만의 전문 추론 모델과 서버를 활용할 수 있는 높은 수준의 맞춤화를 제공합니다.

사용자 맞춤형 추론 서버를 설정하려면 다음 단계를 따르세요:

1. 오른쪽 상단의 '엔드포인트 생성' 버튼을 클릭합니다.
2. 엔드포인트의 이름을 지정합니다.
3. '엔드포인트 유형'을 '사용자 추론'으로 선택합니다.
4. 사용자 맞춤형 추론 서버의 URL을 입력합니다.
5. '엔드포인트 생성'을 클릭하여 구성을 저장합니다.

사용자 맞춤형 추론 엔드포인트가 설정되면 이를 모델 배포, AI 에이전트 생성, 서버리스 애플리케이션 통합 등 온디맨드의 다양한 기능에서 활용할 수 있습니다. 이를 통해 사용자는 고유한 추론 기능을 활용하고 온디맨드 플랫폼에 원활하게 통합할 수 있습니다.

온디맨드 AI 플랫폼은 서버리스 리포지토리와 클라우드 서비스를 활용하여 AI 기능을 강화할 수 있는 기능을 제공합니다. 이러한 기능을 활용하는 방법은 다음과 같습니다:

1. 서버리스 리포지토리:

   • GitHub 또는 Bitbucket 리포지토리를 온디맨드에 연결할 수 있습니다.
   • 연결되면 이러한 리포지토리에서 서버리스 애플리케이션에 액세스하고 배포할 수 있습니다.
   • 이를 통해 사용자 맞춤 코드를 통합하고 온디맨드 플랫폼 내에서 활용할 수 있습니다.

2. 클라우드 서비스:

   • 온디맨드는 음성-텍스트 변환, 텍스트-음성 변환, 언어 번역과 같은 다양한 클라우드 서비스를 제공합니다.
   • 사용 가능한 클라우드 서비스를 탐색하고 제공된 엔드포인트 URL을 복사하여 애플리케이션이나 워크플로에 통합할 수 있습니다.
   • 이러한 클라우드 서비스는 사용량에 따라 과금되므로 필요에 따라 AI 기능을 확장할 수 있습니다.

서버리스 리포지토리와 클라우드 서비스를 활용하면 온디맨드 플랫폼의 기능을 확장하고 사용자 요구사항에 맞춰 더욱 복잡한 AI 기반 솔루션을 만들 수 있습니다. 이러한 유연성과 통합 기능은 온디맨드를 사용자 맞춤형 AI 애플리케이션을 구축하고 배포하는 데 강력한 플랫폼으로 만듭니다.

온디맨드의 에이전트 생성 기능을 통해 다양한 작업을 자동화할 수 있는 복잡한 AI 에이전트를 구축할 수 있습니다. 시작하는 방법은 다음과 같습니다:

1. 에이전트 어댑터 선택: REST API 에이전트 또는 지식 기반 에이전트와 같은 에이전트 유형을 선택합니다. 이를 통해 에이전트의 기능과 통합 옵션이 결정됩니다.

2. 에이전트 세부 정보 구성: 에이전트의 이름, 카테고리, 설명을 제공합니다. 대화 시작점을 추가하여 에이전트가 상호 작용을 시작하는 방식을 정의합니다.

3. 에이전트 필드 정의: 에이전트가 작업할 데이터의 키 이름, 유형, 범위를 구성합니다. 이를 통해 에이전트가 사용할 정보 구조를 설정할 수 있습니다.

4. 외부 API 통합: REST API 에이전트의 경우 외부 API에 연결하고 사용자 정의 작업 또는 흐름을 정의하여 해당 기능을 에이전트에 통합할 수 있습니다.

5. 지식 베이스 활용: 지식 기반 에이전트는 온디맨드에서 제공하는 저장소와 데이터를 활용할 수 있으므로, 자체 정보에 액세스하고 처리할 수 있는 에이전트를 구축할 수 있습니다.

6. 테스트 및 개선: Playground 기능을 사용하여 에이전트의 기능을 테스트하고, 다양한 프롬프트를 시도하며, 성능을 최적화하기 위한 조정을 수행할 수 있습니다.

이러한 강력한 에이전트 구축 도구를 통해 사용자는 고객 지원, 데이터 분석 등 다양한 작업을 자동화할 수 있는 맞춤형 AI 어시스턴트를 만들 수 있습니다. 온디맨드의 에이전트 생성 기능의 전체 잠재력을 탐색하여 워크플로를 간소화하고 새로운 수준의 생산성을 달성하세요.

온디맨드 플랫폼의 사용량 탭은 사용자 활동에 대한 귀중한 통찰력과 모니터링 기능을 제공합니다. 이 섹션에서는 다음과 같은 다양한 측면의 사용량을 추적하고 분석할 수 있습니다:

• 문서: 업로드한 텍스트 파일, PDF 등 문서의 저장 및 사용량을 모니터링합니다.
• 오디오: 업로드하거나 플랫폼을 통해 처리한 오디오 파일의 사용량과 저장을 추적합니다.
• 비디오: 비디오 파일의 저장 및 사용량을 관리합니다.
• 이미지: 업로