모델을 프로덕션 서비스로 만듭니다.
Metis는 Kueue 스케줄링과 워크로드 실행, serverless inference를 하나의 플랫폼에서 제공합니다. 준비된 inference 엔진으로 endpoint를 원클릭으로 띄우고, 대기열과 우선순위로 자원을 배분하며 유휴 자원을 회수합니다. Kubernetes 네이티브 멀티클러스터 운영과 통합 관측성으로, 서비스가 도는 동안의 상태를 한 곳에서 봅니다.
기업이 통제하는 환경 안에서 Metis를 운영합니다.
자체 데이터센터와 폐쇄망을 포함해, 배포 위치와 무관하게 같은 serving 역량과 스케줄링, 가시성을 제공합니다.
On-Prem Private Cloud
완전한 폐쇄망 배포를 포함하여 자체 데이터센터 내에서 Metis를 완전히 운영합니다. 모델 inference는 귀사의 하드웨어와 네트워크 정책 아래에서 실행되며, 어떠한 데이터도 보안 경계 밖으로 나가지 않습니다.
모델 endpoint부터 고처리량 serving까지, 완결된 inference 라이프사이클.
모델 serving
프로덕션 모델 endpoint 관리
트래픽 분할과 즉각적인 롤백을 갖춘 버전 관리형 inference endpoint로 모델을 배포합니다. 단일 모델 또는 멀티 모델 구성에서 통합 serving 레이어를 통해 요청을 라우팅합니다.
GPU + NPU-Aware Scheduling
모든 inference 요청에 적합한 컴퓨트
워크로드 프로파일, 하드웨어 가용성, 비용 정책에 따라 inference 요청을 GPU 또는 NPU로 라우팅합니다. 수동 어피니티 규칙 없이, 하드웨어 설정 오류 없이.
Auto-Scaling Inference Pipelines
수요를 따라가는 용량
실제 워크로드 수요에 따라 inference 용량을 자동으로 확장합니다 — 피크 시간에는 늘리고, 유휴 시간에는 줄여 낭비 없는 효율적인 운영을 실현합니다.
Full Inference Observability
모든 endpoint에 대한 완전한 가시성
모든 모델과 endpoint에 걸쳐 지연 시간, 처리량, 토큰 사용량, 하드웨어 활용률, 오류율을 실시간으로 제공합니다. 문제가 장애로 발전하기 전에 병목을 식별합니다.
Metis가 스택에서 담당하는 역할.
Metis는 Maxis에서 만든 모델이 배포되는 inference 레이어입니다.
Metis
모델 serving, endpoint 관리, GPU/NPU 인식 스케줄링, 자동 확장, 완전한 가시성을 제공하는 프로덕션 inference 플랫폼입니다. 학습된 모델이 프로덕션 서비스가 되는 레이어입니다.
이럴 때 Metis를 씁니다.
사내 모델을 API로 열어 여러 팀이 함께 써야 할 때
하나의 serving 레이어에서 요청을 라우팅합니다.
트래픽이 시간대마다 달라 자원을 고정해 두기 어려울 때
유휴 시 줄이고 요청이 오면 자동으로 기동합니다.
모델을 바꾸면서 서비스는 계속 돌려야 할 때
버전 관리와 트래픽 분할로 서비스 영향을 줄이며 전환합니다.
inference 요청이 회사 밖으로 나가면 안 될 때
endpoint가 고객 환경 안에 있습니다.