레드햇이 생성형 인공지능(AI) 모델 추론 강화를 위한 서버를 공개했다.

레드햇은 23일까지 미국 보스턴에서 열리는 '레드햇 서밋'에서 추론 서버 '레드햇 AI 인프런스 서버'를 출시했다고 밝혔다. 기업은 해당 서버를 통해 AI 모델을 보다 효율적이고 안정적으로 프로덕션 환경에 배포할 수 있는 기반을 마련할 수 있다.

이 서버는고속 대규모 언어모델 추론 엔진(vLLM) 오픈소스 프로젝트와 뉴럴매직 기술을 통합해 개발했다. 고속 추론 처리와 클라우드 환경 전반에 걸친 AI 가속기 지원, 비용 효율성 확보가 주요 특징이다.

레드햇 AI 인퍼런스 서버는 독립형 배포 또는 레드햇 엔터프라이즈 리눅스 AI(RHEL AI), 레드햇 오픈시프트 AI와 통합 형태로 제공된다. 추론 성능 병목을 해결하고, AI 모델 복잡성 증가에 따라 높아지는 리소스 요구를 줄이기 위한 목표다.

이 서버는 지능형 모델 압축 기능으로 자원 소비를 줄이고 정확도를 유지하거나 올릴 수 있다. 허깅페이스 플랫폼을 통한 모델 저장소 최적화뿐 아니라 검증된 고성능 모델에 대한 빠른 접근성을 제공한다.

레드햇은 이 제품을 통해 vLLM 기반 AI 추론을 기업용으로 확장하고 있다. vLLM은 대용량 입력 컨텍스트 처리, 연속 배치, 다중 그래픽처리장치(GPU) 지원 등으로 생성형 AI 추론의 새로운 표준으로 부상하고 있다.

vLLM은 딥시크, 젬마, 라마, 미스트랄, 파이 같은 모델과도 높은 호환성을 보인다는 평가를 받고 있다. 라마 네모트론 같은 개방형 모델과 제로데이 통합도 지원한다. 기업은 다양한 모델과 가속기, 인프라 환경에서 선택할 수 있다.

레드햇 AI 인퍼런스 서버는 비레드햇 기반 리눅스나 쿠버네티스 환경에도 배포 가능하다. 서드파티 지원 정책을 통해 확장성과 유연성을 확보했다.

레드햇 제롬 루코 AI 제품 총괄은 "우리는 리눅스를 현대 IT 인프라 기반으로 전환해왔던 것처럼 AI 추론의 미래를 설계하는 데도 앞장서고 있다"며 "vLLM은 생성형 AI 추론의 핵심이며 이를 기업에 제공하는 것이 이번 제품의 핵심 목표"라고 밝혔다.