코난테크놀로지가 인공지능(AI) 반도체 기반 분산 추론 및 모델 최적화 기술 개발에 나선다. 다양한 AI반도체를 연동하는 기술을 확보해 추론비용을 낮추고 국내 AI 인프라의 자립성과 경쟁력을 끌어올리려는 의도다.

코난테크놀로지는 과학기술정보통신부가 추진하는 '이종 AI반도체용 분산 추론 및 모델 최적화 기술 개발' 과제에 선정됐다고 29일 밝혔다. 이 사업은 오는 2029년 12월까지 약 4년 9개월간 진행되며 총 104억원 규모다. 한국전자통신연구원(ETRI)이 주관을 맡고 코난테크놀로지를 비롯해 리벨리온, 서울대, 카이스트가 공동 연구에 참여한다.

이번 과제는 신경망처리장치(NPU)와 인메모리컴퓨팅(PIM) 등 다양한 AI반도체를 활용하는 환경에서 효율적인 분산추론과 모델 최적화를 구현하는 것이 목표다. 이를 통해 AI모델을 유연하게 구동하는 서비스 프레임워크, AI가속기 기반 자원 스케줄링 시스템, 사용자 단말 중심의 거대언어모델(LLM)-검색증강생성(RAG) 기반 통합 실증 서비스가 개발될 예정이다.

코난테크놀로지는 이 중 LLM-RAG 분산추론 통합 실증 서비스를 담당한다. AI 소프트웨어 기술력과 개발 경험을 살려 다양한 반도체 환경에서도 안정적인 AI 서비스를 구현할 계획이다. 이로써 고성능 분산추론 구조를 검증하고 향후 차세대 AI 인프라 상용화 기반을 마련한다.

더불어 이 회사는 다음달 13일 열리는 '2025 코난테크놀로지 AI쇼케이스-미디어 브리핑' 행사에서 '코난 LLM', '코난 RAG-X'를 포함한 신제품을 공개할 예정이다. 이 자리에서는 향후 사업화 전략도 소개한다.

오창민 코난테크놀로지 언어음성연구소 상무는 "국내 AI 인프라의 기술 자립을 위한 핵심 과제에 참여하게 돼 의미가 크다"며 "이종 AI반도체 기반 추론 환경에서 고도화된 실증 서비스를 현실화하고 차세대 AI 인프라 상용화에 기여하겠다"고 밝혔다.