"정확성 없는 인공지능(AI)는 혁신이 아니라 리스크입니다."

김동환 포티투마루 대표는 14일 서울 강남구 코엑스에서 열린 '2025 국제인공지능대전' 행사에서 이같이 말했다. 이날 '정확성 없는 AI는 혁신이 아니라 리스크'를 주제로 발표에 나선 그는 신뢰성 확보가 AI 산업 전반의 핵심 과제임을 강조했다.

김 대표는 거대언어모델(LLM) 기반 AI가 환각, 보안, 비용 측면에서 구조적 한계를 안고 있다고 봤다. '챗GPT'를 비롯한 LLM 모델들이 정교한 문장을 구성함에도 불구하고 사실관계 오류를 포함한 환각(hallucination) 문제를 지속적으로 발생시키고 있다는 설명이다.

김 대표에 따르면 실제로 지난 2022년 챗GPT가 처음 공개됐을 당시 "세종대왕이 맥북을 던졌다"나 "장영실이 티타늄 자전거를 발명했다"는 식의 환각 응답이 화제를 모으며 LLM의 한계가 수면 위로 드러나기 시작했다. 이러한 문제는 LLM 구조 자체가 트랜스포머 계열의 확률 기반 언어 생성 방식에 기반하기에 발생하는 문제다.

그는 "이는 LLM은 범용적임에도 정확도는 80~85점 수준에 머무르기 때문"이라며 "이같은 오류는 기업의 의사결정이나 법적 책임으로 직결될 수 있는 위험 요소"라고 경고했다.

김 대표는 이러한 기술적 제약을 보완하기 위해 검색증강생성(RAG)과 기계독해(MRC)를 병행 활용하는 방식을 소개했다. RAG는 AI가 응답 전 외부 데이터를 검색하게 해 환각 가능성을 줄이고 MRC는 도메인 특화에 따른 정확도 확보를 목표로 한다.

LLM과 MRC의 특성을 설명하며 그는 LLM을 다방면에 능하지만 평균적인 성과를 내는 학생, MRC를 특정 과목만 깊이 파는 우등생에 비유했다. 두 기술의 병행은 목적과 맥락에 따라 선택적으로 조합돼야 한다는 입장이다.

포티투마루는 이 같은 구조를 구현하기 위해 자체 파운데이션 모델 'LLM42'를 개발한 바 있다. 단순한 성능 향상을 넘어 정답 도출 과정의 신뢰성과 책임성을 확보할 수 있는 응답 체계를 구축하려는 전략이다.

이 회사는 기술 외에도 조직 차원의 신뢰성 확보 노력을 강조하고 있다. 국내 최초로 AI 신뢰성 인증인 'CAT'를 획득했다. 해당 인증은 정확도뿐 아니라 보안, 설명 가능성, 프라이버시 등 15개 항목을 기준으로 평가된다. 또 한국정보통신기술협회(TTA)의 '신뢰할 수 있는 인공지능 개발 가이드' 제작에도 참여했다.

더불어 비개발자도 활용할 수 있는 로우코드 기반 품질 점검 도구를 자체 개발해 운용하고 있다. 또 생성형 레드팀 챌린지를 통해 외부 개발자가 자사 시스템을 직접 검증하는 형태의 공개 실험도 병행하고 있다. 시스템을 외부에 개방해 실시간 피드백을 반영하는 구조로 운영 중이다.

김 대표는 AI 신뢰성을 단순한 모델 품질 문제가 아니라고 강조했다. 품질, 보안, 프라이버시, 편향 방지, 윤리, 조직문화 등까지 포함한 확장된 개념으로 신뢰성을 정의하며 이를 개발 문화 전반에 내재화해야 한다는 입장이다.

김동환 포티투마루 대표는 "AI를 제대로 활용하려면 신뢰성 기반의 거버넌스가 먼저 확립돼야 한다"며 "정확도가 높다고 해서 곧바로 신뢰할 수 있는 것은 아니며 지속 가능한 신뢰는 실행과 조직문화에서 비롯된다"고 강조했다.