한국지능정보사회진흥원(NIA)과 한국정보통신기술협회(TTA)가 유해 표현 검출 기술을 바탕으로 우리나라 거대언어모델(LLM)의 신뢰성·안정성 강화에 힘을 쏟는다.

NIA와 TTA는 'AI허브'를 통해 LLM 학습용 데이터 내의 유해 표현 검출 AI 모델과 유해 표현 학습용 데이터를 공개했다고 14일 밝혔다.

AI 허브는 과학기술정보통신부와 NIA가 운영하는 국내 최대 AI 학습용 데이터 제공 플랫폼이다.

이번에 공개된 AI 모델은 주어진 말뭉치 데이터 내에서 유해 표현을 검출하고 다양한 유해 표현 카테고리로 분류하는 기능을 수행할 수 있다.

해당 AI 모델과 데이터는 과기정통부 초거대AI 확산 생태계 조성 사업의 일환으로, LLM 데이터의 품질검증 과정에서 주요 특성 중 하나인 유해성을 측정하기 위해 개발됐다. 자체 성능 검증 결과 높은 정확도(80~90%)를 달성해 유해 표현 검출의 효용성을 입증했다.

AI 모델을 학습시키기 위해 구축된 데이터는 유해 표현 검출용 데이터 20만 건과 유해 표현 카테고리 구분용 데이터 21만 건 등으로 구성돼 있다.

데이터는 한국어 유해 표현 오픈소스 데이터를 토대로 AI허브의 온라인 구어체 말뭉치 데이터와 지식그래프 투 텍스트 데이터를 활용해 문체의 다양성을 확보하는 데 중점을 뒀다.

또 국가인권위원회의 혐오 표현에 대한 안내서 등과 같은 신뢰할 수 있는 가이드라인을 참조해 유해 표현·카테고리 11개를 명확하게 정의하고 이를 재가공해 데이터의 일관성과 신뢰성을 확보했다.

이번에 공개된 AI 모델과 데이터는 AI허브에 개방돼 누구나 활용할 수 있다. LLM 관련 서비스와 데이터 구축사업에 적용함으로써 AI가 생성하는 콘텐츠의 안전성 강화는 물론 다양한 산업 분야에서의 AI 윤리 강화에 기여할 것으로 예상된다.

황종성 NIA 원장은 "AI 기술의 발전은 기술적 진보뿐만 아니라 사회적 책임을 담보할 수 있는 윤리적 고려가 반드시 병행돼야 하고 이는 지속 가능한 AI 생태계 조성을 위한 핵심 요소"라며 "이번 AI 모델과 데이터 공개가 한국어 LLM의 신뢰성·안전성을 강화하기 위한 계기가 될 것으로 기대한다"고 말했다.

이어 "앞으로도 윤리적 책임을 고려한 양질의 AI 데이터 구축·활용 기반을 마련해 국내 AI 생태계 지원을 확대해 나갈 것"이라고 덧붙였다.