카카오뱅크 금융기술연구소가 생성형 인공지능(AI)을 활용한 스미싱 탐지 모델을 개발했으며 대고객 서비스도 검토 중이라고 밝혔다.

최근 공개된 카카오 개발자 컨퍼런스 세션에서 카카오뱅크 금융기술연구소는 스미싱이 불법 대출 및 금융 사기 피해로 이어질 가능성이 높아 스미싱 문자를 판별하고 유용한 판단 근거를 생성하는 대규모 언어 모델(LLM)을 개발했다고 발표했다.

초기 단계에서 카카오뱅크는 고객이 받은 문자가 스미싱인지 정상 문자인지 예측 결과만을 제공하려 했으나, 고객이 모델의 결과를 신뢰하기 위해서는 이유를 설명하는 것도 중요하다고 봐 판단 근거를 생성하는 모델도 개발했다고 부연했다.

카카오뱅크 금융기술연구소 이윤승 연구원은 "LLM을 활용 목표에 맞게 적응시키기 위한 대표적인 방법 중 카카오뱅크는 방법 중 모델의 핵심 파라미터만 업데이트하는 파인 튜닝(fine-tuning) 기법을 사용해 모델을 학습했다"며 "문자와 스미싱 여부로 구성된 데이터 셋을 수집하고, 중복 데이터를 제거했다"고 말했다.

이어 그는 "생성된 판단 근거는 새로운 데이터셋으로 저장되어 이후 모델 학습에 사용된다"며 "높은 정확도와 고품질의 판단 근거를 생성할 수 있었다"고 설명했다.

실제 이 모델이 얼마나 쓸 만한지에 대해서도 다양한 평가법을 도입했다. 정확히 탐지했는지와 탐지 이유가 얼마나 정답과 유사한지 평가한 것이다. 사람이 직접 평가하는 정성평가도 진행해 유용한지를 검증했다.

한대희 연구원은 "카카오뱅크 자체 학습 모델의 성능은 다양한 정량적 평가 지표(F1-Score, BLEU, ROUGE, BertScore 등)를 거쳤으며 GPT-3.5, 4, 4 omni 모델들과 비교했을 때 더 우수한 성능을 보였다"고 설명했다.

카카오뱅크를 사칭한 대출 빙자 사기의 경우, GPT 모델과 카카오뱅크 자체 학습 모델 모두 이를 스미싱으로 잘 분류하고 사칭을 통한 대출사기 문자라고 잘 설명했지만, GPT에서는 스미싱 판단 근거가 문자의 내용과 맞지 않는 환각증세를 보이는 케이스가 있었음다는 것이 회사 측 설명이다.

이어 그는 "기술력을 보호하기 위해 지식재산권을 확보한 데 이어서, 연구 결과가 국제 컨퍼런스에도 채택돼 11월 중 발표할 예정"이라며 "고객이 안전하고 편리한 금융생활을 누릴 수 있도록 관련 서비스를 제공하는 것도 검토할 예정"이라고 덧붙였다.