텍스트만 바라보던 인공지능(AI)이 이미지도 읽기 시작했다. 생성형 AI 열풍 정점에 서 있던 거대언어모델(LLM)이 세상을 바꾼 지 채 2년이 되기도 전에 산업계는 벌써 비전언어모델(VLM) 이라는 새로운 반열을 주목하고 있다.

LLM은 인터넷 전체에 해당하는 방대한 문서, 코드, 게시글 등을 토큰 단위로 분해해 빈도와 순서를 학습하는 통계 기반 언어 모델이다. 이를 통해 문장 구조, 주제 흐름, 단어 간 연관도 등을 정교하게 파악할 수 있다.

그러나 LLM은 픽셀로 구성된 시각 정보를 직접 해석하지 못한다. 특히 스캔본 한 장 안에 담긴 표, 도장, 서명, 손글씨, 이미지 등 다양한 비정형 요소 앞에서는 입력 자체를 받지 못해 무력해진다. 이 때문에 반드시 광학문자인식(OCR)을 거쳐 텍스트로 전처리한 후에야 분석이 가능하다. 이 과정에서 발생하는 정보 손실이나 오인식이 전체 모델 성능에 결정적 영향을 미친다.

이 한계를 근본적으로 보완하는 방식이 VLM이다. VLM은 쉽게 말해 '사진 전문가'와 '언어 전문가'가 한 팀이 된 모델이다. 우선 이미지를 보고 표, 문장, 도장, 필기 영역을 구분한 후 텍스트 기반으로 의미를 해석한다. 이를 실시간으로 교차 어텐션(Cross-Attention) 층에서 주고 받으며 정답을 보정한다. 한 영역이 잘못 인식되면 다른 쪽이 보완하고, 누락된 정보는 이미지의 시각 단서 바탕으로 추론해 빈칸을 채운다. 언어와 시각 정보가 동일 공간에서 상호작용하듯 작동하는 식이다. 구조가 복잡하거나 손글씨가 섞인 문서도 훨씬 자연스럽게 이해할 수 있다.

예를 들어 물결 무늬 배경 때문에 일부 금액 텍스트가 흐릿해진 스캔 이미지에서도 VLM은 표 헤더와 숫자 패턴을 근거로 '이 칸은 청구 금액일 것'이라고 추론한다. 텍스트만 해석하던 기존 LLM 방식과 달리, VLM은 이미지와 문장이 함께 대화하는 구조로 작동하기 때문에 비정형 문서에 강력한 성능을 발휘한다. 실제 산업 현장에서 VLM 기반 OCR은 이미 도입 초기부터 기존 접근법보다 뚜렷한 개선 효과를 보이고 있다.

이미 업계에서는 VLM을 통한 생산성 향상 효과가 나오고 있다. 신생 물류기업 L사는 하루 평균 4만 장의 송장을 스캔하는데, 양식 종류가 600종을 넘어서면서 OCR 오류율이 18%까지 상승했다. VLM을 탑재한 OCR을 적용한 결과 첫 달에 오류율이 4%까지 떨어졌고, 급히 투입된 15명의 검수 인력을 4명으로 줄일 수 있었다.

금융·보험 분야에서도 VLM은 의미 있는 변화를 만들어냈다. 보험 손해 사정사 워크플로에 도입된 VLM 기반 OCR 엔진은 의료 영수증, 처방전, 수기 메모가 섞인 PDF 문서를 분석해 질병 코드와 치료 기간, 총 청구액 등 핵심 정보를 의미 단위로 자동 매핑했다. 결과적으로 도입 3개월 만에 평균 심사 시간이 건당 4.7분 단축됐다. 부실 청구 탐지율은 2.3배 향상됐다.

실질적인 VLM 구현을 위해선 세 가지 핵심 과제가 수반된다. 첫째는 중앙처리장치(GPU) 비용이다. 이미지 해상도가 높을수록 메모리 요구량은 기하급수적으로 증가한다. 둘째는 데이터 보안이다. 문서 이미지에는 신분증과 도장, 주소 등 민감한 개인정보가 포함된다. 저장 암호화와 접근 제어 등 보안 설계가 모델 설계 초기부터 명확히 반영돼야 한다. 마지막으로 운영 측면에서의 ML옵스 통합이다. VLM은 텍스트와 이미지 양쪽에서 오류가 누적될 수 있으므로, 라벨 재검수·재학습 주기를 기존보다 촘촘하게 설정해 지속적 품질을 수행해야 한다.

이런 기술 과제를 극복할 수 있다면 VLM은 단순 OCR을 넘어 멀티모달 로봇프로세스자동화(RPA)로 진화할 수 있다. VLM이 문서 의미를 이해하게 되면 수준 높은 복합 워크플로까지 자동화할 수 있을 것이다. 실제 모바일 스캐너나 드론 카메라처럼 네트워크 지연이 큰 현장에서는 경량화된 VLM을 엣지 디바이스에서 구동하는 방향으로 연구가 진행되고 있으며, 실제 적용 사례도 점차 증가하고 있다. 유럽연합(EU)의 AI법 등 주요 규제는 이미지 데이터의 편향성과 프라이버시를 명확히 규정하기 시작했다. 이로 인해 향후 VLM 개발자는 학습 데이터셋의 출처와 라벨링 과정을 투명하게 기록해야 하는 책임도 함께 지게 될 전망이다.

기업과 공공기관이 다양한 형식의 데이터를 한 눈에 이해하는 AI를 원한다면 VLM OCR 전략을 로드맵에 포함해야 한다. 문서 인식부터 업무 자동화까지 이어지는 다음 혁신의 축은 '텍스트‑이미지 융합형 AI'가 될 가능성이 크다. 현재 기술 기업들의 도전이 이 변화를 앞당기고 있으며, 실제 도입 성공 사례는 더 빠르게 쌓일 것이다. 텍스트 AI만으로 충분하다고 느끼는 지금 이 순간이, 어쩌면 VLM 전환을 준비할 마지막 골든타임일지 모른다.