AI 혁명의 물결 속에서 머신러닝 기술은 기업의 혁신을 이끄는 핵심 도구로 부상하고 있다. 자동 번역, 이미지 검색, 추천 시스템 등 다양한 분야에서 머신러닝을 도입하고 활용하는 사례가 눈에 띄게 늘었다. 머신러닝의 강점은 분명하다. 제한된 규칙과 데이터를 기반으로 작동하던 기존 자동화 시스템에 비해 훨씬 더 유연한 대안을 제시하며 기업 경쟁력을 강화하는 데 도움이 된다.

하지만 머신러닝 기술 그 자체가 비즈니스의 황금 열쇠는 아니다. 기술을 도입하는 것과 이를 실제로 사용자가 활용할 수 있는 서비스로 제공하는 것은 전혀 다른 차원의 문제다. 머신러닝 모델을 서비스화하기 위해서는 문제 정의부터 데이터 수집 및 삭제, 데이터셋 구축, 모델 개발, 모델 평가, 모델 배포, 시스템 개발, 지표 평가에 이르기까지 모든 일을 처음부터 수행해야 하기 때문이다. 또 이 과정에서 수많은 업무가 수반되기에 여러 요소를 균형 있게 고려해야 한다. 그렇다면 머신러닝을 성공적으로 서비스화하기 위해 반드시 염두에 둬야 할 필수 요소는 무엇일까.

먼저, 효율적인 머신러닝 기반 서비스 구축을 위해서는 보다 빠른 배포 주기를 마련해야 한다. 머신러닝 프로젝트는 전통적인 소프트웨어 프로젝트와 달리, 눈에 직접적으로 드러나지 않는 기능 개선이 대다수다. 그러므로 머신러닝 모델이 성능 향상을 거듭 이뤄낼 수 있도록 실제 제품에 적용해보고 사용자 반응에 따라 기민하게 대응하는 것이 중요하다. 빠른 배포 주기를 유지한다면 또 다른 이점도 얻을 수 있다. 머신러닝 프로젝트의 단점인 불확실성을 줄이는 동시에 사용자 데이터를 추가 학습한다는 장점을 극대화할 수 있는 것이다.

이처럼 빠른 배포 주기를 마련하려면 초기 단계에서 최대한 작은 범위로 개발해야 한다. 사용자 전체가 아닌 일부를 대상으로 시스템을 개발해 타깃을 쪼갤 수도 있고, 개발 초기에 간단한 모델로 시작해 점진적으로 더 크고 복잡한 모델을 도입하는 접근을 택할 수도 있다. 다양한 접근 방법 중 상황에 맞는 전략을 취한다면 초기 개발 비용을 줄이고 더 빠르게 시스템을 구축할 수 있을 것이다.

두 번째로, 사람과 머신러닝 모델을 동시에 사용하는 융합 프로세스를 체계화할 필요가 있다. 머신러닝 모델은 비교적 저렴하고 빠르게 결과를 출력할 수 있다는 장점이 있지만, 사람과 비교하면 상대적으로 정확도가 떨어진다. 반면 사람은 상대적으로 정확도가 높을지라도, 속도가 느리고 비용이 많이 발생한다. 따라서 사람과 머신러닝의 중간점을 찾아 적절히 융합하면 원하는 수준의 성능과 비용을 모두 만족시킬 수 있다.

예를 들어, 머신러닝 모델의 정밀도가 높은 구간에서는 이를 단독으로 이용해 콘텐츠를 처리하고, 정밀도가 부족한 부분에서는 사람의 판단을 더하는 방식으로 접근하는 것이다. 최근 생성 AI의 가속 발전으로 높은 정확도를 유지하면서도 비용까지 저렴한 경우도 점차 늘고 있는데, 발전하는 AI 연구 속도에 맞춰 AI 활용 전략도 민첩하게 수립돼야 한다.

마지막으로 머신러닝 기반 서비스 구축할 때는 시스템의 가시성을 높이고 오류를 신속하게 감지할 것을 강조하고 싶다. AI는 회계 로직처럼 정답이 명확한 문제를 풀기보다는 번역, 이미지 검색, 추천 시스템과 같이 정답이 없는 문제를 다루는 경우가 많기에 특정 로직에 버그가 생기더라도 사용자에게 직접 드러나는 오류 없이 암묵적인 성능 저하를 일으킬 수 있다. 게다가, AI는 방대한 데이터를 활용하고 여러 엔지니어의 손을 거쳐 탄생하기 때문에 버그가 발생할 수 있는 영역이 매우 넓다. 사용자 모바일 디바이스의 운영체제가 업데이트되어 데이터 형태 변화가 발생할 수도 있고, 그로 인해 AI 시스템의 성능이 저하될 가능성도 존재한다.

이를 방지하려면 시스템 내 모니터링 및 로깅 장치를 구축해 가시성을 확보해야 하며 오류 발생 시 신속하게 대응할 수 있어야 한다. 실제로 최근 하이퍼커넥트 AI 조직에서도 가시성을 확보하는 데 집중함으로써 AI를 더욱 고도화하고 있다.

성공적인 머신러닝 기반 서비스 구축을 위해서는 빠른 배포 주기, 사람과 머신러닝의 적절한 융합, 그리고 시스템의 가시성 확보가 필수적이다. 나아가 엔지니어 개인 차원에서는 소프트웨어 엔지니어링과 머신러닝을 모두 잘 이해하기 위해 꾸준히 기술 동향을 살피고 지식의 폭을 넓히는 노력이 필요하다. 머신러닝 기반 서비스는 구축과 운영 과정에서 상당한 노력이 요구되지만, 효율성과 생산성의 극대화, 고객 경험 향상과 같은 다양한 이점 덕분에 다수 기업에서 선호도가 높다. 앞서 살펴본 세 가지 요소를 고려한다면, 불확실성을 줄이고 보다 효율적이며 안정적인 머신러닝 기반 서비스를 구현할 수 있을 것이다.