세계 주요국들이 인공지능(AI) 패권 경쟁을 벌이고 있다. 한국은 기술 경쟁 속에서 ICT 강국으로서의 위상을 유지하며 AI 선도국으로 도약하기 위해 정부 차원에서 AI 3대 강국(AI G3)으로의 진입을 추진 중이다.

허나 한국의 AI 도입 실태를 자세히 들여다보면 아직 AI의 실질적인 활용에 있어서는 초기 단계임을 알 수 있다.

레노버가 미국의 시장조사기관 IDC에 의뢰한 최신 리포트 'CIO 플레이북(Playbook) 2025'에 따르면, 한국에서 AI 도입에 성공한 기업의 비율은 24%이며 그 중 전사적 차원에서 체계적으로 도입한 기업은 4%에 불과했다.

또 국내 기업의 76%가 AI 도입 고려 중이거나 향후 12개월 내 도입을 계획하고 있다. 이는 아시아태평양 지역(56%) 및 전세계(49%) 평균보다 높은 수치다.

해당 리포트에 따르면 올해 IT 지출 대비 AI 부문 지출의 비중이 아시아태평양 지역에서는 3.3배, 한국에서는 무려 6.2배나 증가할 전망으로 드러났다.

이는 국내 기업들이 AI를 통해 수익화를 기대하고 있음을 보여주는 사례이자, 서둘러 AI를 도입해 비즈니스 성장을 가속화하고자 하는 니즈가 반영된 통계다.

허나 아직 AI의 도입과 활용에 있어 상대적으로 초기 단계에 머무르는 만큼 한국 기업들에게는 신중하고 전략적인 접근이 요구된다. 단기간의 가시적인 성과에만 치중하기보다는 AI 전략을 비즈니스 우선순위와 조율하고 명확한 로드맵을 통해 장기적인 관점에서 접근해야 한다.

구체적으로는 ▲점진적인 AI 확장 및 내부 역량 구축 ▲비용 효율적인 IT 인프라 솔루션 도입 ▲GRC(거버넌스, 리스크, 규제 준수) 프레임워크 강화 등을 통해 AI의 잠재력을 온전히 활용할 수 있는 조직으로의 변화를 모색해야 한다.

CIO 플레이북 2025에 따르면, 한국 기업들이 AI를 도입하는 과정에서 가장 큰 어려움으로 지목된 부분은 엔터프라이즈 전반에 걸쳐 AI를 확장하는 문제였다.

AI활용에 최적화된 시스템과 자원적 인프라가 갖추어져 있지 않은 조직에서는 올바른 AI 도입이 이루어질 수 없다. AI 확장은 단순한 기술적 변화가 아니라 내부적인 AI 활용 역량을 갖추고 조직의 운영 프로세스를 AI 중심으로 재설계하는 과정이다.

성급하고 방향이 없는 AI 이니셔티브보다, 지속 가능하고 점진적인 성과를 지원하는 예산과 인프라, 조직 문화, 인재 역량 등을 확보하는 것이 중요하다.

즉, 충분한 시간과 노력을 들여 점진적으로 시스템 전반에 AI가 원활히 통합되도록 해야 한다. 조직 내에서 AI가 빠르고 비용 효율적이며 대규모로 작동할 수 있도록, 맞춤형 솔루션을 모색하고 배포함으로써 AI를 현실로 구현해야 한다.

비용 문제 역시 국내 기업들이 AI를 도입하는 데 있어 간과할 수 없는 요소다.

AI 워크로드를 처리하기 위한 모델 개발 및 추론 과정에서는 GPU의 신속한 데이터 처리가 필수적다. 이로 인해 기업은 상당한 비용 부담을 안게 된다.

이 경우 비용 및 에너지 효율적인 AI와 IT 인프라 솔루션을 도입하는 것이 가능하다.

예를 들어 종량제(pay-as-you-go) 모델을 통해 비용 부담을 줄인 AI 구현 솔루션을 도입할 수 있다. 고성능 컴퓨팅(HPC) 등 고밀도 데이터 처리 작업에서 요구되는 전력 소모를 효과적으로 절감할 수 있는 수냉식 서버를 활용해 에너지 효율성을 극대화하는 방안도 있다.

레노버는 확장 가능한 종량제 모델인 트루스케일(TruScale)을 통해 기업의 AI 활용 과정을 간소화하고 있으며, 넵튠(Neptune) 액체 냉각 시스템을 활용해 지속 가능한 IT 인프라 구축에도 기여하고 있다.

한국은 데이터 프라이버시와 보안 문제에 민감하여, 이에 따라 AI 규제를 강화하는 방향으로 정책을 수립하고 있다.

이러한 환경에서 AI를 성공적으로 도입하려면 양질의 데이터 가용성을 확보해야 하며 강력한 데이터 거버넌스 정책을 통해 개인정보 보호와 규제 요구 사항을 선제적으로 해결해야 한다.

AI 투자 확대에 앞서 신뢰할 수 있는 고품질 데이터를 확보하는 것이 최우선 과제다. 조직 전반에서 데이터의 원활한 접근, 공유, 거버넌스를 보장하기 위해 통합적이고 확장 가능한 데이터 아키텍처를 구축해야 한다.

충분한 데이터 스토리지, 고성능 컴퓨팅(HPC) 리소스, 저지연 네트워크 통합, 머신러닝 운영(MLOps) 플랫폼 등의 강력한 데이터 기반을 마련함으로써 AI 워크로드를 원활히 지원하고 안정적인 운영을 보장해야 한다.

AI도입의 복잡성과 리스크를 해소하기 위해 해당 분야에 전문성을 가진 외부 서비스 제공업체와의 전략적 파트너십이 점점 중요해지고 있다.

확장 가능한 하이브리드 인프라와 고급 데이터 관리 역량, 견고한 거버넌스 프레임워크를 제공하는 AI 솔루션 및 서비스 업체와의 파트너십을 활용하면 조직의 내부 AI 활용 역량을 보완하고 효율성과 안전성을 모두 충족한 AI 여정을 완수할 수 있다.

세계적으로 AI 기술이 급격히 발전하며 경쟁에서 우위를 점하는 것이 중요해지고 있지만, 성급히 투자 확대에만 주력하기보다는 길게 보고 충분히 준비하는 자세가 필요하다.

기업이 AI를 통해 지속가능한 성장 동력을 극대화하려면 장기적인 관점에서 신중한 전략 수립이 필요하다. 안전하고 책임감 있는 AI 도입과 효율적 운영을 위해 전문성을 확보하는 것도 필수적이다.