마이크로소프트(MS)가 소형 중앙처리장치(CPU)로 구동되는 고효율 인공지능(AI) 모델을 공개해 주목받고 있다.

17일 테크크런치에 따르면 MS 연구원들은 경량형 AI 모델 '비트넷 b1.58 2B4T'를 개발했다.

비트넷은 AI 구동에 필요한 대용량 그래픽처리장치(GPU) 자원이 아닌 소형 CPU에서 실행할 수 있도록 설계된 압축 모델이다. 애플의 M2와 같은 상용 CPU에서 작동 가능한 것으로 알려졌다.

비트넷은 기존의 거대 AI 모델 대비 메모리 연산 효율을 높인 것이 특징이다. 모델의 내부 구조를 정의하는 값인 가중치를 -1, 0, 1의 세 가지 값으로 양자화하는 방식을 도입해 컴퓨터가 처리할 수 있는 비트 수를 줄여 연산 속도를 높였다.

MS 연구진은 "비트넷이 20억 개의 매개변수를 지닌 기존의 AI 모델들보다 성능이 우수하다"고 주장했다.

앞서 MS는 비트넷에 대해 초등학교 수준의 수학 문제를 푸는 'GSM8K'와 물리적 상식 추론 능력을 테스트하는 'PIQA' 등의 자체 벤치마크 테스트를 수행했다.

MS는 "자체 테스트에서 비트넷이 메타의 '라마3.2 1B'와 구글의 '젬마3 1B', 알리바바의 '큐원2.5 1.5B'를 능가했다"며 "비트넷은 같은 크기의 다른 모델보다 훨씬 빠르고 메모리 사용량은 더 적다"고 밝혔다.

다만 이같은 성능을 구현하기 위해선 MS의 프레임워크인 '비트넷.CPP'를 활용해야 하는 것으로 전해졌다. 해당 프레임워크는 현재 특정 하드웨어서만 작동 가능한 상황이다.

또 CPU상에서의 실행에 집중돼 있어 AI 인프라 부문에서 가장 큰 비중을 차지하는 GPU에 대해서는 지원하지 않고 있다.

테크크런치는 "비트넷은 컴퓨팅 자원이 제한된 기기에서 유용할 수 있다"며 "하지만 호환성 문제가 앞으로도 가장 큰 걸림돌"이라고 설명했다.