애플의 머신러닝팀이 중국 난징대학, 홍콩 과학기술대학 연구진과 협력해 ‘매트릭스3D(Matrix3D)’라는 흥미로운 3D 인공지능(AI) 모델을 발표했다고 나인투파이브맥 등 외신들이 13일(현지시간) 보도했다.

애플과 연구진은 매트릭스3D의 소스코드를 깃허브에 공개하고, 관련 연구 결과를 논문 사전공개 사이트 아카이브(arXiv)에 공개했다.

이 AI 모델은 단 몇 장의 2D 사진만으로 3D 물체와 장면을 재구성할 수 있는데 기존 방식과는 다소 차이가 있다. 매트릭스3D는 3D 모델을 만들기 위해 사진이나 영상 이미지를 분석해 재구성하는 기술인 ‘사진 측량(포토그래메트리, Photogrammetry) 작업을 이전과 달리 한 번에 처리해 간소화했고 정확도도 향상시켰다.

더 흥미로운 점은 챗GPT 초기 버전의 토대를 마련했던 입력 데이터를 일부 숨기고 학습시키는 ‘마스크드 러닝(masked learning)’ 전략을 사용했다는 점이다. 연구진은 해당 AI 모델 학습 과정에서 입력 데이터의 일부를 무작위로 숨겼는데, 이로 인해 매트릭스3D는 빈틈을 메우는 방법을 기본적으로 학습해야 했다. 이 기술은 작거나 불완전한 데이터 세트로도 효과적으로 학습할 수 있도록 해주기 때문에 매우 중요하다.

그 결과 단 3장의 이미지만으로 3D 물체 및 전체 환경에 대한 상세한 3D 재구성을 생성할 수 있었다. 이는 애플 비전 프로와 같은 몰입형 헤드셋에 흥미로운 응용 분야가 될 수 있다고 해당 매체는 전했다.