서울대학교가 신뢰할 수 있는 인공지능(AI)을 주제로 국제 컨퍼런스를 열고 각국 전문가들과 윤리적 AI 개발 방향을 논의에 나섰다. 책임 있는 기술 활용을 위한 글로벌 연대와 한국 내 자율적 거버넌스 모델 구축이 주요 의제로 떠올랐다.

서울대학교 데이터사이언스 대학원은 20일 '제3회 제트인스펙션(Z-Inspection)' 국제 컨퍼런스를 관악구 서울대학교 호암교수회관에서 개최했다. 이틀 일정으로 열리는 이번 행사는 서울대 데이터사이언스대학원이 주관하고 독일계 글로벌 제약·소재 기업 머크(Merck), 제트인스펙션(Z-Inspection) 이니셔티브, 서울대 신뢰할 수 있는 AI 연구실이 협력해 운영한다. 서울대 교수진과 유럽 연구진을 포함해 약 50명의 윤리·의료·기술·법 전문가가 참석했다.

제트인스펙션은 AI 시스템이 실제 사회에 적용될 때 발생하는 위험과 긴장을 다학제적 방식으로 점검하는 절차 중심의 국제 평가 프로그램이다. 유럽연합(EU)의 AI 윤리 프레임워크를 기반으로 의료, 공공, 금융 등 각 분야 실사용 사례를 검토하고 윤리적 충돌 지점을 사전에 탐색하는 것이 핵심이다.

국내에서는 지난 3월 EU AI법을 참고한 '인공지능 개발 및 신뢰 기반 조성에 관한 기본법(AI기본법)'을 세계 두 번째로 입법했다. 이에 따라 국내에서도 윤리적 AI 기술에 대한 제도적·자율적 평가 수요가 증가하는 가운데 이번 회의는 제트인스펙션 프로그램의 실제 적용 가능성과 제도 밖 자율검증 모델을 공유하는 자리로 마련됐다.

이번 행사를 주도한 로베르토 지카리 서울대 초빙교수는 "AI는 그 자체로 선하거나 악하지 않으며 어떻게 쓰느냐에 달렸다"며 "정치적 이유로 규제가 지연되는 나라일수록 오히려 병원이나 기관들이 자발적으로 윤리 점검에 나설 기회가 된다"고 말했다.

이날 처음으로 발표를 맡은 장 앤노 샤르통 머크 디지털윤리·생명윤리 책임자는 회사 내부 윤리 프레임워크를 직접 소개하며 신뢰 기반 거버넌스의 필요성을 구체적으로 설명했다.

샤르통 책임자에 따르면 AI 윤리는 기업의 사업 전략 중심에 있어야 한다. AI 기술이 실제 고객과 내부 임직원에게 어떻게 수용되는지를 면밀히 점검하지 않으면 장기적으로 시장에서 신뢰를 잃게 된다는 것으로, 기술의 가능성보다 그 사용 방식이 더 중요하다는 설명이다.

이에 따라 머크는 현재 AI와 데이터 프로젝트에 대해 별도의 디지털 윤리 행동강령을 운영 중이다. 이 강령은 자율성, 투명성, 비편향성, 공정성, 혜택 극대화 등 다섯 가지 윤리 원칙에 기반하며 내부 윤리 자문단과 외부 독립 전문가 패널이 각 프로젝트를 평가하는 구조다.

이를 위해 회사는 자체 개발한 '위험 원칙 평가도구'를 활용한다. 프로젝트별로 윤리 민감도를 수치화해 사전 진단하고 위험 수준에 따라 대응 단계를 결정한다. 샤르통 책임자는 실제 환자 데이터 분석 도구, 인사 알고리즘, 생성형 AI 응용 사례 등에서 이 시스템이 작동하고 있다고 밝혔다.

더불어 그는 발표 중 미국 의료기관이 환자 동의 없이 구글에 건강 데이터를 제공했던 사례를 언급하며 법적 허용 여부만으로는 부족하다고 지적했다. 머크는 이 사건을 계기로 '기술의 최종 사용에 대한 기업의 윤리적 책임'을 조직 내부 규범으로 명문화한 상태다.

생성형 AI 확산에 맞춰 회사는 유럽연합 AI법(EU AI Act)을 기반으로 고위험군 기술 분류 체계를 도입했다. 이 분류에 포함된 프로젝트는 의무 윤리 심사를 거쳐야 하며 사업 부문별로 상이한 윤리 리스크를 반영하기 위해 맞춤형 체크리스트도 병행 운영되고 있다.

윤리 검토는 외부를 향한 책임뿐 아니라 내부 기술 수용성 확보에도 적용된다. 그는 일부 직원들이 AI에 대한 신뢰를 가지지 못하면 조직 내부 실험조차 추진이 어렵다고 강조했다.

샤르통 책임자는 "신뢰는 기술 수용의 전제조건이며 기업 평판과도 직결된다"며 "단기 수익만 쫓다 신뢰를 잃으면 그 비용은 훨씬 더 크게 돌아온다"고 말했다.

이날 또다른 발제를 맡은 마그누스 베스털룬 핀란드 아르카다응용과학대학 교수는 제트인스펙션 공동 책임자로서 실제 프로젝트 현장에서 축적한 AI 신뢰성 평가 사례를 공유하며 신뢰할 수 있는 AI 개념의 현실적 한계를 짚었다.

그는 기술 개발자이자 소프트웨어공학 박사 출신으로, 정보보안·사이버규제·AI 시스템 진단 등에서 실무와 연구를 병행해온 기술 기반 연구자다. 이날 발표에선 기술 중심 시각에서 윤리 원칙을 어떻게 해석하고 적용해 왔는지를 설명했다.

베스털룬 교수는 먼저 기술자가 윤리를 다룰 때 마주하는 추상성과 해석의 난이도를 문제 제기했다. 그는 유럽연합(EU)에서 정의한 AI 신뢰성 개념이 ▲합법성 ▲윤리성 ▲견고성이라는 세 축을 갖지만 이를 개발자의 언어로 번역하는 작업은 별개의 도전이라고 밝혔다.

EU 고위 전문가 그룹이 제시한 신뢰원칙에는 인간 자율성 존중, 위해 예방, 공정성, 설명가능성이 포함된다. 다만 '설명가능성'이라는 용어를 실제 공학으로 번역하는 것은 매우 난이도 있는 작업이며 맥락 없이 단일 시스템을 평가하는 것은 불가능하다는 것이 베스털룬 교수의 설명이다.

이에 따라 제트인스펙션은 기술 요소만 분리해 분석하지 않고 사회적 맥락과 윤리적 긴장을 포함한 ‘전체 상황’을 기준으로 AI 프로젝트를 점검한다. 의도, 설계, 사용 환경을 함께 묻는 다학제 평가 체계를 통해 규제 기준 이상의 평가 가능성을 확보하는 것이 목적이다.

그는 다수의 사례를 들어 제트인스펙션이 실제로 어떻게 작동했는지를 설명했다. 코로나19 시기 흉부 엑스레이를 기반으로 감염 여부를 추론한다는 한 AI 모델이 논문으로는 주목받았지만 검증을 해보니 단순 병변 유무만 판별하는 수준이었다. 그는 이를 기술과 실제 운용 사이 괴리가 명확했던 대표 사례로 소개했다.

또 다른 사례는 피부암(흑색종) 판별 앱이었다. 초기엔 일반 대중을 사용 대상으로 설계됐지만 평가팀은 공공의료 체계가 감당할 수 없는 오진, 과잉진료 문제를 우려해 전문가 중심 사용 설계로 방향을 수정했다.

이날 발표에서 베스털룬 교수는 "우리는 AI의 '정답'을 정하는 것이 아니라 어떤 질문을 던져야 하는지를 규정하는 데 집중한다"며 "AI는 결국 인간의 반영으로, 모든 기술적 의사결정은 인간의 판단과 가치관을 되비추는 거울이기에 신뢰할 수 있는 AI란 윤리를 이해하려는 지속적 시도 속에서만 존재할 수 있다"고 강조했다.