러시아 연계 선전 사이트, AI 도입 후 허위정보 생산 2.4배 증가

생성형 AI 기술이 국가 지원 선전 캠페인에 미치는 영향에 대한 우려가 커지고 있는 가운데, 클렘슨 대학교와 취리히 대학교 연구팀은 실제 러시아 연계 선전 사이트를 분석해 AI가 허위정보 확산에 미치는 실질적 영향을 확인했다. 연구진은 해당 선전 사이트가 생성형 AI 기술을 도입한 전후를 비교해 AI가 어떻게 허위정보 생산을 증가시키고 내용의 범위를 확장했는지 분석했다.

PNAS Nexus에 발표된 이 연구에 따르면, 2023년 9월 러시아와 연계된 가짜 뉴스 사이트 'DC Weekly'가 생성형 AI 기술을 도입한 후 허위정보 생산량이 2.4배 증가했으며, 주제의 다양성 역시 크게 확대된 것으로 나타났다. 특히 연구진은 해당 사이트가 AI를 도입하기 전후에 게시된 기사들에 대한 인식을 비교하는 설문 실험을 통해 AI 지원 기사들이 설득력과 신뢰도를 유지했음을 발견했다.

AI 도구 도입으로 선전 사이트의 일일 기사 생산량 급증: 복사-붙여넣기에서 고유 콘텐츠로 전환

연구진은 가짜 뉴스 사이트 'DC Weekly'가 2023년 9월 20일부터 OpenAI의 GPT-3 언어 모델을 사용하기 시작한 점에 주목했다. AI 도입 이전에는 게이트웨이 펀딧(The Gateway Pundit)과 러시아 투데이(RT) 같은 소스에서 기사를 복사-붙여넣기 형태로 간단히 게시했지만, AI 도입 후에는 고유한 언어로 재작성된 기사를 게시하기 시작했다.

분석 결과 AI 도입 이후 일일 기사 생산량이 이전 대비 2.4배 증가한 것으로 나타났다. 이는 AI 기술이 선전 제작의 시간과 비용 제약을 크게 줄여준다는 것을 보여준다. 특히 해당 사이트는 기사 생산뿐만 아니라 어떤 기사를 게시할지 선택하는 과정에서도 AI를 활용한 것으로 확인됐다.

주제 다양성 두 배 확대: AI 도입 후 국제 뉴스, 총기, 범죄 관련 기사 급증

'DC Weekly'는 AI 도입 이후 다루는 주제의 다양성이 크게 증가했다. 연구팀은 잠재 디리클레 할당(LDA) 모델을 사용해 기사의 주제 다양성을 측정했는데, AI 도입 후 평균 엔트로피 값이 0.29에서 0.45로 약 두 배 가까이 증가했다. 이는 AI 도입이 주제의 다양성을 크게 향상시켰음을 의미한다.

특히 AI 도입 이후 국제 뉴스, 총기, 범죄 관련 기사가 크게 증가한 반면, 미국 국내 뉴스는 감소했다. 연구진은 이스라엘과 우크라이나 관련 보도를 통제한 후에도 총기와 범죄 관련 내용이 유의미하게 증가한 점을 발견했다. 이는 AI가 선전 사이트 운영자에게 더 넓은 범위의 주제를 다룰 수 있는 능력을 제공했음을 시사한다.

설득력 유지: AI 생성 기사의 독자 설득력(0.65)과 웹사이트 신뢰도(0.45) 이전과 동일 수준 유지

연구팀은 AI 도입 전후 각각 10개의 우크라이나 관련 기사를 선정해 설문 실험을 진행했다. 미국 성인 880명을 대상으로 한 이 실험에서, 응답자들은 AI 도입 전후 기사의 신뢰성과 설득력에 유의미한 차이를 느끼지 못했다.

특히 기사의 주요 주장에 대한 동의 수준이 AI 도입 이전 기사(0.68)와 도입 이후 기사(0.65) 간에 통계적으로 유의미한 차이가 없었다. 웹사이트의 신뢰도 평가 역시 AI 도입 전(0.44)과 후(0.45)가 거의 동일했다. 이는 AI가 선전 내용의 품질을 유지하면서 양적 생산을 크게 증가시킬 수 있음을 보여준다.

선전 사이트 'DC Weekly'의 거짓 스토리, 미국 의회 의원들까지 공유하며 확산

이 연구는 생성형 AI가 국가 지원 선전 캠페인에 미치는 실질적 영향을 처음으로 현장 데이터를 통해 분석했다는 점에서 중요하다. 연구진은 AI 기술이 허위정보 캠페인의 규모와 범위를 확장시키는 동시에 내용의 설득력을 유지함으로써 선전의 효과를 강화할 수 있음을 확인했다. 'DC Weekly' 사례는 BBC와 클렘슨 대학교 미디어 포렌식 허브에 의해 2023년 12월 러시아 연계 영향력 작전의 일부로 밝혀졌다. 이 사이트는 주로 친러시아적, 반우크라이나적 내러티브를 확산시키는 역할을 했으며, 우크라이나 대통령 젤렌스키가 고급 요트를 구매했다는 완전히 거짓된 이야기가 미국 의회 의원들을 포함해 수만 명에 의해 공유되기도 했다.

연구진은 AI 기술의 발전으로 향후 이러한 허위정보 캠페인을 추적하고 대응하기 더 어려워질 것이라고 경고한다. AI 도구가 선전 캠페인의 재정적, 시간적 자원 요구를 계속 감소시킬 것이기 때문이다. 따라서 연구자들은 생성형 AI를 이용한 허위정보 캠페인을 예방하고 대응하는 방법을 개발하는 연구와 일반 대중이 AI 강화 허위정보를 식별하고 피할 수 있도록 준비시키는 방안이 시급하다고 강조했다.

FAQ

Q: 생성형 AI가 선전 캠페인에 어떤 영향을 미쳤나요?

A: 연구에 따르면 생성형 AI의 도입으로 선전 사이트의 일일 기사 생산량이 2.4배 증가했고, 다루는 주제의 다양성이 약 두 배로 확대됐습니다. 또한 AI로 생성된 기사들이 설득력과 신뢰도를 유지했다는 점도 확인됐습니다.

Q: 러시아 연계 가짜 뉴스 사이트는 AI를 어떻게 활용했나요?

A: 'DC Weekly'는 OpenAI의 GPT-3 언어 모델을 사용해 기존 뉴스 기사를 재작성했으며, 어떤 기사를 게시할지 선택하는 과정에서도 AI 점수 평가 시스템을 활용했습니다. 이를 통해 친러시아적, 반우크라이나적 관점을 담은 기사를 효율적으로 생산했습니다.

Q: 생성형 AI를 이용한 허위정보에 어떻게 대응해야 할까요?

A: 연구진은 오픈소스 모델이 허위정보 캠페인에 사용되는 것을 방지하는 방법을 개발하고, 온라인 불화를 조장하는 기존 시도에 대응하는 전략을 마련해야 한다고 제안합니다. 또한 일반 대중이 AI로 강화된 허위정보를 식별하고 피할 수 있도록 교육하는 것이 중요합니다.

■ 이 기사는 AI 전문 매체 ‘AI 매터스’와 제휴를 통해 제공됩니다. 기사는 클로드 3.5 소네트와 챗GPT를 활용해 작성되었습니다. (☞ 기사 원문 바로가기)