[과학] 'AI 생성물'에 표식 명시해 허위정보 조작 차단

최근 국가인터넷정보판공실 등 4개 부문에서 공동으로 <인공지능 생성 합성 콘텐츠 표식 방법(이하 '표식방법'>을 발표해 2025년 9월 1일부터 시행에 들어간다고 밝혔다. 이와 동시 국가 강제성 표준 《네트워크 보안 기술 인공지능 생성 합성 콘텐츠 표식 방법》도 함께 시행될 예정이다. 

근년에 들어와 인공지능(AI) 기술의 급속 발전으로 AI로 생성된 문자, 사진, 음성 및 영상 등 콘텐츠가 온라인 플래트홈에서 빠르게 전파되고 있다. 이는 정보 콘텐츠를 풍부히 하는 동시에 허위정보 조작, 전파 질서 혼란, 신종 사기 범죄의 도구로 악용되는 사례도 늘게하였다. AI를 리용해 가짜 뉴스를 작성하거나 류언비어를 퍼뜨려 눈길을 끄는 사례, AI를 동원해 댓글을 올리며 ‘지능형 댓글 부대’를 만드는 사례, 유명 원사의 영상을 딥페이크로 만들어 화장품을 홍보하는 사례, 심지어 AI로 연예인을 사칭해 로년층의 재산을 사취해가는 사례 등이 발생하고 있다. 

AI 기술은 허위정보에 첨단기술이라는 ‘위장복’을 입혀 ‘들은 것이 반드시 진실이라고 할 수는 없고 본 것도 반드시 사실이라고 할 수는 없다.’를 증명했으며 기술의 지속적인 진화로 그 허위성은 점점 더 정교해지고 있다. AI 조작 방지는 단순히 온라인 플래트홈의 책임일 뿐만 아니라 대중의 ‘탐지능력’에만 의존하여 조작 행위를 식별한다는 것은 현실적이지 못하다.

AI 생성 콘텐츠에 표식을 명시하는 것은 근원적으로 AI 조작을 관리하는 효과적인 수단이다. AI 생성 콘텐츠를 특수 제품에 비유한다면 콘텐츠를 제작하는 AI 써비스 제공업체는 ‘제조상’이고 콘텐츠를 전파하는 플래트홈은 ‘판매처’에 해당한다. ‘표식 방법’은 제조상이 제품 출시 시 표식을 명시하여 판매처가 주의를 기울일 수 있도록 해야 하고 판매처도 판매 과정에서 표식을 명시하는 방식으로 소비자들에게 주의를 환기시여야 한다고 규정했다. 이는 콘텐츠 생산과 전파의 근원적 단계에서 ‘AI 제작’에 표식을 명시하여 쉽게 플래트홈에 검출되게 하고 대중들로 하여금 인지할 수 있도록 함으로써 리용자들이 AI로 생성된 정보를 접할 경우 쉽게 속지 않게 하는 것이다.

AI가 급속히 성장하는 가운데 륜리적 문제에 대한 관리 강화와 기술 발전의 영향 사이의 균형을 고려해야 한다. 례를 들어 AI 써비스 제공자들에게 과도한 난이도나 비용이 많이 드는 표식 기술을 강요하지 않고 다양한 저비용 표식 방식을 제안해 기업의 부담과 AI 기술 연구개발에서의 투자가 영향을 받지 않도록 하였다. 국가 강제성 표준의 제정에서도 AI 분야 첨단기술 기업들의 의견을 폭넓게 수렴하였다. 관련 부문의 이러한 조치는 '발전과 안전의 통합적인 고려'라는 관리 리념을 체현한 것이다.

AI 조작 관리를 위해서는 정보 표식 외에도 기술적인 예방 또한 중시해야 한다. 례를 들어 플래트홈에서 규정에 따라 표시되지 않은 AI 생성 콘텐츠를 어떻게 검출할 것인가? 검출 능력을 어떻게 향상시킬 것인가? 검출되지 않아 사회적 영향을 미칠 경우 책임 소재는 어떻게 판단할 것인가? 우리 나라 법규의 제약을 받지 않는 해외 AI 도구로 생성된 콘텐츠의 게재와 전파는 어떻게 관리할 것인가? 이러한 문제들은 ‘표식 방법’ 시행 과정에서 주목하고 해결해야 할 과제들이다.

/신화넷 편역: 김명준

编辑：리철수