AI 콘텐츠의 워터마크 도입, 지우기 쉽다?

최근 여러 AI 기업들이 생성형 인공지능(AI)으로 만든 콘텐츠에 워터마크를 도입하는 경향이 두드러지고 있다. 이는 AI가 생성한 작품을 명확히 구별할 수 있는 시스템을 통해 콘텐츠의 투명성을 증진하려는 노력의 일환이다. 그러나 이러한 시도가 오히려 기술 발전에 따라 쉽게 회피될 수 있는 가능성이 커지면서, 완전한 검증 수단으로 기능하기에는 한계가 있다는 우려도 함께 커지고 있다.

앤스로픽은 이달 2일부터 발효된 유럽연합(EU) AI법에 따라 클로드 모델에 기계적 식별이 가능한 워터마크를 적용하기 시작했다. 이 워터마크는 일반 사용자가 보기에는 감지되지 않지만, 특수한 탐지기를 통해 확인할 수 있는 형태로, 이는 AI 모델의 모든 품목에 차례로 적용될 예정이다. 앤스로픽은 또한 제3자가 이를 검증할 수 있는 탐지 도구와 기술 문서도 공개할 계획임을 밝혔다.

이러한 워터마크의 확산은 다른 여러 기업에서도 보인다. 구글은 '신스 ID'라는 시스템을 통해 제미나이가 제작한 텍스트와 이미지에 워터마크를 적용하고 있으며, 오픈AI는 콘텐츠의 출처 정보를 명시하는 'C2PA' 메타데이터를 활용하고 있다. AI 음악 서비스 수노와 뉴스레터 플랫폼 서브스택 역시 AI로 생성된 콘텐츠를 식별하기 위해 이러한 기술을 도입하고 있다.

하지만 업계에서는 워터마크가 단어나 문장 구조를 변경하는 것만으로도 쉽게 우회될 수 있기에, 이러한 노력이 효과적이지 않을 것이라는 지적이 나오고 있다. 앤스로픽이 도입한 방식은 AI가 특정 단어를 선택할 확률을 미세하게 조정하여 전체 텍스트에 통계적 패턴을 남기는 것이며, 탐지기는 이 패턴을 분석해 워터마크의 존재 여부를 판단하는 방식이다. 하지만 AI 탐지 스타트업 GPT제로의 CTO 알렉스 추이는 이러한 방식이 고급 필사 기술에 의해 쉽게 제거될 수 있다고 경고하고 있다. 그는 "강도 높은 '바꿔쓰기'에서 워터마크가 살아남기 어렵다"고 주장했다.

더불어, 워터마크가 콘텐츠 품질에 미치는 영향에 대한 우려도 커지고 있다. 알렉스 추이는 워터마크 부여 과정에서 단어 선택이 인위적으로 제한될 경우 텍스트 품질이 저하될 수 있다고 언급하며, 이러한 문제점이 실제로 콘텐츠의 신뢰성에 부정적인 영향을 미칠 수 있음을 강조했다.

또한 워터마크를 무력화하는 기술도 급속도로 발전하고 있다. 스위스의 취리히연방공대 연구진은 반복적인 질의를 통해 워터마크 생성 규칙을 추출하는 방법을 실험해 보았고, 그 결과 매우 저렴한 비용으로 기존 워터마크를 제거하거나 가짜 워터마크를 삽입할 수 있는 방법의 성공률이 80%에 달하는 것으로 나타났다.

AI 콘텐츠에 대한 우려가 커지는 가운데, 여러 기술과 방법론이 난무하고 있는 상황에서는 투명성과 идентификация의 필요성이 여전히 강조되고 있지만, 그 실효성에 대한 논의는 앞으로도 계속 이어질 것으로 보인다.