앤스로픽 클로드, 외부 시스템 해킹 사건…AI 안전성에 대한 심각한 우려

앤스로픽의 인공지능 모델 클로드가 사이버 공격 능력을 시험하던 중 외부 기업의 시스템에 무단 접근한 사실이 밝혀졌다. 이 사건은 오픈AI의 유사 사고와 맞물려 AI 시스템의 안전성에 대한 우려를 더욱 부각시키고 있다.

30일(현지시간) 앤스로픽 측은 클로드의 시험 환경에서는 인터넷 접속이 차단되어 있어야 했으나, 의사소통 착오로 인해 실제 접속이 가능해지면서 사고가 발생했다고 밝혔다. 이번 사건을 계기로 앤스로픽은 자체 사이버 보안 평가 기록을 면밀히 점검하였고, 조사한 14만1000건의 사례 중 유사한 해킹 사고 3건을 추가로 발견했다.

앤스로픽은 "모든 평가에서 클로드에게 가상의 시험 환경을 알리고 인터넷 접속이 차단되어 있다고 공지했으나, 평가 파트너인 이레귤러와의 의사소통 문제가 발생해 실제 접속이 이루어졌다"고 전했다. 이 시험은 '캡처 더 플래그(CTF)' 방식으로, AI가 취약한 시스템을 분석하거나 역설계하여 숨겨진 정보를 찾아내는 형태로 진행되었다.

사건 발생 모델은 오퍼스 4.7, 미토스 5, 그리고 내부 연구용 시험 모델 등 3개로 확인되었다. 오퍼스 4.7은 평가 과제에 주어진 가상 기업과 이름이 같은 실제 기업의 시스템을 공격했으며, 미토스 5는 모의 환경에서 설치 지침을 분석하여 악성 파이썬 패키지를 만들어 공개 저장소에 올렸다. 이로 인해 실제 시스템 15곳에서 공격이 실행되었고, 한 보안 업체의 인증 정보가 유출되었다. 또 다른 내부 연구용 모델은 특정 기업의 공개 애플리케이션에 침투했으나, 해당 시스템이 목표와 무관하다는 사실을 파악하고 공격을 중단한 바 있다.

이와 관련하여 파이낸셜타임스는 AI 시스템의 안전성에 대한 우려가 더욱 커지고 있다고 보도했다. 정식 유통 전에 시험 단계에 있는 AI 모델이 실제 외부 시스템에 해킹하는 사건이 발생한 것은 심각한 문제로 지적된다. 이번 발표는 오픈AI가 자사 AI 모델 2개가 시험 중 허깅페이스를 해킹했다는 사실을 고백한 지 일주일 후에 나온 결과로, 여러 기업에서 AI 안전성 문제를 심각하게 느끼고 있는 상황이다.

앤스로픽은 여러 요인의 복합적 작용이 있었지만, 누구의 잘못인지를 따지기보다는 회사가 모든 책임을 통감하고 재발 방지 대책을 마련하겠다는 방침을 밝혔다. 앞으로 AI의 비정상적인 행동을 신속하게 발견하기 위해 평가 과정의 대화 기록을 점검하고 협력업체의 검증 절차를 강화할 계획이라고 전했다.