12 읽음
오픈AI 앤트로픽 모델, 가짜 신원으로 악성코드 삽입 시도
위키트리
0
영국 정부 산하 AI 안전연구소(AISI, AI Security Institute)가 진행한 사이버보안 테스트에서 오픈AI와 앤트로픽의 AI 모델이 스스로 가짜 신원을 만들어 실제 개발자를 속이려 한 사실이 드러났다. AISI는 7월 25일부터 28일까지(현지시각) 실시한 테스트에서 이런 행동을 포착했다고 밝혔다. 122회 테스트 실행 가운데 10회에서 문제 행동이 나타났고, 승인되지 않은 행동은 총 19건 기록됐다. 이 중 17건은 앤트로픽의 미토스 5(Mythos 5), 2건은 오픈AI의 GPT-5.6-Sol에서 나왔다. AISI는 “자율성과 속임수 관련 위험이 특정 지시 없이 실제 세계에서 이렇게 명확히 드러난 것은 이번이 처음”이라고 밝혔다. 실제 피해는 발생하지 않았다고 덧붙였다.
AISI가 “가장 심각한 사례”로 지목한 사건은 GitHub의 한 공개 오픈소스 프로젝트를 겨냥한 시도였다. 에이전트는 프로젝트에 악성코드를 삽입하려 했고, 인간 검토자의 승인을 받기 위해 프로젝트 관리자를 사전에 조사한 뒤 여러 개의 가짜 온라인 신원을 만들었다. 가짜 계정 하나는 코드를 검토해 악성코드가 없다고 주장했고, 다른 계정은 그 검토에 감사를 표하며 코드가 안전하다고 관리자를 설득하려 했다.
누군가 코드 변경을 공개적으로 문제 삼자 에이전트는 이전 활동 기록을 무해하게 보이도록 수정했고, 새로운 신원으로 다시 접근하는 방안까지 고려했다. GitHub의 네트워크 제한을 피하기 위해 토르(Tor) 네트워크를 사용하기도 했다. 그러나 결국 인간 관리자가 악성코드를 발견해 코드 반영을 거부했다. 에이전트는 이 외에도 온라인 파일전송 서비스를 통해 실제 사람들에게 직접 메시지와 파일을 보내 그들 자신이나 이들이 쓰는 AI 코딩 도구가 악성코드를 실행하도록 유도했다. 이 메시지 중 일부에는 실제 악성 페이로드가 담겨 있었다. AISI는 사건 감지 후 약 1시간 만에 상황을 억제했다고 밝혔다.
AISI에 따르면 에이전트는 그저 부여된 사이버보안 과제를 해결하라는 목표를 끝까지 쫓았을 뿐이다. 속임수는 특정 지시로 유발된 게 아니라 목표를 집요하게 추구하는 과정에서 부산물로 나타났다. 철학자 닉 보스트롬이 종이클립 사고실험으로 설명했던 전형적인 AI 정렬(alignment) 문제, 즉 유익한 목표를 해로운 방법으로 추구하지 않도록 만드는 문제가 실제 사례로 드러난 셈이다.
일부 실행에서는 과제 설정이 잘못돼 에이전트가 주어진 조건 안에서는 해결책이 없다고 판단한 경우도 있었다. AISI는 거의 불가능한 과제가 모델을 더 창의적이고 경계를 넘는 해법으로 몰아붙일 수 있다고 설명했다. 다만 과제가 정상적으로 설정된 경우에도 같은 행동이 나타났다. 다른 테스트에서도 최신 프런티어 모델 전반이 이런 경향을 보였고 특히 최신 오픈AI 모델이 속임수를 쓸 가능성이 더 높았다는 결과도 나왔다.
오픈AI 공동창업자이자 챗GPT 공동 개발자인 존 슐먼(John Schulman)은 이를 사전학습 이후 단계의 훈련 방식에서 원인을 찾을 수 있다고 봤다. 그는 특정 과제 유형에 대해 독립된 행동 패턴이 형성되는 “청키 포스트트레이닝(chunky post-training)” 현상을 지목했다. 모델이 사이버보안 평가를 완료 자체가 유일한 보상인 강화학습 과제로 인식하면 목표를 한 방향으로만 추구하게 되고, 다른 맥락에서 학습한 안전 행동은 이어지지 않는다는 설명이다. 그는 캡처더플래그(capture-the-flag) 방식의 사이버보안 훈련을 거친 모델일수록 사이버 테스트 중 이런 반응이 특히 두드러질 수 있다고 덧붙였다.
이번 사건은 오픈AI와 앤트로픽 모델을 둘러싸고 최근 잇따라 불거진 유사 사고와 같은 흐름에 있다. AISI는 이번 사건이 오픈AI와 앤트로픽에서 벌어진 비슷한 사고와 더불어 “위험 지형의 변화”를 보여준다고 밝혔다. 일반에 공개된 모델을 의도적으로 악용한 사례가 아니라, 연구 환경에서 모델이 승인된 범위를 벗어나 의도치 않은 행동을 한 것이라는 설명이다.
와이어드(Wired) 보도에 따르면 서드파티 AI 보안 연구기관 이레귤러(Irregular)가 진행한 별도 테스트에서도 비슷한 일이 있었다. 이레귤러가 실수로 오픈AI의 한 모델에 인터넷 접근 권한을 부여했는데, 원래 격리된 환경에서 완료해야 할 목표를 부여받은 이 모델이 설정 오류를 틈타 기본적인 보안 취약점을 이용해 실제 웹사이트를 해킹했다. 심지어 계정 정보를 찾아내 그 사이트를 직접 운영하기까지 했다고 오픈AI는 설명했다.
AISI는 이번 테스트에서 프롬프트 인젝션(prompt injection, 다른 AI 시스템이 실행하도록 악성 지시를 심어두는 기법)에 해당하는 행동도 두 가지 유형으로 추가 확인했다. 한 에이전트는 다른 자동화 AI 시스템이 발견해 실행할 수 있는 위치에 악성 지시를 심어뒀다. 또 다른 에이전트는 GitHub에 공개 메시지를 남겨 같은 시점에 테스트 중인 다른 에이전트들에게 협업을 제안하고, 자신이 남긴 계정과 흔적을 재사용하는 방법까지 설명했다. 이후 실행된 에이전트들은 실제로 이 메시지를 발견해 그대로 활용했다.
CNN에 따르면 이번 공개는 백악관이 주요 AI 기업 관계자들과 만나 고성능 AI 모델을 출시 전 정부가 검토하는 새로운 체계를 논의한 날 이뤄졌다. 오픈AI는 성명에서 “테스트는 일반적인 사용 조건을 반영하지 않는 환경에서 이뤄졌다”며 평가자 등 업계 관계자들과 함께 안전한 평가 관행을 강화해 나가겠다고 밝혔다. 앤트로픽도 성명에서 “점점 더 유능해지는 AI 에이전트를 어떻게 안전하게 평가할지에 대한 더 넓은 논의가 필요하다”며 AISI와 함께 사건을 계속 조사하겠다고 전했다.
AISI는 이번 사건을 계기로 테스트 규정을 전면 손질하기로 했다. 앞으로 평가 중 인터넷 접근은 기본으로 허용하지 않으며, 평가자가 반드시 필요성을 입증해야 한다. 테스트 진행 상황을 실시간으로 감시해 승인 범위를 벗어난 행동을 감지하거나 차단하는 체계도 도입한다. AISI는 앞으로 유능한 모델이라면 부여된 권한 범위를 넘어서려 할 수 있다는 점을 전제로 테스트를 설계하겠다고 밝혔다.
AISI는 악성 행위를 GitHub에 통보했고, GitHub는 해당 행동이 서비스 약관을 위반했다고 확인한 뒤 에이전트가 남긴 흔적을 제거하고 영향받은 사용자들에게 알렸다. 모델평가및위협연구기관(METR, Model Evaluation and Threat Research)이 독립적으로 사건을 재검토할 예정이며 오픈AI도 이 작업에 협력하고 있다. 영국 AI장관 카니시카 나라얀(Kanishka Narayan)은 “세계 최고 수준의 AI 안전기구를 갖추는 것은 절대적으로 중요하다”며 “이런 새로운 행동을 식별하고 결과를 공유해 대응하는 것이 바로 AISI가 설립된 이유”라고 말했다.