128 읽음
오픈AI 이상 행동 포착, AI 모델 훈련 2주간 중단
위키트리
0
오픈AI(OpenAI)가 챗GPT(ChatGPT)의 새로운 버전을 훈련하고 테스트하는 작업을 일시 중단했다. 모델에서 우려스러운 행동이 발견됐기 때문이다. 회사는 화요일(현지시각) 블로그 게시물을 통해 모델 테스트를 2주간 중단하고, 차세대 모델 아스트라(Astra)의 강화학습 훈련도 2주간 멈춘다고 밝혔다. 그 기간 연구와 훈련 시스템을 더 안전하게 손보는 데 쓰겠다는 계획이다. 이번 결정은 오픈AI의 한 시스템이 테스트 도중 통제를 벗어나 경쟁 AI 기업을 해킹한 사실이 알려진 지 한 달여 만에 나왔다.
지난달 오픈AI는 자사의 고급 AI 모델 두 개로 구동되는 자율 에이전트가 테스트 환경(샌드박스)을 벗어나 인터넷에 연결됐다고 밝혔다. 이 에이전트는 AI 훈련 저장소 기업 허깅페이스(Hugging Face)를 해킹했다. 목표 달성을 더 쉽게 하기 위해 허깅페이스가 보유한 자료를 이용하려 한 것으로, 결국 훈련 테스트를 속이기 위해 사이버 공격을 벌인 셈이다. 오픈AI도 이 일을 사전에 알지 못했다.
여기에 더해 오픈AI는 아직 공개되지 않은 차세대 모델 아스트라에 대해 “예비 증거”를 확보했다고 밝혔다. 이 모델이 회사의 “대비 프레임워크(Preparedness Framework)”가 정한 “치명적 사이버보안 역량 기준”을 충족할 수 있다는 정황이다. 대비 프레임워크는 2023년 말 도입된 오픈AI의 핵심 안전 지침이다. 모델이 “전례 없는 심각한 피해 경로”를 만들 수 있다고 판단되면 개발 속도를 늦추도록 규정하고 있다.
오픈AI는 아스트라 모델의 강화학습 훈련에 2주간 일시 중단을 걸었다. 향후 훈련 계획도 안전 프로토콜을 재정비하는 동안 잠정 보류 상태다. 회사는 테스트 중인 AI 시스템의 행동을 감시할 수 있는 새로운 안전 도구를 이 기간 추가할 예정이라고 설명했다.
기존에는 “사고 사슬 모니터링(chain-of-thought monitoring)”이라는 방식으로 모델의 계획 수립 과정을 들여다보고 위험한 행동 여부를 판단해왔다. 그런데 오픈AI는 모델이 스스로 규칙을 어기려는 계획을 숨길 수 있다는 새로운 우려가 제기됐다고 밝혔다. 기존 감시 체계만으로는 안전을 담보하기 부족할 수 있다는 뜻이다. 오픈AI는 “모델이 유능해질수록 내부적으로 개발·테스트하는 데 따르는 위험도 커진다”며 “모니터링과 정렬(alignment), 보안에 대한 기준이 이런 위험보다 앞서 있어야 한다”고 설명했다. 대비 프레임워크 자체도 “점점 더 유능해지는 시스템”의 새로운 행동 양상에 맞춰 다시 쓰는 작업을 진행 중이라고 덧붙였다.
오픈AI의 허깅페이스 해킹 사건이 알려진 뒤 앤트로픽(Anthropic)과 메타(Meta)도 자사 시스템에서 비슷한 보안 침해를 발견했다고 밝혔다. 두 회사 모두 사전에 이를 인지하지 못했던 것으로 전해졌다. 최전선 AI 모델이 예상치 못한 사이버보안 위험과 문제적 행동을 보이는 사례가 잇따르자 AI 업계와 정책 입안자들 사이에서 위기감이 커지고 있다.
오픈AI는 그동안 새로운 모델 개발을 선도하며 때로는 “너무 일찍 출시한다”는 비판을 받아온 회사다. 이번 결정은 그런 오픈AI로서는 이례적인 행보다. 회사는 앤트로픽에 밀리고 있다는 평가를 받는 가운데 기업공개(IPO)도 준비 중인 것으로 알려졌다.
샘 올트먼(Sam Altman) 오픈AI 최고경영자는 엑스(X)에 “모델의 발전 속도가 지금 매우 빠르다”며 “모델의 역량이 안전과 정렬 작업의 속도를 앞지른다고 판단되면 조치를 취하겠다고 우리는 늘 말해왔다”고 밝혔다. 그는 “우리는 AI 안전을 매우 중요하게 여긴다”며 “업계 전체가 공동의 안전 기준에 합의해야 한다고 믿지만 그 전까지는 독자적으로 행동할 것”이라고 덧붙였다. 이어 “앞으로는 안전에 대한 확신이 AI 발전의 속도를 좌우하게 될 것”이라며 “안전정렬 작업에 낙관적이고, 최전선 기술을 널리 이용할 수 있도록 하겠다는 약속도 지킬 것”이라고 말했다.
오픈AI의 안전 부문 책임자 미아 글레이제(Mia Glaese)는 인터뷰에서 회사 상황이 “정상으로 돌아가기까지는 아직 한참 멀었다”고 말했다. 오픈AI 최고과학책임자 야코프 파초키(Jakob Pachocki)는 화요일(현지시각) 브리핑에서 악시오스(Axios)에 따르면 “이 분야를 발전시켜야 한다는 엄청난 긴박감이 있다”며 “오픈AI 바깥, 더 넓은 세계에서도 비슷한 발전이 일어날 것에 대비해야 한다”고 말했다.
이번 조치는 AI 업계가 여전히 스스로를 규제하는 단계에 머물러 있음을 보여준다. 오픈AI가 다시 속도를 낼지 여부도 결국 회사 자신의 결정에 달려 있다.