205 읽음
오픈AI 위험 평가 준비팀 해체, 업무 분산 배치
위키트리
0
오픈AI가 AI 모델의 재앙적 위험을 전담 평가하던 조직을 조용히 해체했다. 파이낸셜타임스(Financial Times)가 내부 소식통을 인용해 보도한 내용에 따르면 오픈AI는 7월 말(현지시각) ‘준비팀(Preparedness)’을 없애고 그 업무를 기존 다른 팀들로 넘겼다. 이 팀은 오픈AI의 AI 모델이 심각하거나 재앙적인 위험을 초래할 수 있는지 평가하는 역할을 맡아왔다. 생물학·사이버 위험과 관련된 업무는 이미 존재하던 조직들로 나뉘어 배정됐다. 이번 해체는 최근 몇 주 사이 안전·윤리·정렬(alignment) 분야를 이끌던 여러 임원이 잇달아 회사를 떠난 흐름과 겹치면서 논란이 커지고 있다.
준비팀을 이끌던 딜런 스캔디나로(Dylan Scandinaro)는 이제 ‘재귀적 자기개선(recursively self-improving)’ AI에서 비롯되는 안전 위험에 집중하고 있다. 스스로를 최적화하고 다른 모델을 훈련시킬 수 있는 시스템을 감독하는 업무다. 팀의 다른 핵심 업무였던 생물학·사이버 위험 평가는 회사 내 기존 조직으로 흩어졌다.
공동창업자 그레그 브록먼(Greg Brockman)은 오픈AI가 안전 업무를 모델 개발 과정에 더 긴밀하게 엮어 넣었다고 설명했다. 별도 팀이 아니라 모델을 실제로 만드는 연구자·엔지니어 곁에 안전 검토를 배치하겠다는 취지다. 문제를 개발 초기 단계에서 더 빨리 포착할 수 있다는 논리지만, 독립된 감시 조직이 사라진다는 우려도 함께 나온다.
준비팀 해체와 함께 여러 안전 담당 임원의 퇴사도 이어졌다. 오픈AI의 최고윤리책임자였던 클로에 바칼라(Chloe Bakalar)와 조슈아 아키암(Joshua Achiam)이 최근 회사를 떠난 것으로 전해졌다. 안전시스템팀을 이끌던 요하네스 하이데커(Johannes Heidecke)도 지난 7월 사임을 발표했다. 아키암은 앞서 미션정렬팀을 이끌다 최고미래학자로 자리를 옮겼는데, 미션정렬팀 자체는 이미 올해 초 해체된 상태였다.
톰스가이드(Tom's Guide)는 세 명의 리더가 단 몇 주 사이 동시에 회사를 떠난 점을 짚으며, 모델이 지나치게 강력해졌다고 판단할 권한이 회사 내 누구에게 남아 있는지 의문을 제기했다. 이런 이탈이 처음은 아니다. 2024년에도 슈퍼얼라인먼트(Superalignment)를 이끌던 핵심 인물들이 회사를 떠나며 비슷한 논쟁이 벌어진 바 있다. 이후 슈퍼얼라인먼트팀은 해체되고 업무가 다른 부서로 흩어졌다. 준비팀·미션정렬팀·슈퍼얼라인먼트팀이 차례로 독립 조직에서 분산 체제로 바뀐 셈이다.
오픈AI 안전 조직 재편에는 찬반이 뚜렷하다. 개발 끝단에 배치된 안전팀은 문제를 발견해도 이미 많은 설계 결정이 끝난 뒤라는 한계가 있다. 안전 연구자를 개발팀과 나란히 두면 문제를 훨씬 일찍 잡아낼 수 있다는 게 오픈AI 쪽 논리다. 그러나 독립된 안전팀이 모델을 더 빠르고 강력하게 만들려는 이들에 대한 견제 역할을 해왔다는 반론도 있다. 두 역할이 뒤섞이면 신제품 출시 욕구와 안전한 결정이 충돌할 때 누가 최종적으로 브레이크를 걸 수 있는지가 모호해진다.
이 문제를 구체적으로 보여준 사례가 아직 공개되지 않은 모델 ‘아스트라(Astra)’다. 오픈AI는 아스트라의 사이버보안 관련 능력이 강력해져 내부적으로 추가 안전 조치가 필요하다고 판단했다. 회사는 아스트라가 사이버보안 위험 우려 수위에서 최고 등급에 도달할 가능성을 배제할 수 없다고 밝혔다. 이에 따라 오픈AI는 모델을 곧바로 널리 공개하는 대신 테스트 일부를 더 격리된 환경으로 옮겼고, 가장 강력한 기능에 누가 접근할 수 있는지에 대한 더 엄격한 통제도 검토하기 시작했다.
오픈AI 내부에서도 우려의 목소리가 나온다. 한 소식통은 오픈AI가 안전 문제에 충분히 대응하지 못하고 있다는 “책임감과 불안이 부글부글 끓어오르는 느낌”이 사내에 퍼지고 있다고 전했다. 이런 불안은 특히 허깅페이스(Hugging Face)와 관련된 자율 해킹 사건 이후 직원들이 공개적으로 목소리를 내는 계기가 됐다. 한 직원은 이 사건을 두고 오픈AI가 이를 ‘경고 사격’으로 받아들이길 바란다고 말했다.
당장 이런 조직 변화나 인력 이탈이 챗GPT 이용을 중단할 이유는 아니라는 시각도 있다. 대부분의 이용자는 새 모델이나 AI 에이전트가 손에 들어오기 전 회사 내부에서 어떤 논쟁이 벌어졌는지 볼 수 없다. 결국 관건은 오픈AI에 ‘안전팀’이 있는지 여부가 아니라, 위험을 식별하는 사람들이 필요할 때 속도를 늦출 만큼 충분한 독립성과 권한을 갖고 있는지다. 준비팀 해체와 리더진 이탈이 이어지는 지금, 다음번 어려운 결정이 내려질 때 방 안에 누가 남아 있을지가 점점 더 중요한 질문이 되고 있다.