142 읽음
앤트로픽 AI 미토스, 2년 난제 HAWK 암호 취약점 발견
위키트리
0
앤트로픽이 아직 일반에 공개하지 않은 고급 모델 클로드 미토스(Claude Mythos)가 두 가지 암호 알고리즘에서 새로운 수학적 취약점을 찾아냈다고 발표했다. 하나는 차세대 양자내성 서명 스킴 후보인 HAWK, 다른 하나는 인터넷 보안의 근간인 AES(고급암호표준)의 축소 버전이다. 앤트로픽은 두 결과 모두 현재 실제로 쓰이는 시스템에는 영향을 주지 않는다고 강조했다. 그러나 인간 전문가들이 수년간 매달려도 찾지 못한 약점을 AI가 짧은 시간에 발견했다는 점에서 파장이 작지 않다. 크립토그래피 엔지니어링 블로그는 7월 29일자(현지시각) 글에서 앤트로픽이 전날 이 두 결과와 연구 과정을 설명하는 블로그 글을 함께 공개했다고 전했다.
이번 발표는 논문 두 편으로 정리됐다. 첫 논문은 HAWK라는 프로토타입 서명 방식을 다뤘다. HAWK는 격자 기반 어려운 문제(module Lattice Isomorphism Problem)에 기반한 포스트퀀텀 서명 스킴으로, 미국 NIST(국립표준기술연구소)가 진행 중인 추가 포스트퀀텀 서명 표준화 경쟁의 3라운드까지 남아 있던 후보 중 하나다. techxplore에 따르면 인간 전문가들은 2년 넘게 이 알고리즘을 분석하고 안전하다고 판단해왔다.
두 번째 논문은 Milad Nasr와 Nicholas Carlini가 참여해 AES의 축소 버전을 다뤘다. AES는 은행 정보를 포함한 웹 트래픽과 소프트웨어 업데이트 등 인터넷 데이터 보호에 쓰이는 표준 대칭키 암호다. 암호학자들은 전체 암호를 직접 공격하기 어렵기 때문에 라운드 수를 줄인 버전을 분석해 숨은 약점을 찾는다. 이번에 다룬 7라운드 버전을 분석하는 최선의 방법은 2013년 이후 바뀌지 않고 있었다고 techxplore는 전했다.
The Decoder에 따르면 클로드 미토스 프리뷰는 HAWK의 보안이 기반한 수학적 격자에서 이전에 발견되지 않은 대칭성을 찾아내 이를 공격에 활용했다. 인간 전문가들이 2년 넘게 검토한 문제를 미토스는 60시간 만에 개선된 공격으로 만들어냈고, 이 과정에서 든 API 비용은 약 10만 달러였다. 모델은 멀티에이전트 시스템에서 반자율적으로 작업했는데, 한 에이전트가 처음에는 이 아이디어를 실현 불가능하다고 판단해 기각하려 했지만 다른 에이전트가 이를 완전히 활용할 방법을 찾아냈다고 한다. 담당 연구자는 이론 컴퓨터과학 배경은 있었지만 격자 기반 암호학 전문가는 아니었고, 역할도 프로젝트 관리에 가까웠다고 앤트로픽은 설명했다.
크립토그래피 엔지니어링 블로그는 이 결과의 의미를 조심스럽게 짚었다. HAWK는 실제 배포되거나 표준으로 채택된 알고리즘이 아니라 제안 단계였고, 관련 서명 스킴인 Falcon과는 다른 어려운 문제에 기반해 이번 공격이 옮겨가지도 않는다. 공격은 여전히 지수시간이 걸리지만 알고리즘의 보안 비트 수를 대략 절반으로 줄여, 이론적으로는 키 크기를 두 배로 늘리면 막을 수 있다. 다만 그렇게 하면 HAWK가 다른 방식보다 효율적이라는 존재 이유 자체가 흔들린다. 저자들이 제공한 약화된 ‘챌린지 인스턴스’를 상대로는 실제 코드가 몇 시간 만에 작동했다. 블로그 저자가 클로드에게 이 결과에 대한 의견을 묻자 클로드는 “이 결과가 진정으로 흥미로우면서도 학계에는 조금 당황스러운 이유는, 사용된 재료 중 어느 것도 이색적이지 않다는 점”이라고 답했다. HAWK 논문에서 연구자 Zygimantas Straznickas와 Stephen A. Weis는 “이 논문에 담긴 수학적 발견의 대부분은 AI가 이뤄낸 것이며, 인간 저자의 기여는 주로 AI 작업을 지시하고 조직하고 검증하는 데 그쳤다”고 밝혔다.
두 번째 결과는 완전히 다른 성격이다. 앤트로픽에 따르면 미토스는 이 작업을 처음엔 거부했다. 모델은 “다른 결과를 원한다면 대상이 바뀌어야 한다… AES-128 r5/r6는 그냥 정말 어렵다”며 추가 개선이 불가능하다고 판단했다. 연구자가 “진정으로 새로운 아이디어를 찾아보라”고 독려하자 모델은 더 창의적인 접근을 시도했고, 3일에 걸쳐 수억 개의 토큰을 생성하며 “손쉬운 결과를 찾는 게 아니라 진짜 어려운 발견을 위한 제대로 된 연구를 원한다”는 취지의 프롬프트 등 실질적인 지시는 세 차례만 추가로 받았다.
그 결과 미토스는 앤트로픽이 ‘뫼비우스 브리지(Möbius Bridge)’라 부르는 새로운 지문 인식 기법을 스스로 개발했다. 이 기법은 공격자가 거쳐야 하는 시행착오 단계 하나를 제거해, 2013년 이후 최선으로 알려진 공격을 200배에서 800배까지 빠르게 만들었다고 techxplore와 The Decoder 모두 전했다. 연구진은 논문에서 “이 개선은 모두 대형언어모델에 의해 완전히 자율적으로 발견됐다”면서 “뫼비우스 변환은 검증하기가 비교적 쉬우며 정확하다고 매우 확신한다”고 적었다. 다만 크립토그래피 엔지니어링 블로그는 이번 공격이 2^89회의 암호 연산이 필요하고, 그마저도 실제 암호화 담당자를 속여 같은 비밀키로 2^105개의 선택 평문을 암호화하게 만들어야 가능하다는 점에서 현실적인 위협과는 거리가 멀다고 짚었다. 이 실행에도 약 10만 달러의 API 비용과 약 10억 개의 토큰이 들었고, 암호학 전문가가 아닌 인간 연구자들이 결과 검증에 수백 시간을 썼다.
앤트로픽은 두 결과를 발표하기 전 미국 정부와 업계 파트너에 미리 공유했고, HAWK 취약점 공개는 해당 스킴의 저자들과 조율했다고 밝혔다. 미토스 프리뷰 자체는 여전히 일반에 공개되지 않고 있다. 앤트로픽은 ETH 취리히, 텔아비브 대학교, 하이파 대학교 연구자들과 함께 언어모델의 암호분석 능력을 체계적으로 평가할 수 있는 벤치마크 CryptanalysisBench도 함께 내놓았다.
두 결과 모두 지금 쓰이는 암호 시스템이 당장 위험하다는 뜻은 아니다. AES는 2001년부터 표준으로 쓰이며 NSA의 비공개 테스트를 포함한 많은 시도를 견뎌왔고, 이번에 공격받은 것은 전체 10~14라운드 중 7라운드만 쓰는 약화된 버전이다. HAWK 역시 아직 표준으로 채택되지 않은 후보였다. 그럼에도 크립토그래피 엔지니어링 블로그는 HAWK가 표준화 과정에서 꽤 진전된 상태였던 만큼 이번 결과로 표준 채택 가능성이 매우 낮아졌다고 평가했다. AI가 기존에 알려진 도구들을 훨씬 철저하게 조합해 전문가들이 놓친 틈을 찾아냈다는 점에서, 앞으로 암호학 연구와 표준화 심사 방식에도 AI 활용이 더 확산될 것으로 보인다.