199 읽음
오픈AI, GPT-5.6 Sol 울트라패스트로 초당 750토큰…응답속도 14배 끌어올렸다
위키트리
0
오픈AI가 자사 프런티어 모델을 훨씬 빠른 속도로 돌리는 새로운 API 서비스 티어 GPT-5.6 Sol Ultrafast를 프리뷰로 공개했다. dig.watch는 8월 16일(현지시각) 이 소식을 전하며, 세레브라스(Cerebras) 인프라를 기반으로 표준 처리 대비 최대 14배 빠른 초당 750개 출력 토큰 생성이 가능하다고 보도했다. 오픈AI는 고급 모델 지능과 인터랙티브 애플리케이션에 필요한 저지연 사이의 전통적인 트레이드오프를 없애는 것이 목표라고 밝혔다.
같은 날 오픈AI는 GPT-5.6 빌더 가이드도 함께 내놨다. 이 가이드에 따르면 GPT-5.6 Sol은 어려운 벤치마크인 ARC-AGI-3에서 점수가 크게 올랐고, 가장 작은 모델 Luna는 비용을 25배 줄이면서도 비슷한 성능을 유지했다. 세레브라스와의 협업을 통해 나온 초당 750토큰 처리 속도는 “실시간 응답을 위해서는 더 작은 모델로 타협해야 한다”는 업계의 2년 된 불문율을 깼다는 평가가 나온다. 현재는 선택된 일부 고객에게만 제한적으로 제공되고 있다.
GPT-5.6 Sol Ultrafast의 핵심은 속도다. 세레브라스의 추론 인프라가 초당 최대 750개 출력 토큰을 생성하며, 이는 기존 표준 처리 방식보다 최대 14배 빠른 수치다. 오픈AI는 이 서비스가 몇 초의 지연도 문제가 되는 워크플로를 겨냥해 설계됐다고 설명했다.
구체적으로는 시스템 장애가 진행 중일 때 로그를 분석하거나, 실시간으로 변하는 금융 정보를 평가하고, 의심스러운 거래를 탐지하는 작업, 그리고 대화가 진행되는 동안 복잡한 고객지원 요청을 해결하는 상황이 대표적이다. 오픈AI는 커머스와 과학 연구 분야에서도 기회를 보고 있다고 밝혔다. 빠른 추론 덕분에 쇼핑 어시스턴트가 고객이 결제를 이탈하기 전에 재고를 확인하고 추천을 개인화할 수 있고, 연구자들은 기존에 밤새 걸리던 실험을 낮 동안 여러 번 반복하는 인터랙티브 사이클로 바꿀 수 있다는 설명이다.
빌더 가이드에서 눈에 띄는 대목은 벤치마크 성적과 비용 개선이다. GPT-5.6 Sol은 낯선 2D 미니게임의 규칙을 별다른 설명 없이 스스로 파악해야 하는 고난도 테스트 ARC-AGI-3에서 처음에는 공식 리더보드 기준 7.8%(GPT-5.5는 0.4%)라는 낮은 점수를 받았다. 오픈AI 연구원 일란 비지오(Ilan Bigio)와 테드 샌더스(Ted Sanders)는 그 원인이 테스트 도구인 ‘범용 하니스(harness)’에 있다는 것을 밝혀냈다. 이 하니스는 매 단계마다 모델의 추론 과정을 폐기하고, 컨텍스트(문맥)가 가득 차면 오래된 부분부터 잘라내는 방식으로 작동해 모델이 매번 기억을 잃고 처음부터 다시 시작해야 했다.
연구팀이 하니스를 응답 API(Responses API)로 교체하고 ‘추론 보존’과 ‘압축’ 두 기능을 켠 뒤 공개 문제 세트를 다시 돌리자 점수는 13.3%에서 38.3%로 뛰었고 출력 토큰 사용량은 6배 줄었다. 비용 측면에서는 가장 작고 저렴한 모델 Luna가 화제였다. 오픈AI 자체 벤치마크인 BrowseComp에서 Luna는 익스트라 하이(Extra High) 모드로 84.04%의 정확도를 기록했다. 석 달 전 GPT-5.5가 같은 모드로 84.36%를 냈을 때 비용이 33.27달러였던 데 비해, Luna의 비용은 1.33달러에 그쳤다. 성능은 0.32%포인트 낮아졌을 뿐인데 비용은 25배 줄어든 셈이다.
오픈AI는 GPT-5.6의 비용·효율 개선을 이끈 세 가지 기술로 프로그래매틱 툴 콜링(programmatic tool calling), 네이티브 멀티에이전트 구조, 프롬프트 캐싱을 제시했다. 프로그래매틱 툴 콜링은 모델이 직접 자바스크립트 코드를 작성해 샌드박스 안에서 여러 툴 호출과 필터링, 요약을 한 번에 처리하고 최종 결과만 반환하는 방식이다. 금융연구기업 로고(Rogo)의 실제 테스트에서는 품질을 유지한 채 입력 토큰 사용량이 21% 줄었다.
네이티브 멀티에이전트 구조는 메인 모델이 여러 서브 모델에 작업을 나눠 병렬로 처리한 뒤 결과를 모으는 방식으로, 챗GPT 울트라 티어는 기본적으로 4개의 에이전트가 동시에 작동하도록 설계됐다. 제품 회사 오비어스(Obvious)의 공동창업자 존 벨(Jon Bell)은 여섯 가지 요구사항을 한 번에 제출했는데도 별다른 문제 없이 진행됐다고 말했다. 프롬프트 캐싱은 캐시 유효기간을 최소 30분으로 늘리고 사용자가 직접 브레이크포인트 위치를 지정할 수 있도록 개선한 기능이다. AI 기업 플로이(Ploy)의 엔지니어들은 2만9000토큰 규모의 공유 프롬프트에 브레이크포인트와 워크스페이스별 키를 추가해 캐시 미스를 28% 줄였다고 전했다.
Ultrafast 자체도 이미 코딩, 금융연구, 커머스, 고객지원 등 다양한 분야에서 초기 기업 그룹의 테스트를 받고 있다. 오픈AI는 이런 배치 경험이 압도적으로 빠른 추론이 어디에서 가장 큰 가치를 만드는지 파악하는 데 도움이 될 것이라고 밝혔다. 오픈AI는 자체적으로도 이 기술을 인시던트 대응에 활용 중이다. 장애가 진행되는 동안 엔지니어들이 로그와 트레이스, 내부 대화를 빠르게 분석하고 가설을 검증해 수정안을 준비하는 데 쓰이며, 다만 실제 의사결정과 배포는 여전히 인간 엔지니어의 책임으로 남아 있다. 내부 연구팀도 지식 소스 검색과 데이터 질의, 결과 정리를 빠르게 처리해 하루 안에 여러 차례 실험을 반복할 수 있는지 시험하고 있다.
GPT-5.6 Sol Ultrafast는 현재 오픈AI API를 통해 선택된 일부 고객에게만 제한적으로 제공되고 있다. 오픈AI는 처리 용량이 늘어나는 데 맞춰 접근 범위를 넓힐 계획이라고 밝혔다. 이번 서비스는 오픈AI와 세레브라스의 파트너십을 확장하는 것이기도 하다. 세레브라스의 추론 인프라가 GPT-5.6 Sol에서 광고된 초당 750토큰 피크 속도를 실제로 구현하고 있다.
dig.watch는 이번 발표가 프런티어 AI가 실제 실시간 운영에 더 가까워지고 있음을 보여준다고 평가했다. 지연 시간 때문에 상대적으로 작은 모델이 유리했던 실시간 인시던트 대응, 음성 상호작용, 금융 모니터링, 인터랙티브 연구 같은 영역에도 이제 더 강력한 모델이 들어갈 수 있게 됐다는 의미다. 다만 이런 속도와 비용 개선이 실제 서비스 전반으로 확산되려면 오픈AI가 언급한 초기 테스트 결과와 용량 확대 계획이 어떻게 진행되는지가 관건이 될 전망이다.