34 읽음
AI 비용 관리 기업 핵심 과제, 핀옵스 모델 라우팅 확산
아주경제
0
25일 정보기술(IT) 업계에 따르면 주요 기업들의 IT 인프라 관련 부서에서 AI 핀옵스(FinOps, 클라우드·AI 비용을 부서·서비스 단위로 가시화하고 통제하는 방식) 체제 구축이 본격화하고 있다.
사내 AI 응용프로그램 프로그래밍 인터페이스(API) 호출 현황을 실시간으로 모니터링하거나 부서별 사용량과 AI 업무 기여도에 따라 에이전트의 사용 한도나 우선순위를 조정한다.
이는 조직 내 개인이 진행하는 AI 토큰 사용 관리만으로는 비용 증가에 대응하기 어렵다는 판단이 작용했다. 직원들이 사내 AI에 의미 없는 작업을 반복하는 '토큰 맥싱' 현상, 협업 과정에서 발생하는 예상치 못한 비용들을 관리하는 것이 중요해졌다.
넥슨은 그룹 차원에서 AI 토큰 사용 효율을 점검하고 전사 및 프로젝트 단위의 비용 예측 모델을 구축하고 있다. 과거 사용 데이터를 기반으로 신규 프로젝트에 필요한 토큰 규모와 예산을 산정하기 위해서다.
크래프톤은 지난 18일 넥슨 개발자 콘퍼런스(NDC)를 통해 조직의 AI 비용 현황을 관리할 수 있는 대시보드를 구축하며 관리하고 있다고 밝혔다. 조직별 AI 활용 성숙도에 따라 AI 사용 방식을 달리 가져가는 방향도 구상 중이다.
실무자 단위의 AI 모델 사용 방식도 바뀌고 있다. 개발 현장에서는 요청의 난도와 중요도에 따라 적절한 모델을 선택하거나 자동 분산하는 '혼합형 모델(라우팅) 방식'이 비용 절감 수단으로 떠오르고 있다. 복잡한 기획·추론 업무는 프리미엄 모델에 배정하고 단순 반복 작업이나 기초 코딩은 상대적으로 저렴한 모델로 처리한다.
100만 토큰 기준 입력 단가는 오픈AI의 GPT-5가 2.50달러인 반면 딥시크 V3.2는 0.14달러 수준으로 약 94% 낮다. 출력 단가의 경우 그 격차는 더 벌어진다. 이에 AI 에이전트 활용이 늘어날수록 모델 배분의 중요성은 더 커지고 있다.
클로드와 제미나이 두 개 모델을 사용하고 있는 국내 SW 업체 관계자는 "모든 업무에 값비싼 추론 모델을 사용하는 일이 잦았는데 비용 문제로 최근에는 업무의 난이도에 따라 서로 다른 AI 모델을 사용하고 있다"고 말했다.
AI 모델 API 구매 구조도 비용 관리의 방법 중 하나로 꼽힌다. 기업이 여러 생성형 AI 모델을 각각 계약·관리하는 대신 단일 API 연동으로 다양한 모델을 활용할 수 있는 통합형 서비스가 등장하면서다. AI 사용량이 일정 규모 이상으로 늘어난 기업일수록 모델 선택 못지않게 계약 구조와 운영 방식이 비용에 미치는 영향도 커지고 있다.
API를 빌려 쓰는 방식의 서비스형 모델(MaaS·Model as a Service) 솔루션을 통해 여러 생성형 AI 모델을 단일 API로 활용할 수 있도록 하고 있다.
기술적 절감 수단으로는 프롬프트 캐싱도 있다. 기업이 동일한 지침, 코드베이스 설명, 데이터 경로, 문서 구조 등을 반복 입력하면 입력 토큰 비용이 중복 누적된다. 반복되는 문맥과 프롬프트 패턴을 임시 저장해 재사용, 불필요한 연산을 줄이는 방식이다.
업계는 AI 비용 관리는 기업의 운영 역량 문제로 확장되고 있다고 본다. 고성능 모델 도입 경쟁이 본격화된 이후 AI 에이전트 사용 관리 역량이 기업의 AI 사용에 있어 핵심 과제로 떠오르고 있다. 업계 관계자는 "기업의 AI 도입이 본격화될수록 모델 성능뿐 아니라 운영 비용과 관리 편의성이 중요한 판단 기준이 될 것"이라고 말했다.