278 읽음
피지컬 AI 로봇, 하드웨어보다 시지각과 디지털 검증 중요
IT조선
0
이 백서를 보면서, 필자는 한 대목에 주목할 수 밖에 없었다. “제조 자동화의 병목이 로봇 하드웨어와 고정 경로 실행에서, 시지각·데이터 커버리지·검증 타이밍· 배포 준비도로 이동하고 있다.”
이 문장은 피지컬 AI를 둘러싼 담론에 있어서, 로봇 자동화의 발목을 잡는 건 단순히 로봇 팔의 성능이 아니라는 뜻이다. 예전에는 자동화가 잘 되느냐 마느냐가 로봇 하드웨어(팔의 힘·정밀도·속도)와 미리 짜둔 고정 동작을 얼마나 잘 실행하느냐에 달려 있었다면, 이제는 로봇이 제대로 보고, 그 판단을 믿고 현장에 내보낼 수 있냐에 달려있다는 것이다. 우리는 오랫동안 “로봇이 움직일 수 있는가”를 물었지만, 이제 질문은 “로봇이 보고, 위치를 파악하고, 추론하고, 행동할 수 있는가”로 바뀐 것이다. 아무리 로봇이 점프를 하고, 재주넘기를 해도 실제 생산성 향상으로 이어지는 건 별개의 문제라는 말이다.
병목은 ‘움직임’을 떠나 ‘판단’으로
전통적 산업 자동화는 고정된 경로, 고정된 대상, 고정된 워크셀 위에서 작동한다. 제품 종류가 안정적이고 공정 변동이 제한적일 때 이 방식은 여전히 가장 저렴하고 안정적이다. 백서에서는 “피지컬 AI가 모든 제조 현장의 필연은 아니다”라고 하면서도, 제품종류가 많고 자주 바뀌는 현장, 소량, 고정밀, 잦은 전환이 동시에 요구되는 현장에서 피지컬 AI가 중요하다고 지적하고 있다.
이러한 현장에서는 재프로그래밍과 메뉴얼과 지침을 다시 만들어야 하는 상황을 만들고, 그러다보니 자동화가 오히려 비싸지며 확장이 어려워진다. 조명이 바뀌고, 부품의 형상과 공차가 흔들리고, 위치가 매번 달라진다. 로봇 팔의 반복 정밀도가 아무리 높아도, 무엇을 어디서 어떻게 잡아야 하는지를 로봇이 스스로 인지하지 못하면 그 정밀도는 쓸 곳이 없는 것이다.
그래서 로봇 비전이 피지컬 AI의 결정적 진입점이 된다. 인지(perception)가 실행 가능한 산업 동작으로 이어지지 못하면, 아무리 좋은 모델도 공장 현장에 가지는 못한다.
핵심은 검증을 앞으로 당기는 것(Real2Sim2Real)
백서가 제시하는 방법론의 이름은 ‘로보틱 AI 디지털 엔지니어링’이다. 전통적 흐름은 설계 -> 실물 샘플 -> 실이미지 수집 -> 현장 튜닝으로 이어진다. 이 방식의 약점은 가치가 없다는 게 아니라 검증이 너무 늦다는 것이다. 대부분의 리스크가 현장 막바지 튜닝 단계에서야 드러난다.
그래서, 디지털 우선 접근은 리스크 식별을 디지털 엔지니어링 단계로 앞당긴다. 엔비디아의 옴니버스 같은 디지털 트윈으로 제품·비전·스테이션을 표현하고, 태스크 관련 합성 데이터로 반사·역광·저대비·부분 가림·자세 변화 같은 까다로운 변수를 체계적으로 재현하며, 실물 조건이 다 갖춰지기 전에 상당 부분의 검증을 미리 수행한다. 그렇게 하면 실제 현장 검증은 더 정밀해지게 된다.
여기서 필자는 합성 데이터를 재정의하는 방식에 관심이 갔다. 합성 데이터는 이미지를 더 만드는 일이 아니라, 저빈도 변수와 경계 조건과 실패 모드를 추적 가능·검증 가능·재사용 가능한 자산으로 전환하는 일이다. 이는 필자가 여러 차례 이야기해 온 기억 해자(Memory Moat), 즉 데이터가 반복 재사용되는 엔지니어링 자산으로 축적될 때 비로소 진짜 해자가 된다는 논리와 정확히 맞닿는다.
합성 데이터가 변수 출처·버전·검증 결과·실패 샘플을 기록하는 순간, 그것은 모델 학습 입력을 넘어 재사용 가능한 엔지니어링 자산이 된다. 실험실의 실패 샘플, 그러니까 실패 데이터(failed data) 는 상당부분 버려진다. 하지만, 이 실패 데이터가 에이전트 시대에서는 축적이 중요한 시대에서는 매우 중요한 자산이다.
Real2Sim2Real은 이 구조를 루프화 한다. 현실이 문제를 정의하고(Real2Sim), 디지털 환경이 커버리지를 확장하며, 현장 피드백이 루프를 끊임없이 보정한다(Sim2Real). 실제 이미지, 실패 사례, 캘리브레이션 잔차(카메라가 보는 좌표와 로봇이 실제로 움직이는 좌표를 맞춰주는 보정 작업), 현장 피드백이 디지털 트윈과 데이터 전략과 모델 버전을 지속적으로 갱신하고 혁신시킬 수 있다.
진짜 산출물은 모델 정확도가 아닌 배포준비도 증거
이 백서에서 가장 중요한 부분이 배포준비도다. 물리 AI 도입의 성패를 가르는 것은 ‘모델이 얼마나 정확한가’라는 숫자 하나가 아니라, ‘이걸 실제 생산 라인에 올려도 되는가’를 판단할 근거, 즉 배포 준비도라는 것이다.
필자는 이것이 AI 에이전트를 이야기할 때 늘 강조해 온 명제, 모델 성능 지표는 필요조건일 뿐 충분조건은 아니다의 물리 세계 버전이라고 본다. 카메라가 부품을 정확히 알아보고 위치와 자세까지 맞혔다고 해서, 그 결과가 곧바로 로봇의 정확한 동작으로 이어지는 것은 아니다. 로봇이 어디를 집어야 하는지, 그 경로로 실제 도달할 수 있는지, 정해진 작업 시간 안에 품질 기준을 지키며 처리되는지는 또 다른 문제다.
그래서 백서는 ‘AI가 잘 알아보는가’를 확인한 뒤에 ‘그 결과로 로봇이 실제로 일할 수 있는가’를 따지는 별도의 관문을 둔다. 비전이 내놓은 위치가 로봇의 목표점이 될 수 있는지, 그 경로가 검증 가능한지, 카메라·로봇·작업 시간·예외 상황이 서로 어긋나지 않는지를 점검하는 단계다. ABB의 로봇 시뮬레이션 도구(RobotStudio HyperReality)가 이 대목의 구현 예시로 등장하지만, 백서는 이를 자사 제품 자랑이 아니라 하나의 엔지니어링 예시로 언급하고 있다.
이 모든 점검은 결국 하나의 결정으로 모일 수 밖에 없다. 진행(Go)이냐, 보완(Refine)이냐, 중단(No-Go)이냐. 핵심 항목이 모두 안전하고 미해결 고위험이 없으면 진행, 대체로 무난하지만 데이터·보정·작업시간·품질에 리스크가 남으면 보완, 핵심 항목 여러 개가 위태롭거나 안전·품질·관리체계에 문제가 있으면 중단이다. 여기서 백서는 못을 하나 박는다. 평균 점수가 높다고 통과가 아니다. 몇 개의 핵심 항목과 아직 풀리지 않은 리스크가 관문을 결정하게 된다. 그리고, 기술 검증 결과를 효율·안정성·품질·재사용성·관리체계라는 거버넌스의 언어로 바꿔서 다음 단계로 넘어갈지를 결정한다.
두 개의 실증 사례에서도 가장 잘 드러난다. 하나는 부품의 평면 위치와 회전 각도를 찾아내는 과제, 다른 하나는 3차원 공간에서 물체의 위치와 자세를 추정하는 과제다. 둘 다 실물 없이 가상으로 만든 데이터만으로 먼저 학습·검증했고, 미리 정해둔 정밀도 기준을 대체로 만족했다. 아주 까다로운 조건에서는 오차가 남았지만, 그 실패 사례조차 사람이 검토해 다음 개선의 재료로 되돌릴 수 있게 정리됐다.
한국의 자리. 물리 지능 위탁생산국 리스크
이제 우리나라에 대해서 얘기해보자. 피지컬 AI 스택의 상단, 즉 파운데이션 모델(Foundation Pose는 엔비디아), 시뮬레이션, 렌더링 환경(Omniverse도 엔비디아), 가속 컴퓨팅은 대부분 해외 플레이어가 쥐고 있다. 지난번 글들에서 한국이 지능의 위탁생산국으로 미끄러질 리스크를 경고했는데, 피지컬 AI에서는 이 리스크가 물리 지능 위탁생산으로 확장될 수 있다. 세계 최고 수준의 제조 역량을 갖고도, 그 제조를 지능화하는 엔진 레이어를 빌려 쓰는 구조다. 우리가 질좋은 제조 데이터를 가지고 있다고 해서, 우리가 반드시 유리하기만 한 것은 아니라는 말이다.
그러나 이 백서는 역설적으로 한국이 쥘 수 있는 레이어도 제시한다. 디지털 트윈 자산, 태스크 관련 합성 데이터, 그리고 무엇보다 현장 피드백 데이터다. Real2Sim2Real 루프에서 현실을 계속 보정하는 것은 실이미지·실패 샘플·현장 피드백이다. 남이 대신 축적해 줄 수 없는 공정 고유의 데이터 주권 영역이다. 이 백서를 공동 발간한 SKAI 인텔리전스가 맡은 역할이 정확히 디지털 트윈 자산, 합성 데이터, 자동 어노테이션, Real2Sim2Real 인프라라는 사실은 국내 플레이어가 어느 레이어에서 승부해야 하는지를 가늠하게 해준다.
정책적 측면에서도 고민해야할 시사점도 있다. ‘배포 준비도 게이트’가 개별 조직의 내부 문서로만 남아서는 안 된다는 점이다. 제품종류가 많고 자주 바뀌는 정밀 제조가 국가 경쟁력인 한국이라면, Digital POC -> Pilot Cell -> 다중 셀 확장이라는 단계적 경로와 그 단계마다의 증거 패키지를 산업 표준·조달 기준·실증 지원 프로그램의 선순환으로 이어지도록 제도화해야 한다. 검증을 앞으로 당기면 개별 공장의 튜닝 비용만 줄어드는 게 아니라, 국가 차원에서 물리 AI 도입의 실패율과 매몰비용을 낮출 수 있다
먼저 보고, 더 똑똑하게 학습하고, 디지털로 검증하라
백서 마지막 표지에는 이런 문구가 적혀 있다. “See earlier. Train smarter. Validate digitally. Deploy with feedback-backed readiness.” 이 순서에 문서의 철학이 압축돼 있다. 피지컬 AI의 산업화는 더 나은 모델을 만드는 경쟁을 넘어서서, 리스크를 더 일찍 보고, 증거를 축적하며, 현장 피드백으로 끊임없이 보정하는 엔지니어링과 거버넌스의 경쟁으로 나아가고 있는 것이다.
로봇이 움직일 수 있느냐는 사실 이미 오래전에 어느정도 풀린 질문이다. 그래서 우리는 다이나믹하게 움직이고 쇼를 하는 로봇들을 보고 있다. 지금 우리가 답해야 할 것은, 로봇이 보고 판단한 결과를 우리가 신뢰할 수 있느냐, 그리고 그 신뢰를 재사용 가능한 자산으로 쌓을 수 있느냐다. 피지컬 AI는 필연이 아니다. 선택과 절제, 그리고 현장의 증거를 어떻게 데이터로 확보하냐는 문제다.
※ 외부필자의 원고는 IT조선의 편집방향과 일치하지 않을 수 있습니다.
이승현 라이너 AI 에반젤리스트는 스타트업 창업가 출신의 AI 전문가다. 디지털플랫폼정부위원회 인공지능플랫폼혁신국장으로서 재직하면서 대한민국 공공 AI의 초석을 닦았으며, 현재는 가천대 스타트업칼리지 겸임교수, 법무법인 린의 공공AX 고문을 겸하며 기술과 정책의 가교 역할을 하고 있다. 이론에 머물지 않는 현장형 전략가로서 국가 전반의 AI 네이티브 전환을 이끌고 있다.