47 읽음
GitHub 코파일럿, PC 직접 조작하는 컴퓨터 유즈 공개
위키트리
0
GitHub 코파일럿(Copilot)이 사람 대신 데스크톱 애플리케이션을 직접 조작하는 ‘컴퓨터 유즈(computer use)’ 기능을 공개 프리뷰로 내놨다. GitHub는 10월 1일(현지시각) 변경 기록(changelog)을 통해 코파일럿 CLI와 macOS·윈도우용 GitHub 코파일럿 앱에서 이 기능을 쓸 수 있다고 밝혔다. API(프로그램 간 연결 규격)나 명령줄 인터페이스, MCP(AI 에이전트가 외부 도구에 접속하는 표준 규약) 연동이 없는 구형·GUI 전용 소프트웨어까지 자동화 대상에 들어온다는 점이 핵심이다.
GitHub 설명에 따르면 코파일럿은 사용자를 대신해 앱의 접근성(accessibility) 정보와 시각적 맥락을 읽는다. 이를 바탕으로 컨트롤 클릭, 텍스트 입력·편집, 키 입력, 스크롤, 드래그를 수행하고 여러 애플리케이션을 오가며 작업 흐름을 이어간다. 지금까지 에이전트는 API나 CLI, MCP 같은 ‘연결 통로’가 있는 도구만 다룰 수 있었다. 통로가 없는 오래된 업무용 프로그램은 사람이 직접 손으로 만져야 했다.
GitHub는 시연 예시로 코파일럿이 컴퓨터 유즈 도구를 사용해 사파리(Safari)에서 경비 보고서 워크플로를 처리하는 장면을 공개했다. 활용 예로는 브라우저 알림 요약, 프레젠테이션 내용 수정, 데스크톱 애플리케이션 안에서 정보를 단계별로 옮기는 작업 등을 들었다. 기능을 잘 쓰려면 원하는 결과와 관련 애플리케이션, 지켜야 할 제약 조건을 구체적으로 설명하는 편이 좋다는 안내도 함께 나왔다.
일본의 한 IT 블로거(note)는 이 기능을 ‘AI에 맡기고 싶어도 연결 통로가 없어 포기하던 영역이 열린 것’이라고 풀이했다. 사내의 낡은 신청 화면이나 화면만 제공하는 벤더 관리 도구가 대표적인 후보라는 설명이다. 이 블로거는 같은 날 나온 여러 AI 소식 가운데 컴퓨터 유즈를 가장 비중 있게 꼽았다. 다만 이는 개인 필자의 평가다.
사용법은 간단하다. 코파일럿 CLI에서는 /computer on 명령으로 기능을 켠다. /computer show는 현재 상태를 보여주고 /computer off는 기능을 끈다. GitHub 코파일럿 앱에서는 설정에서 컴퓨터 유즈 메뉴를 열어 ‘Enable Computer Use’를 켜면 된다. 앱에서도 /computer on 명령을 쓸 수 있다.
macOS에서는 추가 절차가 있다. 컴퓨터 유즈가 요구하는 손쉬운 사용과 화면 기록 권한을 설정하도록 기능이 안내해 준다. 한 일본 블로거의 정리에 따르면 기능은 기본값이 꺼짐 상태다. 사용자가 직접 켜야 작동한다는 뜻이다.
조직 관리자의 통제권도 남겨 뒀다. GitHub는 조직이 관리하는 설정으로 이 기능을 비활성화할 수 있다고 밝혔다. 기업 환경에서 도입 여부를 관리자가 먼저 정할 수 있다는 의미다.
GitHub는 코파일럿이 앱을 제어하기 전에 반드시 승인을 요청한다고 설명했다. 사용자는 ‘항상 허용’으로 지정한 앱 목록을 나중에 검토하거나 초기화할 수 있다. 이 승인 구조를 더 자세히 분석한 곳은 앞서 언급한 일본 블로거다. 이 필자에 따르면 앱마다 ‘이번만’, ‘항상 허용’, ‘거부’ 가운데 하나를 고른다. ‘항상 허용’을 선택하면 결정이 로컬에 저장되고 같은 PC의 CLI와 앱 양쪽에 적용된다.
개별 취소는 가능하다. 다만 이미 실행 중인 세션에서 부여한 권한은 되돌려지지 않는다고 이 필자는 짚었다. 또 GitHub 문서가 화면에 타인의 정보가 비칠 수 있다며 중요한 정보를 다루는 앱에는 ‘항상 허용’을 피하라고 명시했다고 전했다. 같은 필자는 GitHub 문서에 ‘엉뚱한 곳에 글자를 입력한다’, ‘같은 동작을 반복한다’, ‘중간에 진행이 막힌다’ 같은 오류 가능성도 적혀 있다고 소개했다.
이 필자의 해석도 눈여겨볼 만하다. MCP는 도구별로 허용 범위를 나눌 수 있지만 컴퓨터 유즈의 허용 단위는 앱 하나라서 앱 안에서 무엇을 할지는 쪼갤 수 없다는 지적이다. 그래서 ‘허용의 입자가 한 단계 거칠어졌다’고 표현했다. GitHub 문서가 API나 MCP로 해결되면 그쪽을 쓰라고 권하는 것도 같은 맥락이라고 봤다. 이 부분은 필자의 해석으로, GitHub 공식 설명과는 구분해서 읽어야 한다.
기술 매체 테크노베즈는 GitHub가 공지에서 컴퓨터 유즈의 가격이나 구독 등급을 밝히지 않았다고 전했다. 정식 출시 일정도 제시되지 않았다. 리눅스 지원 여부와 코파일럿 Free 사용자가 쓸 수 있는지도 언급이 없었다. 일본 note의 또 다른 정리 글 역시 지원 요금제와 제공 지역은 공식 페이지에서 확인되지 않는다고 적었다.
배경에는 코파일럿 앱이 있다. 테크노베즈에 따르면 이 앱은 2026년 마이크로소프트 빌드에서에서 에이전트를 실행하는 허브로 소개됐다. 처음에는 윈도우 11과 Arm 기반 윈도우 11, 맥, 리눅스에서 기술 프리뷰로 제공됐다. 이용하려면 Pro, Pro+, Business, Enterprise 구독이 필요했고 Free 사용자는 대기 명단에 올랐다. 이 앱은 에이전트 세션을 격리된 Git 워크트리에서 돌리고 로컬·클라우드 샌드박스를 지원한다.
컴퓨터 유즈는 9월에 이뤄진 코파일럿 앱 업데이트와 같은 흐름에 놓인다. 해당 업데이트에서는 기업 관리 설정을 통한 오픈텔레메트리 지원이 추가됐다. VS Code도 9월에 1.136부터 1.140까지 버전이 나왔다. 컴퓨터 유즈는 현재 공개 프리뷰 단계라 세부 조건이 바뀔 수 있다. 본격 도입을 고민하는 조직이라면 먼저 어떤 앱에 어떤 권한을 줄지부터 정해 둬야 한다.