
Computer Use에 일을 맡겼는데, 내가 작업을 못한다.
Computer Use는 에이전트가 컴퓨터의 화면과 인터페이스를 읽고, 마우스와 키보드 등을 조작해 작업을 수행하는 방식이다.
브라우저 설정처럼 사람이 화면을 보며 처리하던 일도 맡길 수 있다.
그런데 실제로 사용하면서 다른 문제가 생겼다. 에이전트에 브라우저 작업을 맡기고 다른 일을 하려고 하면, 작업 대상 화면이 다시 앞으로 나오거나 macOS 데스크톱이 강제로 전환됐다. 이미 열려 있는 Chrome 창을 찾지 못해 새 창을 반복해서 만드는 경우도 있었다.
여기서 궁금해졌다.
에이전트가 필요한 화면에서 작업하는 동안, 사용자는 자기 작업을 계속할 수 없을까?
이 질문에서 CCUH(Codex Computer Use Helpers)를 시작했다.
불편을 구체적인 요구사항으로 바꾸기
처음에는 “포커스를 가져가지 마라”, “기존 창을 사용하라”는 지침으로 해결할 수 있을 것 같았다. 하지만 요구사항을 나눠 보니 확인해야 할 조건이 많았다.
비활성 탭: 사용자가 다른 탭을 보고 있어도 지정한 탭에서 작업할 수 있는가?
최소화된 창: 창을 임의로 복원하지 않고 작업할 수 있는가?
관찰 범위: 작업에 필요한 화면만 읽는가?
입력 포커스: 사용자가 입력 중인 커서를 빼앗거나 엉뚱한 곳에 입력하지 않는가?
macOS Spaces: 사용자가 데스크톱을 바꿨을 때 원래 화면으로 강제 전환하지 않는가?
기존 대상 재사용: 열려 있는 창과 탭을 찾고, 실패했다고 새 창을 반복해서 만들지 않는가?
연결과 실행 실패: 연결 자체가 실패한 상황과 실행 결과만 알 수 없는 상황을 구분하는가?
예를 들어 Cloudflare Workers 설정을 맡겼다면, 관찰 대상은 그 설정 화면이어야 한다. 사용자가 보고 있는 YouTube나 다른 작업 화면까지 읽을 필요는 없다.
특히 작업이 끝났는지 모르는 상태에서 같은 동작을 다시 실행하는 문제는 별도로 다뤄야 했다. 저장 버튼을 누른 뒤 응답을 받지 못했다면, 재시도가 중복 저장으로 이어질 수 있기 때문이다.
지침으로 정할 것과 코드로 검사할 것
CCUH는 스킬 문서와 실행 코드를 함께 사용한다. 스킬 문서는 대상 선택과 작업 절차를 안내하고, 실행 가드는 코드로 확인할 수 있는 조건을 검사한다.
ccuh 스킬: 기존 대상 선택, 관찰 범위, 실패 시 작업 절차를 안내한다.
실행 가드: 대상 ID·URL 확인, 호출 직렬화, 재시도 제한, 불명확한 변경 작업 이후 추가 실행 차단을 담당한다.
ccuh-doctor: 연결 실패, 지원하지 않는 기능, 미완료 작업 상태를 진단한다.
검증 환경: 더미 페이지와 관찰 도구로 실제 동작을 확인한다.
실행 가드는 이미 확인한 탭을 감싸고, 이후 작업이 같은 대상에서 이뤄지는지 검사한다. 대상이 달라졌거나 허용한 페이지를 벗어났다면 작업을 중단하는 구조다. 변경 작업의 결과가 불명확할 때도 같은 동작을 곧바로 반복하지 않도록 한다.
다만 이 코드는 자신을 거쳐 실행되는 호출을 검사한다. 운영체제의 포커스 동작이나 Computer Use 자체의 모든 경로를 통제하는 장치는 아니다. URL 검사 전후 사이에 페이지가 바뀌는 경우까지 완전히 차단했다고 볼 수도 없다.
따라서 지침을 추가한 것, 코드로 검사하는 것, 실제 화면에서 효과를 확인한 것을 구분해서 기록하기로 했다.
실제 Computer Use에서는 어디까지 확인했을까?
검증에는 별도 채팅과 로컬 더미 페이지를 사용했다. 실제 서비스 설정을 바꾸는 대신 이름과 활성화 상태를 입력하고, 저장한 뒤 같은 대상에서 결과를 다시 읽는 과제를 만들었다.
검증 과정에서는 로컬 소스와 실제 설치된 플러그인 버전이 달랐던 문제도 드러났다. 이전 버전의 미완료 작업 차단 로직이 문서 조회까지 막는 상황도 있었다. 소스 코드만 확인해서는 사용자가 실제로 실행하는 상태를 알 수 없다는 점을 보여줬다.
현재 소스 버전 0.0.5 기준으로 기록한 결과는 다음과 같다.
일반 상태: 실제 Computer Use로 저장한 뒤 결과를 다시 확인했다. 확인 횟수는 1회이며, 반복 실행의 안정성은 추가 확인이 필요하다.
최소화 상태: 저장한 뒤 결과를 다시 확인했다. 확인 횟수는 1회이며, 최소화 여부는 실행 전후 두 시점에만 확인했다.
비활성 탭: 시험 준비에 필요한 API가 지원되지 않아 작업을 실행하지 못했다. 성공·실패를 판정할 근거가 없다.
다른 Space·입력 커서 보존: 시험용 커서 준비 단계에서 막혀 배경 작업을 실행하지 못했다. 화면 전환과 포커스 보존 효과는 아직 확인하지 못했다.
최소화 조건에서 작업을 마쳤다고 해서, 실행 도중 창이 한 번도 복원되지 않았거나 포커스가 전혀 바뀌지 않았다고 말할 수는 없다. 그 주장을 하려면 작업 중의 변화도 관찰해야 한다.
또한 동일한 조건에서 CCUH 적용 전후를 비교한 A/B 시험은 아직 없다. 현재 결과는 일부 조건에서의 동작 확인이며, CCUH가 간섭을 얼마나 줄였는지 보여주는 비교 결과는 아니다. 이전 대상 바인딩 실패 기록도 남겨 두었고, 원인은 아직 확정하지 못했다.
다음 검증에서 확인할 것
다음 단계에서는 작업 성공 여부와 함께 사용자 작업에 미치는 영향을 기록하려고 한다.
지정한 대상에서 과제를 끝냈는가?
비대상 화면의 내용을 읽지 않았는가?
사용자 입력 커서나 선택한 탭이 바뀌지 않았는가?
창 복원이나 macOS Spaces 강제 전환이 발생하지 않았는가?
대상 탐색 실패가 불필요한 새 창 생성으로 이어지지 않았는가?
결과가 불명확한 작업을 반복해 중복 변경을 만들지 않았는가?
CCUH의 목표는 에이전트가 지정한 대상에서 작업하는 동안, 사용자도 자기 작업을 계속할 수 있게 하는 것이다. 현재는 일반·최소화 조건에서 일부 동작을 확인했고, 포커스와 Spaces 간섭은 추가 검증이 필요한 상태다.
프로젝트: CCUH GitHub 저장소