02-구조

02 — 스크린샷 → 좌표 → 액션 루프

Computer Use는 단일 함수 호출이 아니라 **반복 루프(Loop)**입니다. 한 동작을 마치면 화면이 어떻게 바뀌었는지 다시 보고, 다음 동작을 결정합니다.

루프 한 사이클

[1] 스크린샷 캡처(Screenshot)
        ↓
[2] 모델이 시각적으로 화면을 해석
        ↓
[3] 액션 결정 (click x,y / type "..." / scroll / key)
        ↓
[4] 데스크톱 OS에 입력 이벤트 전달
        ↓
[5] 잠시 대기 → 다시 [1]로

도구 정의(Tool Definition)

Anthropic API에서 Computer Use는 표준 도구 모음(Tool Set)으로 노출됩니다.

• computer — 화면 조작 (click, type, key, mouse_move, screenshot, scroll)
• bash — 셸 명령
• text_editor — 파일 읽기·쓰기

Cowork 데스크톱 앱은 이 세 도구를 묶어 자기 화면 위에서 돌립니다. 즉 **Cowork = “사용자 데스크톱 위에서 도는 Computer Use 호스트(Host)“**입니다.

모델이 보는 것

모델 입력은 다음과 같이 누적됩니다.

1. 사용자 지시(“스프레드시트 두 개를 비교해 차이를 요약해 줘”)
2. tool_use 호출 → 첫 스크린샷 결과 이미지
3. 모델 응답 → 다음 클릭 좌표
4. 클릭 후 새 스크린샷 → 또 다음 결정
5. 끝나면 사용자에게 자연어로 요약

결정성(Determinism)이 낮은 이유

• 해상도가 다르면 좌표가 어긋남
• 폰트·테마·다크 모드가 인식을 흔듦
• 모달·알림 팝업이 예고 없이 화면을 가림
• 비동기 로딩 — 너무 빨리 클릭하면 빈 영역을 누름

그래서 Cowork 워크플로에는 “느리게, 자주 확인하기”가 기본 미덕입니다. Claude Code의 “한 방에 끝내기”와 결이 다릅니다.

사람과 다른 점

• 사람은 화면 외 맥락(어제 회의, 옆자리 동료의 말)을 활용하지만 모델은 화면 안에 있는 정보만 봅니다.
• 사람은 실수해도 Ctrl+Z로 되돌리지만, 모델은 어떤 상태가 “원래 상태”였는지 모릅니다. → 위험한 작업 전에 사람 승인(Human Confirmation) 게이트가 필수.