AI가 마우스 클릭, 키보드 입력, 화면 캡처를 통해 실제 컴퓨터를 사람처럼 조작하는 기능. Anthropic이 Claude 3.5 Sonnet에서 처음 공개했다.

개념 설명

컴퓨터 사용(Computer Use)은 AI가 API가 없는 기존 소프트웨어도 GUI를 통해 조작할 수 있게 한다. 화면을 보고 버튼 위치를 파악한 뒤 클릭하고, 텍스트를 입력하고, 결과를 확인하는 과정을 자동화한다. 이전까지는 자동화를 위해 반드시 API나 전용 라이브러리가 필요했지만, 이제 사람이 쓰는 방식 그대로 AI가 소프트웨어를 다룰 수 있다.

사용 예시

Anthropic API의 computer-use-20241022 도구를 활성화하면 Claude가 스크린샷을 찍고, 좌표를 계산해 클릭하고, 키보드 입력을 수행한다. 레거시 ERP 시스템에 데이터를 입력하거나, 웹 브라우저로 복잡한 폼을 작성하거나, GUI 앱을 테스트하는 작업에 활용된다. 샌드박스 환경에서 실행하는 것이 권장된다.