コンピューター・ユース（AIが画面を操作する機能）
英語 Computer use
AIが画面を撮って見て、マウスのクリックやキーボード入力でソフトやウェブサイトを直接操作する機能です。手間は減りますが、押し間違いもあるので人が見守ります。
コンピューター・ユースは、AIが画面の写真（スクリーンショット）を見て「ここを押してこの文字を入力する」と決め、マウスとキーボードを代わりに動かすしくみです。操作のたびに画面を撮り直し、次の操作を決めます。2024年10月にAnthropicが開発者向けの公開ベータとして出し、GoogleのGemini APIやChatGPTのアプリにも同じ種類の機能があります。隣の同僚が画面を見ながら代わりにクリックするようなものです。
気をつけたい点 AnthropicもGoogleも、ほかの作業と切り離した仮想のコンピューターで使い、支払い・規約への同意・送信など取り消しにくい操作は人が確かめるよう勧めています。ウェブページに隠れた指示にAIが従うことがあるためです。ログイン情報や顧客の資料が開いた画面では任せないほうが安全です。
出典: Anthropic「Computer use, Claude 3.5 Sonnet, and Claude 3.5 Haiku」・Anthropic「Computer use tool」・Google「Computer use」