AI用語

過剰なエージェンシー(AIに任せすぎるリスク)

英語 excessive agency

AIシステムが必要以上の機能・権限・自律性を持ち、想定外の出力に従って害のある行動を取ってしまうリスクです。OWASPの生成AI向けリスク一覧の項目名です。

過剰なエージェンシーとは、AIシステムが役割に必要な以上の機能や権限を持ち、人の確認なしに動けることで生じるリスクです。AIが指示を取り違えたり、だまされて妙な出力をしても、手にした力が大きければ実際の被害になります。入社したての人に、全部の部屋の鍵と決裁印をまとめて預けるようなものです。

たとえば 受信メールの要約用につないだAIにメール送信機能まで付いていると、悪意あるメール1通でAIが内容を外へ送ってしまうことがあります。読むだけの接続に絞り、送る前に人が確認する形にすれば、被害は小さくなります。

あわせて見る言葉