エージェント型AIは企業のビジネスを変革しつつありますが、AIの高度な自律性には大きな責任が伴います。CISOやセキュリティ担当者は、エージェント型AIテクノロジーの導入に伴い、差し迫ったセキュリティの脅威に直面しています。Boxの最高技術責任者（CTO）であるベン・クス（Ben Kus）は、「AIエージェントに任せる作業が増えるほど、AIエージェントのセキュリティに対する懸念が高まります」と率直に述べています。
AIエージェントは、レポートの生成から顧客への電子メール送信に至るまで重要なタスクを幅広く担っており、それが企業にとって新たな脆弱性を生み出しています。ポッドキャスト「Box AI Explainer Series」の最新エピソードでは、ベンがホストのミーナ・ガネーシュ（Meena Ganesh）と対談し、企業がAIエージェントを全社規模で展開する前に対処すべき最も緊急性の高い3つのセキュリティ脅威について解説しています。
主なポイント
- 承認チェックにより、AIエージェントはユーザー権限を体系的に認証し、不正なアクションを防止します
- ツールガードレールが、AIエージェントによる意図しない行動や侵害につながる可能性のあるツールの誤用を制限します
- 「ヒューマンインザループ」（人間の介在）ワークフローが、AIエージェントによってフラグが立てられた重要な意思決定に対して、人間による監視レイヤを提供します
エージェント型AIのセキュリティ課題 #1: データ漏洩
エージェント型AIを使用する上で最も重大なセキュリティリスクの1つが、機密情報が漏洩する可能性があることです。人間とは異なり、AIエージェントには思慮分別が欠けています。たとえ偶然に得た情報でも、与えられた情報はなんでも共有してしまいます。「AIエージェントは秘密を守りません。あなたが知りたいことを伝えるように設計されています」と、ベンは言います。
これは、特に機密性の高い財務データ、顧客情報、知的財産を扱う企業にとって重大な課題となります。データの漏洩を防ぐためには、最小権限の概念を含む厳格なセキュリティ対策を導入する必要があります。セキュアRAGにより、コンテンツへのユーザーのアクセスを制御し、AI機能へのユーザーのアクセスを管理し、コンテンツへのAIのアクセスを制限できます。これは本質的に、AIプラットフォームがコンテンツの権限を体系的にチェックして、AIエージェントが使用を許可されたデータにのみアクセスできるようにする必要があることを意味します。
こういったガードレールがなければ、CISOは顧客の信頼とコンプライアンスを損なう壊滅的な情報漏洩と闘うことになる可能性があります。
エージェント型AIのセキュリティ課題 #2: 意図しない結果
従来は、コンピュータをプログラムすると、そのプログラムはプログラムしたとおりに動作しました。しかし、AIはそうではありません。人間と同様に「AIエージェントは、同じ情報を提示しても異なる行動をとる可能性があります」と、ベンは言います。
現実世界のシナリオでは、この予測不可能性（ベンはこれを「非決定論的性質」と呼んでいます）が、データの誤削除から機密情報の外部への漏洩に至るまで、大きな損失につながるミスになる可能性があります。
AIエージェントが銀行の窓口係として働くところを想像してみてください。厳密な制限なしに現金を分配するツールへのアクセスが許可されている場合、システムは欠陥のあるロジックに基づいて誤って資金を誤って配分する可能性があります。あるいは、財務報告書を作成するAIエージェントが指示を誤って解釈し、報告書を外部の関係者に電子メールで送信し、コンプライアンスの悪夢を引き起こす可能性があります。「AIエージェントの不正行為をどうを防ぐか？これはCISOが考えるべきことです」と、ベンは警告します。
このリスクを回避するための最善の戦略は、ガードレールを備えた堅牢なツールを導入し、人間の監視レイヤを導入することです。「ヒューマンインザループ」（人間の介在）にすることで、AIエージェントによってフラグ立てされた重要なアクションは、人間よるレビューを受け、深刻な被害に発展する前にエラーを最小限に抑えられます。
エージェント型AIのセキュリティ課題 #3: AIエージェントの操作
エージェント型AIを狙った敵対的攻撃の台頭は、3番目の（そして深刻な）セキュリティ上の課題をもたらします。「攻撃者は、データポイズニングやプロンプトインジェクションといった非常に高度な手法を用いて、AIエージェントを欺くことができます」と、ベンは説明します。これらの手法は、意図的に誤解を招くようなインプットをAIエージェントに与え、有害または誤った判断をさせることで、AIエージェントを操作しようとします。
フィッシングがその一例です。人間が偽メールの被害に遭う可能性があるのと同じように、AIエージェントは、その固有の論理システムを悪用する敵対的な攻撃に対して脆弱です。プロンプトインジェクションを試みる攻撃者は、AIのアウトプットを操作し、予期しない結果を引き起こそうとします。「人間のインプットに対して予期しない回答をする可能性があることが、ほとんどのAIモデルにおいて実証されています」と、ベンは述べます。
このため、セキュリティチームはAIエージェントのインタラクションを積極的に監視し、有害なデータインプットをフィルタリングする必要があります。ベンは認証対策の重要性を強調し、「AIエージェントとプラットフォームが、各ユーザーに関連付けられた認証と権限を適切に考慮していることを確認してください」と述べます。
権限を慎重に管理しないと、AIエージェントが膨大なデータにアクセスしたり変更したりできるようにするツールを攻撃者に悪用されるリスクが高まります。
AIエージェントセキュリティのベストプラクティス
エージェント型AIが企業に変革をもたらすことは間違いありませんが、AIエージェントのセキュリティを確保するには、従来のセキュリティガードレールを適用するだけでは十分ではありません。企業は、AIエージェントの行動、人間による監視、そして固有の脆弱性に積極的に対処できる新しいフレームワークを検討する必要があります。企業がエージェント型AIテクノロジーを導入するにつれて、CISOとセキュリティチームの役割は劇的に変化していきます。
ベンは、したがうべきベストプラクティスを3つの挙げています。
- AIエージェントがデータにアクセスする際にユーザーの権限と認証を尊重するセキュアなRAGを実装する
- AIエージェントに提供するツールを慎重に評価し、誤用された場合に損害が生じる可能性のある機能を除外する
- 重要なアクションには人間による（ヒューマンインザループ）の承認を組み込み、AIエージェントが推奨できるようにしながらも、実行には人間の承認を必要とする
「エージェント型AIの自律性は、その特徴であると同時にデメリットでもあります」と、ベンは言います。企業は慎重に行動し、堅牢なセキュリティフレームワークが整備した後にのみAIエージェントを拡充していくべきです。
もっと知りたくありませんか？ AIエージェントのセキュリティ「自律型AIエージェントを保護する方法」をお見逃しなく。今すぐ購読して、AI ファーストの時代について最新情報を入手し、インスピレーションを得ましょう。いますぐ視聴をはじめて、AIを組織や業界に統合するための実践的で実用的な戦略を学びましょう。
※このブログは Box, Inc 公式ブログ（https://blog.box.com/）2025年8月15日付投稿の翻訳です。
原文リンク: https://blog.box.com/agentic-security-how-stop-agents-going-rogue
関連コンテンツ
- トピックス：
- Box製品情報
