エージェント型AIの驚異的な能力は、ご存じでしょう。AIエージェントは、基本的な自動化の域を超えて、大規模で複雑な意思決定に対して自律性を発揮します。情報を分析して意思決定を行うだけでなく、変化する運用状況にも動的に適応します。その優れた能力により、AIエージェントは、仕事の進め方を根本から変えつつあります。
確かに、エージェント型AIはすばらしい成果を約束します。しかし、人々が実際に使用するほど信頼していなければ、その約束はすべて無駄になります。AIエージェントは自律性が備えているため、信頼はエージェント型AIの導入を強力に推進する力となります。従業員がAIエージェントを信頼しない（または信頼できない） 場合、結果として生じる自ら課した制限によって、成果はほとんど上がりません。
成功する企業は、後付けではなく、AIシステムに対する信頼を根本から築き上げられる企業です
エージェント型AIを信頼するのが難しい理由はたくさんあります。最も重要なことは、AIエージェントが従来の防御策では対処できないまったく新しいセキュリティ上の脆弱性を生み出すことです。悪意のあるプロンプトによって侵害されたり、敵対的攻撃の標的になったり、攻撃対象領域が劇的に拡大したりする可能性があります。また、AIエージェントは機密データを誤って漏洩させてしまうリスクがあり、ユーザーが技術的にはアクセスできるもののAIインターフェイスを通じては見るべきではない情報を晒してしまう可能性があります。
セキュリティ以外にも、自律システムが意図しない行動を取ったり、能力の限界を超えて動作したりするといった、根本的な運用上の懸念もあります。さらに、AIの意思決定プロセスが不透明な「ブラックボックス」問題、AIのハルシネーション、問題発生時の責任の所在の不明確さ、そして機械に制御を委ねることに多くの人が感じる心理的な不安といった問題もあります。
何千ものオペレーションでエラーが同時に発生する可能性がある場合、信頼関係を確立することの重要性は計り知れません。
だからこそ、ITリーダーや経営幹部は、AIエージェントを大規模に導入する前に、テクノロジーとプロセスが最大限の能力を発揮できるように、確固たる信頼の基盤を構築する必要があります。
何千ものオペレーションでエラーが同時に発生する可能性がある場合、信頼関係を確立することの重要性は計り知れません
この記事は、信頼できるAIエージェントを実装するための公式を紹介するプレイブックです。企業は、セキュリティ、コンプライアンス、プライバシー、安全性、透明性、法務、信頼、品質、評判といった多くの重要な特性を制度化する必要があります。これらが一体となって、効果的で信頼性が高く、信頼できるエージェント型AI導入の構成要素となります。
支えとなる柱: AIエージェントが信頼されるために必要なもの
メルボルンビジネススクールの調査によると、世界中の5人に4人がこのテクノロジーのリスクを懸念しており、AIの信頼に対して課題があるのは明らかです。また、Boxの「企業におけるAI利用の現状」レポートによると、74%の企業が、AI導入における最大の懸念事項としてデータのプライバシーとセキュリティを挙げています。
企業は、AIエージェントは秘密を守れないという前提で運用する必要があります。これは、従来のインフラストラクチャやワークフォースツールを保護するのと同じ（またはより厳格な）安全対策を適用する必要があることを意味します。具体的には、以下のとおりです。
セキュリティ: 従来の防御策を超える
企業がデジタルトランスフォーメーションの時流に乗る中で、セキュリティは長年にわたり取り組むべき課題となってきました。企業が扱うコンテンツの規模と量は増大しており、攻撃対象領域は大幅に拡大しています。AIエージェントは日常的な業務に組み込まれるため、潜在的なセキュリティ侵害のリスクが高まり、包括的な保護がさらに困難になります。
十分なセキュリティ対策を講じていないAIエージェントは、誤った結果や偏った結果をもたらしたり、ワークフローを望ましくない方向にルーティングしたりするリスクがあります。企業は、AIエージェントの動作を侵害しようとする敵対的攻撃から保護し、AIエージェントが意図したパラメータから外れて動作するのを防ぐ強力な安全対策を実装する必要があります。
企業は、AIエージェントは秘密を守れないという前提で運用する必要があります
AIエージェントでは、実際のコードだけでなく、学習プロセスにもセキュリティ意識を組み込む必要があります。このようにして、AIエージェントが新しい環境や教訓を学習して適応するにつれて、セキュリティ境界は進化していきます。セキュリティ重視のAIエージェントは、企業コンテンツのコンテキストを理解し（社内戦略レポートは日常的な市場分析よりも機密性が高い）、状況に応じたセキュリティ戦略を実行できます。
コンプライアンス: 境界内での遵守
AIエージェントは、業務の頻度や移行先を問わず、関連規制を遵守することで信頼関係を構築できます。コンプライアンスプロトコルからの逸脱を検出し、報告し、軌道修正するために、行動を自ら監視できる必要があります。AIエージェントは、規制の基本的な遵守に加えて、監査要件への準拠の証明も提示できなければなりません。
プライバシー: 人間の境界線を尊重する
ヘルスケアや銀行などAIが最も大きなプラスの効果をもたらす分野は、プライバシー侵害の危険性が高い領域でもあります。AIエージェントは、データの機密性が高い場合、コンテキスト情報を取得する必要があります。GDPRなどのプライバシー規制で法的に義務付けられている場合は、単にデータベースから特定の個人情報を削除するだけでなく、モデルから特定の個人情報を完全に消去する技術的機能「忘れられる権利」を組み込む必要があります。さらに、AIエージェントは機密データを自律的に匿名化し、構造化データと非構造化データの両方から関連情報のみを抽出する必要があります。
安全性: 意図しない結果を防ぐ
AIエージェントは、コンテンツにアクセスして回答を生成する際に、権限優先プロトコルを採用する必要があります。企業のアクセス制御を遵守し、技術的に取得可能であっても、ユーザーが閲覧すべきではない情報は表示しないようにする必要があります。
AIエージェントが特定の分野が自身の知識の範囲外である可能性があることを明確に認識した場合、能力の限界を超えて動作することを避けるために、そのことを明確に伝える必要があります。人間と対話する場合、すべてのプロンプトや回答が明確であるとは限りません。AIエージェントは、これらのコンテキストを解析し、有害な指示に頼ることなく、あいまいさを適切に処理する必要があります。
AIエージェントは、コンテンツにアクセスして回答を生成する際に、権限優先プロトコルを採用する必要があります。企業のアクセス制御を遵守し、技術的に取得可能であっても、ユーザーが閲覧すべきではない情報は表示しないようにする必要があります
行動を起こす前に、権限の検証を含め結果の影響を自己分析することで、より慎重で信頼できる行動が可能になります。
透明性: 意思決定を可視化する
AIエージェントには、あらゆる意思決定と行動を記録する包括的なログ記録および監査証跡機能が必要です。これには、データ入力、意思決定ロジック、ユーザーインタラクション、そして規制監査や説明責任要件に対応できる結果の詳細な記録の保持が含まれます。
このような透明性と説明可能性は、モデルのバイアスを見つけて排除しながら信頼を構築する上で不可欠です。透明性は、規制遵守、サイバー攻撃や悪意のある行為が発生した場合のフォレンジック分析にも欠かせません。コンテンツ保護のための具体的な意思決定ツリーを用意しておくことで、AIプロセスの説明責任に役立ちます。
Boxプラットフォームは、企業のコラボレーションを促進し、コンテンツライフサイクル全体を管理し、重要なコンテンツを保護し、企業向けAIで業務ワークフローを変革することを可能にします。Boxは、コンテンツをAIエージェントの基盤として扱い、ガバナンスを第一の制約として扱うことで信頼を最優先します。相互運用性とモデル非依存性を維持し、企業が適切なモデルとツールを継続的に選択できるようにしています。
関連記事
法務: 複雑な領域をナビゲートする
AIエージェントは、さまざまな法域にわたってますます複雑化する法的領域をナビゲートする必要があります。特にクリエイティブなアウトプットを提供する場合、AIエージェントは著作権の問題を認識し、出典を明確に示す必要があります。また、公開モデルの学習や機密コンテンツの漏洩に繋がることのないように、専有データを保護するための法的フレームワークも整備する必要があります。
AIエージェントは、アウトプットがAIによって生成されたものとそうでないものとを識別する必要があり、AIによって生成されたコンテンツには明確にラベルを付けることで、開示要件を満たし、ユーザーの信頼を維持する必要があります。これには、人間とAIの貢献が重なり合う複雑なワークフロー全体でコンテンツの来歴を追跡できる技術的なマーカーや透かしシステムの実装が含まれます。
AIエージェントは、アウトプットがAIによって生成されたものとそうでないものとを識別する必要があり、AIによって生成されたコンテンツには明確にラベルを付けることで、開示要件を満たし、ユーザーの信頼を維持する必要があります
責任問題を解決するための戦略も策定する必要があります。経営幹部は、AI関連法の進化と企業への影響を把握できるリソースをIT部門に備えておく必要があります。
評判: 組織を代表する
AIエージェントを主要なワークフローに組み込むと、企業のブランドイメージはそのパフォーマンスに左右されます。AIエージェントがブランドイメージに忠実でありながら、定められた倫理的フレームワークにしたがうことで、信頼が高まります。AIエージェントは、ワークフローの要求が重大な風評リスクをもたらす場合を認識し、適切な利害関係者にエスカレーションして、効果的な解決を図れるようにする必要があります。
セキュリティ、コンプライアンス、プライバシー、安全性、透明性、法務、信頼、品質、そして評判といったパラメータに注意を払うことで、AIエージェントを運用するために必要な信頼基盤が強化されます。テクノロジーの電光石火の進歩と、それに伴う規制やビジネス環境の変化を考えると、これらの基本的な特性を通じて信頼を確保することは、一度きりの取り組みでは不十分です。企業は、AIエージェントが実践から学習し、これらの主要な柱の指標に基づいてパフォーマンスを継続的に調整できる環境を構築する必要があります。
...信頼管理を継続的な機能として捉え、AIエージェントが安全かつ責任を持ってエンドツーエンドの業務を実行できるようにします...
プロセス: 人間とAIのパートナーシップを加速させる
信頼を構築するための戦略を武器に、企業は人間とAIエージェントが業務全体で連携する環境を構築できます。企業は次のことを行う必要があります。
堅牢なガバナンスと信頼のフレームワークを確立する
AIエージェントのアクションプランは、明確に定義された役割とエスカレーションメカニズムを備えたガバナンスを形式化し、文書化することから始まります。意思決定と意思決定プロセスを透明性のあるものにします。コミュニケーション、情報共有、紛争解決のための標準プロトコルを策定します。人間とAIのパートナーシップの成功を測定するための方法と指標を備えた説明責任手順を作成します。既存の人材を新しいやりがいのある役割に導く、的を絞ったパーソナライズされたリスキリングに投資します。フィードバックメカニズムは、移行に関する正当な懸念とその軽減策を明らかにすることができます。
AIエージェントが運用するための堅牢なプラットフォームを開発する
信頼できるガバナンスフレームワークを簡単に適用できるようにします。統合プラットフォームは、さまざまなAIエージェントを並行して実行するための運用基盤であり、すべてのAIエージェントにガバナンスフレームワークを一括して適用できます。オープンで、コンテンツが豊富で、ベンダーに依存しないテクノロジースタックを構築し、信頼管理を継続的な機能として扱うことで、AIエージェントが安全かつ説明責任を持ってエンドツーエンドの作業を実行できるようにします。運用データのライフサイクルガバナンスのために、AIスタックを既存のテクノロジースタックと業務プロセスに統合する計画を策定します。
結論
AIエージェントは、企業がPoCの煉獄から脱却し、大規模な効率性を動的に実現できるようにします。適切な信頼構築システムとツールを導入することで、仕事が協働的になり、AIによって強化され、人間主導のものとなります。
AIエージェントが日常的な業務プロセスを自律的に処理することで、企業は人間の創造性を活用し、収益と成長を促進するイノベーションを生み出すことができます。しかし、この可能性を実現するには、単にAIツールを導入するだけでは不十分です。セキュリティ、ガバナンス、そして人間とAIのコラボレーションに対するアプローチを根本的に変える必要があります。成功する企業は、後付けではなく、最初からAIシステムに信頼を組む込む企業です。
※このブログは Box, Inc 公式ブログ（https://blog.box.com/）2025年9月10日付投稿の翻訳です。
原文リンク: https://blog.box.com/enterprise-trust-challenge-securing-ai-agents-scale
関連コンテンツ
