RAGとAIエージェントを狙うメモリーポイズニングの実態と防御策
ニュースの概要
永続的な記憶や自動学習機能を持つAIエージェントで、外部データの混入が長期的なリスクになるとの指摘が出ています。対象は、メールや社内文書、ウェブページ、問い合わせ履歴などを検索して回答を作るRAGシステムです。攻撃者が検索対象の文書や記憶領域に、もっともらしい誤情報や指示を紛れ込ませると、AIはその内容を正しい前提として繰り返し参照する可能性があります。一度の入力をその場で無視できても、記憶に保存されれば後続の回答や業務判断に影響が残ります。従来の入力監視だけでは不十分で、保存、検索、利用の各段階を守る設計が求められます。
引用元: メモリーポイズニングがRAGや自律型AIエージェントの新たな脅威に（ITPro）
分析・見解
一度の誤入力ではなく記憶の連鎖が被害を広げる
通常のチャットでは、悪意ある指示が一回の回答に影響しても、会話が終われば効果が薄れる場合があります。ところが、AIエージェントが会話履歴や利用者の好み、業務上の判断材料を保存すると、攻撃者の入力が後続処理の前提として再利用されます。メモリーポイズニングは、この「保存され、検索され、再び使われる」循環を狙う攻撃です。
特に危険なのは、悪意ある文書が露骨な命令ではなく、正しい情報の中に自然に埋め込まれるケースです。例えば取引先情報に偽の振込先を混ぜたり、社内手順書に例外的な承認不要ルールを追加したりすれば、内容の一部だけを検索したAIは異常に気づきにくくなります。生成AIの弱点は、文章が自然であるほど真偽判定が難しくなる点にあります。
RAGの検索精度が高いほど汚染情報も届きやすい
RAGは、回答前に関連文書を検索することで、AIの知識不足を補います。しかし検索順位が高い文書や、複数の文書から繰り返し参照される情報は、回答への影響力も大きくなります。攻撃者が検索語に一致しやすい表現を意図的に盛り込めば、正確な文書より先に偽情報を読ませることも可能です。
ここで重要なのは、検索の正確さと情報の正しさは別物だという点です。検索機能は「質問に近い文書」を探しますが、「その文書が信頼できるか」までは自動で保証しません。多くの導入現場では、回答の質を高めるために検索範囲を広げ、保存期間も長くします。その改善策が、汚染された情報の拡散経路を広げる結果になり得ます。
自律型エージェントでは誤判断が外部操作に直結する
回答を表示するだけの仕組みと、メール送信、発注、顧客情報の更新まで実行する仕組みでは、同じ汚染でも危険度が異なります。エージェントが記憶した偽情報を根拠に返金を承認したり、指定された口座へ送金依頼を作成したりすれば、誤回答は業務上の損失に変わります。
対策の中心は、AIに最初から全面的な実行権限を与えないことです。記憶から得た情報は参考材料として扱い、重要な操作には別の承認者、独立した照合情報、金額や対象の上限を設けます。AIの判断を人間が毎回読み切るのではなく、危険な操作だけを止める仕組みにする方が、実務との両立もしやすくなります。
防御は保存前の審査と記憶の出所管理から始まる
現実的な防御は、入力をすべて信頼するか、すべて拒否するかの二択ではありません。文書ごとに作成者、取得元、更新日時、承認状態を記録し、記憶へ登録する前に重要度を判定します。外部公開ページや利用者が自由に投稿できる内容は、社内規程や契約情報とは別の保管場所に分けるべきです。
さらに、AIが回答に使った記憶の一覧を表示し、後から変更履歴を追えるようにします。回答の誤りを直すだけでなく、「いつ、誰が、どのデータを加えたか」を調べられることが重要です。今後は、記憶を無期限に蓄積する設計より、一定期間で再確認する仕組みが主流になるでしょう。AIの記憶は資産である一方、更新され続けるデータベースでもあるため、バックアップだけでなく棚卸しが必要です。
ビジネスへの影響
業務導入ではAIの権限より記憶の信頼度を先に決める
企業が最初に作るべきなのは、AIに何をさせるかの一覧だけではありません。AIが参照してよい情報、参照してもよいが実行の根拠にはできない情報、利用者の確認が必要な情報を分けることが重要です。例えば製品説明の下書きは自動生成しても、価格変更や契約条件の提示は承認済み資料だけに限定します。
データの出所を示す印を付け、信頼度を業務単位で設定すると運用しやすくなります。社内で承認された規程は高い信頼度、顧客投稿や外部サイトは低い信頼度とし、低信頼の記憶からは送信や更新の操作を許可しません。これにより、全システムを止めずに危険な経路だけを狭められます。
監査費用を抑えながら異常な記憶を見つける
すべての文書を専門家が確認する方法は、データ量が増えるほど続きません。まず、短期間に大量登録された記憶、既存文書と矛盾する内容、金融情報や認証情報を含む内容、複数の業務で急に参照される内容を自動で抽出します。検出対象を絞れば、人間による確認を重要な案件に集中できます。
運用指標には回答の正確さだけでなく、根拠文書の変更数、記憶の再利用回数、拒否された操作、承認後に取り消された処理も加えるべきです。これらは攻撃や誤登録の兆候を捉える手掛かりになります。導入前には小規模な検証環境で、偽の社内文書を混ぜた試験を実施し、どの段階で検出、隔離、承認が働くかを確認してください。
企業が今すぐ見直すべき責任分担と停止条件
AI担当部署だけに対策を任せると、文書管理、情報システム、法務、現場部門の責任が分断されます。記憶の所有者、承認者、削除を決める担当者、事故時に停止する担当者を明文化し、定期的に権限を見直す必要があります。
また、異常を検知した際にエージェントを即時に読み取り専用へ切り替える停止条件を用意します。原因調査中も回答を続けるなら、汚染がさらに広がる恐れがあります。便利さを優先して無制限に記憶させるのではなく、重要業務では短い保存期間、限定的な実行権限、明確な承認経路を組み合わせることが、導入効果と安全性の両方を守ります。