AIを支える供給網が狙われる：AIサプライチェーン攻撃の仕組みと対策New
はじめに
AIシステム開発においては、多くの場合、学習データやモデル、ソフトウェアなど、第三者が提供するさまざまなコンポーネントを組み合わせてシステムを構築します[1]。このような開発形態には、開発プロセスを効率化できる利点がある一方、外部から取り込むコンポーネントが汚染されていた場合、その影響がAIシステムに及ぶ可能性があります。本記事では、AIシステム構築を支える外部コンポーネントの供給網を狙った攻撃「AIサプライチェーン攻撃」について、その概要と攻撃例、それらに対する対策を解説します。
AIサプライチェーンとは
一般的なソフトウェア開発では、ライブラリやパッケージ、開発環境、配布基盤など、多数の外部コンポーネントが利用されています。このため、開発者自身が作成したコードに問題がなくても、利用している外部コンポーネントが侵害された場合、その影響がソフトウェアに及ぶ可能性があります。一方、AIシステムでは、このようなソフトウェアサプライチェーンに加え、データやモデル、ソフトウェア、ハードウェア、計算資源など、AIシステムの開発・展開・維持に関わるさまざまな資源も考慮する必要があります。本記事では、このような資源の流れを「AIサプライチェーン」と呼びます[2]。AIサプライチェーンには、学習データやモデルのほか、それらの配布・実行基盤やAIの開発・実行に用いるソフトウェアなどが含まれます13。図1に、AIサプライチェーンの代表的な構成要素である「データ」「モデル」「配布・実行基盤」「ソフトウェア」と、関連するセキュリティリスクを示します。
図 1 AIサプライチェーンとセキュリティリスク（著者により作成）
これらの要素は相互に依存しており、構成要素に問題が生じた場合、その影響が下流のAIシステムへ広がる可能性があります。
AIサプライチェーンに対する攻撃
本記事では、AIサプライチェーンに対する4つの攻撃例を紹介します。
- データの汚染
AIサプライチェーンに対する代表的な攻撃の一つに、外部から取得するデータの汚染があります。攻撃者が公開データセットに細工したデータを混入させ、そのデータが学習に利用されることで、モデルの出力や挙動に影響を与える可能性があります[3]。ポイズニング攻撃の詳細については、別稿「LLMに対するポイズニング攻撃」を参照してください。
- バックドアを含むモデル
外部から取得するモデルそのものに、バックドアが埋め込まれている場合もあります。既存の研究では特定の入力に対して攻撃者が意図した挙動を示すバックドアモデルを構築できることが報告されています[4]。さらに、バックドアを含む事前学習済みのエンコーダを利用して作成された下流モデルにも、その影響が引き継がれることが示されています[5]。バックドア攻撃の詳細については、別稿「バックドア攻撃」を参照してください。
- モデルの再利用・配布経路の悪用
AIモデルの再利用や配布経路を悪用する攻撃も報告されています。代表例として、削除されたModel Hub上の名前空間を攻撃者が再取得することで、その名前空間を参照するシステムが悪意あるモデルを取得してしまう「Model Namespace Reuse」があり、利用者が既存のコードを変更していない場合でも、参照先の変化によって悪意あるモデルを意図せず取得する可能性があります[6]。
- 悪意あるモデルファイル
モデルファイルの読み込み処理そのものが攻撃に利用される場合もあります。例えば、PythonのPickle形式で保存された悪意あるモデルファイルを読み込むと、任意のコードが実行される可能性があります。このような攻撃は、モデルの推論結果を不正に操作するバックドアとは異なり、モデルファイルの読み込み処理そのものを悪用するため、推論を開始する前の段階でシステムが侵害される可能性があります[7]。
AIサプライチェーンに対する対策
AIサプライチェーンにおけるセキュリティリスクに対応するためには、外部から取得・利用するコンポーネントを適切に評価・監視することが重要です13。ここでは主要な対策について紹介します。
- 依存関係と来歴の把握
AIシステムがどの外部コンポーネントに依存しているかを把握することが重要です。利用しているモデルやデータについて、取得元やバージョンなどの来歴情報を記録するとともに、外部のライブラリやAPIなども含めて管理することが推奨されています[8]。こうした情報を管理しておくことで、問題が発生した際に影響を受けるコンポーネントを特定しやすくなります。
- 取得物の完全性・安全性の確認
外部から取得したモデルやデータについては、ハッシュ値や署名などを用いて、意図したものと同一であることを確認することが重要です。また、モデルファイルについては、マルウェアが含まれていないか、危険なシリアライズ形式が用いられていないかを利用前に確認する必要があります137。
- モデル挙動の事前評価
モデルファイルを安全に読み込めることと、モデル自体が安全に動作することは別の問題です。例えば、ファイルに不正なコードが含まれていなくても、モデルにバックドアが埋め込まれている可能性があります。そのため、テストデータを用いてさまざまな入力や条件におけるモデルの動作を確認し、安全性を評価することが重要です3。
おわりに
本記事では、AIサプライチェーンの概要と、それを狙った代表的な攻撃、対策について解説しました。AIシステムでは、ソフトウェアだけでなく、学習データや事前学習済みモデルなどもサプライチェーンの一部となります。また、これらの構成要素や依存関係は継続的に変化します。そのため、AIサプライチェーンへの対策は導入時の確認だけで完結するものではなく、システム運用中も利用しているコンポーネントやその安全性を継続的に確認していくことが重要です。
参考文献
[1]National Cyber Security Centre (NCSC), Cybersecurity and Infrastructure Security Agency (CISA), et al., “Guidelines for secure AI system development,” Version 1.0, Nov. 27, 2023. [Online]. 2026年8月28日参照.
[2]Australian Government, National Artificial Intelligence Centre, Department of Industry, Science and Resources, “Terms and definitions,” Voluntary AI Safety Standard. [Online]. 2026年8月28日参照.
[3]OWASP Gen AI Security Project, “LLM03:2025 Supply Chain,” OWASP Top 10 for LLM Applications v2.0, 2025. [Online]. 2026年8月28日参照.
[4]T. Gu, K. Liu, B. Dolan-Gavitt, and S. Garg, “BadNets: Evaluating Backdooring Attacks on Deep Neural Networks,” IEEE Access, vol. 7, pp. 47230–47244, 2019, doi: 10.1109/ACCESS.2019.2909068.
[5]J. Jia, Y. Liu, and N. Z. Gong, “BadEncoder: Backdoor Attacks to Pre-trained Encoders in Self-Supervised Learning,” in 2022 IEEE Symposium on Security and Privacy (SP), pp. 2043–2059, 2022, doi: 10.1109/SP46214.2022.9833644.
[6]I. Saraf and O. Balassiano, “Model Namespace Reuse: An AI Supply-Chain Attack Exploiting Model Name Trust,” Palo Alto Networks Unit 42, Sep. 3, 2025. [Online]. 2026年8月28日参照.
[7]Hugging Face, “Pickle Scanning,” Hugging Face Hub Documentation. [Online]. 2026年8月28日参照.
[8]C. Autio, R. Schwartz, J. Dunietz, S. Jain, M. Stanley, E. Tabassi, P. Hall, and K. Roberts, Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile, NIST AI 600-1, National Institute of Standards and Technology, July 2024, doi: 10.6028/NIST.AI.600-1.