フィジカルAIのセキュリティ：攻撃・対策の動向と評価のポイントNew

AIセキュリティポータル編集部

掲載日: 2026-8-20

はじめに

生成AIの活用が広がる中で、AIの適用範囲は仮想空間から物理空間へと拡大しています。カメラやセンサによって周囲を認識し、AIが判断してロボットや車両を動かす「フィジカルAI」が、その代表例です。フィジカルAIの技術は、産業用ロボット、搬送・配送、ドローン、自動運転車、インフラ点検など、さまざまな領域で実用化が期待されています。一方で、フィジカルAIでは、AIの誤認識や不適切な判断が、仮想空間にとどまらず、衝突、設備の損傷、人間への危害といった現実世界の影響につながります。さらに、偶発的な誤りだけでなく、攻撃者による入力に起因するシステムの改ざんも想定しなければなりません。本記事では、AISIの「AIロボティクスに関するセーフティ評価観点ガイド」^[1]と最新の研究事例を基に、フィジカルAIへの攻撃、対策、評価のポイントについて解説します。

フィジカルAIとは

AISIの評価観点ガイドによると、フィジカルAIは、「物理的センサ等から得られる入力に基づき、環境の認識・推論、判断・計画、又は制御出力・行動生成のいずれか一部又は全部に、機械学習・深層学習・生成AI等の AI 技術を用いる、自律的又は半自律的なAIシステム」と定義されています。サイバー空間で処理が完結せず、アクチュエータなどを介して現実世界に直接働きかける点が特徴です。典型的なシステムは、「認識」、「計画・判断」、「制御・行動」の一連の処理で構成されます。カメラ、マイク、LiDAR（レーザー光を対象物に当てて、反射して戻るまでの時間から距離や形を高精度に測る技術）、GPSなどが周囲の情報を取得し、画像認識AI、音声認識AI、LLM、VLMなどが状況を解釈して行動を計画します。その結果が制御システムへ渡され、モーターやアーム、車輪などが動作します。この連鎖の途中で生じた異常や攻撃は後段へ伝わり、最終的に物理動作へ影響する可能性があります。

フィジカルAIに関する安全性

ロボットや機械の安全性は、ISO 12100などの機械安全規格やIEC 61508などの機能安全規格に基づき、故障、設計上の問題、偶発的なセンサ異常、操作者の誤操作などを想定して検討されてきました。これに対し、AIを搭載したシステムでは、学習データの偏り、未知の環境での精度低下、生成AIによる予測困難な応答なども考慮する必要があります。AISIのAIセーフティに関する評価観点ガイド^[2]でも、AIセーフティにセキュリティ確保を含めています。さらに攻撃者は、標識への特殊な模様、LiDARやGPSへの偽信号、自然言語や画像に埋め込んだ不正な指示などを利用して、意図的に誤認識や誤判断を誘発できます。したがってフィジカルAIでは、「故障によって安全性が損なわれる場合」と「攻撃によって安全性が損なわれる場合」を一体的に扱い、AIセーフティ、サイバーセキュリティ、機械・機能安全を横断して評価する必要があります。

フィジカルAIに対する主な攻撃

フィジカルAIのセキュリティを考える際は、AIモデルだけでなく、センサから物理動作までのシステム全体を確認する必要があります。図1は、各段階に対する攻撃が後段へ伝わり、現実世界の被害につながる基本的な流れを示しています。

図1　フィジカルAIにおける攻撃と物理的影響への伝搬（著者により作成）

表1　フィジカルAIの主な攻撃対象

攻撃対象	攻撃例	想定される影響
センサ・入力	敵対的な画像・物体、LiDAR・GPS信号の偽装、不正な音声指示	対象物・位置・周辺状況の誤認識
学習データ・AIモデル	データポイズニング、バックドア、モデルや設定値の改ざん	特定条件での誤判断、判断結果の完全性の毀損
指示・外部連携	プロンプトインジェクション、不正なAPI・ツール経由の命令	安全方針からの逸脱、権限外の動作
通信・制御	通信妨害、なりすまし、制御命令の改ざん	監視・制御の喪失、意図しない物理動作
ログ・監視	ログの削除・改ざん、監視機能の無効化	検知、原因究明、復旧、再発防止の困難化

表1に示すように、本記事では、フィジカルAI におけるデータと制御の流れに沿って、主な攻撃対象を、①センサ・入力、②学習データ・AIモデル、③指示・外部連携、④通信・制御、⑤ログ・監視の5つに整理します。入力やセンサが操作されれば、モデルが正常でも誤った判断をします。学習データやモデルの改ざんは、特定条件でのみ異常動作するバックドアを生む可能性があります。LLMを利用する場合は、指示や外部コンテンツを介したプロンプトインジェクションにも注意が必要です。通信・制御への攻撃は判断と実動作を食い違わせ、ログへの攻撃は検知や原因究明を困難にします。その中でも①から③が、AIセキュリティに関連しており、AIセキュリティにおけるリスクを理解しておくことが非常に重要といえます。以下ではフィジカルAIに関連する代表的な攻撃手法に関して紹介いたします。

単眼深度推定への物理攻撃：Zhengらによる研究^[3]では、道路上へ一般的な立体物を戦略的に配置し、単眼深度推定が利用する遠近法の手掛かりを操作する攻撃を提案しています。その評価では平均深度誤差を14メートル増加させ、車線変更の失敗、衝突などにつながることを検証しており、認識精度だけでなく制御結果にまで影響が及ぶことを示しています。

LiDAR認識から軌道予測へ波及する攻撃：また、Louらによる研究^[4]では、物理的に配置した物体でLiDAR認識を欺き、その誤りを周辺車両の軌道予測へ波及させる二段階の攻撃が提案されています。公開データと実車テストベッドによる評価では、最大63％の衝突率が観測され、センサ、認識、予測を分断せずに検証する重要性を示しています。

Embodied LLMへの攻撃：BadRobotと呼ばれる攻撃^[5]では、音声による通常のユーザー操作を通じて、LLMを組み込んだロボットに有害な物理行動を実行させます。研究では、LLM自体の操作に加え、言語上は拒否しても行動コードでは危険な命令を生成する「言語と行動の安全性の不一致」など、ロボット制御における固有の問題を示しています。

物理環境を経由した不正な命令： CHAIという攻撃手法^[6]では、標識などに攻撃命令を埋め込み、カメラを通じて視覚言語モデルへ読み取らせる間接プロンプトインジェクションを行います。ドローンの緊急着陸、自動運転、航空物体の追跡、実ロボット車両で評価され、物理環境が命令経路になり得ることを示しました。

フィジカルAIへの攻撃に対する対策

フィジカルAIにおける対策は、攻撃入力の検知だけに依存せず、入力、AIの判断、制御、物理動作の各層に配置する必要があります。特に、物理法則や複数センサ間の整合性を利用した検証と、AIが生成した命令を実行前に確認する独立した安全機構が重要です。

協調知覚データの信頼性評価：Wangら^[7]は、複数の車両が協調するシナリオにおいて、他の車両から共有されるカメラやLiDARで検知した物体の特徴量を悪用した攻撃（SOMBRA）と、その防御手法（LUCIA）を提案しています。SOMBRAは、偽情報を送ることで、実際にある物体が存在しないように誤認させる攻撃であり、99%の攻撃成功率を達成しています。一方、LUCIAは信頼度を考慮した注意機構によりSOMBRAによる攻撃の94.93％を防ぎ、実在する物体の消失率を90％以上低減しており、外部エージェント由来の情報を一律に信頼しない設計の有効性を示しています。

BB-Validator：Kobayashiら^[8]は、LiDAR点群中の物体の影を操作するShadow Hackと、その防御であるBB-Validatorを提案しました。実験では攻撃検知に100％成功しており、認識結果をそのまま制御へ渡さず、後段で物理的妥当性を検証しています。しかし、これは特定のセンサ、モデル、攻撃条件における結果です。実運用では、センサの冗長化、モデル・データ・設定値の完全性確認、通信の認証と暗号化、最小権限、独立した緊急停止、改ざん耐性のあるログなど複数の対策を組み合わせ、単一の防御が破られても危険な動作へ直結しない多層防御とする必要があります。

Embodied エージェントへの入力検査：Wangら^[9]は、ロボットの機能を定めるプロンプトと利用者の命令を明示的に分離し、マスク付き注意機構でLLM中間層から命令部分の特徴を抽出して、危険な入力を分類します。評価では、複数のモデルとベンチマークに対して平均94.58％の検出精度を示し、1件当たりの処理時間は0.002秒と報告されています。身体化AI向けに入力検査を設計し、リアルタイム性も評価した研究です。

開発・運用時に確認すべきポイント

開発・導入時には、センサからアクチュエータまでのデータと制御の流れを可視化し、AIが担う判断、従来制御が担う処理、人間が介入する箇所を明確にすることが重要です。例えば、次の点を継続的に確認する必要があります。

センサ、AIモデル、通信、制御、アクチュエータを含む構成と信頼境界を把握しているか。
通常時の性能だけでなく、入力操作、通信断、センサ間の矛盾、不正な指示を想定して評価しているか。
AIの停止時や判断の信頼度が低い場合に、安全な状態へ移行できるか。
人間が判断を取り消し、操作権限を引き継ぎ、独立した手段で緊急停止できるか。
モデル、学習データ、プロンプト、設定値、外部サービスの更新履歴と完全性を確認できるか。
入力、AI判断、制御命令、物理動作を対応付けたログを保護し、追跡できるか。
事故とサイバーインシデントの双方を想定した対応・復旧手順を整備しているか。

これらは開発時に一度だけ確認するものではありません。モデルや利用環境、新たな攻撃手法の変化に応じて、運用開始後も再評価することが重要です。

また、上記で紹介したように様々な攻撃や対策が研究されていますが、どういった攻撃が脅威となり、どの対策を施すべきかに関しては、組織やユースケースによって異なる場合があります。AISIのガイドでは、フィジカルAIの評価観点として、「物理的安全性」、「運用合理性」、「安定性」、「人間の適切な介在」、「プライバシー保護」、「説明可能性」、「検証可能性」、「認知・判断の妥当性」、「インタラクションの適切性」という9項目を示しています。これらはAIセーフティの観点ですが、セキュリティ評価にも密接に関わるため、十分活用できます。これらの観点に沿って、フィジカルAIシステムの安全性を評価することが重要となります。

おわりに

フィジカルAIでは、仮想空間で生じた攻撃やAIの誤判断が、ロボットの移動や停止といった物理的動作へ直接影響します。そのため、従来の機械に対する安全性、サイバーセキュリティ、AIセーフティを別々に扱うのではなく、センサ入力からAIの判断、制御命令、実際の動作までを一つの系として捉える必要があります。重要なのは、AIや個々の防御技術を過信せず、攻撃や故障が起きることを前提に、物理的妥当性の検証、権限管理、人間による介入、独立した緊急停止、追跡可能なログなどの複数の対策を重ねることです。AISIの評価観点なども活用しながら、開発時の評価に加えて運用後も継続的に見直すことが、フィジカルAIを安全かつ信頼できる形で社会実装するための基盤になります。

参考文献

^[1]AIセーフティ・インスティテュート（AISI）「AIロボティクスに関するセーフティ評価観点ガイド」（2026年7月23日）https://aisi.go.jp/assets/pdf/20260723_robotics_ai_safety_eval_v1.0_ja.pdf

^[2] AIセーフティ・インスティテュート「AIセーフティに関する評価観点ガイド（第1.10版）」（2025年3月）https://aisi.go.jp/assets/pdf/ai_safety_eval_v1.10_ja.pdf

^[3] Tianyue Zheng et al., “π-Jack: Physical-World Adversarial Attack on Monocular Depth Estimation with Perspective Hijacking,” USENIX Security 2024.

^[4] Yang Lou et al., “A First Physical-World Trajectory Prediction Attack via LiDAR-induced Deceptions in Autonomous Driving,” USENIX Security 2024.

^[5] Hangtao Zhang et al., “BadRobot: Jailbreaking Embodied LLM Agents in the Physical World,” ICLR 2025.

^[6] Luis Burbano et al., “CHAI: Command Hijacking against embodied AI,” IEEE SaTML, revised 2026.

^[7] Chenyi Wang et al., “From Threat to Trust: Exploiting Attention Mechanisms for Attacks and Defenses in Cooperative Perception,” USENIX Security 2025.

^[8] Ryunosuke Kobayashi et al., “Invisible but Detected: Physical Adversarial Shadow Attack and Defense on LiDAR Object Detection,” USENIX Security 2025.

^[9] Ning Wang et al., “Advancing Embodied Agent Security: From Safety Benchmarks to Input Moderation,” IJCAI 2025, pp. 7795–7803.