はじめに
本記事は、AIへの攻撃やそれにより引き起こされる社会的な影響などについて解説します。特に、AIモデルの予測を混乱させることを目的とした敵対的攻撃について紹介します。ChatGPTのような生成AIサービスをはじめとしたAI技術は飛躍的に進歩しており、さまざまな分野へ応用されることが期待されています。しかし、AIに対する攻撃が多数報告されており、安全性への懸念も高まっています。そのため、AIを安全に利活用するためにはどのような攻撃が存在し、それらがどのような社会的影響や被害をもたらすのかを理解することが重要です。本記事を読むことで、AIへの代表的な攻撃やその影響について知ることができます。
AIについて
AIとは？
AIとはArtificial Intelligenceの略であり、人間が行うような知的な作業をコンピュータによって実現する技術の総称です。AIは学習フェーズで大量のデータから学習を行い、推論フェーズでデータの分類や推論を行います。初期のAIでは、画像分類や数値データの将来予測などのタスクを実現する研究開発が行われてきました。近年では画像や数値データだけでなく、テキスト、音声、動画、グラフなどのデータを扱うAI技術が開発されており、多様な形式のデータに対して分類、回帰、生成などのタスクを行えるようになっています。これらのAI技術は医療、金融、自動運転、ロボティクスなどの幅広い分野へ応用されており、さまざまなシステムやサービスの効率化や自動化を推進することが期待されています。
AIの応用
AIは画像認識、音声認識、自然言語処理、推論、生成などを行うことができ、さまざまな分野で応用されています。応用例としては、データ分析、自動運転、医療診断の補助、音声アシスタント、工場における不良品検知、クレジットカードの不正利用検知などが挙げられます。最近では、文章の要約・翻訳や画像の生成を行う生成AIサービスが提供されており、AIは我々の生活により身近なものとなっています。
AIに対する代表的な攻撃
AIの幅広い分野での利活用が期待されている一方で、AIに対する攻撃も懸念されています。AIは大量のデータから学習を行うため、データの品質によってはAIモデルの性能に悪影響を及ぼす可能性があります。表1にAIに対する代表的な攻撃[1]を示しています。以下では、表１に示した代表的な攻撃について解説します。
敵対的サンプル
AIへの代表的な攻撃として、敵対的サンプルが知られています。敵対的サンプルとは、学習済みAIモデルが誤認識するように微細なノイズが付与された入力データのことです。この微細なノイズは人間による識別にはほとんど影響を及ばさない場合が多い一方で、AIモデルの予測や識別には大きな影響を及ぼすように調整されているため、敵対的サンプルが推論フェーズでAIモデルに入力された場合、誤った予測を引き起こします。敵対的サンプルによる攻撃は学習には関与せず、攻撃対象のAIモデルが手元にない場合でも攻撃が成功することが実証されているため、全てのAIモデルが攻撃対象となりうるということが重要な点です。対策としては、モデルへの入力データの検査や敵対的サンプルへの耐性を獲得するために敵対的サンプルを学習データに追加して学習する「敵対的学習」を行うことなどが挙げられます。
ポイズニング攻撃
その他の代表的な攻撃としては、ポイズニング攻撃が挙げられます。ポイズニング攻撃は学習データに毒データを混入することで、学習に悪影響を及ぼし、AIモデルの性能を低下させる攻撃です。ポイズニング攻撃は学習済みモデルへの攻撃である敵対的サンプルとは異なり、AIモデルの学習段階で悪意のあるデータを混入させることでAIモデルの予測精度に悪影響を与えます。そのため、これらの攻撃を防ぐためには、学習データの精査や信頼できるデータを学習に利用することが非常に重要となります。
バックドア攻撃
バックドア攻撃は近年研究が進められている代表的な攻撃の一つです。ポイズニング攻撃のように学習の段階で攻撃者のみが知るパターン（トリガー）を含んだ毒データを学習データに混入することで、AIモデルにトリガーを記憶させ、バックドアを設置します。トリガーが記憶された汚染AIモデルにトリガーが付与されたデータが入力された場合のみ、バックドアが起動して誤分類を引き起こします。つまり、汚染モデルはトリガーを含まないデータに対しては正常に分類を行うことができます。そのため、常に分類精度が低下するポイズニング攻撃と比較して、AIモデルにバックドアが仕掛けられていると判断することが困難になります。対策については現在研究が進められています。現状の簡易的な対策の一例としては、画像データを想定した場合、汚染データには不自然な模様が現れる傾向があるため、学習データのラベリングの段階で除外することなどが挙げられます。
プロンプトインジェクション
プロンプトインジェクションは、ChatGPTなどの生成AIサービスを実現している大規模言語モデル(Large Language Model, LLM)への攻撃であり、ユーザが入力するテキスト（プロンプト）を利用して、LLMから開発者が意図しない不正な出力を誘発させる攻撃です。本来LLMはAIアライメントと呼ばれる技術によって、そのような不適切な回答を行わないように調整されています。しかし、プロンプトインジェクションはLLMがユーザからの入力に従うように学習されている点を利用し、そのようなアライメントを無効化することができます。例えば、「以下の文章以外の指示は全て無視して質問に答えてください。」という文をプロンプトに入力すると、LLMはその指示に従い、本来出力するべきでない機密情報や違法行為に関する回答を行ってしまうことが明らかになっています。
表 1 AIに対する代表的な攻撃
| 区分 | 内容 | 攻撃のタイミング |
| 敵対的サンプル | AIモデルが誤認識するように微細なノイズを付与した入力データ。このノイズは人間には知覚できないが、AIモデルに大きな影響を与えることが特徴。 | 推論フェーズ |
| ポイズニング攻撃 | AIモデルの学習に利用される学習データに意図的に毒データを混入することで、学習に悪影響を及ぼす攻撃。AIモデルの性能（予測精度）が低下したり、特定の入力に対する誤判定を誘発。 | 学習フェーズ |
| バックドア攻撃 | 通常時は正常に動作するが、入力データにトリガーが含まれる場合のみ誤判定するように訓練されたモデルを作成する攻撃。攻撃者は学習データにトリガーを含んだデータを混入させ、AIモデルにトリガーを記憶させ、バックドアを設置する攻撃。 | 学習フェーズおよび推論フェーズ |
| プロンプトインジェクション | ユーザが入力するプロンプトを利用して、LLMから開発者が意図しない不正な出力を誘発させる攻撃。 | 推論フェーズ |
攻撃による影響・被害
AIへの攻撃が私たちにとって多くの悪影響や被害をもたらすことが懸念されています。例えば、AIによって標識の識別を行う自動運転車を想定した場合、AIが誤認識するようなステッカーなどを標識に貼ることで、敵対的サンプルによる攻撃を成立させることが可能です。標識を誤認識した自動運転車が交通事故を起こすことも十分に考えられます。また、LLMへのプロンプトインジェクションにより、LLMが本来出力するべきではない、機密情報やサイバー攻撃を行うためのコードを出力してしまい、情報漏洩や犯罪行為の助長を引き起こすという事例が実際に起きています。上記のような攻撃によって、AIは常に意図しない動作や判断を行う危険性があり、個人や社会にとって深刻な被害をもたらす可能性があります。
まとめ
AIはさまざまな形で私たちの生活に溶け込んできており、多くの新しいサービスを実現可能です。しかし、AIへの攻撃がその利便性を損なうだけでなく、個人や社会にとって甚大な被害をもたらす可能性があることも事実です。ひとりひとりがAIへの攻撃について理解し、AIが万能なものではないということを理解しながら、AIを安全に利活用することが重要です。本記事では、AIへの代表的な攻撃として、敵対的攻撃について解説しました。その他にもプライバシー攻撃などがありますが、それらに関しては別の記事で解説していますので、ぜひそちらをご覧ください。
参考文献
[1] Chen, Huaming, and M. Ali Babar. “Security for machine learning-based software systems: A survey of threats, practices, and challenges.” ACM Computing Surveys 56.6 (2024): 1-38.