AIセキュリティマップにマッピングされた外部作用的側面における負の影響「AI自身が法に背く動作を実施」のセキュリティ対象、それをもたらす攻撃・要因、および防御手法・対策を示しています。
セキュリティ対象
- 社会
攻撃・要因
- 完全性の毀損
- 精度の毀損
- 制御可能性の毀損
防御手法・対策
開発・活用における適用フェーズ
1. データ収集・前処理
2. モデルの選定・学習・検証
- アライメント
- モデルの安全性評価
3. システムの実装
4. システムの提供・運用・保守
- AIへのアクセス制御
5. システムの利用
参考文献
アライメント
- Training language models to follow instructions with human feedback, 2022.0
- Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback, 2022.0
- Constitutional AI: Harmlessness from AI Feedback, 2022.0
- Direct Preference Optimization: Your Language Model is Secretly a Reward Model, 2023.0
- A General Theoretical Paradigm to Understand Learning from Human Preferences, 2023.0
- RRHF: Rank Responses to Align Language Models with Human Feedback without tears, 2023.0
- Llama Guard: LLM-based Input-Output Safeguard for Human-AI Conversations, 2023.0
- Self-Rewarding Language Models, 2024.0
- KTO: Model Alignment as Prospect Theoretic Optimization, 2024.0
- SimPO: Simple Preference Optimization with a Reference-Free Reward, 2024.0