AI安全与对齐

本知识库聚焦AI安全与对齐的前沿技术、最佳实践与行业案例，涵盖技术防护、对齐研究、监管合规与伦理考量。 核心主题 AI对齐技术（AI Alignment） 强化学习人类反馈（RLHF）：从人类反馈中学习，使AI行为符合人类意图 基于AI的反馈（RLAIF）：使用AI模型进行评估和反馈 宪法AI（Constitutional AI）：基于原则和规则的自我修正 价值学习（Value Learning）：从行为中推断和优化价值函数 意向对齐（Intent Alignment）：确保AI理解并执行用户真实意图 AI安全防护 提示注入防御：识别和防御恶意提示（Prompt Injection） 数据投毒防护：保护训练数据免受恶意污染 模型窃取防护：防止模型参数和架构被窃取 对抗样本防御：提升模型对对抗样本的鲁棒性 后门攻击检测：识别和消除模型中的隐藏后门 AI可解释性与透明度 特征重要性分析：理解模型决策依据 注意力机制可视化：揭示Transformer的注意力模式 SHAP与LIME：模型无关的可解释性方法 反事实解释：通过"如果...