伦理、安全与可解释性一瞥

一句话定义

深度学习的伦理与安全议题覆盖五个相互关联的维度：数据偏见进入模型、对抗样本暴露脆弱性、黑箱决策缺乏解释、训练数据隐私风险、以及算力能耗与滥用风险——本知识点用已学原理逐一给出机制级理解与工程师级的应对动作。

直觉

把模型当「新员工」：它在有偏见的环境（数据）里长大就会带偏见（kp-024 的同现统计）；它会被精心设计的「障眼法」骗过（对抗样本）；它做事说不出理由（黑箱）；它还可能背走了不该背的秘密（隐私）——本节就是这份「员工背景审查报告」。

为什么重要

深度学习已进入医疗、信贷、司法、内容分发等高 stakes 场景，「准确率 98%」不足以构成部署理由。对学习者而言，本节是 kp-030 批判思维的伦理延伸：技术乐观之外，需要知道系统的失效面在哪、责任链在哪。它是七维矩阵「误区·争议·伦理」维度的收官知识点，也是全库「学以致用须有所畏」的提醒。

前置知识

• kp-030（批判思维底盘）、kp-024（嵌入如何吸收语料偏见）。

核心概念

• 数据偏见（dataset bias）：训练数据的人群/场景覆盖失衡被模型继承并放大。
• 对抗样本（adversarial example）：对人眼无差别的微小扰动使模型高置信度错分。
• 可解释性（interpretability/explainability）：理解模型「为何如此输出」的能力谱系——从注意力热图到探针分析。
• 隐私风险：训练数据可能被模型「背下来」并通过成员推断/模型反演泄露。
• 公平性度量：不同群体间的错误率差异（如假阳性率均等）等操作性定义——不存在唯一正确定义，本身是争议点。

原理与机制

五个维度的机制级拆解。偏见：kp-024 已揭示嵌入学的是同现统计——语料中「程序员」与男性高频共现，嵌入空间就形成性别-职业绑定；Gender Shades（2018）实证商用人脸分析对深肤色女性错误率比浅肤色男性高一个量级，根源是训练集人群失衡（kp-015 的「数据分布决定一切」的伦理版）。工程应对：数据卡点（采集配额与标注审计）、公平性度量卡点（分群体指标而非总指标）、发布前红队评估。对抗样本：Goodfellow 等 2015 的线性解释——高维空间中 ∂L/∂x 方向的微小扰动 ε 被大量权重累加，足以把输入推过决策边界；梯度可得的模型还能互相迁移攻击（黑盒攻击的原理）。应对：对抗训练（把对抗样本加入训练集，kp-013 增强的对抗版）、输入预处理、置信度校准（kp-030 之八）；但没有银弹，鲁棒性与精度的权衡仍是开放问题。可解释性： kp-026 的注意力热图是「检索解释」而非因果解释（已在 kp-026 声明限度）；更系统的谱系包括事后归因（梯度显著性、LIME/SHAP 的扰动归因）与内在可解释（探针分析、稀疏自编码器——后者属大模型时代的前沿）。工程姿态：解释需求应由「决策后果的严重度」驱动，高风险场景要求模型+解释+人工复核的三件套。隐私：模型记忆训练数据（kp-030 的随机标签实验已证明记忆能力），成员推断攻击可判断某条数据是否在训练集中；差分隐私训练与联邦学习是两大缓解路线（原理性提及，细节属专门方向）。能耗与滥用：大模型训练的碳排放、深度伪造与自动化滥用是治理层面的议题——工程师的底线动作是数据合规、模型卡（model card）与用途说明。

公式或模型

对抗样本的线性构造式（Goodfellow 2015 的核心一行）：

x_adv = x + ε·sign( ∂L(θ, x, y) / ∂x )

变量说明：x 为原输入，ε 为小扰动幅度（如 0.007，8-bit 图像的最小可感步长），sign 取梯度的逐元素符号。原理：干扰沿损失上升方向，被网络权重累加放大，超出决策边界所需距离——「微小但方向正确」胜过「巨大但方向随机」。

图示

对抗扰动示意（一维剖面）：

损失面:      ╱╲        ╱╲
            ╱  ╲      ╱  ╲
   ────────╱────╲────╱────╲────► 输入 x
        类别A ▲ x ─+ε→ 越过分界 → 类别B
              （人眼几乎不可见的 ε，模型视角已是「跨海大桥」）

直观类比

公平性度量的争议像「什么是公平的考试」：各群体错误率相同（均等化几率）、还是同一分数同一含义（校准公平）——两者在基础率不同时数学上不可兼得，所以「选哪种公平」是价值判断而非纯技术问题，工程师能做的是把选项与代价摆到桌面上。

实例或案例

四个可动手的微型实验把议题落到代码。其一（偏见）：在情感分类玩具语料中加入「护士→她、程序员→他」的强共现样本，训练后检查「这位程序员」与「这位护士」的嵌入相似度差距——偏见注入全过程可见。其二（对抗）：对 kp-016 的 MNIST 模型，用上面的公式给一张「2」加 ε=0.1 的符号扰动，模型以 >0.9 置信度认成「8」，人眼看图几乎无差。其三（可解释）：对 kp-021 的 CNN 用梯度显著性（|∂ŷ/∂x|）画热图，观察模型「看」的是数字笔画还是背景噪声——若热图落在角落水印上，说明模型学的是捷径特征（kp-030 精神的可视化）。其四（隐私）：对训练好的模型做最朴素的成员推断——比较模型对训练样本与测试样本的损失分布差，即可见可分离性（记忆的直接证据）。

常见误区

• 「模型是中立的，偏见来自人怎么用」：kp-024 的机制证明偏见在训练阶段就已写入参数，审计必须前移到数据与训练。
• 「可解释性=注意力可视化」：热图是相关性证据而非因果解释，高 stakes 决策需要更严格的归因与人工复核。
• 「对抗样本只是学术玩具」：物理世界版本（贴纸骗过交通标志识别）已被复现，自动驾驶等场景是真实威胁面。
• 「伦理是合规部门的事」：数据卡点、分群体指标、模型卡都发生在工程师的日常工具链里，事后补救的成本高一个量级。

与其他知识点的关系

本节是 kp-030 批判维的伦理延伸；偏见机制来自 kp-024 的嵌入统计、解释限度的讨论衔接 kp-026 的注意力语义；对抗训练是 kp-013 数据增强的对抗版；「数据分布决定模型行为」是 kp-015 的伦理面。深度伪造、大模型对齐等议题随规模升级，属大模型站点的领地。

自测题

1. 写出对抗样本的线性构造式，并解释「微小扰动为何有效」。

答案要点：x_adv=x+ε·sign(∂L/∂x)；高维下与决策边界法向对齐的微小位移被权重累加放大，越过边界。

1. 为什么说「注意力热图不是因果解释」？

答案要点：α 表示模型检索了谁（相关性），不保证移除该位置输出就如何变化（因果性），且可能关注捷径特征。

1. 列出工程师在数据、训练、发布三阶段的伦理卡点动作。

答案要点：数据——覆盖配额与标注审计；训练——分群体指标监控、对抗/隐私评估；发布——模型卡、用途边界、人工复核通道。

延伸阅读

• Buolamwini、Gebru《Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification» PMLR 2018（偏见实证名案）。
• Goodfellow、Shlens、Szegedy《Explaining and Harnessing Adversarial Examples» ICLR 2015（对抗样本的线性理论）。