本书先介绍了自然语言和差分隐私的理论基础，论述当前自然语言模型所面临的私隐攻击类型，并在此基础之上根据文本处理粒度和扰动位置的不同，分别介绍单词层级的差分隐私、Token层级的差分隐私、句子层级的差分隐私、主题层级的差分隐私和基于梯度扰动的差分隐私。最后论述自然语言处理模型中相关的可解释性技术。

陈珂锐，吉林大学计算机应用技术博士，现为河南财经政法大学计算机与信息工程学院讲师。在《计算机研究与发展》等权威期刊发表论文4篇。担任过1项国家自然科学基金重大研究计划研究、2项国家自然基金研究。曾获得吉林省科学技术奖三等奖，中国商业联合会科学技术奖三等奖。

1.导论

1.1 小规模专家知识阶段

1.2 大规模语料库统计模型阶段

1.3 大规模语料库深度学习阶段

1.4 大规模预训练语言模型阶段

2.自然语言处理基础

2.1 文本表示

2.2 自然语言处理任务

2.3 评价指标

3.预训练模型

3.1 静态词向量预训练模型

3.2 动态词向量预训练模型

3.3 预训练语言模型

4.自然语言处理中的神经网络

4.1 多层感知机

4.2 卷积神经网络

4.3 循环神经网络

4.4 注意力机制

4.5 Transformer模型

4.6 提示学习Prompt Learning

5.差分隐私相关基础

5.1 中心化差分隐私

5.2 本地差分隐私

5.3 度量差分隐私

5.4 UMLDP (Utility-optimized MLDP)

5.5 噪声机制

6.攻击类型

6.1 成员推理攻击

6.2 重建攻击

6.3 属性推理攻击

6.4 模型抽取攻击

6.5 梯度信息攻击

6.6 基于提示信息攻击

7.基于单词层级的差分隐私方法

7.1 中心化差分隐私场景下

7.2 本地化差分隐私场景下

7.3 度量差分隐私场景下

8.基于Token层级的差分隐私方法

8.1 SANTEXT和SANTEXT+

8.2 基于Bett系列的差分隐私方法

9.基于句子层级的差分隐私方法

9.1 Skip-Thoughts向量

9.2 Sent2Vec

9.3 Doc2Vec

9.4 SBERT

9.5 模糊词袋方法Fuzzy Bag-of-Words

9.6 其他方法

9.7 句子层级差分隐私方法框架

10.基于主题层级的差分隐私方法

1O.1 LDA方法

10.2 基于LDA方法的差分隐私技术

10.3 基于编码扰动方法

1O.4 基于文档层级的方法

10.5 SynTF方法

10.6 基于计数布隆过滤器差分隐私方法

11.基于梯度的差分隐私方法

11.1 DP-SGD

11.2 DP-Adam

11.3 DP-BERT

11.4 RGP

12.自然语言模型的可解释性

12.1 模型的解释技术

12.2 预测结果和解释技术

12.3 模仿者模型解释技术

12.4 性能评估

12.5 未来的挑战

参考文献