motivation:数据集分为有(data,label),文章认为label是更为重要的,所以对于label进行隐私保护。
methods:通过随即响应RR将label随机化进行保护。
这篇文章认为数据集中输入标签Label是敏感的,而输入数据被认为不是敏感的,所以这篇文章只需要保护Label的隐私。
主要的创新点有两个,一个是提出了一个新的基于Label DP的多阶段深度学习算法,另一个是提出了一个带有先验知识Prior的经典随机响应算法。
多阶段的好处:1.先验概率越来越好2.数据集越来越多。会使模型更加好。
下面这个公式是GRR算法,与普通的random response算法相比,这个算法是针对多类别的情况,而RR算法只针对二分类情况。 公式意思是对每个LabelY采用GRR算法生成一个随机的label Y;以P的概率输出Y的值,以1-P的概率随机输出除了Y的值;
1.文章整个流程是算法3213,算法3是文章中多阶段的训练过程,把数据集分成了T份,在每一份中用算法2得到对应的随机标签,之后将T份进行合并,最终利用合并后的数据进行训练。随着数据集合的增多,对于模型训练也是有很大的好处的。
2.算法2的输入是标签y和先验知识,通过计算1-K个Wk,去求一个最大的k值,求和部分是真实标签在Yk中标签对应的概率和。最终目的是利用先验概率使得随机化后的标签y~输出是正确的概率是最大的。而且每一轮的random response都通过上一轮的模型结果得到关于本轮需要进行RR的数据集的先验知识,就是用概率分布来改进本轮随机响应的准确率。
3.算法1意思是如果输入数据标签y属于Yk,则在集合中使用随即响应,如果y不属于Yk,那么其他类别的概率随机从Yk中输出一个label标签。然后再到算法3进行下一轮的一个训练。
On Deep Learning with Label Differential Privacy 深度学习中的本地差分隐私技术的应用和改进_小小咸鱼也要努力的的博客-CSDN博客On Deep Learning with Label Differential Privacy链接: (1) Ghazi, B.; Golowich, N.; Kumar, R.; Manurangsi, P.; Zhang, C. On Deep Learning with Label Differential Privacy. arXiv preprint arXiv:2102.06062 2021..这里写目录标题On Deep Learning with Label Differentialhttps://blog.csdn.net/weixin_43641509/article/details/121337202
|