针对云训练下隐私计算和隐私保护难以平衡的问题，作者设计了一个⾼效且具有隐私保护性的在线深度学习框架，将HD和DP结合，为训练和推理阶段引入了混合隐私保护协议，核心是⽤HE 加密所有偏置分量，并⽤DP扰乱线性分量。

论文：《Sphinx: Enabling Privacy-Preserving Online Learning over the Cloud》

作者：Han Tian Chaoliang Zeng Zhenghang Ren Di Chai Junxue Zhang Kai Chen Qiang Yang

Hong Kong University of Science and Technology Clustar

主要从以下角度思考：

1.作者为什么做这项工作？（做这项工作的背景和目的）

为了缓解深度学习计算开销，模型的训练和推理会被委托给云服务商，这也带来了隐私保护的问题。现有的隐私保护在线学习方案要么假设服务器有一个明文模型，聚焦于通过加密数据提供推理服务，要么聚焦于加密模型的训练过程，却会导致低效的推理，要么做出不切实际的假设，例如多个非共谋服务器或受信任的聚合器。
所以作者思考：能否设计一个⾼效且具有隐私保护性的在线深度学习框架，⽽⽆需额外的第三⽅要求？最后提出了Sphinx。

2.针对这项工作，以往的研究者做过了哪些工作，有哪些缺陷？

  • 神经⽹络上的隐私保护：

    特点：

    • 专注于推理；

    • 模型要么是公共的，要么是服务提供商专有的，它以明⽂形式存储和评估，只涉及加密数据与明文参数的乘法。

    代表工作：

    • Gazelle 引⼊了一种混合安全推理算法，其中线性层使⽤打包加性同态加密 (PAHE) 进行评估，⾮线性层使⽤混淆电路进行评估

    • Delphi 通过将重量级密码计算提前到预处理阶段（作者idea的来源之一）并开发基于神经架构搜索 (NAS) 的规划器来搜索满⾜⽬标精度的最有效近似模型，改善了推理延迟

    缺陷：⽆法转移到在线学习环境中，因为训练算法需要对模型参数和梯度进行加密，以保护训练数据免受云端攻击

  • 神经⽹络隐私保护训练

    • 集中式：

      • HE方案：对模型权重和⽤⼾数据进行同态加密，将训练外包给服务提供商

        缺点：大量密文与密文之间的运算，速度极慢；没有考虑推理，只评估了训练阶段

      • DP方案：引入随机量。例如DPSGD(高斯噪声自加的随机梯度下降)、DP-FTRL(前者的树聚合改进)、其他一些将随机量加入目标函数、激活特征和标签的工作
        缺点：模型性能和隐私级别难以平衡，难以兼顾；不能实现MLaaS下针对服务商的数据保护；需要假设一个可信数据聚合者

    • 分布式：基于MPC算法，隐私数据计算分布在多个服务器上

      • 代表工作：SecureML、ABY3、ScureNN、FLASH
      • 缺点：都假设多方非共谋服务器或大多数诚实的环境，不切实际

  • 联邦学习：多个数据拥有者在不暴露隐私的情况下协作训练他们的本地模型

    • 代表工作：Shokri的selective SGD并对上传梯度DP；Sinem采用HE进行FL学习
    • 因为作者重点在MLaaS环境，所以不作讨论

3.作者大概是怎么做这项工作的？（一两句话概括）

  • 将HD和DP结合，为训练和推理阶段引入了混合隐私保护协议，核心是⽤HE 加密所有偏置分量，并⽤DP扰乱线性分量。
  • 此外，通过同态乘法加速和客户端-服务器通信加速进行了系统优化。

4.这项工作突出优势在哪里？

有如下突出点：

  • 很好地结合了DP和HE，实现了两者的互补互惠：

    • DP提高运算效率：利用DP将参数保持为明文，将纯HE密文* 密文的复杂计算，转化为更简便的密文* 明文

    • HE加密，不需可信聚合器：利用HE加密偏置，一边保护隐私，一边还可以进行有意义的运算，无需可信聚合器即可训练算法

  • 对训练和推理两阶段都有很好的隐私保护性

    • 训练阶段采用DPSGD的同态版提供隐私保护，可以在没有受信任的服务器的情况下实现集 中式训练
    • 推理阶段采⽤基于秘密共享的隐私推理技术，服务提供者⽆法推断出任何有⽤的信息。

  • 高效的系统优化

    • 快速同态乘法：巧妙设计了神经网络层中模型参数、输⼊特征和梯度之间的乘法。线性分量作为明⽂，可以消除训练过程中的大部分重新缩放和重新线性化操作，使其能够采⽤较小的
      加密参数和较浅的乘法深度，从⽽
    • 加速客⼾端-服务器通信：
      • 前向传播缓存：在前向传播中预先计算加密激活函数更有效，可以避免重复计算和通信。客⼾端将每个非线性层的梯度本地缓存为明⽂，稍后可以在反向传播阶段使⽤。
      • 零解密和零加密：在离线预处理阶段，客⼾端通过加密 0 准备零密⽂流，作为一次性密⽂密文⼯作。 客⼾端一旦需要对消息进行加密，就直接将明⽂加零密⽂加密后发送给服务器，从而缩短上线阶段的加密时间。

5.这项工作缺陷在哪里？

在Sphinx推理阶段，采用秘密共享技术加速推理，但需要更新的模型参数重新运行预处理，导致计算资源浪费

6.他们的这项工作做的好，为啥好呢？他们是用啥理论证明的呢？（可能涉及方法正确性、性能、安全性）

  • 结合了DP和HE，设计了⾼效且兼容的训练和推理协议以满⾜其特定要求
  • 对训练和推理两阶段都有很好的隐私保护性
  • 为了加速 HE 方案下的训练过程， 进行了多项系统优化
  • 即使与 DP 解决⽅案相比，隐私成本相似，Sphinx 在实际场景中也可以实现明显更强的攻击防御

7.作者如何设计实验的？

在两台相同的物理机上，使用MNIST、CIFAR数据集，从四个方面的对比实验来证明Sphinx的优势：

  • 训练上：展示了Sphinx 在训练时间和通信成本⽅⾯相对于纯 HE ⽅法的提升。Sphinx 在 MNIST 和 CIFAR-10 数据集上的神经⽹络的训练时间减少了 35 倍，通信成本降低了 5 倍。
  • 推理上：Sphinx 实现了实时推理（MNIST 为 0.05 秒，CIFAR-10 为 0.08秒），与纯 HE ⽅法相⽐，分别快5.8* 104 倍和 4.2* 105 倍。此外，对于这两个任务，Sphinx 的通信成本分别低 1.9 * 105×和 3.6 * 104×
  • 隐私成本上：给定相同的隐私预算，Sphinx 与纯 DP 训练算法 DPSGD 相⽐，在没有可信服务器的情况下实现了相当的模型精度。
  • 抵抗攻击上：与纯DP 算法相比，通过屏蔽偏差分量，Sphinx 有效地保护了重构攻击，免受暴露梯度的影响。

8. 针对这项工作，作者未来还打算怎么做呢？有一些“展望”吗？

  • 作者将在未来探索和评估不同 DP 机制和 HE ⽅案之间的组合。例如，Kairouz 等⼈提出了一种在线学习 DP 机制，该机制允许更灵活的数据访问模式 ，当训练数据为⾮ IID 时，可以在 Sphinx 中采用这种机制。
  • 对于推理阶段的预处理造成计算资源浪费的问题，作者设想了一种保护隐私的在线学习⽅法，一旦模型更新，其先前的预处理结果可以与新的模型参数保持一致，⽽⽆需额外计算。

9.这项工作的idea与哪些论文有一脉相承的关系呢？或者说，你感觉这篇论文的作者是看了哪些论文，才想到这项工作的idea呢？

  • P. Mishra, R. Lehmkuhl, A. Srinivasan, W. Zheng, and R. A. Popa, “Delphi: A cryptographic inference service for neural networks,” in 29th {USENIX} Security Symposium ({USENIX} Security 20), 2020,pp. 2505–2522.

    Delphi 通过将重量级密码计算提前到预处理阶段的论文，我感觉作者或许由此想到了前向传播缓存、离线预处理等idea

  • C. Juvekar, V. Vaikuntanathan, and A. Chandrakasan, “{GAZELLE}: A low latency framework for secure neural network inference,” in 27th {USENIX} Security Symposium ({USENIX} Security 18), 2018, pp.1651–1669.

    Gazelle 引⼊混合安全推理算法的论文，作者或许受它启发为训练和推理阶段引入了混合隐私保护协议

10.这篇论文的核心参考文献是？这些参考文献都起到了什么作用呢？

  • [55] J. H. Cheon, A. Kim, M. Kim, and Y. Song, “Homomorphic encryption for arithmetic of approximate numbers,” in International Conference on the Theory and Application of Cryptology and Information Security.Springer, 2017, pp. 409–437.

提出了CKKS 这种可行的同态加密算法，⽀持有限数量的密⽂加法和乘法，是本文同态加密的基础

  • [56] H. Chen, W. Dai, M. Kim, and Y. Song, “Efficient multi-key homomorphic encryption with packed ciphertexts with application to oblivious neural network inference,” in Proceedings of the 2019 ACM SIGSAC Conference on Computer and Communications Security, 2019, pp. 395–412.

    提供了重缩放、重线性化等同态加密运算优化操作

  • [57] S. Goryczka, L. Xiong, and V. Sunderam, “Secure multiparty aggregation with differential privacy: A comparative study,” in Proceedings of the Joint EDBT/ICDT 2013 Workshops, 2013, pp. 155–163.

    证明了通过 HE，用户可以在将数据发送到聚合器之前对其进行加密 。 HE 允许聚合器执行安全聚合以获得有意义的统计结果。

  • [5]P. Mishra, R. Lehmkuhl, A. Srinivasan, W. Zheng, and R. A. Popa, “Delphi: A cryptographic inference service for neural networks,” in 29th {USENIX} Security Symposium ({USENIX} Security 20), 2020,pp. 2505–2522.

    提供了基于线性操作的私有推理协议，为推理阶段的协议奠定了基础

  • [15]M. Abadi, A. Chu, I. Goodfellow, H. B. McMahan, I. Mironov, K. Talwar, and L. Zhang, “Deep learning with differential privacy,” in Proceedings of the 2016 ACM SIGSAC conference on computer and communications security, 2016, pp. 308–318

    作者的训练协议可以看作是[15] 提出的DPSGD 的同态版本，没有受信任的服务器。它采⽤采样⾼斯机制（SGM）从数据集中采样小批量，并在线性分量的聚合梯度上添加⾼斯噪声。

11.这项工作，可以拆分为哪些子工作，就是哪些步骤。每个步骤，或者每个子工作使用了哪些工具或者方法去完成的呢？

  • Sphinx架构图：

    image-20220226023330150

    对于 DNN 模型，线性分量 W 受到 DP 的扰动，偏置分量Bias⽤ HE 加密。 F 表示非线性层。

  • Sphinx训练算法步骤图：

    image-20220226023600799