大模型隐私保护新突破：同态加密实现跨模型安全推理

2026年3月22日 3点热度 0人点赞 0条评论

导语：arXiv 最新论文提出 HELIX 框架，利用大语言模型表示收敛特性，通过同态加密实现隐私保护的跨模型推理。仅需加密线性对齐和分类操作，在保持 128 位安全性的同时实现亚秒级推理延迟。跨 34 个模型对的实验表明，标记器兼容性和模型规模是跨模型文本生成成功的关键决定因素。

核心内容

大语言模型正成为语言理解和生成的标准范式，不同架构的模型在多样化任务上均展现出强大的泛化能力。随着模型规模持续增长，"柏拉图表示假说"提出不同模型正趋向于学习相似的表示，这为跨模型互操作性开辟了新可能性。

研究团队提出了 HELIX（Homomorphically Encrypted Linear Inference across models），一个隐私保护框架，利用表示相似性实现独立大语言模型之间的跨 silo 推理。框架核心洞察是：当模型学习相似表示时，其特征空间可通过简单线性映射对齐，且该映射可在同态加密下高效执行。

技术架构HELIX 分两阶段运行。训练阶段：客户端加密公共数据的嵌入并发送给服务提供商，后者在加密状态下计算对齐映射并返回。推理阶段：客户端本地应用对齐到嵌入，加密后发送给提供商，提供商同态应用线性分类器并返回加密预测。由于对齐和分类操作是线性的，协议实现 128 位安全性且每样本延迟低于 1 秒。

实验验证研究系统评估了线性对齐在不同任务中的有效性。在嵌入分类和分布外检测任务中，跨模型对的线性对齐仅产生最小性能下降。在文本生成方面，研究评估了 34 个模型对，发现两个关键模式：标记器兼容性强烈预测成功率（精确标记匹配率 r=0.898，Jaccard 指数 r=0.822）；模型规模设定最低阈值，源模型低于 40 亿参数时无论标记器对齐如何均产生较低质量结果。

核心贡献研究有三方面贡献：提出 HELIX 框架，仅加密线性操作而非完整 Transformer 模型，实现亚秒级推理延迟；系统刻画跨模型文本生成的成功条件，识别标记器兼容性和模型规模为主要决定因素；证明监督线性对齐在嵌入模型对间保持分类和分布外检测性能，仅有最小退化。

技术/行业洞察

这项研究反映了隐私保护机器学习领域的一个关键趋势：从完整模型加密向选择性操作加密演进。传统隐私保护推理方法通常加密整个模型或完整推理过程，计算开销巨大。HELIX 的创新在于仅加密线性操作，利用表示收敛的自然特性降低加密负担。

表示收敛的深层含义在于，不同架构、不同训练目标的模型正趋向于学习相似的潜在结构。这一现象被称为"柏拉图表示假说"——大模型可能正收敛 toward 对世界的共享统计理解。这为模型互操作性、模块化系统设计、跨异构系统协作提供了理论基础。

线性对齐 vs 完整模型加密的权衡具有实践意义。完整同态加密 Transformer 推理的计算成本极高，难以实用化。而 HELIX 通过识别"哪些操作需要加密"（线性对齐和分类）与"哪些可本地执行"（嵌入生成），在安全性和效率间取得平衡。

标记器兼容性的关键作用揭示了跨模型文本生成的技术瓶颈。即使表示空间可对齐，若两个模型使用不同标记器，生成的文本质量仍会大幅下降。这一发现对跨模型协作系统的设计有直接指导意义——标记器标准化可能是实现无缝互操作的前提。

模型规模阈值效应表明，小模型（<4B 参数）的表示质量不足以支持可靠的跨模型映射。这与"规模定律"研究相呼应——更大模型不仅性能更强，其表示的"可迁移性"也更好。这对隐私保护场景的模型选择有启示：若需跨模型协作，应确保参与模型达到一定规模。

从行业应用角度看，这项研究对跨机构协作、隐私敏感场景、监管合规部署等都有直接价值。例如，在医疗健康领域，多家医院可在不共享患者数据的前提下协作推理；在金融服务中，机构可在保护商业机密的同时利用外部模型能力；在 GDPR/HIPAA 等法规约束下，该框架提供了一种合规的技术路径。

然而，该框架也面临局限。首先，框架假设存在共享公共数据集用于学习对齐映射，某些场景可能难以获取。其次，线性对齐的表达能力有限，复杂任务可能需要非线性映射。此外，框架主要适用于嵌入模型和分类任务，复杂生成任务的跨模型迁移仍需进一步研究。