中国工程院院士邬江兴：用内生安全的方法解决AI安全问题

2023-08-16 09:12:20 人民邮电报

当前许多AI系统模型和算法难以确保训练过程中数据质量和清洁度，模型设计的安全性、训练的稳定性都存在大的问题。因此对于遍地开花、泛在化AI应用系统，各种内生安全问题和危险必然是层出不穷。

AI应用系统硬件环境也存在漏洞、后门等内生安全的共性问题，这是网络空间一大麻烦事。漏洞难以完全避免，后门无法杜绝，现有技术能力无法彻查漏洞，这是它的共性问题。

(资料图片仅供参考)

近日在北京召开的第十一届互联网安全大会（ISC 2023）上，中国工程院院士邬江兴发表了题为《动态异构冗余（DHR）构造赋能AI应用系统内生安全实验》的演讲。邬江兴提出，AI时代是一把“双刃剑”，在给人类社会带来极大推动的同时，也形成了潜在的巨大安全威胁，甚至可能会带来巨大的灾难。要高度重视AI时代的安全性，用内生安全的方法补齐短板。

当前，以深度学习为核心的AI应用迎来新一轮快速发展期，人工智能技术取得突破，人工智能或生成式AI正在为各领域提供信息化、数字化、智能化的解决方案，正在引发经济结构的重大变革，带动社会生产力的整体跃升。

人工智能安全问题包含内生安全问题和非内生安全问题，内生安全问题又分为个性问题和共性问题。人工智能的应用系统由基础软硬件、环境或者数据系统和人工智能的算法、模型组成的。但是深度学习AI模型存在3种可能的问题。

神经网络的黑盒特点，导致人工智能存在不可解释性。深度学习对训练样本的过度依赖，导致学习结果不可判定，神经网络的前项推进不可逆，结果的不可推论性。这就是人工智能“三不可”。

关于个性问题的表现，从数据采集、模型设计、训练、寻找规律到基于优化执行任务的推理阶段，存在4种个性，即算法的黑箱性、数据的依赖性、模型的安全性以及输入的敏感性。

除了个性问题，AI应用系统硬件环境也存在漏洞、后门等内生安全的共性问题，这是网络空间一大麻烦事。漏洞难以完全避免，后门无法杜绝，现有技术能力无法彻查漏洞，这是它的共性问题。

AI应用系统中内生安全个性和共性问题往往是交织叠加存在的，既有漏洞、后门引起的问题，又有黑盒效应引起的问题，所以它是更复杂的一个安全系统。交织叠加在一起使得AI应用系统的安全问题变得极其复杂，给安全使用和维护带来了前所未有的挑战。

邬江兴提出用内生安全理论里的DHR构造赋能AI应用系统内生安全。它可以有效阻断和控制内生安全共性问题，使内生安全问题难以发展成为内生安全事件。近年来的理论研究与工程实践表明，内生安全在机理上能有效解决AI应用系统软硬件环境中存在的内生安全共性问题，能为AI应用系统的数据采集、模型训练、算法应用等全流程提供“三高”（高可靠、高可信、高可用）的不依赖又不排斥任何附加防御措施的内生安全底座。

在此基础上，邬江兴对个性化问题进行理论分析，得出7条结论：第一，训练数据集的高质量构建，特别是采用分布概率密度高的数据，对模型抗攻击能力的提升更重要；第二，异构可解释性或者差异化的训练模型方法能够得到多样化的AI模型，因为内生安全需要多样化的环境做相对性判定；第三，基于彩票假设证明了不同结构及相同结构不同稀疏程度的深度学习网络之间很难产生共模；第四，使用网络结构自动搜索技术可以快速构建多个具有特异性深度学习AI模型；第五，对抗样本迁移性对深度神经网络的结构存在强关联，异构化模型的冗余部署是必不可少的安全机制；第六，理论上可以证明多个异构化模型的随机动态部署方法，能显著增强AI应用系统安全性；第七，AI模型不确定度估计方法能够为DHR架构执行动态调度算法提供最优化理论支撑。

邬江兴认为，这些理论研究证明了即便是AI个性化问题，我们仍然可以用内生安全的方法来处理。不论是共性还是个性问题，基于AI模型构造提供工程化的解决途径，并提供理论层面的支撑。