近日，实验室成员程学旗、陈薇、沈华伟、山世光、陈熙霖、李国杰署名的《智能算法安全：内涵、科学问题与展望》在《中国科学院院刊》39卷第11期发表。

文章从人工智能安全治理问题引入，论述了其核心是解决智能算法安全问题。文章定义了智能算法安全的科学内涵与外延，指明了其三大科学问题和七大研究方向，对于后续发展智能算法安全科研方向具有一定的参考意义，文章摘要如下。

智能算法是指实现智能的计算过程所体现的方法，大多具备数据驱动、不确定性计算、模型推断难解释等特性，而这些特性同时也给智能算法应用带来了潜在的安全风险。文章首先探讨智能算法安全的内涵。具体地，智能算法安全的内涵依据人机融合的程度，由算法自身的一元内生性安全，延伸到算法服务于人时的人机二元应用性安全，最终拓展为人机共生的复杂社会系统中多元系统性安全，故据此提出智能算法安全层级范式（以下简称“TRC范式”），分别涵盖内生决策可信（trustworthiness）的一元安全目标、应用服务可管（regulatability）的二元安全目标和系统风险可控（controllability）的多元安全目标。进一步，基于当前实现TRC范式中的技术难点与智能算法可信、可管、可控的目标，文章提出实现智能算法安全需要重点突破的不确定性算法的可信域判定、黑箱模型的透明化监测与人机共生智能系统的风险临界点感知3个重大科学问题。最后，围绕TRC范式的“度量—评估—增强”技术体系，提出7项研究方向建议与4方面智能算法安全相关的发展建议，并展望其助力实现人机共治的未来愿景。