防范人工智能安全风险

　　中评社北京9月27日电／据经济日报报道，将一张“神奇贴纸”贴在脸上，就能让人脸识别门禁系统出现误判，毫无防备地为陌生人打开大门；把这张“贴纸”放在眼镜上对准手机，就能解锁其人脸识别系统，获取用户信息如入无人之境……这曾经只出现在科幻电影中的场景，如今已经在现实生活中发生。日前，首届人工智能安全大赛在北京举办，上述攻防场景在大赛中令不少观众直呼惊讶。

　　近年来，我国人工智能产业规模快速增长。据工信部发布数据显示，人工智能核心产业规模超过4000亿元，比2019年同期增长6倍多，企业数量超过3000家，比2019年同期增加15%，在制造、交通、医疗、金融等重点行业形成一批典型应用场景。“伴随应用场景日益广泛以及使用频次快速增长，人工智能安全风险发生的范围和可能性持续提高。”中国科学院院士、清华大学人工智能研究院名誉院长张钹认为，以深度学习为代表的算法爆发拉开了人工智能浪潮序幕，在计算机视觉、智能语音、自然语言处理等众多领域取得长足发展。但以数据驱动的第二代人工智能在可解释性、稳健性方面的缺陷也逐渐暴露出来，导致安全事件频发。如何实现高质量发展和高水平安全良性互动，是当前人工智能产业面临的最为重要命题。

　　中国信息通信研究院发布的《人工智能白皮书（2022年）》同样指出，随着人工智能应用暴露出各种风险和挑战，以及人们对人工智能认识的不断深入，人工智能治理已经成为全球各界高度关注的议题，对可信安全的呼声不断增多。

　　“人工智能安全风险主要从‘人’与‘系统’两个角度剖析。从人的视角看，人工智能安全风险存在技术滥用甚至‘武器化’问题。”北京瑞莱智慧科技有限公司CEO田天以深度合成技术为例解释，该技术能够大幅提升内容制作效率与质量，但其负向应用——深度伪造的风险正持续加剧且已产生实质危害。比如，通过“AI换脸”捏造虚假讲话视频等引导公众舆论。对此，清华大学人工智能研究院基础理论研究中心主任朱军认为，技术是中性的，应加强对应用场景、使用者的监管，防止技术滥用等衍生风险发生，保障其应用可控。

　　大赛现场演示的人脸识别破解则展示了人工智能系统层面风险，它来自深度学习模型本身存在脆弱和易受攻击的缺陷，通过输入数据添加扰动，使系统作出错误判断，导致其可靠性难以得