赛迪观点：防范人工智能深度学习开源平台漏洞风险的建议

一、我国应用深度学习开源平台及安全现状

国外平台占据了我国近80%的市场。目前，世界主流深度学习开源平台主要被美国垄断，比如谷歌TensorFlow、脸书Torch 和PyTorch、微软 CNTK、亚马逊 MXNet 以及 Caffe、DL4J等。据 IDC 2020年《深度学习框架和平台市场份额》通知显示，我国正在应用的深度学习开源平台，市场份额前三位的是谷歌、百度和脸书。其中，国外平台市场总份额接近80%，占主导地位，百度飞桨平台市场份额占20%。

国内主要行业用户对国外平台依赖度高。在国内，为了方便使用开源组件提高开发效率，便于与国外开展技术和学术交流，网易、新浪、小米和美团等头部科技企业，清华大学、中山大学等知名院校，以及中国移动、联想等重要行业企业都在使用谷歌 TensorFlow 等国外平台，国外平台应用领域涉及通信、互联网、医疗、海洋等，业务类型包括通信网络割接、病例标注、海面温度预测，以及图像、自然语言理解、语音识别和推荐等。

主流开源平台普遍存在安全漏洞。目前，TensorFlow、Caffe、Torch 等国外平台均被曝出过安全漏洞。据开源软件社区 GitHub 数据显示，2020年以来，Tensorflow 被曝出安全漏洞百余个。其中，百度安全团队发现了75个可导致系统不稳定、数据泄漏、内存破坏等问题的安全漏洞；360公司发现49个。近期，360对国内外主流开源AI框架进行了安全性评测，累计7款机器学习框架（如 Tensorflow、PyTorch 等）被发现漏洞150多个，框架供应链漏洞200多个。其实，早在2017年，美国佐治亚大学、弗吉尼亚大学等院校就发现TensorFlow、Caffe 和 Torch 三个平台有15个漏洞，类型包括 DoS 拒绝服务攻击、躲避攻击、系统损害攻击等；腾讯安全团队发现 TensorFlow 组件存在重大漏洞，如果开发者编写机器人程序时使用该组件，黑客可轻易通过该漏洞控制机器人。


二、潜在的安全风险

漏洞极易通过开源平台被植入人工智能系统。Gartner 调查显示，99%的组织在其信息系统中使用了开源软件。开源代码和软件构成了深度学习开源平台系统的基础，开源代码和软件本身带有安全漏洞，很多开源平台还没有修复漏洞的响应机制。国家计算机网络应急技术处理协调中心的调查结果显示，近6年来，开源组件生态中漏洞数逐年递增，2020年新增漏洞数3426个，同比增长40%。2020年，国家信息安全漏洞共享平台发现开源软件 Apache Tomcat 存在漏洞，可能造成部分重要配置文件或源代码等敏感数据泄露，在一定条件下还可实现远程代码执行，使用者的服务器会被直接控制。人工智能系统内部连接紧密而复杂，算法存在以统计方式进行学习、完全依赖数据等固有特性，很多关键应用依存于后端的人工智能体系，而人工智能体系又依赖于开源平台提供的训练模型，黑客可轻易通过开源平台向人工智能应用植入漏洞或利用漏洞开发恶意模型，从而控制并篡改人工智能应用；一旦开源平台失守，必将引发连锁式崩盘，比互联网时代传统黑客攻击后果更为严重。此类漏洞预埋在平台很底层，迷惑性较强，在开源平台安全测试和认可缺位的情况下，大部分开源平台研究和应用人员都难以识别平台存在的安全风险。此外，基于深度学习开源平台开发的应用通常需要复杂的数据训练过程，导致恶意模型攻击短时间内很难被察觉。目前，国外开源平台牢牢掌控着重心资源和游戏规则，一旦有目的性地植入带有漏洞的开源代码并被恶意利用，人工智能应用的安全性和可靠性会大打折扣，从而造成重大财产损失和恶劣的社会影响。

开源平台漏洞将使我国经济运行面临挑战。2017年国务院印发的《新一代人工智能发展规划》提出，到2025年我国人工智能相关产业规模将超过5万亿元，成为带动我国产业升级和经济转型的主要动力。当前，人工智能正被加速用于制造、交通、金融、能源、公共服务等国民经济重要行业和领域，深度学习开源平台作为人工智能软件开发的底层基座，其组件中存在的漏洞可经由使用该组件的各类应用传播到各领域，引发规模化、连锁式和持续性的安全威胁，带来的损失难以估量。以智能网联汽车为例，近年来，车载智能网关、远程通信 t-box 等漏洞隐患被陆续披露，工业和信息化部收录的车联网安全漏洞信息已超过2000条，漏洞一旦被利用则将严重威胁人身财产安全。比如，2019年特斯拉 Model S 入侵事件，黑客仅通过远程入侵，就可控制车辆终端系统，通过系统存在的漏洞打开车门并开走；此外，还能向车辆发送“自杀”命令，使其在正常行驶中突然关闭系统引擎。

漏洞作为关键武器资源已被各国广泛储备。当前，国家间的网络空间对抗日趋激烈，有组织的国度级网络攻击频发。为了抢占网络空间对抗主动权，美、俄、欧等国家和地区积极发展网络空间作战力量，打造网络攻击武器库，并将漏洞作为一类关键武器资源进行储备。2017年“永恒之蓝”漏洞披露了美国囤积网络漏洞武器的行为。近年来，为丰富漏洞武器库，美国政府和军方通过设立漏洞赏金、举办漏洞挖掘比赛等方式收集了大量有价值的漏洞，同时对漏洞披露机制预留了较多例外项，以延缓或不披露特定漏洞。比如，2018年美国的《网络漏 洞披露通知法案》就要求国土安全部对漏洞进行国家安全评估，然后再决定是向制造商和公众披露漏洞还是利用新发现的漏洞攻击潜在对手。与传统网络安全漏洞不同，人工智能漏洞深嵌于算法及其所依赖数据，可经过系统体系化的“学习吸收”感染整个系统，导致密码设置等传统网络安全手段难以应对或修复，并产生崩盘式效应，极易成为美国等国家的新型武器。


三、几点建议

加强人工智能网络安全漏洞管理。一是落实《网络产品安全漏洞管理规定》，建立健全漏洞评估、共享、利用和管控等制度，规范漏洞发现、报送、披露和修复全流程，实现漏洞闭环管理。二是建设和完善网络产品漏洞信息收集共享平台，建立人工智能漏洞资源库，加强与国家信息安全漏洞共享平台 （CNVD）、国家信息安全漏洞库（CNNVD）等漏洞资源库的资源共享，共同保障国家漏洞资源安全和有效利用。三是借鉴美国漏洞收集经验，充分发挥政府引导、市场主体的作用，通过先期财政资金支持收购漏洞等方式，推动和营造企业、研究机构积极挖掘和主动上报漏洞的良性生态，强化制造强国和网络强国建设。

推动国产深度学习平台研发应用。一是将深度学习开源平台自主可控纳入国家规划并抓好落地实施，利用科技专项支持深度学习开源平台重心技术的研发，突破开源平台关键重心技术瓶颈，提升人工智能产业链的自主可控水平。二是加强国产自主可控深度学习开源平台的推广应用，利用首台（套）政府采购等政策，推动国产深度学习平台在人工智能创新应用先导区的“先行先试”应用，鼓励地方政府联合人工智能头部企业建设人工智能赋能中心，加快推动国产平台在通信、制造、交通、能源和医疗等重点行业的示范应用，逐步实现对国产平台的迁移和全替代。三是充分发挥相关产业联盟作用，鼓励和引导更多应用单位在国产深度学习开源平台上进行开发应用，构建合作共赢的人工智能产业生态。

健全“云-管-端”网络安全保障体系。一是加强通信网络 安全保障能力建设，建立健全网络安全风险监测、预警、通报 和处置机制，完善威胁发现、攻击阻断、溯源反制等技术手段， 定期开展网络安全检查、检测和评估等工作，保障通信网络安 全稳定运行。二是加强车联网、物联网等智能终端管理平台的 安全保障能力，完善车联网、物联网等平台安全标准体系，强 化平台与智能终端间的网络信任和安全通信体系建设，提升车 联网、物联网等平台的安全水平。三是加强智能网联汽车终端 的安全管理，建立健全物联网卡安全管理制度，支持建设智能终端设备漏洞检测平台，完善智能联网终端网络安全监测技术， 打造安全放心的智能终端设备应用生态。