人工智能：机遇挑战和安全风险并存

在科技发展史上，技术的进步和变革都会带来“双刃剑”效应。从人工智能概念的提出，到人工智能应用的落地，已经影响到社会发展的诸多方面，而人工智能技术本身的安全问题和与此相关的安全威胁，同样不容忽视。在各国出台国家战略、政策法规、制度措施等助力人工智能发展的同时，人工智能的安全、风险、法律与伦理等问题，值得关注。

新一代人工智能（AI）作为一项具有颠覆性的技术，正成为影响未来社会最重要的技术领域，世界各国纷纷出台AI国家战略，助力AI的创新与发展。然而，在AI的发展进程中，安全与风险问题也随之上升到前所未有的高度。AI的风险与威胁，不仅会导致法律、伦理等方面的风险，同时，会引发社会、经济、军事等重大领域的风险与安全。

2017年7月，国务院发布的《新一代人工智能发展规划》明确要求，在大力发展人工智能的同时，必须高度重视可能带来的安全风险挑战，加强前瞻预防与约束引导，最大限度降低风险，确保人工智能安全、可靠、可控发展。2018年10月，习近平总书记在主持中共中央政治局第九次集体学习时强调，要加强人工智能发展的潜在风险研判和防范，维护人民利益和国家安全，确保人工智能安全、可靠、可控。要整合多学科力量，加强人工智能相关法律、伦理、社会问题研究，建立健全保障人工智能健康发展的法律法规、制度体系、伦理道德。

一、关注AI致命性自主武器对人类的威胁

2017年11月，七十多个国家的代表出席了在日内瓦举行的联合国《特定常规武器公约》（CCW）大会。在大会上，伯克利大学教授、资深AI研究者斯图尔特·罗素（Stuart Russell）公布了一段十分恐怖的视频，一群形似“杀人蜂”的小型机器人，冲进课堂，通过人脸识别和精准定位瞬间杀死了一群正在上课的学生。视频中的这种形体类似杀人蜂的机器人，其内置了各种传感器、广角摄像头、支持面部识别，同时装载3克炸药。此外，它还具有反狙击（anti-sniper）技术，完全基于AI，可轻易躲避人的抓捕。通过面部识别技术，该机器人可快速锁定猎杀目标，对准额头一击致命，这个视频让所有参会代表心惊胆战。

从人类诞生起，一共经历了两次武器革命：第一次以火药为代表，包括枪械和炮弹；第二次以核武器为代表，包括裂变原子弹和聚变氢弹等。每次武器革命，都给人类带来了数不尽的灾难。然而，随着新一代AI的发展，“致命性自主武器”（lethal autonomous weapons，LAWS）技术越来越成熟