人工智能 、物联网 、机器人技术对安全和责任框架的影响

欧盟委员会于今年2月发布《人工智能、物联网和机器人技术对安全和责任框架的影响》，在最新一期赛迪译丛中，赛迪智库安全产业研究所对该报告进行了编译。

报告介绍了新兴技术的特征，深入分析了欧盟当前的安全和责任框架在哪些环节不能适用于这些新兴技术，并建议采取适当的举措对现行《产品责任指令》和《通用产品安全指令》等法规进行调整，以解决现有安全和责任框架的不确定性。

　　 1、安全和责任框架概述

安全和责任框架的总体目标旨在保障所有产品和服务（包括集成新兴数字技术的产品和服务）的安全、可靠、同步运行，并有效修复已发生的损失。

当人工智能、物联网和机器人等新技术兴起时，建立明确清晰的安全和责任框架势在必行，以期保护消费者和企业的合法权益。

　 2、人工智能、物联网和机器人技术的特征及机遇

　　 新兴技术的特征

人工智能、物联网和机器人技术有许多共同特征，包括连接性、自主性、复杂性和数据依赖性。

　　 新兴技术的机遇

一方面，新技术通过提高产品的安全性从而使产品降低某些风险。

另一方面，物联网系统可以接收和处理不同来源的大量数据，提高产品召回的有效性，提醒用户避免产品的安全问题。如果生产商发现物联网产品在使用期间出现安全问题，可以直接与用户沟通，警告其相关风险，或者直接解决问题。

　　 3、人工智能、物联网和机器人技术对现有安全框架的挑战及应对

　　 新兴技术的连接性对传统安全概念提出挑战

连接性已成为新兴产品和服务的核心特征，对传统的安全概念提出了挑战。

欧盟产品安全法规尚未针对影响用户安全的网络威胁制定特殊的强制性要求。不过，《医疗器械法规》、《测量仪器指令》、《无线电设备指令》和《整车型式批准法规》中包含了网络威胁安全性的相关规定。《网络安全法案》为信息和通信技术（ICT）产品、服务和流程制定了自愿性网络安全认证框架。

　　 人工智能自主性与制造商期望存在偏差

人工智能产品和系统的自主性可能会使机器做出的决策与生产者的最初意图，以及用户的期望有所偏差。

目前，欧盟法律框架中的安全性通常指人身伤害威胁。但是人工智能应用的类人行为可能会给用户造成心理健康风险，应考虑将精神健康风险纳入立法框架。同时要求生产商明确其产品可能对用户（特别是弱势用户，例如被护理的老年人）造成的心理损害。

　　 数据依赖产生的安全风险需要保障机制

数据准确性和相关性可以确保人工智能系统按照生产者意图做出决定。

欧盟产品安全法规应该作出规定，要求制造商在设计阶段解决错误数据带来的安全风险。确保在人工智能产品和系统的使用过程中有良好的机制来保障数据质量。

　　 人工智能的不透明性使决策过程难以跟踪

人工智能产品和系统的不透明性可能会导致难以跟踪系统的决策过程，即所谓的“算法黑箱”。

有必要考虑制定更多对算法透明性、稳健性和问责制的相关法律规定。在发生事故的情况下，规定算法开发人员必须公开数据集的设计参数和元数据。

　　 软件更新对安全性构成风险

最终产品制造商有义务在产品投放市场时预见该产品中集成软件的风险。

欧盟产品安全法规仍需要对独立软件做出特定和明确的要求，确保人工智能产品和系统中的独立软件具备安全功能。此外，应规定制造商承担相关的强制性义务，以确保上传的软件不会在人工智能产品的生命周期内对安全性产生影响。

　　 新兴数字技术受复杂的价值链影响

在欧盟产品安全框架下，产品的安全性责任由生产者承担，包括产品中集成的各个部件。欧盟产品安全法规考虑了价值链的复杂性，并遵循“共同责任”的原则对多家企业施加了义务。

　　 4、人工智能、物联网和机器人技术对现有责任框架的挑战及应对

　　 新兴技术降低责任框架有效性

人工智能、物联网和机器人等新兴数字技术的特征可能会在某些方面影响责任框架，并降低其有效性。

与其他类似产品和服务相比，新兴数字技术产品和服务事故的受害者无法享受根据国家侵权法获得赔偿的保护，可能会降低社会对新兴技术的接受程度，增加应用阻力。

此外还需要进一步评估新技术对现有责任框架的挑战是否会导致法律适用的不确定性，可能会增加生产者和供应链中其他企业的信息和保险成本。

　　 产品、服务和价值链的复杂性增加索赔难度

人工智能应用通常集成在复杂的物联网环境中，相应提高了使用者的索赔门槛。

可以通过修订《产品责任指令》，减少人工智能相关受害者的举证责任，进一步有针对性地统一国家责任规则。

　　 连接性和开放性对网络安全义务提出挑战

因产品网络安全漏洞而造成的损害是否能得到充分的赔偿问题尚没有明确的法律规定。在现有的责任框架中，应该建立明确的网络安全义务，使运营商明确自身义务从而避免承担不必要的责任。

　　 自主性和不透明性造成索赔困难

人工智能的“算法黑箱”效应，使得人工智能应用的自主性造成的损害，很难获得赔偿。理解人工智能所使用的算法和数据需要具有专业分析能力和技术专长，受害者可能会因此付出高昂的代价。

此外，如果没有潜在责任方的配合，就无法访问算法和数据，因此导致受害者实际上无法提出责任索赔。

针对运行具有特定风险的人工智能应用，欧盟委员会正在寻求相关意见，以便有效补偿潜在的受害者。此外，欧盟委员会还在征求关于将严格的责任认定与潜在义务相结合，以制定可用保险的意见，以确保不论责任方的偿付能力如何，受害者都能获得赔偿。

　　 译 自 ：Report on the safety and liability implications of Artificial Intelligence， the Internet ofThings and robotics

　　 以上为部分内容，完整版如下：

 

责任编辑：姚治