二、关于数据保护权及其价值前提的国际共识

在人工智能用于数据分析而导致社会结构转型的过程中，有两种法律现象很值得我们关注和深入研究。一种是大数据预测式警务系统。通过对大数据的机器学习，人工智能可以精准把握行为方式及其趋势，这有助于刑事案件的侦查和证明，也有助于对城市犯罪进行预防。5G通信系统使大数据和人工智能的应用范围更广，技术安装和操作更便捷。这种预测式警务起源于洛杉矶，然后在美国其他城市以及欧洲、亚洲的一些城市普及，在中国也有广泛的应用。6值得注意的是由此引起的法律和权利的原理性变化。预测式警务的根据是过去的行踪以及社会状况的大数据，在数据处理之际必须按照一定指标对个人进行分类，实际上就是给各个公民贴上标签进行区别对待。分类、贴标签以及重点监控的操作很容易受到大数据内在的系统性偏误的影响，出现算法歧视的问题。一旦根据某些指标和标签预测某部分人存在较强的犯罪倾向，人工智能系统就会促使警察部门加强对他们的监控，实际上就采取了不同的法律待遇，有违法律面前人人平等的原则。更重要的是，现代法治国家在刑事领域特别强调无罪推定原则以防止冤枉无辜，但预测式警务针对特定人群提前采取监控和防范的举措，容易产生疑人偷斧的效应，造成故入人罪的错误，在一定意义上也可以说对他们的刑事追究其实是以有罪推定为前提的。这就导致既有的基本权利观念发生蜕变。

另一种是联合信用惩戒系统。为了改进社会信任度、惩戒各种失信行为，近年来中国兴起了信用评价活动。其中一个非常有代表性的实例就是芝麻信用的打分和等级化，由蚂蚁金服根据身份地位、信用履历、履约能力、行为偏好、人脉关系等因素和淘宝、天猫、支付宝等平台积累的大数据综合计算，以350分为下限、950分为上限。具体的等级划分如下：350分到550分属于信用较差，550分到600分属于信用中等，600分到650分则信用良好，650分到700分是信用优秀，700分到950分是信用极好。在芝麻信用系统里，信用分是与个人享有的权利挂钩的，例如信用较差的只能使用支付宝的快捷支付转账、缴纳水电费等基础功能，信用良好的则可以享有免租车押金、免租房押金等优惠。一般而言，芝麻信用分超过700的属于信用极好的群体，可以享受信用医疗、快速退税、无抵押借贷等特权，还可以在申请部分国家签证时不必提交资产证明、在职证明、户口本等各种资料。7类似的信用评分做法在欧美金融界也已经悄然流行经年。这种信用评分本来是以激励为宗旨的，但换个角度来看当然也有惩戒效果。所以中国的行政执法部门和司法机关为了改进债权回收、债务履行的绩效，纷纷与芝麻信用评分系统开展合作。例如最高人民法院系统在2015年与芝麻信用签署了对失信被执行人信用惩戒备忘录，全面限制相关人员的消费，以解决长期困扰司法当局的“执行难”问题。但是，从正义和法律的角度来看，各种信用打分特别是联合信用惩戒系统也存在一些隐患，其中最大的问题是把人分成三六九等并贴上标签，容易造成一个差别化、等级化的“打分社会”，助长某些权利上的歧视，甚至形成所谓“自动不平等”“数字济贫院”的事态。8

这两种司空见惯的现象说明，人工智能的算法公正以及数据伦理的确是当今世界的法学正面临的重大课题。在人工智能治理方面，2016年构成一个重要的界标。对于从那时起国际社会形成相关原则和规则的主要动向，笔者曾经在一篇论文中做过如下概述9：2016年4月，欧洲议会法务委员会召开了关于机器人和人工智能的法律和伦理问题的听证会，并在5月公布了与机器人相关的民事法律规则的报告书草案。2017年2月，欧洲议会通过《向欧盟委员会提出的关于涉及机器人民事法律规则的提案》，建议设立专门的欧盟机构、采纳智慧机器人登记制、明确严格的损害赔偿责任、保障知识产权等，要求欧盟委员会制定相关的欧盟法律。这个提案还建议确立机器人研发者的伦理行动规范，其中包括尊重基本人权、预防原则、包容性、问责、安全性、可追溯性、隐私权保护、效益最大化和危害最小化等内容。102018年5月25日，欧盟开始施行《一般数据保护条例》（GDPR），要求人工智能研发涉及个人信息处理时要通知本人，受到影响的个人有权获得解释。其中有些举措比美国更加严格，对违反该法规的企业采取重罚政策。这项法规对数据向其他国家的转移业务也生效。112018年12月，欧盟委员会AI高级专家组发布了《人工智能开发和适用伦理指南》草案，以《欧盟基本权利宪章》为基准，力争形成值得信赖的、负责任且没有偏见的人工智能，为此提出了七条关键要求。12这个伦理指南从2019年夏季开始试行，所有企业、政府部门以及社会团体都可以参加欧洲人工智能联盟（European AI Alliance），通过共同遵循伦理指南，在数据、算法、技术等方面推进伙伴关系。这里要补充的新信息是，2019年4月，欧盟高级专家组发布《可信任人工智能指南》，把合法性、伦理性、鲁棒性作为可信任人工智能的构成元素，并提出了根据基本原则、主要要求而制作的评估项目清单。2020年开始，欧盟对GDPR的某些过时的内容进行重新审视并起草了新的法案。

与欧盟几乎同步进行，美国政府从2016年5月开始正式研讨人工智能的法律、伦理以及政策等方面的问题，为决策进行准备。当年10月白宫发表了题为《为人工智能的未来做准备》的报告书，提出人工智能的相关系统必须可控、公开透明、可理解、有效发挥功能、与人类的价值和愿望一致等原则。13与此同时，国家科学技术会议网络和信息技术研究开发小委员会还发表了关于运用联邦政府预算研究人工智能的方针《美国人工智能研究开发战略计划》，提出了副作用最小化的要求。142019年6月，美国国家科学技术理事会发布了这项战略计划，特别强调要提高人工智能系统的公平、透明度以及建立问责制。但在立法方面，美国没有采取统一方案，而是由各州酌情自行立法，为立法的社会实验以及企业、行业的自治和创新留下了较大空间。由亚马逊、DeepMind、谷歌、脸书、IBM、微软六大巨型网络平台公司发起，欧美产业界在2016年9月还缔结了关于人工智能的伙伴关系，旨在构建一个研究和讨论人工智能技术改进和社会影响的开放性平台，并发表了关于确保社会责任、采取防护措施等八项信条。来自不同机构和学科的专家也按照人工智能“可接受、负责任”（Acceptable Intelligence with Responsibility）的理念结成伦理专题社群，进行关于失控风险的脚本分析并提出对策建议。

日本总务省信息通信政策研究所通过系列研讨会在2016年10月制定了《人工智能开发指针方案（征求意见稿）》，经过讨论修改，在2017年7月正式公布《为国际讨论而作的人工智能开发指针方案》。日本方案的基本宗旨是：尽管人工智能的技术创新和互联网化有望给经济和社会生活带来各种各样的效益，但也存在黑箱化和失控的风险。人工智能是跨越国界互联互通的，因此相关的效益和风险也势必跨越国界产生连锁反应。在这个意义上，智网社会的治理不可能局限在一国范围内，而应该形成全球化的治理框架。为此，有必要通过开放式讨论在利益相关者中凝聚国际共识。在人工智能研发的初期阶段，通过立法来进行规制有可能导致创新活动的萎缩，因此对刚性规范的制定应持慎重态度，不妨更多地借助“软法”等非正式的有序化机制。15日本的人工智能开发指针方案提出了五大理念：（1）人通过与人工智能网络共生而共享其恩惠，并建立一个尊重人的尊严和个体自主性的“以人为本”的社会；（2）利益相关者应该对作为非约束性软法的指针及其最佳实践经验进行国际共享；（3）应该通过创新的、开放式的研发活动和公平竞争增进社会效益，在尊重学术自由等民主主义社会价值的同时防范风险，确保效益和风险的适当平衡；（4）坚持技术的中立性，注意不给开发者造成过度负担；（5）对指针方案的内容不断斟酌，根据需要灵活进行修改。16

在中国，从2017年国务院颁发并实施的《新一代人工智能发展规划》可以看出，关于数字化社会秩序构建的基本理念、主要方法、立法重点都是非常清晰的。值得高度评价的是，规划指出有必要积极参与人工智能全球治理，加强机器人异化和安全监管等人工智能重大国际共性问题研究，深化在人工智能法律法规、国际规则等方面的国际合作，共同应对全球性挑战，并且在全球范围内优化配置创新资源。特别是规划关于人工智能治理的九条原则，即共享互信原则、个体尊严原则、民主参与原则、国际合作原则、相机治理原则、公开透明原则、双重规制原则、追踪制裁原则、预防响应原则，17这些内容都是与国际接轨的。当然其中也有一些中国特色，比如说第五条关于相机而动的治理，与网络社会的特征相吻合，也反映了中国传统治理方式的影响。还有双重规制原则，也体现了中国行政主导、综合治理的特色。

2019年，国家新一代人工智能治理专业委员会制定《新一代人工智能治理原则——发展负责任的人工智能》，明确提出了八条基本原则，即和谐友好、公平公正、包容共享、尊重隐私、安全可控、共担责任、开放协作、敏捷治理。其中特别值得注意的是责任分担和共担的方式以及对敏捷治理的要求。18实际上，无论是数据治理，还是算法治理，都包括制度治理与技术治理这两种不同的方式或者层面。制度治理主要表现为法律、法规、标准、指南、政策以及伦理规则等，硬法、软法都有。有必要指出，2019年世界人工智能大会法治论坛上提出的法治导则，把算法纳入专利保护的范围，这体现了中国制度治理的重要成果；另外，关于人工智能侵权的责任，强调根据过错程度进行分担，也具有鲜明的中国特色。而技术治理则主要表现为人工智能操作中的技术细则以及系统日志、记录软硬件的情况、监督数据的收集等等，还包括同态加密、安全多方计算、联邦学习、可信计算等隐私增强技术（PETs）的采用。值得注意的是，制度治理和技术治理的这种耦合是理解人工智能治理规则体系的重要视角。

综上所述，2016年以后的国际社会就人工智能治理以及数字权利保护达成的基本共识如下：（1）对国际通用的指针、标准等采取合作态度。包括确保数据空间互联互通，必须共有相关信息，参照国际标准和规格进行人工智能系统及算法的设计，实现数据格式的标准化，公开应用程序编程接口以及协议，揭示知识产权的特许合同条件，等等。（2）实现技术的中立性以及透明性。为此需要实现人工智能系统输入和输出的检验可能性，对演算结果要履行说明义务。（3）实现人工智能的可控性。应该由其他人工智能系统进行监视和警告，实现技术与技术的制衡，并为人工智能系统的停止、网络的切断和修理预先做好充分的准备。（4）优先保护人的安全。算法设计应该坚持的价值优先顺位为生命、身体、财产。对于数据和算法的安全性，要对利用者和利益相关者履行充分说明的义务。这种共识也反映到了2019年5月公布的《OECD关于人工智能的政府间政策指导方针》和同年6月公布的《G20人工智能原则》之中，倡导以人类为中心、以负责任的态度开发人工智能和培养数字生态系统。新兴权利的形成和发展正是以这样的共识为前提条件的。

如果把人工智能治理分为数据治理、算法治理以及应用系统治理这三个不同层面来具体考察国际社会已经达成的共识，还可以发现其中存在不同的原则和规制，或者各有其重点内容。在数据治理层面，特别强调审慎处理个人敏感信息，侧重保护隐私以及个人信息安全，并要求消除数据噪音，提高其质量和规格化程度。在算法层面，以透明性、准确性、可靠性、可解释性、可验证性、可追溯性作为衡量的标准。在应用系统层面，追求向善性和无偏性等目标。19仔细推敲又可以发现，在人工智能治理方面似乎若隐若现存在欧盟和美国这两种不同的模式。欧盟始终侧重统一立法，特别强调数据安全和算法公正，并倾向于事先规制。例如《一般数据保护条例》严格限制数据跨境流转，降低数据跨境传输的风险，并且要求企业履行事前审批手续。与此形成对照的是美国，采取逐步立法的渐进路线，针对人工智能典型应用场景分别制定特殊法规，更强调数字经济的开放性和竞争性，鼓励数据有条件的自由流通，倾向于事后救济，例如建立数据泄密通知机制。20对不同层次、不同模式的问题状况进行梳理，有利于新兴权利群的体系化，特别是从宪法与民法、基本权利与一般权利、道德与商务等不同维度来进行分类。