辛小天、杨雪娇/文
随着ChatGPT作为一款现象级的AI产品火爆之后，各大互联网公司也纷纷入场表示正在研发或要推出类似产品。在浪潮澎湃之下，其身后暗藏的法律和伦理道德隐患也开始引发公众关注。ChatGPT这一类生成式AI产品涉及的法律风险包括：
知识产权侵权：包括产品本身可能挖掘他人具有著作权的作品作为数据库，用户在使用过程中也会涉及输入他人具有著作权的作品要求ChatGPT进行总结分析。
生成和传播虚假信息：ChatGPT本身无法核实数据来源的真实性，也不直接提供数据来源，用户无法得知信息的可靠性；另一方面，在缺乏足够数据进行深度学习的情况，模型给出的答案本身也会存在问题，很多网友就发现了ChatGPT在“一本正经地胡说八道”情况。
数据隐私和商业秘密：ChatGPT作为一款互动型的聊天机器人，基于对用户数据的收集和分析来作出回答，用户可能在毫无警觉得情况下向ChatGPT输入个人信息、商业秘密或其他敏感数据引发的法律风险，包括用户自身行为的侵权风险以及ChatGPT将这些数据作为训练数据进行使用时的合规风险。目前已有多家公司和机构例如摩根大通、花旗集团、沃尔玛和亚马逊等因担心信息泄漏和合规风险限制员工在工作场所使用ChatGPT。
此外，针对ChatGPT应用带来的学术不端和作弊问题，教育界和学术届也开始作出反应，对其使用进行抵制或限制。法国巴黎政治学院宣布禁止使用ChatGPT和其他所有基于人工智能的工具完成学习和考试任务。国内外学术期刊，例如Nature、《暨南学报(哲学社会科学版)》等也陆续发声，针对在论文创作中使用LLM（大型语言模型工具，例如ChatGPT）明确规则：一是LLM不能成为作者，因为其无法对作品承担责任；二是如果论文创作中使用过相关工具的，作者应在论文的方法、致谢、参考文献或其他适当部分进行明确说明。
针对ChatGPT引发法律和伦理风险讨论，欧盟委员会内部市场专员Thierry Breton在接受路透社采访时表示欧盟的《AI法案》就旨在解决人们对ChatGPT等AI技术带来的风险的担忧，并指出建立一个坚实的监管框架在高质量数据的基础上确保人工智能可信赖的重要性。
事实上，在促进AI创新发展的同时，确保AI的可信赖并降低AI发展和应用所带来的风险，已经成为了一个全球性议题，除了欧盟，其他重要的国际组织和国家地区政府也都发布了相关政策、法律或指引文件，探索AI监管的方式。尽管出于监管目的和初衷的不同，各国政府在具体监管方式的选择和侧重点上也有所不同，但为了实现AI创新发展促进人类福祉和减少、预防AI应用所带来的风险之间的平衡，避免过度立法和监管，在具体监管思路上，“基于风险的方法”（risk-based approach）已然成为AI监管中一个全球趋势。
一、“基于风险的方法”的AI监管
（一）何为“基于风险的监管”
“基于风险的方法”强调的是治理不应当以消除所有潜在的损害或者更广泛的“不利后果”为目标；相反，应当关注潜在不利后果的概率及其影响。一般认为，“基于风险的监管”（risk-based regulation）主要有四个特征：(1)风险提供了监管的对象；(2)风险成为监管的正当化依据；(3)风险架构和塑造了监管组织和监管程序；(4)风险塑造了责任关系。
基于风险的方法一开始出现在环境保护、食品安全、卫生健康等传统领域，而随着信息技术的发展，科技带来的风险的不确定，使得“基于风险的方法”在更加广泛，特别是科技前沿的领域得到应用，例如欧盟的《通用数据保护条例》（“GDPR”）中基于风险方法的个人数据保护，在AI领域，欧盟和美国的AI战略和政策文件中都明确提到了应当“基于风险的方法”。
（二）欧盟
欧盟强调个人基本权利的保护以及维护欧盟内部市场的统一，因此青睐于立法这一强监管工具。2020年2月，欧盟委员会颁布《人工智能白皮书》，提出要建立一个明确的AI监管框架。《人工智能白皮书》的出台意味着欧盟对AI的监管从伦理指引转向了立法监管。欧盟委员会认为，新的监管框架应采取“基于风险的方法”，以确保监管干预的程度是适当的，从而在有效实现监管目标的同时不会因为过度规范而对AI实践者特别是中小企业造成不成比例的负担。
1.基于风险的AI系统分类监管
基于《人工智能白皮书》，2021年4月21日，欧盟委员会发布了欧洲议事和理事会的《关于制定人工智能统一规则》（“《AI法案》”）提案。《AI法案》根据可能对人的基本权利和安全产生风险的等级将AI系统分为以下四个类别，并采取不同的监管措施：
2.重点监管：高风险的AI系统
《人工智能白皮书》将立法监管的目标锚定高风险的AI应用，在对AI系统进行分类监管的基础上，《AI法案》主要针对高风险AI系统，从以下三个层面对高风险AI系统的实践进行了强制性规范：
高风险AI系统本身应当满足的合规要求：包括建立风险管理机制、使用高质量的训练、验证和测试的数据、透明度和用户告知义务、人类的有效监管等；
高风险AI系统的参与者的合规义务：包括供应商、进口商、分销商、使用者等；
高风险AI系统的全生命周期合规：包括事前合格评估、产品投入市场后的售后监督、重大事件报告机制。
为避免高风险AI系统判断标准模糊而导致监管泛化，《AI法案》明确了可被识别为高风险AI系统的两个分类规则，并分别以附件二和附件三清单的方式对高风险AI系统进行了列举：（1）旨在用作由欧盟协调立法所覆盖产品的安全组件的AI系统，例如个人安保产品、医疗设备、无线电设备等；（2）其他影响基本权利进而被视为高风险的AI系统。
对于第（2）个分类规则，《AI法案》在法案附件三列举了八个领域。但并非只要是这八个领域的AI系统就会被视为高风险，只有在这八个领域下明确列举的AI系统应用才会被视为高风险：
(1)自然人进行生物特征识别和分类（例如用于对自然人的实时和事后远程生物识别的AI系统）
(2)关键基础设施管理和运营（例如作为管理和运营道路交通安全组件的AI系统）
(3)教育和职业培训（例如用于确定个人进入教育和职业培训机构的机会活分配、对学生进行评估的AI系统）
(4)就业、员工管理和开展自营职业的机会（例如用于筛选候选人申请、在面试中评估候选人的AI系统）
(5)获得和享受基本的私人服务和公共服务及福利（例如对自然人进行信用评分或者用于消防队员和医疗救援等紧急响应服务调度的AI系统）
(6)执法（例如用于评估自然人犯罪风险的AI系统）
(7)移民、庇护和边境管制（例如用于验证旅行证件真实性的AI系统）
(8)司法和民主程序（例如协助法官研究和解释事实和法律，并将法律适用于事实的AI系统）
《AI法案》还赋予了欧盟委员会经过评估确定一个AI系统对人的健康安全的损害或对基本权利构成不利影响风险的严重程度和发生概率相当于或大于附件三八个领域下已列举的AI系统时，适时对清单进行更新补充的权力。在开展评估时，《AI法案》规定了欧盟委员会应当考虑的评估标准，包括AI系统的预期用途；使用在多大程度上已经对健康安全造成了损害，或对基本权利造成了不利影响；可能受到损害或不利影响的人在多大程度上依赖于AI系统产生的结果以及处于弱势地位的程度；产生的结果在多大程度上是容易逆转等。《AI法案》是世界上首部AI监管法律，它的颁布在很大程度上会成为全球其他地区治理和监管AI的参考对象。此前，外界普遍预计《AI法案》将于3月底在欧洲议会进行投票，届时欧盟各成员国将就该法案的最终条款进行谈判。但根据外媒报道，欧洲议会的议员们目前尚未就一些基本原则达成一致，包括如何在数据隐私和民主参与等基本权利与避免扼杀AI领域的创新和投资之间取得平衡，而其中最具争议的问题之一就是将哪些AI系统归类为高风险。ChatGPT使得欧盟关于如何监管AI的讨论更加激烈，特别是对于大型语言模型工具等通用AI（General Purpose AI）如何监管以及是否需要划分为高风险等问题的讨论，可以预见《AI法案》在出台前还将面临漫长的权衡和调整。
3.意大利针对AI产品透明度和相称性原则的监管
2023年2月3日，意大利数据保护局作出决定，要求AI聊天机器人Replika停止处理意大利用户的个人数据。Replika是由位于美国的Luka公司研发的一款可以与用户进行图文和语音聊天的“虚拟伴侣”应用程序。意大利数据保护局认为Replika未遵守透明度原则，未对儿童设置年龄验证或者控制机制特别是在儿童不能订立合同的情况情况下，依据订立和履行合同所必需处理儿童个人数据构成非法处理数据。
在《AI法案》尚未生效的情况下，意大利数据保护局依据GDPR对Replika作出的决定，但在决定理由部分也显示了其基于风险的监管思路。意大利数据保护局认为Replika“提供的回复与儿童这一弱势群体所应得到的保护并不相符。”“Replika宣称‘虚拟伴侣’能够改善用户的情绪健康，帮助用户通过压力管理、社交和寻找爱情来了解他们的想法和平息焦虑。这些特征需要与一个人的情绪相互作用，并可能给尚未长大或情绪脆弱的人带来更大的风险。”
综上所述，欧盟的“基于风险的方法”AI监管路径是在对AI系统进行分类监管的基础上，针对可能对人基本权利和安全产生重大影响的AI系统特别是高风险AI系统所致损害建立一个全面的风险预防体系，这个风险预防体系是在政府立法主导和监督下（包括高风险AI系统需要在公共数据库注册以及高风险AI系统违反法律规定时严格的处罚措施等）推动企业自我规制，建设内部风险管理机制达成的。而如何判断评估确定将某一类AI系统归类为高风险AI系统也是这一立法监管路径的重点和难点。
（三）美国
在AI监管方式的选择上，美国强调AI的创新和发展，以维护美国作为全球AI创新领导者的地位，因此对于立法监管采取非常谨慎的态度，更倾向于通过组织自愿适用的指引、框架或标准等非监管方法对AI应用采取软治理。
1.监管政策制定：风险评估和风险管理
2020年1月，美国白宫科技政策办公室(“OSTP”)发布《人工智能应用监管指南》，为联邦机构针对AI应用制定监管和非监管措施提供指引，《指南》强调在现有法规是足够或颁布新法规不符合成本效益分析时，联邦机构应考虑不采取任何行动或者只采取可以解决特定AI应用所带来风险的非监管方法。
但不管是监管方法还是非监管方法，指南强调在具体监管政策制定时都应当遵守风险评估和风险管理的原则。一是监管政策的制定本身是一个风险衡量的结果，应当使用基于风险的方法确定哪些风险可接受，哪些风险可能带来不可接受的损害或者带来成本大于收益的损害。二是要求联邦政府机构公开风险评估的结果，并在适当的时间间隔重新评估其假设和结论，同时在此期间AI工具本身的失败或成功，也有助于确定真正适合识别和减轻AI应用风险的监管政策（不管是监管程度上还是具体措施）。
在风险评估方面，《指南》强调联邦政府机构要关注AI应用所带来风险本身的动态变化，并考虑AI系统在整个设计、开发、部署和操作过程中对算法和数据保护不足的风险，以及AI应用部署可能带来的反竞争效应。
在风险管理方面，《指南》指出对AI应用风险的管理应当与联邦政府机构在评估中确定的风险程度相适应，要求联邦政府机构根据AI技术成功或失败所带来风险和后果的程度进行分级监管。对于低风险的AI应用，联邦政府机构可以通过要求信息披露或者消费者教育等不那么严格和繁重的监管或非监管方法；而对于高风险的AI应用，联邦政府机构应当综合考虑以下因素制定具体监管政策：AI应用对个人的影响、部署的环境、备份系统的必要性或可用性、AI应用出现错误或失败时可用的系统架构或能力控制方法，以及如何检测和修复这些错误和故障。
2.自愿适用的风险管理工具
基于《人工智能应用监管指南》，OSTP和美国商务部下属国家标准与技术研究所(“NIST”)相继颁布了自愿适用的AI风险管理工具，用以指导AI相关方建立相适应的内部风险管理制度，在设计、开发、部署和使用AI系统过程中对风险进行识别、评估和处理。
2022年10月，OSTP发布《人工智能权利法案蓝图》，列出了美国公众应该享有的五项核心权利保护：安全有效的系统、算法歧视保护、数据隐私、通知和解释、人工替代方案、考虑和退路。《人工智能权利法案蓝图》还在每一项权利保护下详细阐述了该项权利保护的重要性，以及政府、企业或其他AI相关方在设计、使用和部署自动化系统时可以采取的具体步骤，以确保将这些权利保护考虑真正付诸实践。
2023年1月，NIST在经过几轮公开征求意见后正式颁布《人工智能风险管理框架》（“AI RMF”）的1.0版本。AI RMF将风险管理框架分为四个具体模块，即治理、映射、测量和管理（Govern, Map，Measure, Management），在这四个具体模块下又进行了分类和子分类，并分解成具体的行动和结果，以促进AI风险管理中的对话、理解，帮助组织在实践中具体解决AI系统的风险，负责任地开发可信赖的AI系统。
综上所述，美国“基于风险的方法”的AI监管，一方面为联邦政府机构制定AI监管政策提供了基于“风险评估和风险管理”的方法论，另一方面通过积极地为AI实践者提供自愿适用的风险管理工具，以实现对公民权利的保护而又不阻碍AI创新发展的目的。同时，值得关注的是，与欧盟相同，美国也拒绝对AI应用进行无差别监管，强调应根据AI应用带来的风险和后果进行差异化的分级监管。
二、我国AI监管现状
我国作为AI领域的领先大国，也在积极探索建立AI法律法规、伦理规范和政策体系。虽然国家在已颁布的AI政策文件未有直接的“基于风险的方法”相关表述，但当前的监管活动还是从多个方面体现了“基于风险的方法”的监管思路：
1.科技伦理治理
2022年3月中共中央办公厅、国务院办公厅发布《关于加强科技伦理治理的意见》。意见明确开展科技活动应遵守合理控制风险的原则，并重点强调对科技伦理敏感领域以及科技伦理高风险科技活动的监管，相关主要意见包括：从事人工智能、医学、生命科学等科技活动的单位，研究内容涉及科技伦理敏感领域的，应设立科技伦理（审查）委员会；从事科技活动的单位应建立健全科技活动全流程科技伦理监管机制和审查质量控制、监督评价机制，加强对科技伦理高风险科技活动的动态跟踪、风险评估和伦理事件应急处置；国家科技伦理委员会研究制定科技伦理高风险科技活动清单，开展科技伦理高风险科技活动应按规定进行登记。
人工智能公司在上市过程中也会面临关于科技伦理方面的审核和问询。例如北京格灵深瞳信息技术股份有限公司和旷世科技有限公司都被上交所要求披露和说明公司在保证人工智能技术可控、符合伦理规范的措施和规划，旷视科技还被进一要求说明分析公司在技术和业务开展过程所面临的伦理风险。
2.数据安全和算法治理
“基于风险的方法”的监管也体现在对作为AI核心技术的数据和算法的监管上。在数据安全方面，国家强调对数据进行分类分级管理，重点监管个人信息和重要数据，要求在进行对个人权益有重大影响的个人信息处理活动前开展个人信息保护影响评估，开展重要数据处理活动的要求定期进行数据安全评估等。
在对算法安全的监管上中国也走在了前列，对应用算法推荐技术特别是应用深度合成技术提供互联网信息服务进行专门的立法监管。根据《互联网信息服务深度合成管理规定》（“《深度合成管理规定》”），深度合成技术是指利用深度学习、虚拟现实等生成合成类算法制作文本、图像、音频、视频、虚拟场景等网络信息的技术，其中就明确包括篇章生成、文本风格转换、问答对话等生成或者编辑文本内容的技术，可见ChatGPT这类聊天机器人型的AI应用早已被国家纳入监管范围。
《深度合成管理规定》强化深度合成服务提供者的自我风险管理，立法主导从管理制度和技术规范上推动深度合成服务提供者建立内部的风险管理机制，包括要求建立健全用户注册、算法机制机理审核、科技伦理审查、信息发布审核、数据安全、个人信息保护、反电信网络诈骗、应急处置等管理制度，具有安全可控的技术保障措施。此外，提供可能导致公众混淆或者误认的深度合成服务，例如ChatGPT这类可以提供智能对话的深度合成服务的，《深度合成管理规定》还要求应当在生成或者编辑的信息内容的合理位置、区域进行显著标识，向公众提示深度合成情况。
3.特定行业领域的AI应用监管
对于AI应用可能对社会和公众权益造成重大影响的特定行业领域，特别是自动驾驶、医疗器械等，相关部门也在陆续起草和出台相关指南、标准和监管文件，例如《自动驾驶汽车运输安全服务指南（试行）》（征求意见稿）、《智能网联汽车道路测试与示范应用管理规范（试行）》《国家药监局器审中心关于发布人工智能医疗器械注册审查指导原则的通告》等进行重点监管。
4.地方层面的AI应用分类分级监管探索
2022年9月，深圳和上海相继颁布《深圳经济特区人工智能产业促进条例》（“深圳条例”）和《上海市促进人工智能产业发展条例》（“上海条例”），要求地方政府及有关部门对AI应用开展基于风险等级的分类分级治理。对于高风险的AI应用，深圳条例和上海条例设置了事前合规评估/审查的高门槛，深圳条例规定采用事前评估和风险预警的监管模式上海条例表明将实行清单式管理，开展合规审查。而对于对中低风险AI应用，深圳条例和上海条例都采用事先披露和事后跟踪/控制的治理模式，以鼓励创新的态度促进AI企业先行先试。
关于分类分级的具体监管办法将由两地人民政府另行制定。如前文在欧盟《AI法案》部分所述，如何判断评估确定将某一类AI应用归类为高风险AI应用是分类分级立法监管的重点和难点，深圳和上海的立法先行探索也将会为国家的立法监管提供宝贵经验。
三、结语：对AI相关企业的合规提示
与基于风险的监管相对，对于作为监管对象的AI企业而言，“基于风险的方法”主要体现为“基于风险的合规”(risk-based compliance)，这种方法侧重于因不合规而产生的风险，并利用对这些风险的评估指导合规工具的选择及资源部署，以最大限度降低风险和提高合规性[2]。
一方面，AI企业可以根据已有的境内境外基于风险的监管政策，以及所设计、开发和使用的AI产品所应用的行业领域、可能对社会及公众带来的风险和不利影响等，判断是否属于监管或者可能属于未来监管的重点，同时考虑到一些国家或地区例如欧盟的《AI法案》还具有域外管辖效力，AI产品如果存在海外市场的，还需要提前做好海外市场的合规布局。
另一方面，AI企业应建设内部的风险管理框架和流程。在具体合规风险管理框架搭建上，AI企业可以考虑从以下几个方面着手：
1.组织架构：明确AI伦理风险管理部门，负责企业内部的伦理风险管理政策制定、执行监督、AI产品的伦理审查以及重大问题的决策等；
2.内部的制度机制建设：建立AI产品全流程的伦理风险识别、评估和处置机制；建立健全数据安全、算法安全、信息安全等管理制度；建立伦理事件的应急处置机制；建立第三方合作伙伴（特别是数据来源方或者部署使用第三方的AI产品和技术）的风险评估和审查机制等。
3.技术管控措施：采取技术措施确保数据、算法和网络安全；开展数据治理，确保数据质量；开发系统日志记录，确保事故可追溯；A I产品的设计、开发和部署使用过程应当确保可以由人为进行有效监控，降低AI产品偏离预期用途使用带来的风险等。
4.人员管理：确立问责制，明确相关人员的权限和职责；对员工开展相关AI风险管理培训等。
5.用户权益保障：保障透明度，确保用户可以了解AI产品和服务的决策和运行机制；建立用户的反馈和投诉机制，为用户提供人工审查的途径等。
作者简介：
辛小天，北京德和衡（深圳）律师事务所合伙人、数字经济与人工智能业务中心总监，网络空间安全战略与法律委员会委员，清华大学创业引导年度荣誉导师。曾就职于MayerBrown JSM 律师事务所，美国美富律师事务所，通用电气及奇虎360 。擅长数据合规、互联网法律及合规风控、投融资以及并购法律、反垄断法、公司法及劳动相关法律、外商投资及外资公司设立相关法律。
杨雪娇，北京德和衡律师事务所执业律师，毕业于浙江大学和德国慕尼黑大学。擅长领域：民商事、互联网和TMT领域合规。
相关文章
