
编者按
欧盟的人工智能应用市场广阔,是AI企业出海的重要目的地;欧盟已率先出台全球首部全面规范人工智能的法律框架[注1]——人工智能法案(Artificial Intelligence Act,下称“AIA”[注2]),AI企业必须准确把握AIA的核心监管框架——一套以风险为基础的分级监管法(risk-based approach),并在该框架下准确理解并判定自身产品的风险等级,进而适用相应的合规要求。
12月13日,第六届国浩法治论坛在海口圆满举行,“人工智能与数字经济”专题对话环节聚焦行业前沿,奏响数智时代法治护航的先声。在该环节,国浩数字经济业务委员会暨法律研究中心秘书长、国浩北京合伙人廖理琳围绕“如何准确完成高风险分类并应对潜在问题”展开,通过各类典型场景示例,剖析风险评估的模糊地带及其应对建议,为读者形成可操作的分类决策框架与合规策略。
今日分享廖理琳律师的精彩演讲,以飨读者。

目 录
一、AIA项下的风险分类
(一) 高风险AI的“场景清单”:按图索骥的风险分类与例外
(二) 融入NLF:产品安全视角下的高风险AI
二、结语
AIA项下的风险分类
在AIA的监管框架下,并非所有人工智能(下称AI)系统[注3]都被一视同仁,而是按照“风险”程度划为四类:不可接受风险(Unacceptable risk)、高风险(High-risk)、有限风险(Limited risk)和最小风险(Minimal or no risk),再依“风险越高,监管越严格”的原则,选择和设计监管工具。[注4]
本文将关注点放在“高风险(High risk)”的AI系统,因其处于“可进入市场但受严格监管”的关键区间,且会触发最完整的合规义务(包括但不限于风险管理与数据治理、技术文档与日志留存、准确性/稳健性/网络安全、符合性评估与CE标识、欧盟数据库登记,以及投放后监测与严重事件报告等[注5] ),对企业的产品设计、上线与运营产生最大合规影响,因此,AI产品出海欧盟时,首问便是我是“高风险”吗?
围绕“高风险”的认定,AIA采用“双路径”分类,包括:作为/包含产品安全组件的系统(AIA第6(1)条),以及以特定使用场景为标准分类的系统(AIA第6(2)条及Annex III)。下文将分别介绍,并首先聚焦第6(2)条。
(一)高风险AI的“场景清单”:按图索骥的风险分类与例外
1.“场景清单”:AIA第6(2)条
就AIA第6(2)条而言,其分类逻辑相对直接——被收录于附件III的AI系统一律认定为高风险,而附件III则按具体应用场景作出列举与说明,概述整理可见下表;对被列为高风险的AI系统,其原因、依据则在AIA的序言进行了一一说明;而根据AIA序言第48条,其将AI系统划分为高风险类别的核心标准,即其对《欧盟基本权利宪章》(Charter of Fundamental Rights of the European Union,下称《宪章》)所保护的基本权利造成的负面影响程度。据此,下表将高风险AI系统、AIA“序言”阐释的归类依据、可能危及的基本权利(依据《宪章》)一一对应整理如下:

表1:AIA附件III高风险AI系统、归类依据及权利风险映射表
2.高风险分类的“出口”:豁免条件与评估机制
(1)高风险分类的豁免机制
AIA立法过程中也意识到[注6],即便列在附件III高风险情景中的AI系统,若其仅提供纯粹辅助性作用的、仅对人类行动或决策产生轻微影响(例如用于信息翻译或文档管理的AI系统),其实并不对法律权益构成重大风险。在此背景下,AIA在第6(3)条规定了第6(2)条的例外,即以下四种不属于高风险的情况:

表2:AIA第6(3)条高风险豁免情形一览表
(2)自然人画像:绝对高风险AI
但是,只要涉及到“自然人画像分析(profiling of natural persons)”功能的AI系统,始终应被视为高风险。[注8]
AIA中的“画像(Profiling)”是直接引用的《通用数据保护条例》(General Data Protection Regulation, (EU) 2016/679) 第4(4)条的一个概念,是指“对个人信息进行的任何形式的自动化处理,该处理利用个人信息来评估与某一自然人相关的特定个人特征,尤其是分析或预测与该自然人在工作表现、经济状况、健康状况、个人偏好、兴趣爱好、可靠性、行为、位置或动向等方面的情况”;
“个人画像”之所以必须被视为高风险场景,是因为它被认为是一种能够同时、系统性地冲击和危害《宪章》中多项重要权利的AI应用,它会深度挖掘海量个人信息,从而威胁到隐私和数据保护权(第7条和第8条),它通过将人简化为数据标签来限制其发展和选择自由,它损害了人的尊严(第1条)和职业选择自由(第15条)等自主权利,它可能依赖存在偏见的数据来延续和放大歧视,违反了非歧视原则(第21条);最后,其自动化处理导致不透明的“黑箱”特性,使得个人无法理解决策原因,从而剥夺了他们在权利受损时获得有效救济的权利(第47条)。
欧盟司法实践中一个典型的判例,是欧盟法院(CJEU)于2023年12月7日针对SCHUFA Holding案(案件号:C-634/21)[注9]。SCHUFA是德国主要的私营征信机构,它通过算法自动为个人计算信用评分(一种典型的画像分析),并将其提供给银行等第三方机构。在本案中,一名德国公民因其较低的SCHUFA评分而被银行拒绝了贷款申请,但SCHUFA以商业秘密为由,拒绝向其披露评分的具体计算方法和所涉个人数据。欧盟法院于2023年12月7日裁定,SCHUFA生成的信用评分本身即构成“自动化个体决策”,并对数据主体产生法律或同等重大影响,因而适用GDPR第22条的禁止及例外情形,SCHUFA作为评分提供者须遵守透明度、可解释性和申诉权等严格要求,从而明确了信贷评分机构在“个人画像”场景下的数据处理者责任,为各类AI驱动的自动化决策系统合规设定了重要先例。
3.风险如何量化?情景分类方法的理论基础与合规实践
当人工智能相关风险将被用作政府监管的依据,因而须建立评估和分类这些风险的统一方法。监管机构、标准组织及其他利益相关方多年来一直致力于开发风险评估框架和科学方法论。然而,许多损害要么完全不可量化,要么在可量化问题中掺杂了隐性的政策选择。[注10]
(1)分类的基石:当“风险”遇见“权利”
第一个政策选择便是将AIA的风险防范理念深植于《宪章》的权利保护框架,然而,当法律试图用“权利”这把尺子去度量“风险”这个复杂概念时,一系列关于合理性与精确性的问题便浮出水面。要理解AIA情景分类的潜在局限,我们必须首先审视“风险”与“权利”之间错综复杂的关系。
a.风险与权利的关系
“风险”并非严格的法律概念,从广义上讲,“风险”意味着带来不利影响的未确定因素[注1]。前人研究已用实例论证过在法律语境下对“风险”进行准确界定充满困难[注12],部分原因在于“风险”的内涵跨越统计、经济[注13]和政治科学[注14]等学科,同时还因为人们对风险的认知难以做到足够理性,往往会夸大低概率但高冲击事件的风险(如恐怖袭击或飞机事故),而低估高概率的日常风险(如肥胖或慢性病)[注15]。
在哲学与法律层面,“风险”不仅关乎概率。Judith Jarvis Thomson曾通过一系列“风险暴露”思想实验(例如“打开炉灶是否可能致使邻居死亡”)探讨[注16]:在何种情况下,对他人施加风险在道德和法律上可被接受,何时构成侵权或须承担责任。她指出,某些行为即使未造成实际损害或发生概率极低,仍可能侵犯他人权利。例如,露天焊接可能引发火灾,即使未发生事故,邻居仍可因潜在危险要求中止该行为。相反,在某些情形中,即便发生损害,行为也可能不被追责。例如驾驶员遵守交规正常行驶,若因动物突然窜出导致事故,其行为通常不被视为违法,责任有限。
由此,将风险定义为“某一危害发生的概率”与“其后果严重程度”(很大程度取决于其可能危害的“权利”)的结合[注17]——这也正是AIA所采纳的“风险”定义[注18]。
但就是由此定义出发,要对某项风险类型及其严重程度达成共识,也是困难重重。在关于AIA的立法谈判中,关于在欧盟应禁止哪些人工智能行为、又应将哪些AI系统划为“高风险”的问题展开了热烈的辩论。[注19]
b.难以评估的“风险”
正如学者们指出的[注20],AIA目前并未确立判定AI何时对社会与个人构成“高风险”的标准,而是由欧委会[注21]提供一份清单来确定某一特定AI系统归属的风险类别。与GDPR立法前长期积累的数据保护案例、规则、各国法律等基础不同,由于AI技术近年来的迅速发展,人工智能应用在短时间内积累的真实案例还不足以支撑其一套完善、精密、经得住时间考验的监管体系的构建,连欧委员也不得不承认“由于缺乏数据和监测人工智能这一新兴技术的手段,关于人工智能使用所造成危害的可靠且具有代表性的证据十分匮乏”[注22],因此,其在制定法案时只能过度地依赖公开咨询意见[注23]。而在咨询过程中,采用的封闭式问题和预设答案的方式,引发了对所收集数据的准确性和代表性的质疑[注24]。此外,咨询结果与最终法案之间也存在差异,在某些方面,法案内容甚至偏离了受访者所表达的共识[注25]。因而有观点认为,该法案所谓的“风险”导向的方法既没有建立在实证依据之上,也未能通过外部可验证的标准加以证明,而是高度依赖基于基本权利的路径(rights-based approach),及AI系统运用的场景,[注26]是特定时期政治妥协的结果,因此在很大程度上具有随意性[注7]。
对商业实践更不友好的是,AIA目前的监管框架仅关注到新技术的潜在风险并进而施加了合规成本[注28],却并未认可新技术的潜在获益更别提相应的支持政策[注29],若无法通过比例性评估减轻监管负担,将抑制创新,并丧失AI技术可为AIA旨在保护的价值观带来的益处;为此,有研究建议根据比例法以半量化的方式更加精准地评估风险。[注30]
从企业实务角度,需要关注监管框架发展、完善走向,更需要在产品设计阶段前瞻性地融入合规考量。具体而言,企业应建立跨部门的AI治理机制,将法务、技术、产品团队紧密协作,在系统开发初期就评估其可能触发的风险分类,避免后期成本高昂的合规改造。同时,鉴于AIA风险分类标准的演进性,企业还需建立持续监测机制,跟踪欧委会对AIA附件III的动态调整,以及各成员国执法实践的差异化趋势,确保产品合规策略与监管环境保持同步。
c.从规则到实务:高风险分类的模糊地带
尽管AIA设立高风险系统清单(附件III)及4类例外(第6(3)条)的分类“救济”框架,但是,实践中该框架仍难完全排除划定“高风险”时所存在的不确定性,而难点就藏在多项难以量化的、高度情境化的事实判断:
• 情景一(是否适用第6(3)条的例外):具体AI系统的输出是否对后续决定构成“实质性影响”,还是仅执行狭窄的程序性任务、前置性准备,或仅用于检测决策模式偏差、且保留充分的人类复核步骤;
• 情景二(是否落入第6(3)条但书):是否涉及对自然人进行“画像(profiling)”。
• 情景三:是否造成对健康、安全或基本权利的“显著风险”;
例如,一个AI驱动的“技能匹配与工作机会推荐”系统,即使企业声称该系统仅提供建议,最终的职业发展决策完全由员工和管理者自主做出,但如果绝大多数员工都倾向于接受AI推荐的机会,而忽略其他选择,那是否会被认为事实上“实质性影响”了员工的职业发展,进而应将其归类为“高风险”?同样,该系统的训练数据中女性在管理岗位的代表性不足,AI可能会较少向女性推荐管理职位,从而间接造成歧视,即便企业采取措施减轻偏见,但其是否对基本权利产生“显著风险”则是难以量化的。
这些判断取决于具体AI系统的用途、部署流程与组织治理设计,难以按照抽象规则一刀切。在实际市场中,不少AI产品游走于高风险边缘,以Microsoft Viva Insights这类办公“协作与行为指标”工具为例,官方将其定位为提升效率的数据洞察平台产品[注31],其“会议与通信负荷分析”功能在去标识并基于团队层级展示数据时,能被视为低风险。然而,若该功能下钻至个人层级并用于绩效评估,便可能转为高风险,显示出同一产品风险归类因功能用途有所不同。因此,监管机构对Microsoft 365等生产力工具在监控效应及数据处理中的潜在风险保持高度关注[注32]。
实际上,欧委会也在立法中意识到从规则到实务之间存在模糊地带,所以在技术上亦有意保留“事后+情境化”的裁量空间,在AIA第6(5)条项下要求在2026年2月2日内发布“操作性指南”与“高风险实例清单”[注33]。
(2)应对建议:拥抱动态合规,构筑风险管理多重防线
在目前监管口径尚未完全明确的背景下,谨慎的合规路径是:在产品投放市场或投入使用前,依AIA第6(4)条形成“非高风险”自我评估,形成书面记录并按规定在欧盟数据库登记。
在设计与部署中尽量避免对自然人进行画像,或确保画像不被用于直接影响个体权利义务的决定;对任何涉人事等高风险属性的输出中设置实质性、可追责的人类复核,并完善技术与流程留痕以支撑“非实质性影响/仅前置准备/偏差检测+人工复核”的主张。
同时,亦需持续跟踪第6(5)条项下即将发布的指南及实例对分类边界的细化,必要时主动比照高风险要求“向上对齐”,或主动调整部分功能以确保不落入高风险范畴,以在不确定期降低执法与合规风险。
(二)融入NLF:产品安全视角下的高风险AI
除了AIA第6(2)条项下较为直观的“应用场景”归类法,AIA通过嫁接欧盟现有的“新立法框架”(NLF)[注34],对作为/包含安全组件的AI系统,按照AIA第6(1)条进行高风险划分。所谓“新立法框架”(New Legislative Framework,下称“NLF”),即欧盟内部通行的一套高度协调统一的产品安全监管体系,其核心在于以欧盟范围的统一协调立法(Harmonisation Legislation,下称《协调立法》[注35])规定产品的基本健康与安全要求,辅以统一标准(Harmonised Standards)和严格的第三方符合性评估程序(Conformity Assessment),确保产品可加贴CE标志(CE Marking),在全欧盟范围内自由流通。而AIA第6(1)条所聚焦的“安全组件(Safety Component)”则是指产品或AI系统中用于实现该产品或AI系统安全功能的部件,其故障或失效会危及人员健康与安全或财产安全[注36]。
1.嫁接于产品法的高风险AI分类
AIA第6(1)条规定,只要AI系统满足以下两个条件,即应被视为高风险系统:
• 条件一:(i)AI系统作为产品的安全组件,或(ii)AI系统本身即为产品;在前述任一情形下,相应的最终产品需接受附件I《协调立法》的规制;并且
• 条件二:条件一中的最终产品根据《协调立法》的规定,在投放市场或投入使用前,必须经过第三方机构的符合性评估(third-party conformity assessment,下称“TCA”)
梳理条款规定,可按下图流程做出AIA第6(1)条下是否属于高风险AI系统的判定:

图1:AIA第6(1)条高风险评估流程图
从上述第6(1)条的内容可见,AIA对高风险的分类,部分仍脱胎于原有的产品责任法律框架(NLF)。实际上,在AIA立法初期,欧委会就曾考量并论证AI系统产品是否可以通过既有的产品责任法律框架来监管;[注37]但考虑到AI系统是具有自主智能系统,特别是其足以区分于其他传统“产品”的高度的自动化特征和极强的学习能力,立法者才最终决定对其单独立法;但为了确保及促进其和其他传统产品一样能安全、合规地在欧盟内部市场的自由流通,AIA设立第6(1)条项下的高风险分类机制,将AI系统相关的新概念(例如“AI系统”“安全组件”),嫁接在欧盟现有且成熟的NLF产品质量管理之上。
这带来两个直接问题:(1)原有监管体系下的风险分级标准是否仍然适用于AI系统;(2)AI新概念能否对接并适用于原有监管体系。
2.现有产品安全法规框架是否适用于AI产品
(1)基于产品安全法规的“风险过滤”机制
AIA第6(1)条并不自行确定产品的风险等级,而是利用一个现成的 “风险过滤器”,即《协调立法》项下的强制性TCA。如果一个AI系统被用于一个已经因为其自身固有风险而被《协调立法》强制要求进行TCA的产品上,那么这个AI系统就自动“继承”了这种高风险定性,被认定为高风险AI系统。
这是借鉴了欧盟现有的《医疗器械法规》(Medical Devices Regulation,(EU)2017/745,下称“MDR”)和《体外诊断医疗器械法规》(In Vitro Diagnostic Medical Devices Regulation,(EU)2017/746,下称“IVDR”)将设备分为不同风险等级,并要求高风险设备进行TCA的监管框架[注38]。例如MDR就按照器械的预期用途(intended purpose)及其给人体带来的潜在风险将医疗器械分为I类、IIa类、IIb类和III类[注39],风险最高的III、IIb、IIa类器械均需公告机构第三方符合性评估[注40]。
(2)现有机制的局限性与适用例外
但是,该框架并不适用于所有《协调立法》项下的产品,例如无线电设备产品,在其监管法令《无线电设备指令》(Radio Equipment Directive,2014/53/EU,下称“RED”)项下就没有明确的产品风险分类,更无法按照风险等级施行TCA。进一步梳理AIA附件I《协调立法》项下多个法规[注41],对没有明确风险分类的产品,强制要求进行TCA的情境往往是相关产品无法完全依赖现有“协调标准(harmonised standards)”(下称“协调标准”),例如产品未采用或仅部分采用协调标准、或尚无相关协调标准可用。
那么,对某一AI产品而言,是否协调标准缺位(或不完全适用)而导致的强制TCA就该是其被划为高风险的充分理由呢?这需要进一步了解什么是“协调标准”及其制定的流程及条件。
(3)“协调标准”缺失与高风险认定的悖论
根据AIA第3(27)条及欧洲标准化的第1025/2012号,“协调标准”是指基于欧委会为适用《协调立法》而请求受认可的标准制定机构(recognised standardisation body)[注42]制定的欧洲标准技术规范,可重复或持续使用,但并不强制遵守[注43]。制定和采用协调标准对于供应商来说使得不同主体的创新方案能够协同工作,从而促进新产品、服务和流程的衔接和发展[注44],而对于产品受众来说有利于其高效地信赖和接受创新的产品[注45]。
但并非所有新产品都能及时配备适用的协调标准,一套协调标准的制定始于欧委会的标准化请求,经相关机构开发并通过合规性评估后方能发布[注46]。在欧盟当前的标准化环境中,协调标准制定滞后主要因技术发展过快、领域复杂性和经济驱动不足(如某些无线电设备市场需求低),而标准制定本身又需大量协调工作(如GSM成功依赖多方合作[注47])。特别考虑到欧洲标准化组织(CEN/CENELEC/ETSI)成员广泛,利益相关者在新技术上常难达成共识。上述技术性困难导致某产品的协调标准难产,却在AIA项下成为该产品划为“高风险”的原因,显得依据不足。
3.AI新概念能否融入现有法律框架?
AIA引入的涉AI概念对原有NFL而言,很大程度是独立的、特定的内容,其是否能够与所有《协调立法》无缝对接、良好运作其实也存在挑战。
以AIA项下的“安全组件”概念为例,其在AI语境下并未包含保障网络安全(cybersecurity)的组件[注48],但是,对《协调立法》之一的RED项下的“安全组件”来说,2021年的《RED授权条例》[注49]已将其涉及的安全内容扩大到了网络安全方面[注50]。这使得RED项下安全组件所需保障的内容,超出了AIA项下对应部分的保障范围(即仅保护“人员健康与安全或财产安全”)。以智能手机中的无线电模块嵌入的AI异常检测系统为例,该AI系统可监测数据流、识别并阻止未经授权的数据传输或隐私泄露,该AI系统符合RED第3(3)(e)条对保护用户隐私安全的要求,可被列为RED项下的网络“安全组件”,但可能因其失效不直接导致物理伤害、亦并不直接保护“人员健康与安全或财产安全”,所以在AIA项下不属于“安全组件”,不被放到高风险的分类,以至于该等AI系统间接衍生的数据安全风险、个人隐私泄露的风险乃至因此造成的银行账户被盗等财产风险可能缺少有效的监管。
同时,关于概念界定上,在关键数字基础设施(critical digital infrastructure)领域,什么是“安全组件”还依赖AIA序言第55条的进一步说明,该条款强调安全组件必须"直接"(directly)保护基础设施物理完整性或人身财产安全,且明确排除仅以网络安全(cybersecurity)为目的的组件。然而,该解释中对"直接性"的要求在现实中边界不清,"直接"是否限于物理损害的即时因果链(如电磁辐射伤害),抑或包含一定程度的间接衍生风险?例如就智能电网负荷分配AI系统,虽非专门为人员、财产安全而设置的系统,但若其遭遇网络攻击,导致AI错误分配电力以致区域电网过载熔断,其间接后果仍可能非常严重[注51]。
同时,还需注意到,关键数字基础设施若将AI系统作为其管理与操作中的安全组件,该AI系统根据AIA附件III(2)也会被归为高风险。而当关键数字基础设施(例如6G网络)由无线电设备构成或依赖其作为组成部分时,就有可能带来重复评估的情况。例如,当AI系统作为天线的安全组件时,其在投放市场或投入运行之际即需接受评估;若该天线随后被集成至6G网络,且该天线的AI系统进而成为网络的安全组件,则该AI系统作为6G网络的一部分必须再次接受评估。因此,同一要素可能因是否已集成于网络而接受两次、且标准不同的评估:无线电设备中安全组件的合规评定须由第三方执行,而关键数字基础设施的合规评定则由AI提供者自行完成。
结 语
在探讨AIA高风险分类框架的过程中,我们从风险分层逻辑入手,深入剖析了双路径机制的运作细节、附件III情境的豁免例外、分类模糊地带的判断挑战,以及NLF框架下标准缺位与概念对接的实际难题,这些内容不仅揭示了监管的严谨性,也暴露了其在AI动态环境中的适应性考验。
AIA对高风险的双路径分类体现了欧盟以基本权利为导向、叠加成熟产品安全框架的监管路线,在实务上提供了可执行的入口标准,但也不可避免地引入了三类不确定性——一是情境依赖与证据驱动的边界判断(如“实质性影响”“显著风险”“画像”),二是将“是否需TCA”作为高风险代理指标在协调标准缺位时可能失真,三是AI概念与部门立法(尤其网络安全范围)的错位与重复评估。
基于此,企业应当将“先分类、再设计与投放”落到可审计的流程上:在市场投放前完成并保存第6(4)条项下的“非高风险”自我评估与登记;通过用途限定与系统设计尽量落入第6(3)条豁免(狭窄程序性任务/结果改进/模式检测/前置准备),避免或隔离画像功能;对涉人事与权利影响的输出设置实质性、可追责的人类复核与日志留痕;紧跟第6(5)条的操作性指南与高风险/非高风险实例清单,必要时对关键控制“向上对齐”至高风险要求以降低过渡期监管风险;同时做好与部门产品法规的接口管理(梳理是否触发TCA等),通过模块化架构与技术文档映射,减少重复评估与标准错配带来的负担。如此,企业不仅能在现阶段的规则与标准不完善中稳妥合规,也能把合规转化为可复用的工程化能力,加速进入并服务欧盟市场。
(本文根据国浩北京合伙人廖理琳在第六届国浩法治论坛中的发言整理。)

注释及参考文献
作者简介
廖理琳
国浩数字经济业务委员会暨法律研究中心秘书长、国浩北京合伙人
业务领域:科技、电信与互联网,投资与并购、建设工程与房地产
邮箱:liaolilin@grandall.com.cn
【 特别声明:本篇文章所阐述和说明的观点仅代表作者本人意见,仅供参考和交流,不代表本所或其律师出具的任何形式之法律意见或建议。】

