□ 蔡培如

歐盟《人工智能法案》是全球首部對(duì)人工智能進(jìn)行全面監(jiān)管的綜合性立法，其中，因一定情形下的社會(huì)評(píng)分被認(rèn)定為會(huì)產(chǎn)生“不可接受的風(fēng)險(xiǎn)”而禁止在歐盟使用。

歐盟人工智能立法理路與社會(huì)評(píng)分受禁背景

基于人工智能系統(tǒng)應(yīng)用對(duì)基本權(quán)利所產(chǎn)生的損害風(fēng)險(xiǎn)，歐盟將人工智能分為“低風(fēng)險(xiǎn)”“有限風(fēng)險(xiǎn)”“高風(fēng)險(xiǎn)”“不可接受的風(fēng)險(xiǎn)”四個(gè)等級(jí)，并施加強(qiáng)度不同監(jiān)管要求（即“基于風(fēng)險(xiǎn)的路徑”），形成“成比例的監(jiān)管體系”。其中，“不可接受的風(fēng)險(xiǎn)”指可能被濫用，可能為實(shí)施操縱、剝削和社會(huì)控制行為提供新穎而強(qiáng)大的工具，與歐盟價(jià)值觀相悖的人工智能應(yīng)用風(fēng)險(xiǎn)。

具體就社會(huì)評(píng)分受禁的背景而言，歐洲一些國(guó)家正在采用以風(fēng)險(xiǎn)評(píng)估為代表的社會(huì)評(píng)分，這引發(fā)了不透明、大規(guī)模監(jiān)控、歧視等問題。在SCHUFA案中，歐盟法院根據(jù)《通用數(shù)據(jù)保護(hù)條例》（GDPR）第22條，認(rèn)為原則上應(yīng)禁止使用完全自動(dòng)化決策。本次人工智能立法正是對(duì)數(shù)據(jù)法規(guī)范模式的補(bǔ)充和完善。

什么樣的社會(huì)評(píng)分屬于不可接受的風(fēng)險(xiǎn)

根據(jù)《人工智能法案》第5（1）（c）條規(guī)定，可以從主體要件、目的要件、手段要件和效果要件四個(gè)方面認(rèn)識(shí)受禁止社會(huì)評(píng)分的立法演進(jìn)及具體構(gòu)成。

（一）主體要件的變化：不再限于公共機(jī)構(gòu)

最初，只有公共機(jī)構(gòu)或者其代表實(shí)施的社會(huì)評(píng)分行為才屬于受禁止的范圍，隨后歐盟意識(shí)到私人開展的社會(huì)評(píng)分同樣可能產(chǎn)生無法接受的風(fēng)險(xiǎn)，立法便將受禁主體擴(kuò)展到私人。

（二）目的要件的變化：不再要求“以一般用途為目的”

起初立法禁止的是為一般用途而對(duì)自然人進(jìn)行的社會(huì)評(píng)分，具體可能指對(duì)個(gè)人可信度或?qū)€(gè)人總體道德水平的評(píng)估。后期的立法刪去了目的要件，于是出于任何目的的社會(huì)評(píng)分都可以落入禁止范疇。

（三）手段要件的變化：數(shù)據(jù)源的擴(kuò)展

首先，在數(shù)據(jù)類型方面，社會(huì)評(píng)分是對(duì)多重場(chǎng)景下的“社會(huì)行為”數(shù)據(jù)或“個(gè)人的或人格的數(shù)據(jù)”作出的分類、評(píng)估。寬泛表達(dá)意在盡可能包含所有數(shù)據(jù)類型，以避免爭(zhēng)議。

其次，在數(shù)據(jù)來源方面，基于自然人已知的、推斷的、預(yù)測(cè)的個(gè)人的或人格的特征而作出的評(píng)估、分類都屬于社會(huì)評(píng)分，其中“推斷的”數(shù)據(jù)是后期增加的。

最后，在數(shù)據(jù)時(shí)間跨度方面，盡管最終文本未規(guī)定用以社會(huì)評(píng)分的數(shù)據(jù)是多時(shí)間點(diǎn)的，但要求社會(huì)評(píng)分是在一段時(shí)間內(nèi)對(duì)個(gè)人所作的評(píng)估，這表明歐盟真正試圖禁止的是具有一定時(shí)間持續(xù)性的評(píng)分行為。

（四）效果要件：無實(shí)質(zhì)變化

在立法過程中改動(dòng)較少的“效果要件”，可分解為兩個(gè)需要同時(shí)滿足的條件：第一，社會(huì)評(píng)分對(duì)個(gè)人或其群體造成了不利對(duì)待；第二，上述不利對(duì)待至少存在如下兩個(gè)問題之一，其一，造成不利對(duì)待的社會(huì)場(chǎng)景與評(píng)分所使用的數(shù)據(jù)的產(chǎn)生或收集場(chǎng)景是不相關(guān)的，其二，不利對(duì)待不具有正當(dāng)性，或與個(gè)人的社會(huì)行為及其嚴(yán)重程度是不成比例的。

綜上，歷經(jīng)多方多次的提議、協(xié)商和妥協(xié)，受禁社會(huì)評(píng)分中的主體要件、目的要件不復(fù)存在，手段要件又極為寬泛，實(shí)際上只有效果要件才真正具有判斷價(jià)值。

為什么特定情形的社會(huì)評(píng)分會(huì)造成不可接受的風(fēng)險(xiǎn)

（一）以歐盟基本權(quán)利保護(hù)為目標(biāo)的風(fēng)險(xiǎn)監(jiān)管體系

面對(duì)人工智能系統(tǒng)帶來的一系列問題，歐盟提出應(yīng)當(dāng)將實(shí)現(xiàn)和保障歐盟價(jià)值和基本權(quán)利作為人工智能立法的根本目標(biāo)。其中，基本權(quán)利在內(nèi)容上更具系統(tǒng)性和規(guī)范性，能夠?yàn)榱⒎ㄌ峁?shí)質(zhì)且明確的指引。

歐盟提出的一系列人工智能發(fā)展理念——可信賴的、以人為中心的、合倫理的人工智能，其實(shí)都是以基本權(quán)利保護(hù)為實(shí)現(xiàn)路徑。具體而言，人工智能系統(tǒng)只有在符合基本權(quán)利保護(hù)的前提下，才可以獲得人工智能的使用者和受用者的信賴，從而獲得更多的投資和更加廣泛的使用，這便是一條以人為中心的發(fā)展道路。可信賴的人工智能需符合三個(gè)標(biāo)準(zhǔn)：合法的、合倫理的、堅(jiān)固的。前兩者在具體評(píng)估時(shí)都需要訴諸基本權(quán)利：既不能侵犯法律上規(guī)定的權(quán)利，又要保障基本權(quán)利所體現(xiàn)的個(gè)人因其人性而應(yīng)當(dāng)享有的道德權(quán)利。

（二）社會(huì)評(píng)分造成的普遍風(fēng)險(xiǎn)與不可接受的風(fēng)險(xiǎn)

社會(huì)評(píng)分可能產(chǎn)生的兩個(gè)主要風(fēng)險(xiǎn)為：侵犯自主性原則和侵犯公正原則。

在侵犯自主性原則方面，使用其他場(chǎng)景中產(chǎn)生的數(shù)據(jù)而對(duì)個(gè)人作出不利對(duì)待，可能會(huì)導(dǎo)致個(gè)體過度自我審查，嚴(yán)重?fù)p害個(gè)人自主性。

在侵犯公正原則方面，模型、算法、數(shù)據(jù)都可能鞏固或加劇歧視，違反非歧視性要求；使用脫離了具體場(chǎng)景的數(shù)據(jù)也可能已無法準(zhǔn)確地作出社會(huì)評(píng)分；而那些社會(huì)評(píng)分自身是不公正的或懲戒上違反了比例原則的，自然就違反公正原則。

總之，基本權(quán)利侵害是判斷人工智能系統(tǒng)應(yīng)用風(fēng)險(xiǎn)的最重要標(biāo)準(zhǔn)。禁止一定情形的社會(huì)評(píng)分主要是因其可能嚴(yán)重侵犯基本權(quán)利所保障的自主性原則和公正原則。

在人工智能立法中禁止社會(huì)評(píng)分有意義嗎

（一）受禁社會(huì)評(píng)分與其他法律規(guī)范的對(duì)接

在本次人工智能立法之前，GDPR可對(duì)社會(huì)評(píng)分進(jìn)行一定限制，但無法容納所有本次立法禁止的社會(huì)評(píng)分情形。

其一，使用超出原初場(chǎng)景的數(shù)據(jù)所做的社會(huì)評(píng)分可以在一定范圍內(nèi)與GDPR中“目的限制原則”對(duì)接?！澳康南拗圃瓌t”僅面向數(shù)據(jù)控制者收集的個(gè)人數(shù)據(jù)，未能納入非個(gè)人數(shù)據(jù)和通過其他方式“生成的”數(shù)據(jù)，而本次立法則實(shí)現(xiàn)了對(duì)所有用于社會(huì)評(píng)分的數(shù)據(jù)的輻射。

其二，社會(huì)評(píng)分下不公正的、不成比例的不利對(duì)待可以在一定范圍內(nèi)與比例原則對(duì)接。《歐盟基本權(quán)利憲章》第52條第1款直接限制了公共機(jī)構(gòu)實(shí)施不符合比例原則的社會(huì)評(píng)分，而本次立法則基于基本權(quán)利的國(guó)家保護(hù)義務(wù)，通過立法形式將該原則貫徹到了私人開展的社會(huì)評(píng)分中。

（二）社會(huì)評(píng)分監(jiān)管思路的轉(zhuǎn)換

相較于GDPR以程序保護(hù)為主的規(guī)范模式，人工智能立法轉(zhuǎn)向了實(shí)質(zhì)保護(hù)進(jìn)路。GDPR第22條原則上禁止了信用機(jī)構(gòu)實(shí)施的全自動(dòng)化評(píng)分行為，而在三種豁免場(chǎng)景下，為個(gè)人提供了程序性權(quán)利保障，核心是確保自動(dòng)化決策中人的在場(chǎng)（即“人在環(huán)路”）。

人工智能立法則直接鏈接到了人的尊嚴(yán)、自由、不受歧視等基本權(quán)利?；诖耍敬瘟⒎ǖ倪M(jìn)步之處是：將適用范圍擴(kuò)展到所有人工智能系統(tǒng)，而不論系統(tǒng)的自動(dòng)化程度為何；將對(duì)個(gè)人或其群體實(shí)施的不利對(duì)待均納入規(guī)范范圍；不利對(duì)待不局限于法律行為，事實(shí)行為亦可納入；不再考慮程序性權(quán)利的校正作用，只要社會(huì)評(píng)分可能產(chǎn)生不可接受的風(fēng)險(xiǎn)，一律受到禁止。

歐盟的人工智能立法為我國(guó)數(shù)字行政和自動(dòng)化決策提供了兩個(gè)方面的啟示：一方面，建議以人工智能系統(tǒng)可能對(duì)基本權(quán)利造成的侵害及其嚴(yán)重程度為標(biāo)準(zhǔn)，層次化地解決數(shù)字技術(shù)輔助下行政活動(dòng)所需的法律授權(quán)問題；另一方面，考慮到個(gè)人信息保護(hù)法中“目的限制原則”在數(shù)字行政中難以應(yīng)對(duì)數(shù)據(jù)聚合問題，我國(guó)未來有必要專門規(guī)范該場(chǎng)景下的數(shù)據(jù)再利用行為。

（原文刊載于《華東政法大學(xué)學(xué)報(bào)》2024年第3期）