算法歧視司法規(guī)制探討

本文是一篇法律論文，本文通過從司法層面切入，分析了反歧視司法在算法特質(zhì)影響下有何新的問題。在本研究中，把握當前算法基于機器學習技術(shù)所帶來自我迭代的核心理念，并結(jié)合學界之前對于反算法歧視司法的相關(guān)研究，通過分析當前學界熱議的算法歧視案例為算法歧視司法提供了相關(guān)建議。
一、算法歧視的司法規(guī)制理論基礎(chǔ)
（一）算法歧視的定義
“歧視是指被法律禁止的、針對特定群體或個人實施的、其效果或目的在于對承認、享有和行使基本權(quán)利進行區(qū)別、排斥、限制或優(yōu)待的任何不合理的措施，即歧視的表現(xiàn)形式是在相同的情況下無合理理由而恣意取消或損害特定群體或個人平等享有權(quán)利的任何區(qū)分、排除或選擇的措施。”《就業(yè)與職業(yè)歧視公約》（國際勞工組織1958年第111號公約）中對歧視的定義：為本公約目的，“歧視”一語指：基于種族、膚色、性別、宗教、政治見解、民族血統(tǒng)或社會出身的任何區(qū)別、排斥或特惠，其效果為取消或損害就業(yè)或職業(yè)方面的機會平等或待遇平等。
算法歧視在實質(zhì)內(nèi)涵上與這些傳統(tǒng)歧視沒有區(qū)別，是在借用算法這一工具進行決策時對不同個體施加不合理的區(qū)別對待。在技術(shù)上說，算法是指將輸入轉(zhuǎn)換成輸出的計算步驟序列，是計算機在輸入數(shù)據(jù)、分析數(shù)據(jù)和輸出結(jié)果這一過程的概括。也就是說，算法歧視是以算法為手段實施的歧視行為，主要指依靠自動化決策系統(tǒng)對數(shù)據(jù)進行分析時，由于數(shù)據(jù)和算法本身的原因，對數(shù)據(jù)主體進行了不合理的差別對待，造成傳統(tǒng)意義上的歧視性后果。
算法歧視在我們的現(xiàn)實生活中經(jīng)常會出現(xiàn)在就業(yè)招聘、出行服務(wù)、信息推送、信息搜索等領(lǐng)域。例如，在谷歌提供的廣告服務(wù)中，定向推送的算法決策導致男性往往會比女性瀏覽到更多的高薪招聘廣告；又如，一位患有雙向情感障礙的大學生想找一份擺放雜貨的工作，但因為他申請的百貨店都在使用同一個心理測試軟件來篩選應(yīng)聘者，所以他被所有遞交申請的百貨店拒絕3；
........................
（二）算法歧視的產(chǎn)生原因
算法編程人員在算法的設(shè)計環(huán)節(jié)，通過一系列電腦代碼來賦予算法功能。而在這一過程中，編程人員可能會有意或無意間將自己的偏見寫入算法。同時由于算法是通過大數(shù)據(jù)來進行學習和決策，在采集數(shù)據(jù)的過程中不可避免地會有虛假的或者錯誤的數(shù)據(jù)，這些低質(zhì)量的數(shù)據(jù)會直接影響算法的最終輸出結(jié)果。因此算法歧視產(chǎn)生主要來源于算法設(shè)計和數(shù)據(jù)輸入兩個方面，而這兩方面來源可以細分出三個主要原因：
一是輸入數(shù)據(jù)的樣本存在比例不均。在進行數(shù)據(jù)采集的過程中，在數(shù)據(jù)量確定且數(shù)量不大的情況下，我們可以對所有數(shù)據(jù)進行采集分析。但在算法進行學習的過程中，為了提高效率會采取抽樣的方式，隨機選擇數(shù)據(jù)進行輸入。而如果采用了隨機抽樣的方式進行樣本選擇，有一些在總體樣本中數(shù)量較少的數(shù)據(jù)便容易被忽略，從而導致輸出的結(jié)果更加傾向于樣本中的大比例群體。比如在圖片識別領(lǐng)域谷歌就犯過將黑人標記為大猩猩的歧視行為，這一行為的發(fā)生是因為黑人照片占數(shù)據(jù)總量比例太小，而黑人的特征沒有被算法識別為人的共同特征。

二是輸入數(shù)據(jù)存在人類社會的固有歧視。在算法程序的運行過程中，計算機遵循的“gigo”（garbage in，garbage out）定律，即“偏見進，偏見出”。算法用于學習的數(shù)據(jù)本身是現(xiàn)實社會的反映，在現(xiàn)實社會中存在的歧視也就伴隨著這些數(shù)據(jù)被輸入到算法之中，從而在算法的作用下得到了固化和加強。例如上文提到過的犯罪評估算法中，由于某一地區(qū)歷史犯罪率高，而算法通過分析歷史數(shù)據(jù)認為這一地區(qū)居民的犯罪率高，從而使得這一地區(qū)的居民受到的警察調(diào)查更為嚴格，造成了歧視性后果。
.......................
二、算法歧視的司法規(guī)制現(xiàn)狀
（一）基于算法參數(shù)的司法證據(jù)采集
算法歧視案件的司法證據(jù)采集聚焦于算法參數(shù)。算法參數(shù)的設(shè)計取決于其將要解決的問題與所要遵循的價值原則。在算法參數(shù)設(shè)計中，通過對算法參數(shù)功能的選擇，可在大數(shù)據(jù)客觀無誤的前提下，導致歧視發(fā)生。因此，算法參數(shù)的司法證據(jù)考察是認定歧視主觀意圖的前提。在這一階段，存在著兩個層面的問題，一方面，算法參數(shù)證據(jù)的舉證責任應(yīng)當如何分配，是應(yīng)當由算法使用主體承擔還是應(yīng)當由受歧視方承擔；另一方面，算法參數(shù)證據(jù)應(yīng)當以何種形式、何種程度呈現(xiàn)。
對于算法參數(shù)的舉證責任分配的問題。現(xiàn)階段法院對于算法歧視的舉證是以“誰主張、誰舉證”為舉證責任的分配方式。例如在意大利戶戶送有限責任公司算法歧視案中，原告需要證明被告通過算法參數(shù)設(shè)定中不考慮騎手不赴約的原因造成其接單數(shù)量減少，喪失優(yōu)先選擇工作的機會，甚至間接地剝奪了其依憲法而享有的罷工權(quán)利。對于算法參數(shù)證據(jù)需要呈現(xiàn)為何種形式和程度，在法院司法實踐中有所不同。有的案件中，算法參數(shù)不僅僅需要以代碼形式呈現(xiàn)，還需要在此基礎(chǔ)上對其功能進行解釋性說明；而有的案件中，法院則要求原告通過專業(yè)的算法評估機構(gòu)制作關(guān)于算法參數(shù)是否具有歧視性風險的評估報告，但并不要求原告去尋求算法參數(shù)的代碼設(shè)計與解釋性闡述。例如在盧米斯案中，法院為了審查案件的算法是否具有歧視性，要求將算法參數(shù)證據(jù)以compas評估報告的方式進行呈現(xiàn)。同時還需要compas評估機構(gòu)對于算法參數(shù)設(shè)計的功能是否與原告所述歧視結(jié)果有著相關(guān)聯(lián)系進行說明。在國內(nèi)的一系列案件中，除了百度在線網(wǎng)絡(luò)技術(shù)北京有限公司等與北京奇虎科技有限公司不正當競爭糾紛案中，原告方提供了詳細的參數(shù)證據(jù)，其余案件的原告（普通公民）都僅僅只能提供證明整個案件過程的表面證據(jù)，比方說付款截圖、通話記錄等等。
..............................
（二）基于傳統(tǒng)歧視理論的事實認定
傳統(tǒng)歧視的認定標準可以分為反分類歧視標準與差別性影響歧視標準。其中，“反分類歧視標準追求價值上的形式平等，強調(diào)不能基于民族、性別、宗教信仰等背景因素而對人區(qū)別對待。”在這一歧視認定標準之上，是否具有主觀上的歧視意圖便是認定歧視與否的基本要點。相對的，追求實質(zhì)平等的差別性影響歧視標準則主張以客觀上是否存在歧視結(jié)果作為構(gòu)成歧視的基本判斷標準。
在對算法歧視的司法審查中，算法歧視的主觀意圖可大體分為算法使用者個體歧視與社會刻板印象歧視。故而，法院對于反分類歧視標準進行適用時一般會注意以下兩個方面的內(nèi)容：一是由于算法歧視的高度隱蔽性特點，算法使用者所表現(xiàn)出的主觀故意不會非常明顯。二是算法中的刻板印象并不與算法歧視的認定具有必然性的聯(lián)系，只有該刻板印象作為算法決策的核心因素時該算法才會被法院認定為歧視性算法。就差別性影響歧視標準來說，法院在實踐中對于這一標準的考察分為以下幾個步驟：首先，需要原告提起訴訟，并對于算法的適用導致歧視結(jié)果，提供事實和證據(jù)來加以證明。其次，作為算法使用者的被告將針對原告所提出的主張加以反駁，而在這時往往被告會以算法使用在決策中具有相關(guān)性為由進行論證。例如，奇虎公司提出的“用戶體驗度”、三快科技公司提出的“費用動態(tài)調(diào)整”4等。再次，原告將需要反駁被告所提出的相關(guān)性豁免理由。在這一整體過程中，法院一般將以算法所涉決策對原告與其它利益相關(guān)方的影響為視角，判定歧視結(jié)果是否存在；
................................

三、算法歧視的司法規(guī)制困境
（一）算法公開障礙下的司法證據(jù)采集困難
司法實踐中，有關(guān)算法參數(shù)的證據(jù)采集繞不開的一大障礙便是算法公開的障礙。算法公開的障礙具體來說包括三個層面，它們分別是由于國家安全、社會正常運行秩序與私人主體信息權(quán)利保護等因素影響所造成的公開阻礙。本章將討論在司法證據(jù)采集過程中，各個法益沖突與權(quán)衡所導致的算法公開難題。
1.國家安全層面的障礙
從古至今，無論是在國內(nèi)還是在國外，在治理國家的過程中所要討論的一個重要問題便是有關(guān)信息的公開與保密。在如今的算法時代，司法審判中可以將哪些算法參數(shù)進行公開，什么主體可以面對公開的內(nèi)容以及算法參數(shù)可以公開到什么樣的程度，這些問題都應(yīng)當在采集算法參數(shù)證據(jù)時進行重點考量。尤其是涉及到國家安全，算法公開就要慎之又慎。這方面世界上許多國家都相應(yīng)的在國家安全政策以及相關(guān)立法層面進行了特別嚴格的法益保護。例如，在我國有著《中華人民共和國國家安全法》《中華人民共和國網(wǎng)絡(luò)安全法》《中華人民共和國保密法》以及《中華人民共和國數(shù)據(jù)安全法》，而在美國則有著《國家安全法案》《愛國者法案》等等一系列法律。但是這一系列法律層面的限制在一定程度上都使得在司法實踐中對于算法參數(shù)的公開更加困難。例如在機場的安全檢查中，為了提高機場安檢的效率，許多國家都采用了通過將乘客的個人歷史數(shù)據(jù)輸入算法來抽取特定的人群進行嚴格安檢的方法。這樣的安檢方法雖然提高了安檢的效率，但也容易造成到算法歧視問題。如果這樣的歧視事件被起訴到法院，那么法院在收集這類案件的歧視性算法參數(shù)證據(jù)時，是否可以公開算法從而獲取機場的抽樣參數(shù)呢？如果可以，不難想到在算法參數(shù)被法院披露后，該信息很容易被恐怖分子獲取。這樣一來，恐怖分子極容易因知悉了算法抽樣參數(shù)，從而通過規(guī)避算法抽樣特征的方法繞過機場的嚴格安檢。抑或是依據(jù)算法的內(nèi)部分析邏輯通過增加試錯人數(shù)達到干擾算法認定的正確率，最終繞開嚴格的安檢。

2.社會正常運行層面的障礙

......................................
四、算法歧視的司法規(guī)制建議
（一）構(gòu)建具有區(qū)分度的算法公開制度

..............................
（二）構(gòu)建適應(yīng)算法特性的歧視認定標準

............................
（三）構(gòu)建算法相關(guān)主體明確的責任體系
........................
結(jié)論
對于統(tǒng)攝在算法規(guī)制研究下的算法歧視研究當前學界仍然存在許多爭論。本文通過從司法層面切入，分析了反歧視司法在算法特質(zhì)影響下有何新的問題。在本研究中，把握當前算法基于機器學習技術(shù)所帶來自我迭代的核心理念，并結(jié)合學界之前對于反算法歧視司法的相關(guān)研究，通過分析當前學界熱議的算法歧視案例為算法歧視司法提供了相關(guān)建議。首先，在證據(jù)采集層面應(yīng)當基于對算法的使用者以及算法的應(yīng)用場景的分類，對具有公共性、私人性、商業(yè)性、非商業(yè)性的算法場景采取有區(qū)分度的算法參數(shù)揭示要求。其次，在歧視認定層面引入間接隱性歧視、刻板印象理論以及必要性豁免條件來修補傳統(tǒng)歧視認定標準。最后，基于算法歧視的特性設(shè)定一系列算法維度關(guān)聯(lián)與權(quán)利并以此提出對算法應(yīng)用所涉各方的義務(wù)要求，從而為算法責任分配提供制度基礎(chǔ)。
本文所提供的建議大多聚焦于原理層面，雖說這樣做可以避免建議由于算法技術(shù)發(fā)展的日新月異而快速過時，但也不可否認的會出現(xiàn)過于抽象的問題，因此在論述時也盡量多地查找了現(xiàn)實生活中相關(guān)事件來加以佐證。同時，為了避免本研究陷入基于“ai+法律”的任意性組合導致的“泛人工智能化”的空談1，在行文中也一直將所謂的“人工智能”限定在當前算法機器學習技術(shù)所能達到的功能中，并圍繞著反歧視司法的整體流程來加以論證。此外，“現(xiàn)階段的人工智能并不具備內(nèi)源性行為能力，沒有對主體間的權(quán)利義務(wù)關(guān)系造成沖擊2”，因此本文的討論并沒有過多參考將人工智能人格化的學術(shù)探討。
參考文獻（略）

本文收集整理于網(wǎng)絡(luò)，如有侵權(quán)請聯(lián)系客服刪除！