智庫中國 > 

薛軍:數字時代需要高度關注演算法規制

來源:法治日報 | 作者:薛軍 | 時間:2020-09-16 | 責編:申罡

文|薛軍 北京大學法學院教授 北京大學電子商務法研究中心主任


近日,《人物》雜誌一篇關注外賣騎手的深度報道《外賣騎手,困在系統裏》,引發了一場輿論風暴。外賣企業開發的實時配送系統,作為運用了AI智慧演算法和深度學習的系統,極大地提高了智慧配送的效率,外賣騎手不需要自己去優化路線,只要按照系統指示,就可以不浪費一分鐘,及時將外賣送到顧客手中。但外賣騎手越努力,系統就會自動修改參數,縮短配送時間要求,這樣就使得外賣騎手不得不通過超速、逆行、闖紅燈等方法來縮短配送時間,以避免因為延誤而被罰款。但問題是,對經過這種“艱苦卓絕的努力”才達到的配送效率,智慧配送系統又進一步將其默認設定為一種普遍性的、標準化的要求。這是一個可怕的自噬迴圈:外賣騎手越努力(不管這種努力是通過什麼方式實現的),越是使得系統覺得騎手仍有潛力可挖,於是進一步提出近乎不可能完成的任務。本來是服務於人的系統,結果反過來控制和主宰了人。科幻電影《駭客帝國》裏描述的一個無所不在,控制一切的矩陣(matrix),似乎正在成為現實。


其實問題並沒有那麼複雜。我們所遇到的就是數字時代的演算法問題。由於資訊技術的發展,我們已經可以通過收集和處理大數據,來規劃和安排社會生活中的很多事項。這樣做不僅效率高而且判斷更加精準。例如,銀行可以基於其收集的海量金融消費數據,根據演算法來決定是否給予一個申請人貸款,以及貸款的利率是多少。法院可以根據司法大數據,設計一個演算法,來決定是否批准相關人員提出的保釋、減刑的申請,甚至可以讓演算法來量刑。電商平臺可以根據商業大數據來決定商家在搜索結果中的排序,以此追求最高的用戶點擊率購買率,實現平臺GMV(成交總額)的最大化。可以説,伴隨著大數據技術的不斷進步,演算法的使用必將全面鋪開。我們正在迎接一個演算法時代的到來。


演算法的運用在給我們帶來各種福利的同時,也催生了諸多相伴而生的問題。作為演算法運作之基礎的數據是否客觀真實?演算法的運用是否會加深和強化歧視?我們是否有權利挑戰演算法給出的結論?進而言之,我們是否有權挑戰演算法本身的公平性與合理性?這些都是最近一些年來日益受到學界關注的重要話題。


就其性質而言,演算法其實是數據科技企業開發出來的一套運營管理工具,它在很大程度上替代了自然人來作出決策與判斷。不過,即便有高科技背景,演算法仍應被歸於相應的運營者的決策與判斷。我們不能因為演算法中運用了自動決策以及深度學習之類的技術,就認為演算法享有某種“技術中立”的地位。演算法本身是一種技術,但是演算法運營者賦予了其靈魂與價值選擇,所以演算法問責與規制的基礎仍在於將演算法運營者置於規制的中心。任何脫離這一基礎來討論演算法規制的,註定會淪為空談。


具體來説,演算法運營者必須為演算法所導致的實際問題承擔責任。例如某種特定的演算法運用,是否導致了明顯的違法歧視行為,是否導致了對公共秩序的危害,是否侵犯了公民的基本權利與人格尊嚴,是否構成對社會交往中必要的注意義務的違反等。在這裡,我們並非想套用傳統意義上的“産品責任”理念,去理解和界定演算法運營者的法律責任性質,因為這二者的確存在重大的差別,但無論如何,演算法運營者需要為演算法運用的後果承擔責任,是一個不爭的事實。這種演算法責任的具體制度框架當然需要進一步明確,也需要給予更多關注。作為一個初步的框架,演算法規制可能需要包括以下要素。


首先,對可以運用演算法的場景建立審慎評估制度。對於涉及公民重大權益的場合,例如刑事訴訟程式、量刑等領域,如要運用演算法來作出決策,需有更加嚴格的控制與審查機制。其次,對於演算法運用是否産生了不良的後果,要建立一種社會性的評議機制,來進行持續性的跟蹤研究。這有點類似于新産品投入使用之後的後續觀察義務。如果社會評議機制有充分的理由,認定特定演算法的運用,導致了不良後果,就應該啟動相應的問責機制,要求相應的演算法運營者予以解釋與説明並作出相應的優化。再次,將責任機制覆蓋至演算法領域。在司法以及行政理念上,無論是法官還是行政執法者,都需要將演算法的運用,作為演算法運營者行為的延伸。無論運營者是否存在過錯,是否存在行政違法等,演算法因素都應被納入追責的考量範圍內。


希望外賣騎手被系統所困的報道,引發的不只是人們對外賣騎手這個特定群體的關心,還有對我們正在日益進入的演算法時代的深入系統思考,以及對建立相應演算法規制體系的關注與研究。在這方面,我們還有很多工作要做。


發表評論