全國政協社法委專題調研“人工智慧發展中的科技倫理與法律問題”

人工智慧是引領新一輪科技革命和産業變革的戰略性技術。它如同一把“雙刃劍”，深刻改變著人類的生存方式和社會交往方式，也帶來了一些倫理和法律方面的風險及挑戰。習近平總書記強調，要加強人工智慧發展的潛在風險研判和防範，維護人民利益和國家安全，確保人工智慧安全、可靠、可控。要整合多學科力量，加強人工智慧相關法律、倫理、社會問題研究，建立健全保障人工智慧健康發展的法律法規、制度體系、倫理道德。

9月13日至18日，就“人工智慧發展中的科技倫理與法律問題”，全國政協副主席陳曉光、汪永清先後率全國政協社會和法制委員會調研組赴安徽省、江蘇省開展專題調研。調研組深入合肥、蕪湖、南京、蘇州、無錫等地多家企業、科研院所和高校，與企業負責人、一線科研人員和專家學者面對面交流，並同兩省相關部門座談。通過現場走訪和體驗，調研組了解了黨中央決策部署的落實情況，真切感受到我國人工智慧發展的成就、優勢和潛力，進一步增強了推動我國經濟社會高品質發展的信心。委員們表示，要認真落實習近平總書記重要指示精神，尊重新一代人工智慧發展規律，把握好創新發展和風險治理的“度”。要組織專門力量深入研究人工智慧創新發展存在的倫理、法律等風險問題，進行風險評估、提出防範意見。需要下大力氣推動研發機構、應用主體加強內部自治，促進行業自律，強化研發、應用人員教育培訓，為人工智慧發展營造良好環境。

“刷臉”背後的安全隱患

“電腦密碼可以換，但‘人臉’這樣的生物數據是不可換的。一旦資訊丟失或被攻擊，你就一張臉，怎麼辦？”

調研中，在與安徽省、江蘇省相關部門座談時，全國政協委員談劍鋒多次提及這個問題，引起大家的關注。

今年全國兩會期間，從事網路安全技術行業的談劍鋒多次就此遞交提案，呼籲做好人臉等生物數據的隱私保護。在這次調研座談會上，他很鮮明地亮出自己的觀點：“我反對用唯一的生物特徵資訊用作身份認證。”

新冠肺炎疫情防控期間推行的“健康碼”為防疫作出了巨大貢獻，但談劍鋒擔心由此而來的安全問題：“每個公民都在‘刷臉’，這個人臉資訊數據存在哪？誰能使用？保存時限是多少？法律監管是否到位？”在他看來，目前還沒有足夠安全的方式來保證生物特徵數據不被濫用，如果將各類生物特徵數據集中保管在數據庫中，再被採集到不安全的網路上，一旦數據庫遭受攻擊，可能造成社會風險。

人工智慧高度依賴對個人數據的採集和應用，在調研組看來，這是一個亟待重視的問題。

“一些關鍵數據的問題不能任其散落在企業。”全國政協委員汪鵬飛説。

調研組組長、全國政協社會和法制委員會副主任陳智敏表示，現在數據交易的灰色産業非常發達，全國從事電信詐騙行業的人員有幾百萬，“數據在大量流失、大量買賣，這是非常可怕的。”

今年年初，美國600多家執法機構使用的人臉識別應用程式ClearviewAI遭遇重大數據洩露，被洩露的客戶名單包括美國警方、執法機構和銀行。談劍鋒認為，這就是前車之鑒，“人臉數據洩露不僅會危及老百姓的隱私、財産和人身安全，一旦被境內外非法勢力攻擊獲取，將危及社會安全和國家安全。”

怎麼防範？談劍鋒認為，生物數據一定不能上“雲”，生物數據上“雲”後則完全依賴於“雲”自身安全。世界上沒有任何一個“雲”敢於承諾自己是無懈可擊的、是100%安全的。“如果一定要使用人臉識別等生物數據，則一定將生物數據存儲在手機等終端設備上。為進一步增強安全性，不能簡單地將生物數據存儲在手機存儲空間，一定要存儲在安全晶片中，並設置嚴格的安全策略以保護對安全晶片的訪問。”談劍鋒還提醒：“對於每一個個體而言，要儘量地少用生物數據，或僅僅將生物數據用在不太敏感的場合，不建議用於關鍵場合的身份認證、轉賬交易等，這也是保護自己的方式。”

目前我國數據安全和隱私保護水準總體較低，不能等到出現非常嚴重的生物數據泄漏事件後才亡羊補牢，這是調研組不少委員的一致看法。

現在，全國人大已經把個人資訊保護法、數據安全法列入國家五年立法規劃第一序列，這讓委員們充滿期待。“問題的核心在於這些數據的所有權歸誰，現在始終沒有解決。”陳智敏説：“我認為‘人臉’資訊這類具有唯一性的數據主權在國家，企業可以使用，但現狀卻是誰蒐集誰壟斷。”陳智敏打個比喻説，這就像原始社會向奴隸社會轉化時期，人們佔有土地，誰搶到就是誰的，這種野蠻生長到了需要規範的時候。

清華大學法學院院長申衛星認為，數據的權屬不清已成為人工智慧發展的一大制度性障礙，“企業採集、加工個人隱私數據，並不足以讓他擁有所有權，就像一個人寫小説，被改成相聲小品，改編者是不能擁有著作權的。”申衛星認為，數據安全很重要，但如果只注重安全，沒有相應的權益激勵，問題也難以得到徹底解決，他建議根據風險的不同類型給予企業適當的數據財産權益，有使用權但不能有擁有權。

把人力“解放”出來

當前，我國人工智慧技術發展勢頭良好。調研中，委員們看到了人工智慧在交通、製造、家居、醫療等眾多領域的應用場景，眼界大開。

不過，全國政協社會和法制委員會駐會副主任呂忠梅提出了這樣一個問題：“當前我國人工智慧的發展方向是什麼？”這也是不少委員一路思考的問題。

事實上，每一項先進技術的出現都是為了讓人類的生活變得更舒服更美好，以“模擬”人類為目標的人工智慧就更是如此。

9月17日上午，在江蘇省蘇州市極目機器人科技有限公司，調研組在大螢幕上看到了一個有趣的場景：一架無人機從綠油油的農田上方輕巧地飛過，機翼兩邊噴灑出如綿綿細雨般的藥水。

“傳統的植物農藥噴灑方式靠的是人工，風險系數高、工作效率低，即便使用無人機，大部分也都需要人來操控，但這款産品可以真正解放人力。”公司負責人向調研組介紹，這款無人機可以規避田間固定或移動的障礙，無須人為干預或中斷作業，就像給無人機安上了“眼”和“腦”。能夠完成丘陵、山區等複雜地形的任務。這一系列“智慧”優勢讓傳統的手工勞動在無人機面前相形失色，農藥噴灑作業效率更高，並且農藥用量也明顯減少一半，施藥效果更好。

高大上的無人機“聯姻”接地氣的農業，著實令委員們感到振奮。顯然，重復性的繁重勞動由機器取代，能夠極大地提升生産效率。

與此類似的還有人工智慧在醫學影像領域的應用。9月18日，在無錫祥生醫療科技股份有限公司，一款“掌上超聲”産品吸引了委員們的目光：把一個“探頭”在人體上掃一番，超聲圖像信號就通過無線網路傳到安裝了超聲App軟體的手機或電腦螢幕上，而且清晰度遠遠超過傳統的超聲儀。

調研組了解到，這家公司擁有5G超聲、物聯網遠端會診系統等多項自主智慧財産權技術，能夠攜手各級醫院建成遠端超聲醫聯體。有了智慧化的遠端會診系統，能讓病人少奔波，對於醫療服務能力不足的地區更是福音———“大病不出縣、小病不出鄉”將成為現實。

與相關醫院合作完成5G超聲引導下的穿刺活檢遠端手術，連線三甲醫院與鄉衛生院，讓專家進行超聲遠端指導……現在，這些應用已經取得了較好的效果。

一路上看到的應用場景引發了委員們的思考：我們還處於一個弱人工智慧時代，即這些機器和技術能完成指定任務，尚不具備自主意識，更多是在增加人類能力的外延。

對此，全國政協委員錢鋒認為，相對於在中高端消費領域的應用，人工智慧如何與製造業深度融合、穩定産業鏈供應鏈是更緊迫的課題。在調研組看來，人工智慧的發展也應遵循以人為本原則，服務人類才是技術發展的最終目的。

智慧駕駛汽車出事故，誰擔責?

汽車的核心部件將不再是發動機、變速箱、底盤這三大件，而是由晶片、軟體以及數據等組成的“大腦”———在人工智慧大潮下，這個夢想正在成為現實。

在此次調研中，調研組走訪了多家車企，看到了智慧駕駛的各種場景。

“車輛到達目的地後，用戶通過手機終端向T平臺發送指令，車輛自動駛入車庫並完成自動泊車。利用手機終端遠端發送召車請求資訊，車輛能夠自車庫車位自動行駛至召車點……”

9月15日上午，在安徽省蕪湖市雄獅汽車科技有限公司，公司負責人向委員們介紹了他們的技術。

調研組了解到，2014年，SAEInternational（國際汽車工程師協會）制訂了一套自動駕駛汽車分級標準，從完全手動駕駛到完全自動駕駛，其對自動化的描述分為5個等級。在L0至L2級，由司機負責駕駛，到了L3級，駕駛功能的操作主要由自動駕駛系統來完成，這也意味著L3是駕駛責任由人轉向機器的分水嶺。

當人類越來越多地依靠人工智慧的輔助決策時，機器也可能在人們知曉或不知曉的情形下，造成人類決策不能自主。“我們不鼓勵設立L3的産品級別，因為人的‘有限接管’，會使人、自動駕駛汽車和汽車製造商之間的責任不清晰。”這位負責人説。

委員們認為，在機器決策情形造成事故損失時，責任如何劃分，這已成為一個非常具有挑戰性的法律難題。另外，發生事故時，應該優先考慮乘客安全還是行人的安全，這也是未來智慧駕駛技術發展到L4級以後必須面對的倫理問題。

在一些委員看來，人工智慧應用場景下，責任相關主體可能涉及人工智慧設計者、生産者、經銷商、使用者等，人工智慧系統及其應用場景的複雜性、不確定性使得在事故發生時的責任主體界定困難。這樣的事件已有先例，比如谷歌、特斯拉等自動駕駛致人傷亡事件。

除了“誰擔責”的問題，調研中，委員們也在擔憂智慧駕駛技術發展帶來的隱私洩露問題：如果這種技術得到普遍應用後，無論一個人開車要去哪、在車裏説了什麼或做了什麼，都不再有私密性，而成為車企或者是車聯網企業眼中的“數據”，可以隨時隨地使用，並從中獲益。

對此，委員們建議，要重視數據的過度使用和數據洩露問題，這不僅要依靠企業、行業的道德自律，更要依靠管理部門的立法和監督。

人工智慧需要綜合性立法嗎？

“我們成立了道德委員會，還推出了基於企業自身管理標準的《人工智慧應用準則》，從正當性、人的監督、技術可靠性和安全性、公平和多樣性、問責和及時修正、數據安全與隱私保護六個維度，對人工智慧正確有序發展作出明確規範……”9月16日上午，在南京曠雲科技有限公司，公司負責人給調研組介紹了他們在“自律”方面的成果。

自2016年以來，以科大訊飛發佈的《人工智慧深圳宣言》為發端，國內掀起了有關人工智慧治理的一場議論風潮，多項有關人工智慧治理的倡議、準則、原則也應運而生。值得關注的是，企業界在人工智慧治理相關問題上率先發聲，成為自下而上推動中國人工智慧規範發展的一股活躍力量。

“企業建立道德委員會非常好，企業自律、行業自治很重要。”全國政協常委張大方説。調研中，該採取何種方式解決人工智慧發展中的倫理規範問題，是委員們討論的熱點。

“對人工智慧的治理應該分五個層面：法律規範、政府引導、行業自律、企業自覺和公民共識。”科技部新一代人工智慧發展研究中心主任趙志耘認為，對人工智慧進行立法很重要，但如果每一項技術都要通過立法去規範，有些技術很快會被新的技術顛覆，立法部門就得浪費大量人力物力。“立法需要確立的是基本的準則，範圍要寬泛。現在最欠缺的是行業自律，企業都在跑馬圈地，政府應該鼓勵做得好的、鞭策做得不足的，為人工智慧的發展劃出邊界，給企業確立標準和規範。”

清華大學法學院院長申衛星認為，人工智慧的技術發展給法律帶來了非常大的衝擊，而我們的法學研究還停留在“風車磨坊”的時代，沒有看到數據已經成為生産要素，缺乏更深入研究。

全國政協社法委駐會副主任呂忠梅認為，當前應該在數據安全、個人隱私保護等領域做一些制度性規範，處理好人工智慧發展和隱私保護的關係，另外還要對從業人員進行倫理道德方面的教育與培養，在教育體制改革上做一些基礎性工作。

“在一片空曠的土地上，我們可以人工栽種樹木，但如果自由生長，讓小鳥銜來種子，風吹來種子，也能長成茂密的森林。”全國政協委員魏青松認為，對人工智慧的發展進行綜合性立法要慎重，要充分考量公權和私權的邊界問題。現有的法律法規對人工智慧領域一些違反倫理的問題是能夠發揮作用的，人工智慧的未來究竟會有怎樣的發展，會産生怎樣的影響，目前還難以估算，不宜過早制定剛性法律，以免扼殺創新的可能性。

對此，調研組組長、全國政協社法委副主任陳智敏認為，處理人工智慧發展存在的倫理和法律問題，一定要從我們還處於“弱人工智慧時代”這個基本前提出發，從中國的實際出發，尊重新一代人工智慧發展規律，更好推動人工智慧安全可控和高品質發展。