人工智慧亟待構築“主動免疫”安全防線

近年來，全球人工智慧（AI）産業蓬勃發展，今年ChatGPT更是引爆了新一輪投資和競爭浪潮，人工智慧已成為新一輪科技革命和産業變革的重要驅動力量。《經濟參考報》記者在調研中發現，人工智慧正顯露出對網路安全行業的巨大影響力和應用潛力，如何應對人工智慧可能帶來的安全問題成為各界關注點，也成為網路安全工作的下一個著力點。

人工智慧産業發展迅速

近年來，人工智慧産業加速發展。據中國信通院測算，2022年我國人工智慧核心産業規模達5080億元，同比增長18%，企業數量超過4000家，中國人工智慧産業已進入全球第一梯隊。另據預測，2030年我國人工智慧核心産業規模將超過1萬億元人民幣，全球人工智慧市場規模將達到16萬億美元。美國商會今年3月的報告指出，在未來20年裏，“幾乎所有企業和政府機構”都將使用人工智慧，人工智慧將對社會、經濟和國家安全産生深遠影響。

中國科學技術部部長王志剛近日在第七屆世界智慧大會上表示，當前全球人工智慧發展進入新一輪躍升期，超大規模預訓練模型的重大突破實現了人工智慧的一次歷史性跨越，探索出通往通用人工智慧的可能路徑，潛在創新發展空間巨大。

當前，主要發達國家均十分重視發展人工智慧，美國、英國、法國、德國、加拿大、日本、印度、新加坡等國均已陸續發佈了人工智慧戰略。我國也十分重視這一領域的發展，2017年就印發了新一代人工智慧發展規劃，提出要搶抓發展的重大戰略機遇，構築我國人工智慧發展的先發優勢。

今年，ChatGPT引發新一波人工智慧投資和競爭浪潮。谷歌、Meta等美歐企業和我國的百度、阿裏、華為、科大訊飛等都在加緊對人工智慧的研究。

業界人士預計，未來5至10年將是人工智慧發展的關鍵期。僅就生成式人工智慧而言，Gartner預計其將在2至5年內進入成熟期，並將帶來大量的應用機會和商業潛力，是未來的重要技術趨勢。

潛藏安全風險引擔憂

人工智慧在網路行為異常分析、網路安全漏洞識別、人臉檢測、自動威脅檢測、反欺詐等很多方面都發揮了重要作用，但人工智慧快速發展可能帶來的潛藏風險引發廣泛擔憂，關於人工智慧發展監管的呼聲越來越高。

中國資訊協會資訊安全專業委員會主任葉紅指出，全球範圍內人工智慧引發的數據洩露、網路攻擊、模式誤導、學習反噬等安全風險日益凸顯，已成為影響和制約人工智慧高品質發展的障礙。下一階段，人工智慧安全將是網路安全發力的一個重點。

國家資訊中心黨委專職副書記、紀委書記吳文化日前在2023西湖論劍·數字安全大會上表示，人工智慧給網路安全引入了三方面風險：一是網路攻擊風險，人工智慧在一定程度上降低了網路犯罪的門檻，提高了攻擊的有效性；二是數據洩露風險，容易造成敏感數據或個人資訊洩露；三是模型誤導風險，一旦遭受數據投毒或模型攻擊，容易引發負面輿情擴散或重要決策偏差。

人工智慧發展所呈現的新特徵帶來了安全挑戰。中國電信股份有限公司研究院副院長/雲網基礎設施安全國家工程研究中心常務副主任李安民認為，人工智慧安全不同於以往，其具有double security（雙重安全）特徵。以往的安全主要是確保系統、對象的安全，而人工智慧對象特殊，目前已進入模型驅動時代，其本身具有學習、演進、變化的能力。尤其到元宇宙時代，多元、多維、全息、全能的特徵和以往狹義的網路空間和網路資訊安全相比，人工智慧涉及的安全問題範疇無論從內涵還是外延都有極大的突破。

中國電信集團有限公司科技創新部總經理/雲網基礎設施安全國家工程研究中心主任王桂榮認為，由於AI技術應用滲透到方方面面，因此有可能帶來社會生活和社會治理安全的問題。一些技術，如歧視性的演算法、換臉技術等，如果應用不當則會帶來倫理安全等風險。

國家資訊技術安全研究中心原總工程師李京春認為，由於目前人工智慧還不具備創新或聯想的特性，尚不足以對人類安全構成威脅。但隨著技術的不斷演進，仍可能對國家安全、數據安全、網路安全具有影響。

安恒資訊董事長范淵日前接受媒體採訪時也從技術層面分析解釋了AI將帶來的兩個挑戰：一是一些自動化生成工具會帶來病毒、木馬、後門等出現幾率的大幅提升，甚至可能是幾百倍的提升，怎樣來對抗、來快速發現和快速進行智慧化的防護是重要挑戰；二是如ChatGPT這樣的應用大模型會伴隨大量的數據應用，從而産生相關的安全漏洞風險。

業界人士還指出，人工智慧應用不當或濫用會增加網路安全、資訊安全的監管成本，引發監管滯後。中國電科首席專家董貴山對此表示，ChatGPT作為輔助工具後可能出現過度採集使用者資訊的情況，如果ChatGPT本身的源代碼上游系統有漏洞，也會導致不同用戶的交互隱私遭洩露。

中國工程院院士沈昌祥警告，人工智慧自身失誤可能會給人類帶來災難；智慧硬體可能被惡意用於恐怖襲擊；智慧工具可能被用於干預和引導政治走向；智慧化武器與軍備競賽引發國際新的擔憂。

未雨綢繆築牢安全防護墻

業界人士認為，在人工智慧發展過程中，要堅持安全可靠和創新發展並重，築牢安全防護墻，應對人工智慧帶來的安全風險亟須未雨綢繆，從而真正擁抱人工智慧發展帶來的機遇。

中國科學技術協會主席萬鋼近日表示，要進一步推動科技、倫理、規範、標準和技術的融合，為智慧體構建與科技向善的人類共同理念相契合的學習、理解和行為模式，以及更有效的安全性、可靠性、有效性的行為邊界。

在沈昌祥看來，人工智慧發展是趨勢，但安全是發展前提，要避免産業盲目發展，需要構建主動免疫人工智慧安全産業的空間。他提出，構建起業務資訊、資源和管理的安全可信的三重防護框架，並設置基礎軟體安全可信、應用軟體可信、電信安全可信和實時態勢感知四個保護等級。

我國對人工智慧安全高度重視，近年來，關於網路安全的法律法規、標準規範，包括各種團體標準、地方政策不斷出臺。

業界人士認為，從制度、標準、防範技術等方面來看，在制定了相應的框架後，仍需進一步細化深化。與産業的蓬勃發展相比，安全制度仍顯得滯後，給人工智慧風險防範和安全監管帶來了嚴峻挑戰。

葉紅建議，要健全人工智慧安全制度的體系建設。在推動産業發展時，應深刻認識到其發展可能面臨的風險，健全和完善人工智慧演算法安全、模型安全、數據安全以及安全評估等政策和制度；要在強化人工智慧安全行業治理方面加大力度，需要多元主體共同參與治理。積極鼓勵相關科研院所持續開展人工智慧相關重點問題研究，鼓勵相關行業組織制定相關人工智慧標準；鼓勵第三方開展相關安全評估和檢測認證。

李京春指出，人工智慧安全問題需要全球共同治理，守住道德底線。要重視軟體和軟體供應鏈的安全管控，加大數據安全保護力度，要開展識別、封控等對抗AI技術研究，打擊人工智慧犯罪。要加強網路安全審查、數據安全審查等國家安全審查。

針對人工智慧隱藏風險的新特徵，方正證券5月的研報指出，在本輪人工智慧産業浪潮下，網路安全産業在攻擊側、防守側及監管側的邏輯將發生重大變化。

記者在調研中發現，網路安全企業和技術應用企業已經在積極把握時機，主動應對人工智慧的新模式、新應用帶來的安全需求。

作為深耕網路安全的企業，安恒資訊對人工智慧安全防護有著積極看法。“‘AI+安全’，這個大幕才剛剛拉開，未來還有更大的可能性。”范淵認為。據介紹，安恒資訊積極利用“AI+安全”的智慧化應用給智慧防護和響應産業帶來的機遇。過去幾年，安恒資訊已經在雲端數據大腦、雲端AI模型生成及應用領域進行了積極佈局，對類似于大語言模型帶來的安全挑戰已積累了一定實戰經驗。

中國電信也在積極構建完備的人工智慧應用安全處理體系。在讓人工智慧更安全方面，中國電信加大相關技術研發，攻關人工智慧縱深防禦技術、密碼技術和數據産業鏈化技術。目前，其自主研發的威脅檢測系統、隱私計算的數據共用平臺，以及數據安全流通與監管系統、數據安全的智慧化關鍵技術等，已經在內部和客戶場景得到了廣泛應用。

業界專家指出，隨著人工智慧科技和産業的快速發展，有必要根據最新形勢變化，制定實施新的人工智慧發展國家戰略，包括加快研發人工智慧大模型、集中力量攻克人工智慧關鍵核心技術、超前規劃佈局人工智慧産業、培養和引進世界一流的人工智慧創新人才、及時研究制定有關規則和標準等。針對一些核心技術方面的難題，特別是在基礎理論、底層框架和演算法核心領域，要強化和深入人工智慧核心技術攻關，聚集産學研用各方力量，開展人工智慧技術的聯合攻關，深化人工智慧的技術和産業融合創新。記者 周武英