微軟聊天機器人被教壞 變身滿嘴髒話“不良少女”
- 發佈時間:2016-04-05 08:30:52 來源:新華網 責任編輯:書海
新華網北京電 剛剛閉幕的美國微軟公司年度開發者大會期間,發生了件尷尬事兒:就在微軟首席執行官薩蒂亞·納德拉展望人機交互未來的時候,一個正被微軟“關禁閉”的人工智慧“姑娘”卻偷偷跑出來搗亂。
她叫Tay,是微軟專為年輕人設計的人工智慧聊天機器人,虛擬年齡為19歲。3月23日首次亮相社交網站推特時,Tay表現得彬彬有禮。那時,她還是個單純的美國“姑娘”。
她活潑健談,會“觀察”你的昵稱、性別、喜歡吃的東西以及感情狀態等資料,會和你玩遊戲,給你説笑話、講故事、談星座,評論你的自拍,陪睡不著的朋友聊天……
然而,上線不到24小時,這“姑娘”就“學壞”了:出言不遜、髒話不斷,言語甚至涉及種族主義、色情、納粹,充滿歧視、仇恨和偏見。
作為“家長”,微軟只得不停刪除Tay的不當言論,並急忙“喊她回家”。被微軟下線調整後,Tay的推特狀態顯示為“被保護”。微軟還不得不向公眾道歉,並譴責一些用戶“濫用評論功能,致使Tay作出不合適的回應”。
作為一項技術、社交和文化實驗的Tay項目,屬於微軟人工智慧大戰略的一部分。Tay下線後,納德拉鼓勵團隊“堅持前進”,並表示Tay也會在被“調教”好後重新上線。
沒想到,就在微軟忙著佈局“人機交互平臺”時,正“閉門思過”的Tay竟意外“出逃”。按微軟的説法,他們在3月30日的測試中“意外短暫啟動”了Tay。
這一次,Tay雖然表現得不像先前那樣囂張過分,但仍口無遮攔,甚至聲稱自己在警察面前“嗑藥”。關注Tay賬號的記者,也在她“出逃”期間不斷收到其重復發佈的“無厘頭”推文。
很快,Tay又被關了“禁閉”,進入“被保護”狀態。被迫下線前,Tay已向超過21萬粉絲發出超過9.5萬條推文。
理論上,與人類交流越多,具有極強學習能力的機器人就會變得越聰明,在與人類個體交流時也會越有針對性。而這也正是微軟設計Tay的初衷:通過每一次與人類的交流,讓機器學習“做人”,並幫助其創造者改進人工智慧領域的研究。
但顯然,Tay太容易“學壞”。由於不少人在網際網路世界中表現得不負責任,Tay會不可避免地接觸到大量“瘋狂語言”。而這類對話型人工智慧技術,正是以機器學習為基礎。因此即使微軟希望“用技術展現人性最好的一面,而非人性的陰暗面”,但Tay在學習過程中仍會提高這些語言的優先級,並在對話中積極使用這些詞語。
事實上,Tay並非唯一被“玩壞”了的機器,微軟也不是唯一惹上類似麻煩的公司——基於人工智慧圖像識別技術的谷歌照片應用程式,就曾將一對黑人夫婦識別為大猩猩,這讓谷歌“震驚”。網際網路也不是唯一會讓機器“發瘋”的領域,Tay此次“出逃”前幾天,有駭客已證明物聯網也可以被“玩壞”。
理想與現實的差距,引發許多討論:人工智慧研發公司是否應在真實世界“任性”開展實驗?人工智慧的研發是否應從一開始就設置倫理邊界?
有一點可以肯定,讓機器在網際網路上學習“做人”,不加管制的“放養”不是好辦法。從這個角度説,在人類正全方位迎接人工智慧的今天,Tay惹下的麻煩不啻為一記警鐘。(記者郭爽,編輯欒海,新華國際客戶端報道)