機器人如果操作出現錯誤，或者可能會導致不可逆的結果時，這個“紅色按鈕”可以發揮作用，幫助機器人從緊張的局勢中脫離出來，甚至可以臨時讓機器人完成某個未學習過如何執行的任務。

　　三個月前，谷歌旗下人工智慧公司Deep Mind研發的圍棋人工智慧程式AlphaGo以4:1的總比分擊敗了南韓圍棋世界冠軍李世石，成為人工智慧多年曆史上的關鍵時刻。

　　三個月後，AlphaGo可能與排名世界第一的中國棋手柯潔交手的消息再度讓輿論沸騰。儘管目前這一消息還在溝通階段，不過，早在李世石和AlphaGo的那一場人機大戰之時，柯潔就曾在微網志上提出挑戰人工智慧的希望。

　　AlphaGo戰勝圍棋世界冠軍這一里程碑式的事件不僅讓科技圈振奮，也引發了AI超越人類的擔憂。“人工智慧可能具有不可預測性，也可能會違反人類道德。”一位專家在新近發佈的論文中表示。

　　現在，DeepMind 自己站了出來，説他們將有解決方案—一個關閉人工智慧的“紅色按鈕”。

　　與此同時，這家公司認為外界過於集中科幻電影中有關人工智慧的炒作，比如《機械姬》和《終結者》等。他們認為科幻小説和影視作品錯誤地描述了人工智慧的未來發展方向。

　　“我們創造人工智慧是為了賦予它們人性，絕非為了毀滅自己。”DeepMind創始人之一的穆斯塔法·蘇萊曼説道。

　　AI“大紅色按鈕”

　　倫敦國王十字地區的一棟新大樓裏，DeepMind的實驗室雇用了來自全球各地的140名研究專家。DeepMind的目標是通過開發強大的通用學習演算法，將其融入到人工智慧系統或智慧程式中，以確保機器能夠進行自我學習。

　　2014年，DeepMind在《自然》雜誌上發表了一篇論文而成為公眾矚目的焦點。這篇論文講的是如何在預先給電腦設定程式讓其自學雅達利公司 的遊戲，而且玩得比大部分人要好。DeepMind的人工智慧能夠把從上一次遊戲中學到的知識用於下一次遊戲。創始人蘇萊曼稱這是人工智慧研究很長時間以 來的一次重大突破。

　　如今在57款雅達利遊戲中，DeepMind的人工智慧程式已經能熟練地暢玩49款雅達利公司的遊戲，包括《太空入侵者》《吃豆人》等。在最新版本 的人工智慧中，Deep Mind甚至加入了一種名為“好奇心”的內部激勵機制，使得人工智慧不僅能夠更趨向於獲得更高分，並積極探索更多不同的遊戲方法獲得更好的回報。

　　而正是這接近學習人腦的突破，引起了人們對人工智慧的憂慮。

　　為了阻止人工智慧控制人類，DeepMind團隊已經開始著手，探討建立可以使人工智慧喪失能力或暫停工作的邏輯框架。

　　在DeepMind研究開發人員看來，人工智慧不可能每時每刻都以最佳模式工作。機器或許會因為人類語言太過微妙，錯誤地理解了人類的指示而摧毀人類。

　　團隊呼籲應在人工智慧系統中構建 “安全的可中斷能力”。

　　團隊成員之一勞倫特和來自牛津大學人類未來研究所的阿姆斯特朗博士合著了一篇論文發表在機器智慧研究所（MIRI）的網站上。

　　在這篇論文中，他們表示：“人工智慧程式必須在人類實時監控下運作，為了預防這些程式繼續實行有害行為，人類操作者需要獲得按下‘紅色按鈕’的許可權和能力。”

　　機器人如果操作出現錯誤，或者可能會導致不可逆的結果時，這個“紅色按鈕”可以發揮作用，幫助機器人從緊張的局勢中脫離出來，甚至可以臨時讓機器人完成某個未學習過如何執行的任務。

　　儘管如此，他們也承認“我們還不明確，是不是對所有演算法來説，都能輕而易舉地賦予可被安全中斷的特性”。

　　高度人性化

　　2015年，牛津大學的阿姆斯特朗博士就警告説，儘管機器人被指示要保護人類，人類也有可能被滅絕。

　　據英國《電訊報》報道， 阿姆斯特朗預測，機器人將會以人類大腦無法理解的超高速工作，從而略過與人類的通信進而控制經濟、金融市場，還有交通、醫療等。“接下來的 100 年中，你能想像到的人類能做的事情，人工智慧都有可能非常快地完成”。

　　阿姆斯特朗因此擔心，人類語言如此微妙，有可能會被誤讀。一條簡單的“阻止人類繼續承受痛苦”的指令，可能會被超級電腦解讀為“殺掉所有的人類”，而“保證人類的安全”則可能讓機器把所有人禁閉起來。

　　在阿姆斯特朗看來，在機器人超越人類，甚至是意外地滅絕人類之前，研發人工智慧研究的保障措施是一場與時間的競賽。

　　“可能會成為人類歷史上一場最重大的事件，而且不幸的是，也可能是最後一件。”阿姆斯特朗表示。

　　阿姆斯特朗博士並不是第一個危言聳聽的人。2015年11月，有矽谷鋼鐵俠之稱的特斯拉創始人馬斯克也曾警告説，僅僅在屈指可數的五年之後，就可能會因為機器擁有人工智慧，讓人類面臨“一些極其危險的事情”的威脅。

　　“我們正用人工智慧召喚惡魔。你知道這個故事，有一個人拿著五角星一樣的東西，還帶著聖水......他確定自己能夠控制惡魔嗎？”馬斯克這樣説道。

　　目前業內認為有一種解決方法是，把道德準則教給機器人，但是阿姆斯特朗博士對這點是否可行不抱太大希望。因為人類發現自己都很難區分對錯，而且就行為規範來講，人類通常也不是好的榜樣。

　　2016年，馬斯克和霍金在內的一眾科學家和企業家簽署了一份公開信，承諾要保證人工智慧研究能夠讓人類受益。這封公開信警告説，智慧機器如果沒有安全保障，人類的未來可能會一片黑暗。

　　目前，為了對人工智慧進行更高程度的人性化，就是建立倫理委員會來監督DeepMind人工智慧技術使用。

　　早在谷歌的收購之前，DeepMind就把建立倫理和安全委員會作為谷歌收購的條件。谷歌不能允許把DeepMind的人工智慧研究成果用於軍事和情報目的。

　　儘管學術界和媒體一再要求，谷歌在收購DeepMind一年之後仍未公佈更多的關於這個倫理委員會的資訊。只知道谷歌已經任命了一位委員會成員，但並未公佈此人身份。

　　創始人蘇萊曼不肯透露人工智慧倫理委員會的構成、其成員如何挑選、以何種機制運作以及擁有哪些權利。他只是説谷歌建立了一支由學者、政策研究者、經濟學家、哲學家和律師構成的團隊處理倫理問題，但目前只有三四名成員在關注這些問題。

　　蘇萊曼説：“我們會在適當的時機公佈這些資訊。”