機器人程序可能發生變異

　　毫無疑問，未來戰爭中，自動機器人士兵將成為作戰的絕對主力。但是美國海軍研究室近日在關於機器人士兵的研究報告《自動機器人的危險、道德以及設計》中，對軍方使用機器人提出警告，建議為軍事機器人設定道德規範。研究人員認為，必須對軍事機器人提前設定嚴格的密碼，否則整個世界都有可能毀於他們的鋼鐵之手。

　　報告中表示，為軍事機器人設定道德規範是一項嚴肅的工作，人類必須正視快速發展的機器人，它們足夠聰明，甚至最後可能展示出超過現代士兵的認知優勢。

　　帕特裡克·林博士在報告中表示：「現在存在一個共同的誤解：認為機器人只會做程序中規定它們做的事情。可不幸地是，這種想法已經過時了，一個人書寫和理解程序的時代已經一去不復返了。」林博士說，實際上，現在的程序大都是由一組程序師共同完成的，幾乎沒有哪個人能夠完全理解所有程序。因此，也沒有任何一個人能夠精確預測出這些程序中哪部分可能發生變異。

　　如何能夠保護機器人士兵不受恐怖分子、黑客的襲擊或者出現軟體故障呢？如果機器人突然變得狂暴，誰應該負責呢，是機器人的程序設計師還是美國總統？機器人應該有「自殺開關」嗎？林暗示說，唯一解決這些問題的辦法就是提前為機器人設定「密碼」，包括倫理道德、法律、社會以及政治等因素。

　　警告程序師不要急於求成

　　報告還指出，現今美國的軍事機器人設計師往往急於求成，常常會將還不成熟的機器人技術急匆匆推入市場，促使人工智能的進步在不受控制的領域內不斷加速發展。更糟糕的是，目前還沒有一套控制自動系統出錯的有效措施。如果設計出現錯誤，足以讓全人類付出生命的代價。

　　設計師的這種心理原因可能與美國國會的命令有關。美國國會規定：到2010年之前，三分之一的「縱深」打擊行動必須由機器人完成；到2015年前，三分之一的地面戰鬥將使用機器人士兵。

　　「機器人三定律」

　　事實上，一個簡單的倫理密碼，比如「機器人三定律」早在1950年就已經出台，但它們還不足以控制自動機器人的倫理行為。「機器人三定律」是阿西莫夫最重大的科幻理論貢獻，他在名著《我，機器人》中寫道：

　　一、機器人不得傷人或看見有人受傷卻袖手旁觀；

　　二、除非違背第一定律，機器人必須服從人的命令；

　　三、除非違背第一及第二條定律，機器人必須保護好自己。

　　「三定律」在科幻小說中大放光彩，在一些其他作者的科幻小說中的機器人也遵守這三條定律。但是，截至2005年，三定律在現實機器人工業中仍然沒有應用。目前很多人工智能和機器人領域的技術專家也認同這個準則，隨著技術的發展，三定律可能成為未來機器人的安全準則。