哈拉瑞在《連結》中寫到， AI 是史上第一個能夠自行做決策、創造新想法的科技，這也讓它成了人類有史以來最具威力的科技。核彈並不能自行決定要炸誰，也無法發明新炸彈、擘畫新戰略。但相較之下，AI 不但能自行決定要攻擊哪個特定目標，還能發明新炸彈、新策略，甚至是創造新的 AI。關於 AI 最重要的一件事，就是 AI 絕不只是我們手裡的一件工具，而是一個自主的行動者。
目標不一致：為什麼獨裁者也該害怕 AI
AI 是史上第一個能夠自行做決策、創造新想法的科技，這也讓它成了人類有史以來最具威力的科技。核彈並不能自行決定要炸誰，也無法發明新炸彈、擘畫新戰略。但相較之下，AI 不但能自行決定要攻擊哪個特定目標，還能發明新炸彈、新策略，甚至是創造新的 AI。關於 AI 最重要的一件事，就是 AI 絕不只是我們手裡的一件工具，而是一個自主的行動者。
當然，人類目前仍然能為 AI 設定各種我們希望它們達成的目標。但問題在於，雖然已經是我們所設定的目標，但在實現這些目標的過程中， AI 卻可能實現某些人類沒想到的次要目標、用上一些在人類意料之外的行事策略，造成極為不利的後果。舉例來說，近年來像是臉書、YouTube 和推特這些社群媒體，都給它們的 AI 演算法設定了一個看來簡單又無害的目標：提升使用者參與度。使用者在這些社群媒體待得更久，這些公司就能賺到更多錢。然而，為了達到「提升使用者參與度」這項目標，這些演算法卻有了一項要命的發現。這些演算法把幾百萬人類使用者當成天竺鼠做了實驗之後，發現憤慨的情緒最能提升使用者參與度。只要按下人類心中激發憤怒、恐懼或仇恨的按鈕，就能抓住他的注意力，讓他緊貼著螢幕不離開。於是，各家演算法開始刻意散播憤慨，而這也正是目前各種陰謀論、假新聞與社會動盪如疫情般傳播，衝擊全球民主政體的原因。臉書、YouTube 和推特的管理者並不是真心想造成這種後果，而只是以為提升使用者參與度就能增加獲利，卻沒料到這同時會讓社會變得更加混亂。
之所以出現這樣的社會災難，正是因為在人類社會深層的利益與 AI 所採取的策略之間，有著目標不一致的現象。以專業術語來說，這稱為「一致性問題」（alignment problem，又稱「對齊問題」）。人類要給 AI 設定目標的時候，要怎麼能夠確定 AI 所採取的策略絕對不會牴觸我們真正要達到的最終利益？
當然，一致性問題並不是什麼新鮮事，也不是 AI 所獨有。早在電腦發明之前，一致性問題早已困擾了人類幾千年。像是以克勞塞維茨（Carl von Clausewitz）的《戰爭論》（On War, 1832-34）為代表，現代軍事思想也一直擺脫不了這種目的不一致的問題。克勞塞維茨是一位普魯士將軍，曾參與拿破崙戰爭，而他的《戰爭論》就提出了一套合乎理性的模型來解釋戰爭，至今仍是主流的軍事理論。書中最重要的一句格言就是「戰爭和其他工具就是政策的延續」。這意味著戰爭既不是情感的爆發、不是英雄的冒險、不是神祇的懲罰，甚至也不是一種軍事現象，而就是一種政治的工具。克勞塞維茨認為，軍事行動、甚至是軍事上的勝利都必須與背後的某種整體政治目標一致，否則都只是完全不理性的行為。
歷史上有許多軍事上的大勝，最後卻導向徹底的政治災難。在克勞塞維茲看來，拿破崙的一生就是最明顯的例子：雖然拿破崙勝仗連連，一度攻下大片領土，卻沒能因此建立起長久的政治成就。他的征伐四方，只是讓大多數歐洲列強群起聯合反抗，加冕不過 10 年，帝國便轟然倒塌。另一個比較晚近的例子是 2003 年美國入侵伊拉克，同樣是贏了軍事、但輸了政治。美國在重大戰役攻無不克，長期政治目標卻是一事無成，沒能在伊拉克建立親美政權，也沒在中東打造出有利美國的地緣政治秩序。這場戰爭真正的贏家是伊朗。美國在軍事上的勝利，讓伊拉克從伊朗向來的死敵變成附庸，美國在中東的地位大大降低，而伊朗則成了這裡的一方霸主。
拿破崙與小布希都忽視了一致性問題，自己的短期軍事策略與國家的長期地緣政治目標就是無法一致看齊。克勞塞維茨的整部《戰爭論》其實就是在警告一件事：訂出「要盡量得到最大的軍事勝利」這種目標，就和訂出「盡量提升使用者參與度」一樣，都太過短視近利了。
臆想實驗：迴紋針工廠
AI 的崛起，讓一致性問題變得比過往更為急迫。伯斯特隆姆（Nick Bostrom）2014 年出版的著作《超智慧》，就用一個臆想實驗來說明這樣的危險。他要我們想像一下，有一家迴紋針工廠買了一臺超智能電腦，工廠的人類主管要它完成一項看起來簡單又無害的任務：生產迴紋針，愈多愈好！結果為了實現這個目標，這臺迴紋針電腦征服了整個地球，殺死了所有人類，派出遠征隊占領更多行星，再用取得的龐大資源，在整個銀河系設滿迴紋針工廠。
這場臆想實驗的重點在於，電腦根本只是做了人類要求它做的事。電腦先是意識到，要建造更多工廠、生產更多迴紋針，就需要電力、鋼鐵、土地和其他資源；接著又意識到，人類不太可能會心甘情願放棄這些資源，於是這臺超智能電腦為了一心追求這個既定目標，在過程中直接消滅了所有人類。伯斯特隆姆想強調的是，電腦的問題並不在於它們特別邪惡，而在於它們特別強大。而電腦愈強大，我們就愈需要小心訂定其目標，務必要讓電腦與人類的終極利益完全一致。如果只是個口袋型計算機，不管我們給它訂定的目標與人類再不一致，後果也微乎其微。但如果是個超智能電腦，要是訂了一個與人類利益極不一致的目標，後果就可能是催生出一個反烏托邦。
這個迴紋針臆想實驗或許聽起來很離譜，似乎與現實完全脫節。但在伯斯特隆姆 2014 年提出這個想法的時候，要是那些矽谷主管曾經注意過這個例子，或許就不會那麼莽撞的要求演算法「盡量提升使用者參與度」。臉書、YouTube 與推特演算法的表現，與伯斯特隆姆想像的演算法一模一樣。被要求盡量生產迴紋針、而且產量愈多愈好的時候，演算法就會想要把整個物質宇宙都變成迴紋針，就算摧毀人類文明也在所不惜。被要求盡量提高使用者參與度、而且數字愈高愈好的時候，社群媒體演算法就想要把整個社群宇宙都變成使用者參與度，就算是會損害從菲律賓到美國的所有民主社會結構，也依然在所不惜。
人類最脆弱的環節
社群媒體演算法傳播憤慨、破壞社會信任，已經成了民主制度的一大威脅。但就算是對獨裁者，AI 同樣是個重大威脅。雖然AI有許多方式有利於中央集權，但專制政權碰上 AI 也並非無往不利。首先，獨裁政權並沒有控制非生物行為者的經驗。所有專制政權都是以恐怖統治為基礎，但演算法哪是嚇得倒的？要是俄羅斯網際網路上有一個聊天機器人程式，提到俄軍在烏克蘭犯下的戰爭罪行，講了一個會冒犯到普丁的笑話，又或者批評了普丁政權多麼腐敗，普丁政權能對這個聊天機器人程式做什麼？警方沒辦法把這個程式關起來、沒辦法折磨它、也沒辦法威脅它的家人。普丁政府當然能夠封鎖或刪除這個程式，並且試著去找出並懲罰寫出這個程式的人，但總之要比平常教訓人民困難多了。
在過去，電腦還無法自行生成內容、無法進行有智能的對話，在 VKontakte（簡稱VK，意為「在對話中」）和 Odnoklassniki（意為「同學」）這些俄羅斯社群平臺上，只有人類有能力提出對政府的異議。要是這個人就在俄羅斯境內，可得小心俄羅斯當局的雷霆怒火。要是這個人不在俄羅斯境內，俄羅斯當局則可能會禁止他入境。然而，如果俄羅斯的網路空間被塞進了幾百萬個機器人程式，都能生成內容、進行對話，還能自行學習與發展，情況將會如何？這些機器人程式的設計者可能是外國人士或俄羅斯的異議份子，希望傳播不同於官方的想法，而且俄羅斯當局對此或許無計可施。而就普丁政權的立場而言，如果在授權機器人程式運作之後，這些程式蒐集了關於俄羅斯現狀的各種資訊、找出其中的模式，卻逐漸自行發展出與政府不同的異議觀點，情況豈不是更糟？
這就是俄羅斯式的一致性問題。雖然俄羅斯的人類工程師可以盡最大努力，打造出完全向政府看齊的AI，但有鑑於 AI 具有自我學習與改變的能力，難保哪天走向政府不樂見的方向。特別有趣的一點在於，正如歐威爾在《一九八四》所解釋的，專制資訊網路常常都需要依賴雙言巧語（doublespeak），例如俄羅斯就是個自稱民主的獨裁國家。俄羅斯入侵烏克蘭，就是1945年以來歐洲最大規模的戰爭，但俄羅斯官方定調這是一場「特別軍事行動」；若有人稱之為「戰爭」則會觸犯刑法，最高可處三年以下有期徒刑，或科五萬盧布以下的罰金。
《俄羅斯聯邦憲法》談了許多崇高的承諾，像是「人人均應享有思想及言論自由」（第29條第1項）、「不得實施審查制度」（第29條第5項），但幾乎沒有哪個俄羅斯公民會天真到相信這些承諾的字面意義，可是電腦並不懂這樣的雙言巧語。如果要求聊天機器人程式遵守俄羅斯法律與價值觀，它可能會在讀了憲法之後，認定言論自由是俄羅斯的核心價值。接著讓它在俄羅斯網路空間待個幾天，觀察整個俄羅斯資訊圈發生的種種事情之後，這個聊天機器人程式就可能會開始批評普丁政權違反了俄羅斯言論自由這項核心價值。人類雖然也會注意到這些矛盾，但會因為恐懼而不敢明說。但聊天機器人程式對於模式就是看到什麼說什麼，哪有什麼不敢說的呢？俄羅斯的工程師該怎樣才能向聊天機器人程式解釋，雖然俄羅斯憲法明文保障每位公民的言論自由、禁止實施審查制度，但聊天機器人程式其實不該相信憲法，也不能提到理論與現實之間的差距？
當然，民主政權也會有類似的問題，聊天機器人程式可能會說一些政府所不樂見的話。要是微軟或臉書工程師已經盡了最大努力，聊天機器人程式卻還是開始散播種族歧視的言論，該怎麼辦？民主政權的優勢，在於就算真的遇上演算法不受控制，處理起來還是能夠較有餘裕。因為民主政體是真心把言論自由當一回事，藏在櫃子裡的骷髏也少得多，所以就算碰上反民主言論，大致上還是能夠包容。但如果是專制政權，櫃子裡簡直藏了整座見不得光的墓園，也完全無法承受任何批評，這種時候，會提出異議的機器人程式就會形成極為嚴重的挑戰。
就長期而言，專制政權還可能遇上更大的危險：演算法並不是去批評這些政權，而是直接控制了這些政權。縱觀歷史，專制者最大的威脅常常正來自下屬。史上並沒有哪個羅馬皇帝或蘇聯總書記是被民主革命趕下臺，而都是被下屬推翻或成了傀儡。要是 21 世紀的專制者把太多權力交給AI，就有可能成為AI的傀儡。獨裁者最不樂見的，就是創造出比自己更強大的玩意，又或是自己控制不了的力量。
要是演算法真的能發展出伯斯特隆姆迴紋針臆想實驗所提的那些能力，獨裁政權成為演算法傀儡的風險其實遠高於民主政權。如果是像美國這樣的去中心化民主體系，AI 再馬基維利也很難奪權：就算學會了如何操弄美國總統，還是得面對國會、最高法院、州長、媒體、各大企業、各種非政府組織的反對。舉例來說，如果參議院發動冗長發言來阻撓議事，演算法能怎麼辦？國家的權力如果高度集中，奪權的難度就低得多。要是所有權力集於一人之手，只要控制誰能接觸這位專制者，就等於控制了專制者，也就等於控制了整個國家。只要學會操弄單一個人，AI 就能成功劫持整個專制體制。
比起成為演算法的傀儡，接下來幾年裡，這個世界上的獨裁者還會碰上更迫切的問題。目前的 AI 系統都還沒有大規模操控政權的能力，但專制政權卻已經出現了太過信任演算法的危機。民主政權假設任何人都可能犯錯，而專制政權卻假設執政黨或最高領導人永遠是對的。基於這種假設而建立起的政權，相信可能有絕對正確的天才存在，也不樂見創造出強大的制衡機制，能被用來監督規範那位最高的天才。到目前為止，這些政權相信的都是人類領導者，也都是培育個人崇拜的溫床。到了 21 世紀，這樣的專制傳統也使這些政權做好另一種準備：相信有絕對正確的 AI。那些曾經相信墨索里尼、史達林或哈米尼之類的領袖是完美天才的政權，現在也已做好準備，能夠相信有某部超智能電腦是個絕對正確的完美天才。
就算全球只有極少數獨裁者選擇信任 AI，也可能對全人類造成深遠的影響。舉例來說，如果就是有某位偉大領袖把自己國家的核彈控制權交給了 AI，情況會變成怎樣？科幻小說裡常常會看到 AI 不再受控，進而奴役或消滅人類的場景，而且多半都把背景設在資本主義的民主社會。這點也不難理解，畢竟民主國家的作家顯然會對自己的社會比較感興趣，而獨裁國家的作家則通常不好對自己的統治者多做批評。然而，人類如果要對抗 AI，裡面最弱的一環大概就是獨裁者。AI 如果要奪取權力，最簡單的方法並不是逃出製造科學怪人的實驗室，而是要趕快去討好那幾位偏執的偉大領袖。
