放在你臥室角落裡的聲控設備突然發瘋一樣地笑了起來，並把你的枕邊細語錄下來，發送給了一位同事。你孩子在YouTube上觀看的《小豬佩奇》突然出現了有關流血和死亡的內容。你用來跟朋友保持聯繫的社交網絡，成了影響選舉和煽動政變的工具。
我們的思維方式發生了一些奇怪的事情，其結果是，世界發生了一些更奇怪的事情。我們開始認為，一切都是可以計算的，一切都可以通過應用新技術來解決。但這些技術並不是立場中立的促進者：它們體現了我們的政治立場和偏見，它們超出了國家和法律管轄範圍的界限，並且日益超越了人們乃至其發明者的理解。結果，隨著這些強大的技術越來越多地奪取我們對日常生活的控制權，我們對這個世界的了解變得越來越少。
在科學和社會領域，在政治和教育領域，在戰爭和商業領域，新技術不僅是在增強我們的能力，它還在積極塑造和引導這些領域的發展，不管是朝好的方向，還是壞的方向。如果我們不了解複雜技術是如何運作的，它們的潛能就會更容易被自私自利的精英和企業所攫取。我們周圍就有這樣的例證。我們每天都會遇到複雜的系統不透明性，而這種不透明性與不平等、暴力、民粹主義和原教旨主義等全球問題之間，存在著一種因果關係。
我們似乎正在進入一個充斥著越來越多離奇和不可預見性的黑暗時代，而不是來到一個被技術進步照亮的烏托邦式未來。更廣泛地傳播更多信息，這是當下的啟蒙思想，但它並沒有增進我們相互之間的理解以及和平，反而似乎導致了社會分裂、不信任、陰謀論以及所謂的後真相政治（譯註：後真相是忽視真相、不顧事實的委婉說法）。要了解正在發生的事情，就有必要了解我們的技術是如何形成的，以及我們如何對它們產生了如此大的信心。
「雲是網際網路的中心隱喻：一個全球性的強大力量和能量體系，幾乎不可能被控制」
上世紀50年代，一個新的符號開始出現在電子工程師製作的圖表中，用來描述自己打造的系統。這是一個模糊的圓圈，或者一個巨型蘑菇，或者一個思維泡泡。最終，它的外形固定為一團雲。不管工程師做的是什麼，都可以連接到這團雲，而它就是你所需知道的一切。另一團雲可以是電力系統，或者是數據交換機，抑或是其他計算機網絡。隨便是什麼，那並不重要。這團雲是降低複雜性的一種方式，它讓你可以專注於手頭的問題。隨著時間的推移，網絡的規模越變越大，互聯程度越來越高，而雲也變得越來越重要。它成了一個商業流行詞，成了一個賣點，它的含義超越了工程技術的縮寫，它變成了一個隱喻。
如今，雲是網際網路的中心隱喻：一個全球性的強大力量和能量體系，它保留了一些神秘的光環，幾乎不可能被控制。我們在雲當中工作，我們把文件存儲到雲端並從中取回，我們一直在體驗雲，但卻不理解它究竟是什麼。但這個隱喻存在一個問題：雲不是一個神奇和遙遠的地方，不是由水蒸氣和無線電波組成的一切正常運轉的地方。雲是由電話線、光纖、衛星、海底電纜以及擺滿計算機的數據中心組成的物理基礎設施，它需要消耗大量的水和能源。社會領域中很多以前十分重要的行業都被吸納到雲當中：購物的地方，銀行，社交生活，借書和投票的地方。這樣一來，它們就變得不那麼可見，不那麼適於批評、調查、保存和管理。
位於美國愛荷華州的谷歌數據中心
過去幾十年里，世界各地證券交易所的交易大廳都陷入了沉寂，因為人類交易員被一排排能夠進行自動交易的計算機所取代。數字化意味著，證券交易所內部、以及彼此之間的交易能夠以越來越快的速度進行。隨著交易轉移到機器手中，在瞬時之間做出反應成為了可能。高頻交易算法由此登場，它由一群物理學博士生設計，旨在利用毫秒之間的優勢。人類交易員給它們取了諸如「尖刀」這樣的名字。這些算法能在每筆交易中賺取零點幾美分的收益，而它們每天能進行數百萬筆交易。
在這些大大加速的不透明市場中，一些非常奇怪的事情發生了。2010年5月6日，道瓊斯指數低開，受希臘債務危機影響，道指在接下來的數小時內緩慢下跌。但在當天下午2點42分，道指開始快速下跌。在不到5分鐘時間裡，道指暴跌了600多點。在最低點時，該指數比前一日的平均值低了近1,000點，這一跌幅相當於道指點位的10%，創下了盤中最大跌幅紀錄。到了下午3點零7分，在短短25分鐘內，道指幾乎收復了全部600點，由此成為了有史以來幅度最大、速度最快的日內波動。
在那持續25分鐘的混亂中，價值560億美元的20億股股票易手。更令人擔憂的是，很多交易單都是在美國證券交易委員會所謂的「非理性價格」上執行的：低的只有1美分，高的達到10萬美元。該事件被稱為「閃電崩盤」（簡稱閃崩），多年之後，這一事件仍在接受調查，人們對它的爭論也在持續。
「雖然經驗豐富的市場參與者也許可以通過做長線來穩定崩盤局面，然而，當機器面對不確定性時，它會儘快退出」
監管機構的一份報告指出，高頻交易者加劇了股價波動。在各種高頻交易程序中，很多都有硬編碼的賣出價位：一旦股票跌到這個價位，程序便會立刻賣出股票。隨著股價開始下跌，成批的程序被觸發在同一時間賣出股票。賣出價位一再被擊穿，隨後的股價下跌又觸發另一批算法自動賣出股票，從而產生了一種反饋效應。其結果是，股價下跌速度之快，超過了任何人類交易員所能做出的反應。雖然經驗豐富的市場參與者也許可以通過做長線來穩定崩盤局面，然而，當機器面對不確定性時，它會儘快退出。
其他一些理論則指責是算法引發了這場危機。人們在數據中發現了這樣一種技術：高頻交易程序會向交易所發送大量「不可執行」的交易單——也就是以非常離譜的價格買入或賣出股票，因此它們會被忽略。其實，這些交易單的目的不是為了詢價，也不是為了賺錢，而是為了故意迷惑系統，以便其他更有價值的交易能夠在混亂中得到執行。在閃崩中，很多無意被執行的交易單得到了執行，因而製造了極大的波動。
閃崩現在已成為增強型市場的公認特徵，但我們對它仍然不甚了解。2016年10月，受英國脫歐談判負面新聞影響，高頻交易算法在不到2分鐘內讓英鎊兌美元匯率下跌6%，然後，幾乎又立刻收復了失地。要想知道是哪條具體的新聞，或是哪個具體的算法導致了閃崩，幾乎是不可能的。2012年10月，當一個失控的算法下達和取消的交易量占到美國股市交易總量的4%時，一位評論員哭笑不得地評論道：「該算法的動機尚不明確。」
2013年4月23日，下午1點零7分，美聯社的Twitter帳號向200萬關注者推送了一條推文：「突發新聞：白宮發生兩起爆炸事件，歐巴馬總統受傷。」後來證實，這是黑客組織敘利亞電子軍入侵美聯社帳號後發布的消息。美聯社和其他記者迅速在Twitter發文，警告那是一則假消息。然而，追蹤突發新聞的算法並沒有這樣的辨別能力。當天下午1點零8分，道瓊斯指數開始出現暴跌。在很多人有機會看到那條推文之前，道指在不到兩分鐘里下跌了150點，之後，又反彈到早先的點位。在那段時間裡，股市蒸發了1,360億美元。
作為智能家居助理，華碩Zenbo使用攝像頭來防止碰撞牆壁，它還能通過揚聲器和麥克風，來響應語音命令
計算技術正越來越多地疊加和隱藏到我們日常生活里的每一個物件中，伴隨其擴張而來的，還有不透明性以及不可預測性的增加。三星在2015年推出了「智能冰箱」，與Google Calendar服務的整合是這款產品的營銷賣點之一，該功能讓用戶可以在廚房裡安排雜貨的配送計劃。對於這款當時安全保護措施並不完善的設備，這也意味著，如果黑客成功入侵獲得訪問權限，用戶的Gmail密碼將被泄漏。德國的研究人員發現了一種把惡意代碼植入飛利浦Hue智能燈泡的方法，從而可以快速關閉或打開這些安裝在建築物乃至城市各處的燈具。在極端情況下，它甚至有可能引發某些人的光敏性癲癇。在托馬斯·品欽（Thomas Pynchon）的小說《萬有引力之虹》（Gravity’s Rainbow）中，「燈泡拜倫」也喜歡這種方法，即各種小機器聯合起來，反抗其製造者的暴政。曾經只存在於科幻作品中的技術暴力，如今正在被物聯網實現。
在金·斯坦利·羅賓遜（Kim Stanley Robinson）的小說《極光號》（Aurora）中，一艘智能太空飛船搭載著人類船員，從地球飛往一顆遙遠的恆星。這趟旅程需要幾百年時間，所以飛船的一項工作就是確保人類能照顧好自己。當脆弱的人類社會分崩離析、並使此次任務受到威脅時，飛船開始將安全系統用作一種控制手段：它能通過傳感器看到一切，隨心所欲地開關艙門，利用通訊設備大聲講話（乃至引起船員的生理不適），還能藉助滅火系統來降低特定空間中的氧氣水平。
如今，Google Home及其合作夥伴已經能夠實現大致相同的操作：聯網的攝像頭被用於家庭安全監控，大門上安裝著智能門鎖，恆溫器能升高或調低單個房間的溫度，而防火和防盜系統能夠發出刺耳的警報聲。任何經驗老道的黑客都能擁有「極光號」飛船之於船員、或是「燈泡拜倫」之於其主人的控制力。
先別急著把這樣的場景貶斥為科幻作家發燒時做的迷夢。讓我們再來思考一下證券交易所中的流氓算法。這些並非孤立的事件，而是複雜系統內司空見慣的現象。那麼，問題來了：在更廣泛的現實中，流氓算法或是閃崩會是什麼樣子？
舉例來說，它會不會像那個在2016年10月21日讓很大一部分網際網路斷網數小時的軟體Mirai？研究人員對Mirai展開調查時發現，它瞄準的是安全性較差的聯網設備——比如安保攝像機和數字錄像機——並把它們變成了「殭屍」機器人大軍。短短几周內，Mirai感染了50萬台設備，而它只需藉助其中10%的力量，便能發起攻擊，讓主要網絡癱瘓數小時。
2008年，時任伊朗總統內賈德視察位於該國納坦茲的核設施
事實上，Mirai看上去很像另一種計算機病毒Stuxnet，後者2010年被發現於水電站和工廠裝配線所使用的工業控制系統中。Stuxnet是一種軍事級的網絡武器，研究人員在進行解析後發現，它專門針對西門子離心機，當遇到特定數量的這類機器時，便會啟動攻擊。而那個特定數量與一處特定設施是相對應的，即伊朗納坦茲的核設施。啟動後，Stuxnet將悄悄攻擊離心機的關鍵部件，導致它們出現故障，進而破壞伊朗的鈾濃縮計劃。
Stuxnet的攻擊顯然在某種程度上取得了成功，但至於它對其他受感染的設施有何影響，我們尚不清楚。直到今天，儘管有顯而易見的嫌疑對象，但沒有人知道Stuxnet從何而來。也沒有人確切知道是誰開發了Mirai，或者，它的下一次疊代會出現在哪裡。但此時此刻，它可能就在那裡，藏身在你辦公室的閉路電視攝像頭裡，或者廚房角落帶有聯網功能的水壺裡。
或者，現實當中的閃崩看起來會像一系列迎合右翼陰謀論和生存主義幻想的大片，從准法西斯主義的超級英雄（《美國隊長》和《蝙蝠俠》系列），到為酷刑和暗殺正名（《獵殺本·拉登》和《美國狙擊手》）。在好萊塢，製片公司會通過Epagogix公司的神經網絡來測試他們的劇本，這套系統利用數百萬影迷幾十年來培養的偏好進行訓練（Epagogix沒有明確說明是哪些偏好），以此預測哪一句台詞能夠觸發「正確」的情感按鈕（這裡「正確」的含義是「最賺錢」）。算法引擎通過來自Netflix、Hulu、YouTube和其他網站的數據得到增強，它們可以訪問數百萬視頻觀看者的實時偏好，其達到的認知洞察水平是此前的體系做夢也想不到的。這個神經網絡直接饋入消費者的追劇慾望，運轉後，它可以反映、增強和加深系統固有的妄想。
准法西斯式的超級英雄……在2012年的電影《黑暗騎士崛起》中，由克里斯蒂安·貝爾（Christian Bale）飾演的蝙蝠俠。
通過A/B測試介面以及實時監控玩家行為，遊戲開發者不斷進行升級和改進應用內購項目。他們對玩家產生多巴胺的神經通路具有非常細緻的把握，以至於有些青少年在電腦面前因疲勞而猝死，根本無法自拔。
或者，現實當中的閃崩看起來會像是一場被直播的真實噩夢，讓所有人都可以看到？2015年夏天，雅典一家治療睡眠障礙的醫院比以往任何時候都要繁忙：當時該國的債務危機正處於最動盪的時期。患者當中有政界高官和公務員，他們在接受治療時被連接到監控呼吸、動作乃至夢話的機器，而這些信息連同他們的個人病歷，會被發送到機器製造商位於北歐的診斷數據中心。什麼樣的竊竊私語有可能從這樣的設施中逃脫呢？
「用戶被鼓勵晚上把手機放在床邊，以便記錄他們的睡眠模式，這些數據都去了哪裡？」
通過可穿戴技術，我們得以記錄自己生活的方方面面，並讓自己相信，我們也可以像這些設備一樣進行優化和升級。內置了計步器和皮膚電反應監測器的智能手環和智慧型手機應用，不僅會追蹤我們的位置，還會追蹤我們的每一次呼吸和心跳，甚至還有我們的腦電波模式。用戶被鼓勵晚上把手機放在床邊，以便記錄他們的睡眠模式，這些數據都去了哪裡，誰成了它們的主人，它們什麼時候會被公布？我們做的夢，夜裡的夢悸，清晨出的汗，我們無意識自我的實質，關於這一切的數據，都為那些冷酷而神秘的系統注入了更多燃料。
或者，現實當中的閃崩看起來就跟我們眼下正在經歷的一切別無二致：經濟不平等加劇，單一民族國家崩潰，邊境軍事化，全球監控興起，個人自由衰減，跨國公司盛行，神經認知資本主義大行其道，極右翼群體和本土主義意識形態抬頭，以及自然環境遭到破壞。所有這一切都不是新技術帶來的直接後果，但它們都是這樣一種無能的產物，即我們無法感知個人和企業行為的網絡效應，而這種效應又由於技術增強導致的不透明性和複雜性進一步加劇。
1997年，西洋棋世界冠軍加里·卡斯帕羅夫（Garry Kasparov）第二度跟「深藍」（Deep Blue）對弈，後者是IBM為擊敗他而專門打造的計算機。卡斯帕羅夫遭遇失利後聲稱，「深藍」的一些招式非常聰明、有創意，必然是人為干預的結果。不過，我們清楚「深藍」為什麼會走出那些招式：它選擇招式的過程歸根結底屬於一種蠻力，14,000枚定製的西洋棋晶片構成了大規模的並行架構，這讓「深藍」每秒鐘可以計算2億步棋。卡斯帕羅夫並非被智勝，而是被力取。
西洋棋世界冠軍卡斯帕羅夫與IBM計算機「深藍」對弈
2016年，由Google Brian驅動的AlphaGo軟體與韓國職業圍棋選手李世乭對弈時，一些事情已經發生了改變。在五番棋的第二局比賽中，AlphaGo在棋盤的遠端落下一子，這一步棋讓李世乭感到錯愕。「那是非常奇怪的一步棋。」一位評論員說道。「我原以為那是一次失誤。」另一位評論員說。六個月前，經驗豐富的樊麾成為了第一位輸給AlphaGo的職業圍棋選手，他說，「那不是屬於人類的招式。我從來沒有見過人類棋手這樣下棋。」
AlphaGo拿下了第二局比賽，之後又取得了五番棋的勝利。AlphaGo的工程師在開發這款軟體時，向一個神經網絡饋入了職業棋手的數百萬步走法，然後，又讓它自己對弈了數百萬場，從而開發出了能夠勝過人類棋手的策略。但是，AlphaGo的那些策略仍然難以辨識：我們可以看到它落的子，但不清楚它是如何決策的。
已故作家伊恩·班克斯（Iain M Banks）把那個進行決策的地方稱為「無限有趣空間」（Infinite Fun Space）。在他的科幻小說《文明》（Culture）中，文明是由一個名為Minds的仁慈且超智能的人工智慧（AI）負責管理的。雖然Minds最初由人類創造，但它們早已對自己進行了重新設計和重建，成為了無所不能的系統。在控制飛船、管理行星、指揮戰爭以及照顧數十億人類的同時，Minds還會自己找樂子。它們能夠在自己的想像中模擬整個宇宙，一些Minds就此永久性地回退到無限有趣空間，那是一個由元數學可能性組成的領域，只有超智能AI才能進入其中。
「2016年，谷歌的三個網絡開發出了一種私密的加密形式。機器正在學會保守自己的秘密」
許多人都很熟悉2006年上線的Google Translate，該系統使用了一種名為「統計語言推理」的技術。它沒有試圖去理解語言的工作原理，而是吸收了大量現有的翻譯語料庫，也就是用不同語言表述相同內容的並行文本。通過直接把一種語言的詞語映射到另一種語言，它在翻譯中消除了人類的理解，並代之以數據驅動的相關性。
Google Translate在翻譯時鬧出了不少笑話，但在2016年，該系統開始使用一種由Google Brain開發的神經網絡，於是，它的翻譯能力得到了指數級的提升。神經網絡不是簡單地交叉引用大量文本，而是建立起自己的世界模型，其結果不是詞語之間的二維連接，而是包含整個領域的地圖。在這種新的架構下，詞語在一個意義網中，依據與另一個詞語的遠近進行編碼，而只有計算機才能理解這個意義網。
雖然一個人可以很容易地在「tank」（水槽）和「water」（水）這兩個詞之間畫出一條連線，但要在一幅地圖中畫出「tank」（坦克）和「revolution」（革命）以及「water」（水）和「liquidity」（流動性）之間的連線，並從這些連線中找出所有的情感和推斷結果，那就變得不可能了。因此，這幅地圖是多維的，它延伸的方向超出了人類思維的容量。正如一位谷歌工程師在描述這套系統時所言：「我不喜歡在三維空間內，對千維向量進行可視化描述。」這就是機器學習系統在其中生成意義的不可見空間，我們不僅無法對它進行可視化描述，我們甚至無法理解它。
同一年，Google Brain的其他研究人員創建了三個網絡，分別名為Alice、Bob和Eve，它們的任務是學習如何加密信息。Alice和Bob都知道一個數字——在加密領域，這個數字就是密鑰——而Eve不知道。Alice要對一串文本進行一些操作，然後把它發送給Bob和Eve。如果Bob能解密信息，Alice的得分就會增加；但如果Eve也能解密信息，Alice就要被扣分。
經過數千次疊代，Alice和Bob學會了在Eve無法解密信息的情況下進行交流：它們開發出了一種私密的加密形式，就像如今私人電郵所採用的加密技術一樣。但重要的是，我們不清楚這種加密形式的工作原理，其運行被網絡的深度層次遮蔽了起來。Eve不知道的信息，我們同樣不知道。機器正在學會保守自己的秘密。
「我們無法把網絡的想法撤銷；我們只能通過網絡以及在網絡中進行思考」
我們如何理解和思考自己在世界上的位置，如何理解和思考我們彼此以及與機器之間的關係，這些將最終決定技術會帶領我們去向何方。我們無法把網絡的想法撤銷；我們只能通過網絡以及在網絡中進行思考。那些讓我們了解現實的技術，那些塑造了我們對現實認知的技術不會消失，而且很多情況下，我們也不應該希望它們消失。在一顆人口達到75億並且這個數字還在不斷增長的星球上，我們目前的生命支持系統依賴於那些技術。我們對那些系統的理解，以及我們在設計時有意識做出的選擇，仍然完全處在我們的能力範圍之內。我們並非無能為力，我們並非沒有幫手。我們只需要思考，再思考，不斷地思考。整個網絡——我們，我們的機器，以及我們一起思考和發現的東西——都需要它。
作為工具，計算系統凸顯了人類最強大的方面之一：我們有能力高效地行動，按照自己的意願改造這個世界。但是，揭示和表達這些慾望，並確保它們不會貶低、推翻、抹去或消除他人的慾望，這仍然是我們的特權。
當卡斯帕羅夫1997年被擊敗時，他沒有放棄西洋棋。一年之後，他以新的形式重返競技場：即高級西洋棋，也稱「半人馬」西洋棋。在這種象棋中，人類和機器不再是競爭關係，而是合作。這種方法很快帶來了一些非常有趣的結果。雖然如今一台中級水平的西洋棋計算機就能橫掃大多數大師級棋手，但當一位普通水平的棋手跟普通水平的計算機搭檔時，他們卻能擊敗最先進的超級計算機——而且，從這種思維方式組合中誕生的下法，已經讓西洋棋發生了革命性的變化。人類是否有可能跟正在開發的複雜機器和治理系統合作——或者這種合作是否會被允許——這還有待觀察，但相較於模糊和支配，共同理解和思考提供了一條更有希望的前進道路。
我們的技術是我們自身的擴展，它們被編碼在機器和基礎設施中，也被編碼在知識和行動的框架里。計算機的意義，並非是向我們提供所有的答案，而是讓我們能夠以新的方式，向宇宙提出新的問題。