分類: AI 人工智能

[大衛選讀] 關於人工智慧的發展與影響，近期有很多思辨。像是AI Is a False God, Artificial intelligence is losing hype等，都在講現在看到的人工智慧，只是一種假象。看似充滿智慧的背後，只是玩弄了人類熟知的表達形式，並不代表真知卓見與創新巨變。

相較之下，哈拉瑞 (Yuval Noah Harari) 的新書摘要，一篇名為《永遠不要召喚你無法控制的力量》的文章，則更能引起我的深度反思。

哈拉瑞是著名的歷史學者、哲學家暨暢銷作者，著有人類大歷史三部曲。他不從短期技術分析著手，更關注人類歷史長期的發展與演變趨勢。他認為人工智慧並不等同於以往的技術革新，不只是個工具，而是歷史上第一個能夠自己做決定和創造新想法的技術。

以 AlphaGo 的第 37 手棋作為關鍵分界點，人工智慧的特質，包含越來越不依賴人造的外星本質 (the alien nature of AI)，以及不可理解性 (the unfathomability of AI)，對於人類來說都是前所未有的挑戰甚至威脅。

往後如果有幸，人類沒有發動大規模戰爭，毀滅掉了自己，也勢必要面臨人工智慧壓倒性的挑戰。團結一致是唯一的機會，不然召喚出無法控制的力量之後，就很難抵禦我們孕育出來的超高等智慧了。

文章很長，值得細讀思考。內容整理如下，原文連結：https://www.theguardian.com/technology/article/2024/aug/24/yuval-noah-harari-ai-book-extract-nexus

永遠不要召喚你無法控制的力量 Never summon a power you can’t control

忘記好萊塢電影演的魔鬼終結者機器人吧，人工智慧的現實情況，遠比這些電影更加危險。

縱觀歷史，許多傳統思想都認為人性中存在某種致命的缺陷，誘使我們追求我們不知該如何處理的力量。

例如希臘神話中，法厄同妄圖駕駛太陽神赫利俄斯的太陽戰車，結果失控引發災難。兩千年後，當工業革命邁出第一步，機器開始在許多任務中取代人類時，歌德的警世故事《魔法師的學徒》講述了學徒使用魔法讓掃帚取水，卻無法加以控制而釀成大洪水。這兩個故事都警示人類：不要貿然召喚或使用超出自身掌控能力的力量。

人工智慧對人類構成前所未有的威脅，因為它是歷史上第一個能夠自己做決定和創造新想法的技術 (the first technology in history that can make decisions and create new ideas by itself)

以前所有的發明都是為人類賦能，因為無論新工具有多麼強大，使用它的決定仍然掌握在我們手中。核彈不會自己決定殺死誰，也無法改進自己或自行發明出更強大的炸彈。

相比之下，自主無人機可以自己決定殺死誰，而 AI 可以創造新穎的炸彈設計、前所未有的軍事策略和更好的人工智慧。

人工智慧不只是工具，它是一個智能個體 (AI isn’t a tool – it’s an agent)。人工智慧最大的威脅在於，我們正在召喚無數個新的強大智能個體到地球上，它們可能比我們更聰明、更有想像力，而我們並不完全理解或控制它們。

AI 過往被用來當做人工智慧 (artificial intelligence) 的縮寫，但也許將其視為外星智慧 (alien intelligence) 的縮寫更為恰當

隨著人工智慧的發展，在依賴人類設計的意義層面上，它變得越來越不「人造」，反而更加地「外星」。

許多人試圖用「人類水平智能」的標準來衡量甚至定義人工智慧，我覺得這樣的標準有很深的誤導性。這就像用「鳥類水平般的飛行」標準來定義和評估飛機一樣，這兩者間已經是完全不同的尺度。

人工智慧並不是在朝著人類水平智能前進。它正在發展一種更像是外星類型的智能。

現在的人工智慧已經能夠自己創作藝術和進行科學發現。在未來幾十年內，它很可能獲得創造新生命形式的能力 (AI will gain the ability even to create new life forms)。無論是通過編寫基因代碼還是發明使無機實體生動起來的無機代碼。

因此，人工智慧可能會改變不僅是我們物種的歷史，而且是所有生命形式的進化進程 (not just of our species’ history but of the evolution of all life forms)。

[大衛選讀] 自從今年三月 Claude 3 Opus 開放使用後，我最常做的事情就是，把資料丟進去，然後開始跟 AI 對話。

做做單篇內容的翻譯總結跟摘要是很基礎的，比較有趣的用法會是把有上下文關係的多個文檔放進去，然後試著做綜合分析跟比較。例如把研究規劃、訪綱、逐字稿都塞進去，然後開始靈魂拷問：每一個關鍵的研究問題下，發現到什麼脈絡、會如何詮釋跟解讀，跟去年的另一篇報告相比又有什麼不同的發現？

這樣做的目的，並不是要一個結果，而是要在過程中幫助思考各種可能性。

同樣是顧問業，麥肯錫在去年發表了 Lilli 這個生成式 AI 工具。Lilli 是以 1945 年聘用的首位女性專業人員 Lillian Dombrowski 命名，她創立了麥肯錫的第一個檔案資料庫，以敢於接受任何挑戰的精神而聞名。

看著 Lilli 的應用案例，會去深刻想想，再過五年，顧問業還是今天這樣的樣貌嗎？什麼東西是值得留下來的，哪些只會變成時代的眼淚？身為顧問的獨特價值又是什麼？

多篇文章的內容整理如下，原文連結則放在留言中。

Lilli has unleashed the creative potential in McKinsey’s Consultant

把過往幾十年到剛剛出爐的顧問報告，轉變成馬上可以取用的諮詢資源

眾所週知，麥肯錫有個 「KNOW」資料庫，裡頭涵蓋了多年來累積的案例研究、產業剖析、方法論指南等逾十萬份文件與訪談記錄。這些知識結晶在結案之後，會經過去識別化等保密處理，然後放到內部資料庫中，變成全球上萬名麥肯錫顧問可取用的參考資源。

而 Lilli 之所以強大，關鍵在於它能夠直接存取麥肯錫內部龐大的知識庫「KNOW」。只需輸入問題或關鍵字，Lilli 便能快速搜尋資料庫並給出綜合答覆。相較於過往必須透過搜尋、閱讀跟比對大量文件資料；以對談方式萃取過往知識脈絡，大幅節省了顧問蒐集資料的時間。

多層次知識源整合 (Multi-level Knowledge Integration) 

Lilli 能夠將 KNOW 資料庫中不同層次、不同維度的知識進行有機融合，形成全面、系統性的洞見。

在專案層面 (Project Level) 上，包括項目的背景、目標、團隊組成、工作計劃等。Lilli 可以從中根據新專案的特性，提煉出專案管理上的最佳實踐，如里程碑設置、資源配置等，作為新項目的規劃參考。

在方法論層面 (Methodology Level) 上，麥肯錫過往積累了大量的通用方法論和分析框架，如五力模型、價值鏈分析、波士頓矩陣等。Lilli 可以將這些方法論與具體的專案脈絡相結合，預先示範如何利用方法論與工具去解決特定的問題。藉此幫助顧問思考，並且提升分析的深度和廣度。

行業洞見層面 (Industry Insight Level) 上，KNOW資料庫涉及各個行業的研究報告、趨勢分析、標桿案例等。這些內容反映了對特定行業的宏觀掌握。Lilli 可以將這些行業洞見與專案層面的經驗相結合，將單一專案放在行業大背景下審視，去有效識別出更多的機會與風險。

專家網絡層面 (Expert Network Level) 上，KNOW資料庫中還包含了麥肯錫全球專家網絡的資訊。Lilli 可以結合專家觀點，並且串連起全球各地麥肯錫顧問間的交流聯繫。

[大衛選讀] 週末靜下心來讀了 Vitalik Buterin (以太坊共同創辦人) 的長文 My techno-optimism.

人類自有歷史以來，科技的進步為我們的生活帶來了巨大的改變。從石器時代的簡陋工具，到今天可以瞬間跨越地球的通訊技術，以及將人類壽命延長一倍的醫療科技。技術發展無疑為人類帶來了深遠的利益。

然而隨著人工智慧等破壞性創新技術的興起，我們也必須審慎面對潛在的風險。人工智慧是一把雙刃劍，它所代表的力量遠非人類以往面對過的任何科技。

單純地遵循利潤最大化的邏輯，並不能自動實現我們理想的未來，而是需要人類做出積極的價值選擇 (need active human intention to choose the directions that we want)。

展望智慧未來，技術的發展需要積極選擇與引導。

很長的文章，但是很有啟發性。內容整理如下，原文連結：https://vitalik.eth.limo/general/2023/11/27/techno_optimism.html

Technology is amazing, and there are very high costs to delaying it

技術進步為人類帶來巨大利益，企圖延緩技術發展的代價將會非常大。

以醫療技術為例，在過去一個世紀，技術進步為人類健康與壽命帶來顯著提升。儘管在這段期間內也發生了世界大戰等浩劫，但整體而言，食品、衛生、醫療、基礎設施等領域的改善，帶來的效益遠遠勝過戰爭的破壞。

如果生物技術在未來75年裡的進步，能夠跟計算機在過去75年中的進步一樣多，那麼未來可能比任何人預想的更令人刮目相看。人類或許在未來幾十年內，就能徹底戰勝衰老與疾病。

考慮到各個領域的技術進步是環環相扣的，即使是部分的推遲，也可能帶來難以預料的風險。因為擔心害怕，而刻意抵制技術發展，就過去的歷史來看，並不是一個好的選擇。

[大衛選讀] 當機器預測 (prediction) 變成幾乎免費，人類判斷力 (judgment) 的價值才正要彰顯。

隨著人工智慧技術的日益成熟，機器預測的成本正在快速下降，甚至有望在不久的將來變得幾乎免費。

這一趨勢將對商業決策和人才需求產生深遠影響，正如Ajay Agrawal, Joshua Gans 和 Avi Goldfarb 在他們的著作《AI 經濟的策略思維, Prediction Machines》中所預言的那樣。當預測變得唾手可得時，它將徹底改變企業運作的模式，並且重新定義工作的價值。

在傳統的商業決策中，預測和判斷往往交織在一起，難以區分。然而，人工智慧的崛起正在改變這一狀況。機器學習演算法藉著能處理海量數據的能力，可以生成高度精準的預測結果，而這一任務恰好是人類所不擅長的。

(本文為心得摘要，完整原文內容：https://hbr.org/2017/07/how-ai-will-change-the-way-we-make-decisions)

當預測成本趨近為零 (as the cost of machine prediction falls to almost zero)

當預測成本趨近為零時，企業將更多地依賴機器來完成這一流程，從而將人力資源釋放出來，專注於往上一層的判斷和決策。

然而，預測只是決策的一個環節，判斷力才是其中的關鍵。判斷力是一種根據特定情境，權衡行動利弊後，做出最佳決策的能力 (Judgment is the process of determining what the reward to a particular action is in a particular environment).

雖然人工智慧可以提供精準的預測，但它並不能自主地確定什麼樣的結果對組織最有利。這就需要人類運用判斷力，根據組織的目標和價值觀來設計適當的獎勵函數，指導人工智慧系統的運作方向。

[大衛選讀] 去年底的 AI 熱潮開始後，我就一直在找關於人工智能發展的基礎原則。若能看懂大的原則跟方向，後面要做自我技能的發展，或是特定的投資決策，都會比較容易些。

On some first principles of intelligence 這篇文章，試著寫出了智能的幾個第一性原則，並且用此對比人工智慧的發展。

文中提到了如何建立資訊反饋機制 (feedback mechanism)、善用電腦在儲存與計算上的巨大優勢、以及怎樣發展泛化能力 (generalization capability) 等概念，非常具啟發性。

原文是一篇很簡短，但有點硬的文章。為了讓自己讀懂，我額外讀了不少相關資訊，再擴寫成以下的重點摘要。

內容整理如下，原文連結：https://www.lesswrong.com/posts/oJzHEYL9ztgMwsze9/on-some-first-principles-of-intelligence

關於智能的第一性原則

過去十年中 AI 研究的進展和成功，似乎都可以追溯到上世紀所發現的一些關於智能本質的基本原則。以下就來細談這幾個可以視為是智能的第一性原則，以及這些原則對於 AI 人工智能發展的影響。

由 Robert Wiener 提出的反饋機制 (Feedback mechanism)

一般來說，反饋 (feedback) 是對於資訊迴路的抽象描述，目的是在確保一個系統能夠持續地改善與調適 (improvement/adaptation)。

在真實世界裡，人類和動物都需要收到反饋，以便提高做某件事情的技能水準。同樣的，一個產品或技術，也需要來自於外部環境的反饋資訊，來逐步改進以達到一定的可用性。

我們可以這樣說，任何有用的自動化系統，本身都是封閉迴路的反饋系統 (closed-loop feedback system)。系統會監控輸出，並且用來調整輸入；藉由不斷地回饋本身的狀態，來自行調整運作效能。

從這個角度來看，那些沒有反饋機制的自我監督機器學習，像是設定了很多規則去模擬但卻沒有真實上路的自駕系統，發展到最後並不能產生令人滿意的結果，那就一點也不意外了。因為這樣的系統，缺乏來自於外部環境對於表現好壞的反饋。

這些資訊是非常必要的，可以用來改進跟修正。

從這個角度來看，一個 AGI 通用人工智慧必須要能夠自主與環境互動，透過觀察去收集動作之後的反饋，並通過某種機制去持續地整合所得資訊，進而改寫優化自身的程式碼。

由 Rolf Landauer 提出的蘭道爾原理 (Landauer’s Principle)

Landauer’s Principle 把資訊熵 (information entropy) 與熱力學的熵 (thermal dynamics entropy)，巧妙地連結在一起。兩者同樣都遵循熱力學的第二定律。這個原理認為，當你刪除一個位元的資訊時，會有對應的能量被釋放到環境中，也就是變成熱能。資訊處理和能量消耗之間是密不可分的。

熵在這裡可以被視為一個對不確定性 (uncertainty)，或混亂程度 (disorder) 的度量。在人工智能領域中，降低熵就意味著減少不確定性、提高模型的預測能力或效能。

如果一個演算法被放在封閉系統裡，沒有來自外部環境的資訊反饋，像是加入更多的新數據或是人類的知識，它將無法學習或適應新的狀況。它的智能水平或是預測能力將無法提昇，熵也就不會降低。

目前最常用的反饋方法是，利用工程師自己的理解和判斷，來優化和改進機器學習模型。然而人類的思考速度和處理能力相對較慢，而且可能受到先入為主的偏見影響。隨著數據和模型規模的增長，單單只靠人類工程師的大腦來反饋和優化，可能會變得越來越不切實際。