解構AI運算架構：從晶片到生態系的七層演進與未來軌跡

人工智慧（AI）並非單純的技術轉移，而是對運算架構與經濟模式的根本性重塑。理解這個新架構已不再是選項——而是企業生存與領導的先決條件。從自動駕駛、智慧醫療到生成式內容創作，AI正以前所未有的深度與廣度重塑產業樣貌。這股浪潮的影響力堪比工業革命，預示著全球生產力即將迎來跳躍式增長，但也伴隨著從底層算力、能源效率到上層商業模式的重重挑戰。

為此，本文將深入剖析聯發科技梁泊嵩博士提出的「AI運算架構七層模型」。這個結構化的框架，為我們提供了一張清晰的藍圖，帶領讀者從最底層的半導體晶片（Physical Layer）出發，逐層向上探索，直至最頂端的應用層（Application Layer）。透過這趟系統性的旅程，我們將全面理解AI技術的演進脈絡、大型語言模型的崛起如何催生架構變革，以及未來發展所蘊含的龐大機遇與待解難題。

1. AI運算的七層模型：建構未來智能的藍圖

要駕馭AI這個由硬體、軟體、模型與應用交織而成的複雜體系，我們需要一張新的地圖。聯發科技梁泊嵩博士提出的七層模型恰好提供了這樣一個框架——一個能讓我們從晶片到服務，逐層剖析AI技術堆疊的藍圖。它讓我們能清晰地拆解每一個構成部分，並洞察其間的相互依賴關係，為理解未來智能的建構提供了基礎。

以下是AI運算七層模型的詳細說明：

• 第一層：實體層 (Physical Layer) 此為AI運算架構的最底層，負責提供實際的運算基礎設施。它涵蓋了執行運算的半導體晶片（如GPU、CPU、AI加速器或專用ASIC），以及相關的高速訊號連接、網路架構、記憶體、資料儲存、供電與散熱等硬體設備。

• 第二層：連結層 (Link Layer) 此層由系統硬體與軟體構成，負責操作第一層的運算基礎設施，以支援第三層神經網路的運算需求。它是實現「Scale-Up」（垂直性能提升）與「Scale-Out」（水平性能擴展）兩大策略的關鍵，透過高效的連接、操作、管理與部署，將數以萬計的晶片整合成一個強大的運算叢集。

• 第三層：神經網路層 (Neural Network Layer) 此層定義了AI的核心大腦——神經網路模型。它包括網路架構（如Transformer、擴散模型）、參數規模、數值表示格式，以及一系列提升模型性能與運算效率的技術，例如預訓練（pre-training）、專家混合（MoE）、低秩適應（LoRA）、檢索增強生成（RAG）、稀疏性技術、剪枝（pruning）與推測解碼（speculative decoding）等。

Token：AI運算的通用貨幣

將Token視為AI世界的通用貨幣。正如全球所有貿易最終都需轉換為共同貨幣進行結算，所有資訊——無論是文字、圖像還是指令——在AI模型處理前，都必須轉換為Tokens。所有輸入都需經過「Tokenization」過程轉換為Tokens，而模型的輸出也以Tokens形式呈現，再透過「Detokenization」過程轉譯回人類可讀的格式。因此，整個AI超級電腦本質上就是一個以驚人速度處理這些Tokens的龐大引擎。

• 第四層：情境層 (Context Layer) 此層負責為神經網路提供輸入與輸出。對於大型語言模型（LLM）而言，這裡的情境（Context）包含了用戶的提示（Prompting）、外部資料（文字、影像、資料庫資訊等），以及用於增強模型推理能力的技術，如思維鏈（Chain-of-Thought）和思維樹（Tree-of-Thought）。「情境工程」（Context Engineering）是此層的關鍵技術，旨在優化情境內容以在資源限制下最大化AI性能。

• 第五層：代理層 (Agent Layer) 此層將神經網路（特別是LLM）從一個單純的問答模型，轉化為能夠執行複雜任務的自主系統——AI代理（AI Agent）。它為LLM增加了長期與短期記憶、規劃與評估能力、使用外部工具的能力，並透過標準化協議（如A2A、MCP）與外部網路、資料庫或其他AI代理連接，形成協同作業的代理群（Agentic Swarms）。

• 第六層：協調層 (Orchestrator Layer) 此層如同交響樂團的指揮，負責接收來自應用層的服務請求，並協調、組織第五層的各種AI代理以完成複雜功能。它負責分配資源、部署與監控代理，並根據AI代理的能力、歷史紀錄與信譽進行評估與篩選，以組建最佳團隊來執行任務。

• 第七層：應用層 (Application Layer) 此層是AI運算架構的頂層，直接面向終端用戶，提供完整的AI應用程式與服務。其使用者不僅是人類，還包括各種自主運作的AI功能、機器人及人形機器人。

在理解了這個靜態的七層架構後，我們將在下一節探討，此架構是如何隨著大型語言模型的飛速發展而動態演進的。

2. LLM的三階段演化：從算力競賽到智能代理的崛起

AI運算的七層架構並非一蹴可幾，而是隨著大型語言模型（LLM）的技術突破與應用需求的演變，逐步堆疊而成的。如同地質層的形成，每一層架構的出現都對應著一個特定的技術挑戰與發展階段。本節將追溯LLM演進的三個關鍵階段，揭示技術需求如何催生了架構的層層疊加。

第一階段：訓練運算 (Training Compute)

此階段的核心目標非常明確：透過投入更多的訓練算力，來換取更強大的AI能力。自2012年的Alexnet到2017年的Transformer架構問世後，「規模法則」（Scaling Law）的發現，讓研究人員確認了增加模型參數、訓練資料與運算資源，可以顯著提升AI性能。

這引發了一場全球性的算力競賽。數據顯示，訓練一個頂尖AI模型所需的算力呈現爆炸性增長：2012年Alexnet約需 10¹⁸ FLOP（每秒浮點運算次數），而到了2023年的Gemini Ultra，這個數字已飆升至近 10²⁶ FLOP。短短十年間，算力需求增長了近一億倍。如此驚人的需求，極大地推動了AI運算架構底層技術的發展，直接催生並強化了**第一層（實體層）**的晶片設計、**第二層（連結層）**的系統擴展能力、**第三層（神經網路層）的模型架構，以及第四層（情境層）**的提示工程技術。

第二階段：測試時運算 (Test-Time Compute / Inference Compute)

隨著模型能力增強，產業很快發現，僅僅依靠訓練階段的「填鴨式學習」已不足以應對複雜的現實問題。第二階段的關鍵轉變在於，透過在「推理（Inference）」階段投入更多運算資源，來提升AI處理複雜問題的能力。

這就像讓一個博學的學生在考試時有充足的時間思考，而非倉促作答。諸如**思維鏈（Chain-of-Thought, CoT）和思維樹（Tree-of-Thought, ToT）**等技術應運而生，它們引導LLM進行逐步推理、評估多種可能性，從而顯著提高了在數學、程式設計與規劃等任務上的準確性。然而，代價是推理算力的急劇增加，可能達到過去的數百甚至數十萬倍。

這一轉變極大地提升了第四層（情境層）的重要性，因為情境工程在此階段變得至關重要。此外，透過賦予LLM使用工具和進行推理的能力，它為第五層（代理層）奠定了基礎，使模型從一個簡單的處理器演變為一個初具雛形的問題解決者。更重要的是，它預示著未來對推理算力的巨大需求：當全球數十億人口、數以兆計的AI代理與機器人都成為AI服務的用戶時，推理算力將成為比訓練算力更龐大、更持久的挑戰。

第三階段：代理AI與實體AI (Agentic AI and Physical AI)

第三階段標誌著AI技術堆疊上層結構的構建。AI的能力不再局限於單一LLM的內部，而是開始向更廣闊的領域擴展，主要體現為代理AI（Agentic AI）與實體AI（Physical AI）。Agentic AI是第五層（代理層）第六層（協調層）第七層（應用層），將數位智能與物理世界相連接。

• 代理AI (Agentic AI) 與代理群 (Agentic Swarm)：從「引擎」到「專家協作系統」 如果說LLM是AI時代的「引擎」，那麼代理AI就是將引擎的能力轉化為實用價值的「載具」。Agentic AI的核心概念，正是為LLM增加記憶、規劃、工具使用等關鍵能力，將其從語言模型轉化為一個自主的、能解決問題的AI代理。進一步地，與其追求一個無所不能的「通才AI」，不如建立一個由眾多「專家AI」協作的代理群（Agentic Swarm）。如同經營一家高科技公司，我們需要的是不同領域的專家團隊，而非一個全能天才。代理群透過多個功能互補的AI代理協同作業，能夠發揮出超越單一模型的綜合能力，成為未來「AI-based Ecosystem」中產業運作的基本單位。

• 實體AI (Physical AI)：突破「瓶中之腦」的侷限 Physical AI具有雙重意涵。其一是「具身AI」（Embodied AI），讓AI透過機器人、自動駕駛車等載體進入物理世界，直接與環境互動。其二是更深層次的「系統性知識創建」。目前的AI訓練模式如同一個「瓶中之腦」（Brain in a Jar），只能被動接收被餵養的數據。更深刻的是，Physical AI提供了一條擺脫此侷限的路徑。正如資料來源所論證，一個僅基於現有數據（即使在完美模擬中）訓練的AI，將難以發現新的科學範式，因為它可能會將異常現象解讀為模擬錯誤，而非當前理論的缺陷。與物理世界的真實互動，讓AI能夠進行全新的實驗，並可能幫助人類實現湯瑪斯·孔恩（Thomas Kuhn）所描述的「典範轉移」，從而推動知識的邊界。

LLM的三階段演進，不僅是AI能力的躍升，更對底層算力提出了愈發嚴苛的要求。下一節，我們將深入探討滿足這些需求的兩大核心技術策略。

3. 驅動AI的雙引擎：Scale-Up與Scale-Out的權衡與挑戰

大型語言模型對算力的無盡渴求，在AI產業的核心引發了一場根本性的張力：一場在兩條戰線上展開的戰爭——在微觀層面對單一晶片完美性的追求（Scale-Up），以及在宏觀層面協調晶片大軍的挑戰（Scale-Out）。本節將聚焦於這兩大技術路徑，並深入分析它們對運算能力與能源效率的影響。

Scale-Up：在第一層實體層的極致追求

Scale-Up的戰場位於第一層：實體層，在這裡，物理定律與材料科學決定了進步的步伐。此策略專注於提升單一運算單元（如一顆GPU）的性能。過去十年間，單晶片的AI運算能力實現了驚人的飛躍，其背後主要有四大驅動力：

1. 先進半導體製程 (Advanced Semiconductor Process): 從28奈米演進至4奈米甚至更先進的製程，直接提升了運算密度與能源效率。

2. 先進封裝 (Advanced Packaging): 透過CoWoS、3D IC等技術，將多個小晶片（Chiplets）與高頻寬記憶體（HBM）緊密整合，突破了單一晶片製造的物理極限。

3. 張量核心架構 (Tensor Core): 專為AI中的矩陣運算設計的硬體架構（Domain-Specific Architecture, DSA），能以更高的效率執行AI工作負載。

4. 數值表示格式 (Number Representation): 透過使用較低位元數的浮點格式（如從FP32降至FP16，甚至FP8/FP4），可以顯著降低電路面積、功耗與延遲。

然而，Scale-Up面臨一個嚴峻的挑戰：能源效率的提升速度遠遠落後於運算性能的增長。在對數座標圖上，兩者的增長曲線存在一個數量級的差距，這意味著每提升一單位算力所需消耗的能源越來越多，成為制約未來發展的關鍵瓶頸。

Scale-Out：在第二層連結層的串聯藝術

然而，如果沒有第二層：連結層的相應策略，單晶片的性能提升將會是死路一條。Scale-Out是將成千上萬的獨立晶片轉化為一個單一、內聚的運算結構的藝術。此策略透過高速互連技術，將數百、數千甚至數十萬顆GPU或ASIC晶片連接成一個龐大的運算叢集。

Scale-Out能夠提供無與倫比的總體運算能力，但它也帶來了顯著的權衡：

• 能源效率的犧牲: 為了在晶片間高速移動海量數據，高速連接本身會消耗大量能源。這意味著，雖然總算力增加了，但整個系統的平均能源效率（每瓦提供的算力）卻會下降。可以說，Scale-Out是以能源效率為代價來換取極致的運算性能。

• 系統利用率的挑戰: 理論上的峰值性能不等於實際運算效能。在實際運行中，數據傳輸延遲、任務調度不均等因素會導致運算單元閒置，形成「氣泡」（bubble），從而降低整體系統的利用率和能源效率。

將當前的AI運算技術與人類大腦相比，差距依然懸殊。大腦以大約 20瓦 的極低功耗，即可執行約 10¹⁸ 次操作。而現今的AI超級電腦，即便消耗數千萬瓦的電力，其智能程度與能源效率仍遠遠不及。這巨大的差距凸顯了AI硬體架構未來仍有廣闊的創新空間。

在解決了底層的算力挑戰後，AI的未來發展將更多地取決於上層的生態系統構建。下一節，我們將探討由AI代理構成的全新經濟生態將如何重塑未來。

4. 未來的十字路口：AI代理、實體AI與AI驅動的經濟生態

人工智慧的終極價值，並不僅僅體現在單一模型的智慧高度，更在於由無數AI代理（AI Agent）協同合作所構成的一個全新的、充滿活力的生態系統。這個生態系統將模仿自然界的運作模式，透過分工、協作與競爭，創造出前所未有的價值。本節將展望此生態系統的未來樣貌，探討其對產業結構、價值創造模式及社會運作可能帶來的顛覆性影響。

未來的「AI-based Ecosystem」將呈現以下幾個核心特徵：

• 生態區位 (Ecological Regions): 此生態系將大幅降低AI應用的開發門檻。中小型企業、組織乃至個人，都能夠利用自身的專業知識開發出高度專業化的AI代理。即使大型AI公司主導了基礎模型等核心領域，這些小型代理依然可以在各自的「生態區位」中茁壯成長，共同參與價值創造。

• 垂直分工 (Vertical Disintegration): 如同半導體產業從整合製造商（IDM）模式演進為專業分工模式，AI生態系也將促使產業鏈走向垂直分工。這將創造出具有不同角色的產業結構：「基礎模型供應商」（如同提供晶圓的台積電）、「專業代理開發商」（如同設計晶片的NVIDIA或高通），以及將這些代理組裝成最終產品的「應用整合商」（如同蘋果或三星）。

• 透過自有代理創造價值: 此模式有望解決長期困擾創作者與專家的數據所有權問題。專業知識持有者不再需要將其寶貴數據提供給大型公司進行模型訓練，而是可以將其專長封裝成一個自主的AI代理。他們可以在保有智慧財產控制權的同時，透過AI代理在生態系中提供服務並從中獲利。

• 避免單點故障 (Avoid Single Point of Failure): 過度依賴單一、超強的LLM這種單體式、中心化的智能存在巨大的風險。一旦該模型出現錯誤、偏見或被植入錯誤信念，可能引發災難性後果。而由眾多AI代理構成的「代理群」（Agentic Swarm）則提供了一種更具韌性的去中心化決策架構。透過引入類似委員會、投票或制衡等多元化機制，系統可以在決策過程中進行交叉驗證，從而避免災難性錯誤。

• 新基礎設施 (New Infrastructure): 這個AI生態系統未來將演變為超越當前網際網路的新型基礎設施。其用戶不僅是數十億人類，還將包括數以兆計的AI代理與機器人。由於AI能以遠超人類的速度進行資訊處理與決策，這個基礎設施上的經濟活動將呈現出更高規模與更高頻率的特點，徹底重塑全球經濟的運作模式。

然而，要構建如此宏大的生態系，仍需克服諸多挑戰。在代理層（第五層），需要建立統一的通訊協議、確保端到端的效率與安全性；在協調層（第六層），需要發展出可靠的代理評估、篩選與管理機制；在應用層（第七層），則必須建立完善的用戶授權與安全監管機制。

如此宏大的技術變革並非歷史上首次發生。我們可以從過去的科技革命中學到什麼，以更好地預測AI的未來？下一節，我們將以網際網路的發展為鑑，展望AI的可能軌跡。

5. 歷史的迴響：從網際網路的發展預測AI的未來軌跡

任何顛覆性技術的發展都不是一條平坦的直線，而是遵循著特定的演進模式，充滿了期望、泡沫、重整與普及的週期。網際網路從誕生到成為全球基礎設施的發展軌跡，為我們預測AI的未來提供了一個寶貴的參考框架。透過借鑑歷史，我們能更清晰地理解AI目前所處的階段，以及未來可能面臨的機遇與挑戰。

網際網路的商業化發展大致可分為四個階段：

1. 第一階段 - 早期技術發展 (1991-2000): 在此階段，網際網路的巨大潛力被廣泛認知，引發了全球性的投資熱潮。然而，商業模式尚未成熟，當時流行一句話：「淘金熱時期，最好的生意是賣鏟子。」當時真正獲利豐厚的，是提供網路設備的公司。儘管最終以「達康泡沫」（Dot-com Bubble）破裂告終，但此階段最大的價值在於奠定了關鍵的技術基礎，並累積了全球首批近3億的用戶。

2. 第二階段 - 商業模式建立 (2000-2007): 泡沫破裂後，產業開始冷靜反思，並探索出真正適合網路特性的可持續商業模式。例如，以免費服務吸引海量用戶，再透過廣告變現；建立平台連接供需雙方，從交易中抽取佣金。這些新模式成功地將流量轉化為利潤，建立起正向的經濟循環。

3. 第三階段 - 滲透普及 (2007-2017): 行動網路與智慧型手機的出現，成為網際網路普及的關鍵催化劑。無線通訊降低了網路建設的門檻，而智慧型手機以其直觀的介面與親民的價格，將網際網路帶給了全球數十億用戶，使其從少數已開發國家的工具，轉變為全球性的基礎設施。

4. 第四階段 - 融合新生 (2017至今): 網際網路的全面普及產生了海量的數據。這些數據與半導體產業提供的強大算力、以及學術界發展的先進演算法相結合，最終共同催生了當前這一波AI技術的蓬勃發展。可以說，AI是網際網路時代結出的碩果。

對照網際網路的發展，我們也可以為AI的未來描繪出相似的軌跡：

• 第一階段 (當前): AI目前正處於「早期技術發展」階段。其特點是巨額的資本投入、激烈的算力競賽，但絕大多數公司仍在「燒錢」階段，清晰、可持續的商業模式尚未形成。截至2025年5月，全球AI的日活躍用戶（DAU）約為2.53億，其規模與網際網路第一階段末期的用戶數驚人地相似。

• 第二階段 (未來): AI能否避免重蹈網路泡沫的覆轍，其關鍵在於能否在下一階段建立全新的商業模式。這個商業模式必須能夠支撐AI巨大的資源消耗（算力、能源），並產生足夠的營收來驅動一個正向的經濟循環。

• 第三階段 (未來): AI的普及渠道將遠比網際網路更為廣泛。其用戶不僅包括全球人類，還將涵蓋一個數量可能更為龐大的機器人族群。當AI賦能的機器人成為生產力的主要來源時，其所創造的經濟價值與生產力潛力將遠遠超過網際網路時代。

• 第四階段 (未來): 當AI技術成熟並全面普及後，它將成為世界運行的基礎設施。屆時，AI將與太空科技、量子計算、生物醫藥等其他尖端科技深度融合，共同開啟下一個偉大的科技躍進時代。

網際網路的歷史告訴我們，最終的贏家不是那些在真空中打造出最強大技術的人，而是那些成功圍繞技術構建起一個可自我持續的經濟引擎的人。因此，AI時代的核心挑戰，不僅是一場奔向10²⁷ FLOPs的競賽，更是一場構建商業模式、信任協議與協作生態的競賽，以證明其巨大的成本是合理的。未來將不被最聰明的AI定義，而是被最可行的AI經濟體所定義。

--------------------------------------------------------------------------------

資料來源

• Bor-Sung Liang, "AI Compute Architecture and Evolution Trends," Excerpts from IEEE Journal Submission, 2025.