來源：華爾街見聞
作者：常嘉帥
Warden指出，雖然CPU在大模型訓練時的速度“慢得令人發笑”，但當推理在整個人工智能預算中占主導地位時，對硬件和工作負載的要求就大不相同了，首要工作將變成降低推理成本。
主導生成式AI熱潮的$英偉達(NVDA.US)$，還能在鐵王座上坐多久？
知名科技博主Pete Warden近日撰寫了一篇題爲《爲什麼英偉達的AI主導權只是暫時的》（Why Nvidia’s AI Supremacy is Only Temporary） 的博客文章，他指出，英偉達的GPU霸權，實際上建立在目前行業主流需求是LLM訓練上，如果未來推理變得更加主流，那贏家將從英偉達變成CPU製造商。
英偉達爲什麼能贏？
首先，哪些因素促成了當前的英偉達的領先地位？
Warden總結了4點：
1）大模型應用還沒有迎來爆發期，目前機器學習的重點是訓練
Warden指出，有能力在實際應用場景中部署大語言模型的只有幾家科技巨頭。大多數公司還處在較早的開發期，需要大量數據、硬件和人才來完成LLM的訓練。
2）英偉達的對手們沒有一個能打的
對於大模型開發者而言，英偉達GPU是最簡潔高效的選擇。它操作起來比AMD OpenCL、Google TPU、Cerebras等競品要簡單得多，軟件棧要成熟得多，有更多的示例、文檔和其他資源。
而且，找到熟悉英偉達GPU的工程師要容易得多，它與所有主要框架的集成也更好，再加上CUDA平台帶來的軟硬一體的協同效應，英偉達完全做到了贏者通吃。
3）AI研究者偏好使用英偉達GPU
高度稀缺的AI人才，可以說是目前招聘市場上最有話語權的一羣人。
而Warden認爲，對這些人來說，英偉達平台是最熟悉的生產力工具，如果使用其他平台，需要更多時間上手，也會限製他們的生產力。由於聘用和留住研究人員的成本非常高，因此在購買硬件時，這些人的偏好是優先考慮的因素之一。
4）大模型快速迭代的需求，意味著廠商會通常會固定用一個品牌
如果一家公司上一代大模型是用英偉達GPU開發的，那麼下一代大概率還是會用英偉達。道理很簡單，這是迭代耗時最短、效率最高的選擇，通過無縫遷移到新的硬件，現有的代碼大部分都能正常工作，但速度會更快。
競爭對手也許有望在性能上擊敗英偉達GPU，但英偉達的CUDA經過十幾年的研發，已經有了一套完整的生態系統。
Jon Peddie Research發佈的全球GPU市場數據報告顯示，英偉達以84%的市場份額排名第一，排名第二的AMD僅有12%。穩固的先發優勢，構成了一道幾乎不可逾越的護城河。
如果AI的主旋律從訓練轉向推理…
但是，Warden相信，以上都有讓英偉達領先的因素，都基於一個重要前提：訓練佔據生成式AI浪潮的主導地位。
他指出，在未來的某一天，任何公司用於根據用戶請求運行模型的計算量都將超過訓練週期。即使單次訓練運行的成本很高，而運行推理的成本很低，但世界上有如此多的潛在用戶，有如此多的不同應用，這些推理的累積總數將超過訓練總數。
從這個趨勢來看，對硬件端而言，重點將轉向降低推理成本。對面向用戶的應用而言，最重要的工作是降低延遲。
這不是GPU的強項，而是CPU的領域。
Warden指出，雖然CPU在大模型訓練時的速度“慢得令人發笑”，但當推理在整個人工智能預算中占主導地位時，對硬件和工作負載的要求就大不相同了。CPU擁有比英偉達更成熟的開發工具和社區，單位運算成本也比GPU便宜得多。更重要的是，模型權重是固定的，在初始化時很容易在大量機器上覆製，
企業關注的是增加收入和降低成本。更多的用戶意味著更多的推理需求。CPU比GPU的推理成本更低，它的需求必然會超過GPU。
Warden預計，這一轉變的贏家將是英特爾x86和Arm等傳統CPU平台。
編輯/tolk