Re: [閒聊] 魚缸加溫器用久了水溫升不上去

兩個月前收錄的文章 [摩爾定律跟得上AI需求嗎？］ 最近有兩個很有代表性的發表會, 一個是ARMv9架構的發表, 一個是NVIDIA GTC 2021的 發表。 對這兩個發表會的討論, 大家都比較著重於技術的討論和市場競爭格局的討論, 但我們覺 得比較有趣的, 其實是這兩個公司（以後可能會變成一家）所揭示的未來半導體應用的藍 圖，而其實從PC到手機到萬物聯網的應用，每一個時代的轉變都會造就不同的business m odel和偉大的公司，很值得好好觀察。 首先, 要解釋一下為什麼看他們提出的晶片架構或未來應用這麼的有價值？ ARM基本上的business model就是賣晶片架構或IP, 而也因為如此, 他們經營了一個很大 的Ecosystem（圖1)。從他們Business Model的圖可以看得到，除了license技術給晶片製 造商以外，他們有一條很特別的Business Development的支線。由跟接近終端客戶的互動 ，他們可以整理出全世界晶片應用的趨勢，進而設計符合Ecosystem需求的晶片架構。 而NVIDIA在進入AI晶片的時代以後，也很明顯的改變了策略，積極地打造他們的Ecosyste m。 由於我們一般人沒有像這些專門的公司有這麼多的資源去統整全世界的應用，透過ARM/NV IDIA的發表會來觀察世界的趨勢就變成是一個很好的切入點（站在巨人的肩膀上）。 最近ARM/NVIDIA的發表會，有幾個有趣的觀察點： – 晶片的使用趨勢： 上一次ARMv8的發表已經是十年前，而這次跟上次最大的差別，是AI, DSP性能的改進, 以 及安全性。這代表什麼呢? ARM認為, AI晶片的使用已經從一些特別的大量運算，到未來 將會是無所不在（圖2）。另外，在車聯網以及萬物聯網的時代，安全性將會是特別重要 的一點(沒連網反而不會有網路安全性的問題）。 – 各種不同的AI應用在蓬勃發展： NVIDIA每年都會提出很多有趣的use cases，今年也不例外，像是Digital Twin, 用AI寫 軟體, AI加速新藥發明, 車用AI平台。舉Digital Twin的例子來說，NVIDIA的Omniverse 創造了一個Digital Twin的平台, 讓不同的公司像WPP（廣告行銷服務公司）和BMW可以創 造Digital Twin。WPP就用Digital Twin來同時處理很多不同的影片的拍攝和製作，BMW則 用Digital Twin來模擬所有的工廠運行, 以提升工廠運作效率和員工安全。 – AI算力的需求速度遠大於Moore’s Law： AI模型的複雜度是以每年10倍在增加, 而Moore’s Law的演進是每兩年兩倍在增加（圖3 & 圖4)。 – 所以這個算力缺口要怎麼填補呢?: 目前看起來, NVIDIA的AI系統架構的創新, 填補了AI算力速度需求和Moore’s Law電晶體 增加速度的缺口。比如NVIDIA以ARM based CPU “Grace”的設計, 讓整體AI server的架 構上更平衡。因為目前X86 CPU所連接的記憶體頻寬(DDR4)速度遠小於A100 GPU的記憶體( HBM2e), 為40倍慢, 因此拖慢了AI計算效率。因此NVIDIA用ARM的IP打造有高頻寬記憶體 的CPU “Grace”, 平衡了GPU和CPU之間記憶體頻寬的落差, 打造更快速的AI server。 [總結] Innovation需求和供給的兩端: Moore’s Law的演進和AI運算的需求其實一個是供給面的進步, 一個是需求面的增加。不 過目前看起來AI運算的需求增長速度是大於Moore’s Law電晶體增加的速度。而目前在AI server/晶片架構上的進展, 暫時的填補了這個缺口，黃氏定律（ Huang’s Law, 以NVI DIA CEO Jensen Huang所命名）就是因此而命名的。不過黃氏定律能否像Moore’s Law能 夠持續延續, 則是下一個可以觀察的重點。 這一篇我們大概的從算力需求端來分析了一下半導體產業的需求, 而半導體產業製造端的 格局和發展是還沒談到的。如果有興趣不只是追著半導體新聞跑, 而是從半導體產業的架 構深入一點的了解半導體製造的格局和發展的話, REDEFINE INNOVATION將會舉行第一場W orkshop來討論這個部分, 詳情可以參考REDEFINE INNOVATION的此篇發文: https://www.facebook.com/101824555148228/posts/162046749126008/?d=n — ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.139.246.94 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Marginalman/M.1623956330.A.A62.html