日前，特斯拉宣布正式推出了自研的超級計算機Dojo，該套機器將要用于特斯拉自動駕駛神經網絡的訓練。據特斯拉的AI帶頭人，高級工程師Karpathy介紹，這臺計算機群采用了5760個算力為321TFLOPS的英偉達A100顯卡，組成了720個節點，總算力突破了1.8EFLOPS，10PB的存儲空間（讀寫速度為1.6TBps）。由于總算力突破了1.8EFLOPS，因而有媒體宣傳馬斯克/特斯拉成功制造E級超算，鐵流認為，這種描述是值得商榷的。
Dojo并非真正意義上的E級超級算機
Dojo是用于神經網絡訓練的機器，由于神經網絡訓練更看重半精度浮點運算以及更低精度的整型計算，因而在宣傳上往往以FP16算力來對外報道。因此，官方宣傳的1.8EFLOPS其實是其低精度算力，并非雙精度浮點（FP64）算力。根據NV公布的A100 FP64 峰值性能計算，5760*9.7TFlops，特斯拉這臺雙精度算力大致是50+P,在HPC TOP500排行榜上與第5的位置處于伯仲之間。之前媒體解讀的1000P（E級）性能，并非此排行榜所參考的FP64性能，好比“桔子比蘋果”是誤解了。必須指出的是，國內外正在研發的E級超算，都是雙精度浮點性能超過1000P，而非單精度、半精度超過1000P。
日本超算富岳仍是世界第一超算
目前，全球超算排行都是以雙精度浮點算力為標準的，之所以如此重視雙精度浮點性能，主要還是因為FP16、FP32根本無法做對國計民生至關重要的科學運算，要想運行當下的超算應用，必須具備雙精度浮點運算能力。而就雙精度浮點算力而言，當下日本超算富岳是世界第一，TOP500二至六名分別為Summit、Sierra、神威太湖之光、Selene、天河2A。可以說，在超算方面，基本上處于中美日角逐的狀態，三個國家交替領先。日本富岳位居世界第一主要是機器比較新，發布于2020年，中國超算位居第四和第六，主要是機器相對“年齡”大一些，比如神威太湖之光發布于2016年。由于世界各國都在致力于研發E級超算，相信未來的超算格局依舊是幾個超算大國交替領先。
結語
由于人工智能的興起，世界各國都出現了一批用于神經網絡訓練的機器。由于這些機器更加重視的是半精度浮點運算以及更低精度的整型計算，因而在宣傳上其算力時往往被人為夸大，特別是在一些報道中，廠商和媒體非常喜歡用FP16算力去對標現有超算的FP64算力。通過玩弄文字游戲的方式獲得所謂性能優勢，或者是用這種報道方式作噱頭吸引眼球和流量。
就特斯拉的超級計算機Dojo而言，確實是一款性能卓越的機器，其在機器學習應用上的算力為1.8EFLOPS，而富岳雖然是一款雙精度浮點性能500P的超算，但在機器學習應用上的算力可以達到2EFLOPS，這個性能已經超越了特斯拉的Dojo。
「 支持烏有之鄉！」
烏有之鄉 WYZXWK.COM
您的打賞將用于網站日常運行與維護。
幫助我們辦好網站，宣傳紅色文化！
歡迎掃描下方二維碼，訂閱烏有之鄉網刊微信公眾號
