轉(zhuǎn)載自機(jī)器之心

本周，芯片創(chuàng)業(yè)公司 Cerebras 宣布了一個(gè)里程碑式的新進(jìn)展：在單個(gè)計(jì)算設(shè)備中訓(xùn)練了超過(guò)百億參數(shù)的 NLP（自然語(yǔ)言處理）人工智能模型。

由 Cerebras 訓(xùn)練的 AI 模型體量達(dá)到了前所未有的 200 億參數(shù)，所有這些都無(wú)需橫跨多個(gè)加速器擴(kuò)展工作負(fù)載。這項(xiàng)工作足以滿足目前網(wǎng)絡(luò)上最火的文本到圖像 AI 生成模型——OpenAI 的 120 億參數(shù)大模型 DALL-E。

Cerebras 新工作中最重要的一點(diǎn)是對(duì)基礎(chǔ)設(shè)施和軟件復(fù)雜性的要求降低了。這家公司提供的芯片 Wafer Scale Engine-2（WSE2）顧名思義，蝕刻在單個(gè)臺(tái)積電 7 nm 制程的整塊晶圓上，該面積通常足以容納數(shù)百個(gè)主流芯片——具有驚人的 2.6 萬(wàn)億個(gè)晶體管、85 萬(wàn)個(gè) AI 計(jì)算內(nèi)核和 40 GB 集成緩存，封裝后功耗高達(dá) 15kW。

接近晶圓大小的 Wafer Scale Engine-2，面積比一個(gè) iPad 還大。

雖然 Cerebras 的單機(jī)在體量上已經(jīng)類似于超算了，但在單塊芯片中保留多達(dá) 200 億個(gè)參數(shù)的 NLP 模型仍然顯著降低了數(shù)千個(gè) GPU 的訓(xùn)練成本，以及相關(guān)的硬件和擴(kuò)展要求，同時(shí)消除了在它們之間分割模型的技術(shù)困難。Cerebras 表示，后者是「NLP 工作負(fù)載中最痛苦的方面之一」，有時(shí)「需要幾個(gè)月才能完成」。

這是一個(gè)定制化的問(wèn)題，不僅對(duì)每個(gè)正在處理的神經(jīng)網(wǎng)絡(luò)，對(duì)于每個(gè) GPU 的規(guī)格以及將它們聯(lián)系在一起的網(wǎng)絡(luò)都是獨(dú)一無(wú)二的——這些元素必須在第一次訓(xùn)練開(kāi)始之前提前設(shè)置好，而且也不能跨系統(tǒng)移植。

Cerebras 的 CS-2 是一個(gè)獨(dú)立的超級(jí)計(jì)算集群，其中包括 Wafer Scale Engine-2 芯片，所有相關(guān)的電源、內(nèi)存和存儲(chǔ)子系統(tǒng)。

200 億的參數(shù)量大概是個(gè)什么水平？在人工智能領(lǐng)域里，大規(guī)模預(yù)訓(xùn)練模型是最近各家科技公司和機(jī)構(gòu)正在努力發(fā)展的方向，OpenAI 的 GPT-3 是一種 NLP 模型，它可以寫(xiě)出足以欺騙人類讀者的整篇文章、做數(shù)學(xué)運(yùn)算和翻譯，其具有驚人的 1750 億個(gè)參數(shù)。DeepMind 的 Gopher 于去年年底推出，將參數(shù)量的紀(jì)錄提高到 2800 億。

最近一段時(shí)間，谷歌大腦甚至宣布訓(xùn)練了一個(gè)超過(guò)萬(wàn)億參數(shù)的模型 Switch Transformer。

「在 NLP 領(lǐng)域中，體量更大的模型被證明效果更好。但傳統(tǒng)上，只有極少數(shù)公司擁有足夠的資源和專業(yè)知識(shí)來(lái)完成分解這些大型模型，將其分散到數(shù)百或數(shù)千個(gè)圖形處理單元的艱苦工作，」Cerebras 首席執(zhí)行官、聯(lián)合創(chuàng)始人 Andrew Feldman 說(shuō)道?！敢虼艘仓挥袠O少數(shù)公司可以訓(xùn)練大型 NLP 模型——這對(duì)于行業(yè)的其他人來(lái)說(shuō)太昂貴、太耗時(shí)且無(wú)法使用。」

現(xiàn)在，Cerebras 的方法能夠降低 GPT-3XL 1.3B、GPT-J 6B、GPT-3 13B 和 GPT-NeoX 20B 模型的應(yīng)用門(mén)檻，使整個(gè) AI 生態(tài)系統(tǒng)能夠在幾分鐘內(nèi)建立大型模型，并在單個(gè) CS-2 系統(tǒng)上訓(xùn)練它們 。

然而，就像旗艦級(jí) CPU 的時(shí)鐘速度一樣，參數(shù)量只是大模型性能的其中一項(xiàng)指標(biāo)。最近，一些研究在減少參數(shù)的前提下已經(jīng)取得了更好的結(jié)果，例如 DeepMind 今年 4 月提出的 Chinchilla，只用 700 億個(gè)參數(shù)就在常規(guī)情況下超過(guò)了 GPT-3 和 Gopher。

這類研究的目標(biāo)當(dāng)然是更智能的工作，而不是更努力地工作。因此 Cerebras 的成就比人們第一眼看到的更為重要——該研究讓我們相信現(xiàn)有的芯片制程水平能夠適應(yīng)日益復(fù)雜的模型，該公司表示，以特殊芯片為核心的系統(tǒng)具備了支撐「數(shù)千億甚至數(shù)萬(wàn)億參數(shù)」模型的能力。

在單芯片上可訓(xùn)練參數(shù)量的爆炸式增長(zhǎng)需要依賴 Cerebras 的 Weight Streaming 技術(shù)。該技術(shù)可以將計(jì)算和內(nèi)存占用分離，根據(jù) AI 工作負(fù)載中快速增長(zhǎng)的參數(shù)量，允許內(nèi)存進(jìn)行任意量級(jí)的擴(kuò)展。這使得設(shè)置時(shí)間從幾個(gè)月減少到幾分鐘，并且可以在 GPT-J 和 GPT-Neo 等型號(hào)之間切換。正如研究者所說(shuō)：「只需要敲幾次鍵盤(pán)?！?/p>

「Cerebras 以低成本、便捷的方式向人們提供了運(yùn)行大型語(yǔ)言模型的能力，開(kāi)啟了人工智能令人興奮的新時(shí)代。它為那些不能花費(fèi)數(shù)千萬(wàn)美元的組織提供了一個(gè)簡(jiǎn)單而廉價(jià)的，參與到大模型競(jìng)爭(zhēng)之中的方式，」Intersect360 研究公司的首席研究官 Dan Olds 說(shuō)道?！府?dāng) CS-2 客戶在大量數(shù)據(jù)集上訓(xùn)練 GPT-3 和 GPT-J 級(jí)模型時(shí)，我們非常期待 CS-2 客戶的新應(yīng)用和新發(fā)現(xiàn)?！?/p>

參考內(nèi)容：

https://www.tomshardware.com/news/cerebras-slays-gpus-breaks-record-for-largest-ai-models-trained-on-a-single-device

https://www.cerebras.net/press-release/cerebras-systems-sets-record-for-largest-ai-models-ever-trained-on-a-single-device/