2月20日晚，就在英偉達(dá)財(cái)報(bào)發(fā)布前夕，AI芯片初創(chuàng)公司Groq在社交媒體上引發(fā)了廣泛討論。Groq宣稱其LPU（語(yǔ)言處理器）的推理性能是英偉達(dá)GPU的10倍，而成本僅為其十分之一。

英偉達(dá)作為人工智能浪潮下的頭部企業(yè)，近年來(lái)不乏“挑戰(zhàn)者”發(fā)起沖擊，那么此次LPU的表現(xiàn)如何？

TSP+SRAM的新路徑

2月19日，Groq向用戶開(kāi)放了產(chǎn)品體驗(yàn)入口，其產(chǎn)品并非大模型，而類似于大模型加速接口。經(jīng)由Groq加速推理的開(kāi)源大模型帶給人最直觀的感受便是“快”。

根據(jù)記者測(cè)試，Groq的推理性能達(dá)到了每秒270個(gè)Token左右，網(wǎng)友測(cè)試每秒最高可達(dá)500Token，這個(gè)速度在ArtificialAnalysis.ai的測(cè)試中表現(xiàn)也十分突出。

Groq與其他云服務(wù)廠商AI輸出Token數(shù)對(duì)比（圖片來(lái)源：ArtificialAnalysis.ai）

LPU在LLM和生成式AI上的表現(xiàn)為何快于GPU？

Groq表示，LPU旨在克服LLM的兩個(gè)瓶頸：計(jì)算密度和內(nèi)存帶寬。就LLM而言，LPU的計(jì)算能力強(qiáng)于GPU和CPU，這減少了每個(gè)單詞的計(jì)算時(shí)間，從而可以更快地生成文本序列。此外，與GPU相比，消除外部?jī)?nèi)存瓶頸使LPU能夠在LLM上提供更好的性能。

在架構(gòu)方面，Groq使用了TSP（張量流處理）來(lái)加速人工智能、機(jī)器學(xué)習(xí)和高性能計(jì)算中的復(fù)雜工作負(fù)載。根據(jù)Groq公開(kāi)技術(shù)資料表示，TSP是一種功能切片的微架構(gòu)，芯片上具有諸多計(jì)算模式被軟件預(yù)先定義好的功能片，其與數(shù)據(jù)流的關(guān)系如同工廠的流水線。當(dāng)數(shù)據(jù)經(jīng)過(guò)切片時(shí)，每個(gè)功能單元可以選擇性地截取所需數(shù)據(jù)并獲取計(jì)算結(jié)果，并將結(jié)果傳遞回?cái)?shù)據(jù)流，原理類似于裝配線操作員（功能片）和傳送帶（數(shù)據(jù)流）——Groq公司首席執(zhí)行官Jonathan Ross比喻道。

RISC架構(gòu)（左）和TSP架構(gòu)（右）的簡(jiǎn)要區(qū)別（圖片來(lái)源：Groq）

TSP的源頭是谷歌研發(fā)的TPU（張量處理器），值得一提的是，Ross就曾是谷歌TPU研發(fā)團(tuán)隊(duì)成員之一。

在存儲(chǔ)性能方面，LPU另辟蹊徑，有別于傳統(tǒng)算力芯片對(duì)于SK海力士等存儲(chǔ)廠商所產(chǎn)HBM（高帶寬存儲(chǔ)）的依賴，轉(zhuǎn)而使用了易失性存儲(chǔ)器SRAM，這也省去了將HBM置于芯片時(shí)對(duì)臺(tái)積電COWOS封裝技術(shù)的需求。SRAM通常用于CPU的高速緩存，由于不需要刷新電路來(lái)保持?jǐn)?shù)據(jù)，因此可提供高帶寬和低延遲。

可以說(shuō)，在張量處理器上的技術(shù)積累加上別樣的存儲(chǔ)器選擇，共同造就了這個(gè)推理的效率“怪獸”。

實(shí)現(xiàn)落地仍有阻礙

盡管在Groq官方口徑中，以“快”著稱的推理性能確實(shí)優(yōu)于大模型普遍生成內(nèi)容所使用的GPU，但是從實(shí)驗(yàn)室數(shù)據(jù)到真正流入市場(chǎng)參與競(jìng)爭(zhēng)，還有許多問(wèn)題需要解決。

首先，LPU在市場(chǎng)最關(guān)心的成本問(wèn)題上眾說(shuō)紛紜。據(jù)Groq首席執(zhí)行官Jonathan Ross所說(shuō)，在大模型推理場(chǎng)景中，Groq LPU芯片的速度比英偉達(dá)GPU快10倍，但價(jià)格和耗電量都僅為后者的十分之一。

看似極高的性價(jià)比，實(shí)際情況還有待推敲。原阿里技術(shù)副總裁賈揚(yáng)清在社交媒體上算了一筆賬，因LPU的內(nèi)存僅有230MB，在忽略推理時(shí)內(nèi)存損耗的情況下想運(yùn)行LLaMA2-70b這樣的大語(yǔ)言模型可能需要572張LPU，總購(gòu)卡成本高達(dá)1144萬(wàn)美元（按單卡標(biāo)價(jià)2萬(wàn)美元計(jì)算）。相比之下，8張英偉達(dá)H100的系統(tǒng)在性能上與Groq系統(tǒng)相當(dāng)，但硬件成本僅為30萬(wàn)美元。

其次是Groq LPU的適用范圍能否跟上AI應(yīng)用的發(fā)展速度還是未知數(shù)。隨著OpenAI在2月初發(fā)布AI視頻生成平臺(tái)Sora，生成式人工智能走向新的階段。LPU雖然能實(shí)現(xiàn)對(duì)Token這一單元的快速處理，但是面對(duì)Sora的最小計(jì)算單元Patch，其處理效果如何還未可知。有觀點(diǎn)認(rèn)為，LPU在架構(gòu)上有所創(chuàng)新，但是僅針對(duì)特定算法、特定數(shù)據(jù)結(jié)構(gòu)來(lái)設(shè)計(jì)芯片，在未來(lái)頻繁改變的AI發(fā)展節(jié)奏中可能會(huì)“曇花一現(xiàn)”。

目前Groq能夠提供兩個(gè)開(kāi)源大模型的推理加速服務(wù)（圖片來(lái)源：Groq）

再回到“挑戰(zhàn)英偉達(dá)”的話題上，Groq所展現(xiàn)出來(lái)的解決方案背后是通用芯片與專用芯片的路徑分歧。Groq芯片專注于推理，從測(cè)試結(jié)果上看能夠達(dá)到令人滿意的“秒回”效果，但是這要依賴對(duì)大模型的前置訓(xùn)練環(huán)節(jié)，換言之，LPU的應(yīng)用場(chǎng)景搭建，需以至少一個(gè)完成且開(kāi)源的大模型為前提。

英偉達(dá)作為GPGPU（通用GPU）的頭部生產(chǎn)企業(yè)，其A100和H100能夠覆蓋大模型訓(xùn)練和推理的全部流程，而下一代芯片H200在H100的基礎(chǔ)上將存儲(chǔ)器HBM進(jìn)行了一次升級(jí)，為的也是提升芯片在推理環(huán)節(jié)中的效率。在擁有牢固開(kāi)發(fā)者生態(tài)的英偉達(dá)眼中，強(qiáng)化推理能力也是鞏固自身通用GPU市占率的手段。

英偉達(dá)的H200著重提升推理能力（圖片來(lái)源：英偉達(dá)）

目前看來(lái)，英偉達(dá)GPU的交付周期與全球云服務(wù)廠商的算力缺口仍存在一定不匹配，英偉達(dá)正在積極解決這一問(wèn)題，與此同時(shí)，Groq的LPU能否分得一口蛋糕，還需等待大規(guī)模流片之后再看市場(chǎng)反響。

2023年8月14日，Groq宣布三星電子將為自己生產(chǎn)4nm芯片，首批LPU將于2024年下半年量產(chǎn)。Ross表示，在2年后Groq能夠部署100萬(wàn)臺(tái)LPU。