【天極網(wǎng)筆記本頻道】繼《混合AI是AI的未來》白皮書之后，高通近日再度發(fā)布了一部有關(guān)AI的白皮書——《通過NPU和異構(gòu)計(jì)算開啟終端側(cè)生成式AI》。前者詳細(xì)闡述了高通對于未來AI發(fā)展的預(yù)測——終端側(cè)AI和混合AI開啟生成式AI的未來，并展示了高通在推動混合AI規(guī)?；矫娴膬?yōu)勢;后者則為我們進(jìn)一步打開了視野——高通敏銳地判斷生成式AI變革已經(jīng)到來，研發(fā)專為生成式AI定制的計(jì)算架構(gòu)是必然?；诋悩?gòu)計(jì)算理念，高通Hexagon?NPU與高通AI引擎的價(jià)值更加顯現(xiàn)。

此前，高通在二月舉行的巴塞羅那世界移動通信大會(MWC)上發(fā)布了公司AI領(lǐng)域的最新進(jìn)展。包括但不限于全新高通AI?Hub、AI前沿研究突破以及AI賦能的商用終端展示。從MWC?2024全新AI白皮書的發(fā)布我們不難看出，身處行業(yè)上游的高通不僅僅在為開發(fā)者賦能，同時(shí)也在推動技術(shù)落地、向下游滲透，并且變革由驍龍和高通平臺支持的廣泛終端品類上的用戶體驗(yàn)。

我們?yōu)槭裁葱枰狽PU和異構(gòu)計(jì)算

生成式AI進(jìn)入端側(cè)已經(jīng)是大勢所趨，而我們首先需要明確的一點(diǎn)是，生成式AI多樣化的計(jì)算需求需要不同的處理器來滿足。在端側(cè)的具體使用場景中，CPU和GPU都會負(fù)擔(dān)一部分AI運(yùn)算。其中CPU主要應(yīng)對順序控制和即時(shí)性運(yùn)算，適用于需要低時(shí)延的應(yīng)用場景;GPU擅長面向高精度格式的并行數(shù)據(jù)流處理，比如對畫質(zhì)要求非常高的圖像以及視頻處理;而NPU則更擅長與AI運(yùn)算直接關(guān)聯(lián)的標(biāo)量、向量和張量數(shù)學(xué)運(yùn)算，可用于核心AI工作負(fù)載。正所謂“專業(yè)的人做專業(yè)的事”，不同的AI運(yùn)算運(yùn)行在適合的芯片上時(shí)才能夠最大化效率。優(yōu)秀的NPU設(shè)計(jì)能夠?yàn)樘幚磉@些AI工作負(fù)載做出正確的設(shè)計(jì)選擇，這與AI行業(yè)方向保持高度一致。

當(dāng)下，要滿足生成式AI的多樣化要求和計(jì)算需求，整合不同的處理器的算力是必然。高通的NPU并非是獨(dú)立存在的，而是與CPU、GPU共同構(gòu)成了異構(gòu)計(jì)算體系。高通AI引擎包括高通Hexagon?NPU，它是高通AI引擎中的關(guān)鍵處理器，通過定制設(shè)計(jì)NPU以及控制指令集架構(gòu)(ISA)，高通能夠快速進(jìn)行設(shè)計(jì)演進(jìn)和擴(kuò)展，解決瓶頸問題并優(yōu)化性能。

此外，高通AI引擎還包括高通Adreno?GPU、高通?Kryo或高通?Oryon?CPU、高通傳感器中樞和內(nèi)存子系統(tǒng)。這些處理器為實(shí)現(xiàn)協(xié)同工作而設(shè)計(jì)，能夠在終端側(cè)快速且高效地運(yùn)行AI應(yīng)用。在四大核心模塊的通力協(xié)作下，高通異構(gòu)計(jì)算能夠?qū)崿F(xiàn)最佳應(yīng)用性能、能效和電池續(xù)航，實(shí)現(xiàn)生成式AI終端性能的最大化。

優(yōu)勢明顯?高通NPU以質(zhì)取勝

從2007年起，高通就開始在NPU方面進(jìn)行研發(fā)嘗試并持續(xù)投入。2015年，驍龍820集成了首個(gè)高通AI引擎;2018年，高通在驍龍855中為Hexagon?NPU增加了Hexagon張量加速器。2020年，高通對Hexagon?NPU進(jìn)行了架構(gòu)變革融合，AI加速器架構(gòu)為高通未來的NPU架構(gòu)打下了堅(jiān)實(shí)的基礎(chǔ)。2023年，第三代驍龍8的微切片推理進(jìn)一步升級，在降低內(nèi)存帶寬占用;Hexagon?張量加速器增加了獨(dú)立的電源傳輸軌道，大共享內(nèi)存的帶寬也增加了一倍?；谝陨咸嵘虸NT4硬件加速，Hexagon?NPU成為了面向終端側(cè)生成式AI大模型推理的領(lǐng)先處理器。

目前，Hexagon?NPU可以實(shí)現(xiàn)在終端側(cè)運(yùn)行高達(dá)100億參數(shù)的模型，在首個(gè)token的生成速度和每秒生成token速率方面業(yè)界領(lǐng)先。MWC?2024期間，高通展示了在第三代驍龍8移動平臺上運(yùn)行的首個(gè)大語言和視覺助理大模型(LLaVA)，能夠基于圖像輸入解答用戶的相關(guān)問題。

除了手機(jī)端，高通在AI?PC方面的建樹同樣矚目。高通在去年底發(fā)布了專為AI?PC打造的驍龍X?Elite平臺，它能支持在終端側(cè)運(yùn)行超過130億參數(shù)的生成式AI模型，AI處理速度是競品的4.5倍?；隍旪圶?Elite，高通也展示了全球首個(gè)在終端側(cè)運(yùn)行的超過70億參數(shù)的大型多模態(tài)語言模型(LMM)，可接受文本和音頻輸入(如音樂、交通環(huán)境音頻等)，并基于音頻內(nèi)容生成多輪對話。該模型經(jīng)過優(yōu)化，能夠?qū)崿F(xiàn)出色的性能和能效，并完全在終端側(cè)運(yùn)行，充分發(fā)揮驍龍X?Elite的強(qiáng)大能力。

從專業(yè)技術(shù)的角度來看，我們可以通過TOPS、也就是Tera?Operations?Per?Second進(jìn)行算力表示，1TOPS代表處理器每秒鐘可進(jìn)行一萬億次(1012)操作。但是具體到實(shí)際使用的場景中，NPU性能比較“難以感知”，AI性能也是一個(gè)比較不太好量化的數(shù)據(jù)，消費(fèi)者很難對不同設(shè)備的AI性能進(jìn)行同等條件下的測試。

我們現(xiàn)在能夠見到的對AI算力進(jìn)行量化的軟件以魯大師AIMark和AITuTu測試為代表。首先來看第三代驍龍8和三款A(yù)ndroid以及iOS平臺競品的對比。在安兔兔AITuTu基準(zhǔn)測試中，第三代驍龍8能夠達(dá)到競品B的6.3倍。而在魯大師AIMark?V4.3基準(zhǔn)測試中，第三代驍龍8能夠領(lǐng)先競品6-8倍。在MLCommon?MLPerf推理的不同子項(xiàng)中，例如圖像分類、語言理解以及超級分辨率等項(xiàng)目中，第三代驍龍8都保持領(lǐng)先。

在PC端AI性能方面，驍龍X?Elite與其他X86架構(gòu)競品同樣優(yōu)勢明顯，在面向Windows的UL?Procyon?AI推理基準(zhǔn)測試中，驍龍X?Elite在ResNet-50、DeeplabV3等測試中都保持著大幅領(lǐng)先，基準(zhǔn)測試總分相較于X86架構(gòu)競品最大領(lǐng)先可達(dá)8.6倍?？梢哉f，無論是在手機(jī)端還是PC端，驍龍平臺在AI方面都具備突出的領(lǐng)先優(yōu)勢。在被稱作“AI?PC”元年的2024年，搭載驍龍X?Elite的產(chǎn)品值得期待。

開發(fā)者獲益?高通打造專業(yè)工具庫

“工欲善其事，必先利其器?！鄙硖幮袠I(yè)上游的高通非常清楚，AI行業(yè)的發(fā)展離不了開發(fā)者的支持。開發(fā)者是行業(yè)生態(tài)的根基，如果沒有針對開發(fā)者的相關(guān)工具應(yīng)用，想要激發(fā)開發(fā)者的創(chuàng)作興趣、快速完善行業(yè)生態(tài)只是空想。

全新的高通AI?Hub正是高通為開發(fā)者準(zhǔn)備的“利器”。剛剛于MWC?2024上推出的高通AI?Hub包含預(yù)優(yōu)化AI模型庫，支持在搭載驍龍和高通平臺的終端上進(jìn)行無縫部署。

該模型庫為開發(fā)者提供了超過75個(gè)主流的AI和生成式AI模型，比如Whisper、ControlNet、Stable?Diffusion和Baichuan-7B，可在不同執(zhí)行環(huán)境(runtime)中打包，在不同形態(tài)終端中實(shí)現(xiàn)出色的終端側(cè)AI性能、降低內(nèi)存占用并提升能效。高通針對所有模型進(jìn)行了優(yōu)化，使它們可以充分利用高通AI引擎內(nèi)所有核心(NPU、CPU和GPU)的硬件加速能力，大幅提升推理速度。

值得一提的是AI模型庫能夠自動處理從源框架到主流執(zhí)行環(huán)境的模型轉(zhuǎn)換，直接與高通AI引擎Direct?SDK協(xié)同工作，并且應(yīng)用硬件感知優(yōu)化。開發(fā)者可將這些模型無縫集成進(jìn)應(yīng)用程序，縮短產(chǎn)品上市時(shí)間，發(fā)揮終端側(cè)AI部署的即時(shí)性、可靠性、隱私、個(gè)性化和成本優(yōu)勢。

此前高通也已經(jīng)推出了高通AI軟件棧(AI?Stack)。從智能手機(jī)到PC、物聯(lián)網(wǎng)終端、汽車，這一軟件棧橫跨高通所有不同產(chǎn)品線，對于開發(fā)者來說，只需開發(fā)一次就能將應(yīng)用規(guī)?；瘮U(kuò)展到不同類型的終端。高通AI軟件棧不僅支持主流AI框架(如TensorFlow、PyTorch、ONNX和Keras)和runtime(如TensorFlow?Lite、TensorFlow?Lite?Micro、ExecuTorch和?ONNXruntime)，還集成了面向Android、Linux和Windows不同系統(tǒng)的用于推理的高通神經(jīng)網(wǎng)絡(luò)處理SDK。此外，對于采用不同操作系統(tǒng)的跨平臺產(chǎn)品，高通AI軟件棧也都進(jìn)行了支持，甚至連部署和監(jiān)控的基礎(chǔ)設(shè)施也沒有落下。

寫在最后

終端側(cè)AI是大勢所趨。很顯而易見的是，終端側(cè)AI在成本和能效方面具備突出優(yōu)勢。生成式AI應(yīng)用的擴(kuò)展下，AI模型的規(guī)模也會越來越大，用戶規(guī)模同樣會不斷增加，云端處理的成本問題會限制生成式AI的發(fā)展，而用戶在終端側(cè)獲取這些模型幾乎不需要費(fèi)用。在可持續(xù)性方面，大規(guī)模用戶訪問云端模型將產(chǎn)生大量的能耗。運(yùn)行GPU、散熱所消耗的能源將是天文數(shù)字。而在終端側(cè)運(yùn)行大模型的能效優(yōu)勢就很明顯了，高通的Hexagon?NPU以及異構(gòu)計(jì)算體系能夠支持在終端側(cè)以最高效的方式運(yùn)行AI模型，讓消費(fèi)者在端側(cè)感受到AI帶來的便利。

AI生態(tài)的構(gòu)建并非朝夕所能成。通過多年布局，高通從底層到生態(tài)一磚一瓦構(gòu)建了異構(gòu)計(jì)算架構(gòu)，它不僅帶來了Hexagon?NPU，為智能手機(jī)、PC等眾多平臺推出了第三代驍龍8、驍龍X?Elite等頂尖算力支持，同時(shí)為開發(fā)者設(shè)計(jì)了包括高通AI軟件棧(Qualcomm?AI?Stack)和AI?Hub在內(nèi)的眾多開發(fā)套件和工具庫，助力開發(fā)者的同時(shí)也是在加速生態(tài)完善，最終使最廣大消費(fèi)者獲益。

現(xiàn)階段，雖然AI終端市場的發(fā)展還處在初期階段，但高通已經(jīng)通過AI為不同產(chǎn)品和解決方案帶來了顯著的改進(jìn)，AI對消費(fèi)者的重要性也在不斷增加，未來無論教育、醫(yī)學(xué)還是養(yǎng)老等各個(gè)領(lǐng)域，AI的作用將愈發(fā)凸顯。高通勢必將繼續(xù)完善AI計(jì)算架構(gòu)，推出更強(qiáng)大的計(jì)算平臺，并且加速端側(cè)生成式AI滲透并變革全球用戶工作生活的方式，讓所有人都能享受到生成式AI帶來的便利。