隨著AI大模型的參數(shù)規(guī)模不斷擴大，其對算力的需求也在急劇提升。為了滿足這一需求，各行各業(yè)都在積極研發(fā)和建設大規(guī)模的算力基礎設施，導致多種專用AI加速芯片處于供不應求狀態(tài)，不僅采購困難且成本高昂。因此，一些企業(yè)將目光轉向目前最為普及的硬件產品——CPU（中央處理器）。近日，第五代英特爾至強可擴展處理器的出現(xiàn)，讓業(yè)內再一次看到，利用CPU同樣能提升AI的工作效率，在CPU上跑AI,也可以很“香”。

CPU在AI領域的新使命

據(jù)了解，與訓練相比，AI推理對算力資源的需求相對較小，對于一些推理任務較輕的業(yè)務或行業(yè)來說，相比專業(yè)的AI加速芯片，選擇CPU更具成本效益。同時，由于CPU是目前最為普及的硬件，因此大多數(shù)企業(yè)都樂于利用部署更為廣泛、基于CPU的IT基礎設施和架構，避免異構平臺的部署難題。在傳統(tǒng)架構中引入AI加速，是CPU在這個時代的新使命。

第五代英特爾至強可擴展處理器應運而生。該處理器的核心數(shù)量增加至64個，配備了320MB的L3緩存和128MB的L2緩存。不論單核性能還是核心數(shù)量，相比上一代處理器都有了明顯提升。在相同功耗下，第五代至強可擴展處理器平均性能提升21%，內存帶寬提升高達16%，三級緩存容量提升到了原來的近3倍。

同時，第五代至強可擴展處理器的每個內核均具備AI加速功能，與上代相比，其訓練性能提升29%，推理能力提升42%。

在AI負載處理能力方面，第五代至強可擴展處理器也有明顯提升。從第四代至強可擴展處理器開始，就引入了英特爾高級矩陣擴展（英特爾AMX）作為內置AI加速引擎，這一創(chuàng)新使得CPU能夠更高效地處理AI工作負載。五代至強中還同樣內置了英特爾AVX-512指令集，配合運行速度更快的內核和速度更快的內存，進一步提升了AI性能，使得生成式AI無需獨立的AI專用加速器即可執(zhí)行更多工作負載。通過在自然語言處理推理方面的性能飛躍，它能更好地幫助企業(yè)支持智能助手、聊天機器人、預測性文本、語言翻譯等工作負載的響應速度。采用該處理器之后，開發(fā)者能夠推理和調優(yōu)多達200億參數(shù)量的大語言模型，且在運行參數(shù)量低于200億模型的響應時延不超過100毫秒。

為云服務廠商保駕護航

生成式AI的爆發(fā)在給云計算產業(yè)帶來全新機遇的同時，也帶來了挑戰(zhàn)。由于大模型需要龐大的算力支持，云廠商需要盡快升級數(shù)據(jù)中心算力以應對AI需求，并持續(xù)降低TCO（總擁有成本），為用戶提供價格合理的算力資源。此外，AI應用開發(fā)還涉及大量隱私敏感數(shù)據(jù)的云端存儲和使用，云廠商需要對已有硬件基礎設施進行更新?lián)Q代，以保障這些數(shù)據(jù)的安全可靠，打消用戶的后顧之憂。
第五代英特爾至強可擴展處理器從軟硬兩方面來為云服務廠商搭建良好的生態(tài)環(huán)境。在硬件方面，通過英特爾SGX/TDX解決方案為云端數(shù)據(jù)提供端到端的硬件級防護能力。在軟件方面，英特爾已經(jīng)在Pytorch、Tensorflow和OpenVINO工具套件的行業(yè)標準框架中提供了針對第五代至強可擴展處理器的優(yōu)化，使得云廠商和用戶能夠以較低的門檻，快速利用如英特爾AMX等處理器功能，打通AI應用的算力瓶頸。

第五代英特爾至強可擴展處理器如同一個強大的后盾，為云服務廠商提供了堅實的算力支持。它不僅降低了運營成本，還為數(shù)據(jù)安全筑起了一道堅固的屏障。更重要的是，它優(yōu)化了AI應用開發(fā)，讓云服務廠商也能體會到在CPU上跑AI的“香甜”。
企業(yè)開啟“嘗鮮”模式
英特爾CEO帕特·基辛格在2023英特爾ON技術創(chuàng)新大會中曾表示：“在這個人工智能技術與產業(yè)數(shù)字化轉型飛速發(fā)展的時代，英特爾保持高度的責任心，助力開發(fā)者，讓AI技術無處不在，讓AI更易觸達、更可見、透明并且值得信任。”
據(jù)了解，數(shù)據(jù)中心如今有70%的推理運行采用英特爾至強可擴展處理器。隨著第五代至強可擴展處理器的誕生，一些企業(yè)開啟了“嘗鮮”模式，其產品也在AI性能方面有明顯提升。
11.11期間，京東云便通過基于第五代英特爾至強可擴展處理器的新一代服務器，成功應對了業(yè)務量激增，與上一代服務器相比，整機性能提升達123%，AI計算機視覺推理性能提升至138%，Llama 2推理性能提升至151%。輕松 hold 住用戶訪問峰值同比提高170%、智能客服咨詢量超14億次的大促壓力。

基于第五代英特爾至強可擴展處理器，火山引擎第三代彈性計算實例整機算力提升了39%，應用性能最高提升了43%。在性能提升的基礎上，火山引擎已通過其獨有的潮汐資源并池能力，構建百萬核彈性能資源池，能夠以近似包月的成本提供按量使用體驗，降低上云成本。
使用第五代至強可擴展處理器的內置加速器時，可將每瓦性能平均提升10倍，能耗低至105W，同時還能運行針對工作負載優(yōu)化的高能效SKU。

在搭載第五代英特爾至強可擴展處理器及其內置的英特爾AMX、英特爾TDX加速引擎后，阿里云打造了“生成式AI模型及數(shù)據(jù)保護”的創(chuàng)新實踐，使第8代ECS實例在安全性和AI性能上都獲得了顯著提升，且保持實例價格不變，普惠客戶。
包括推理性能提高25%、QAT加解密性能提升20%、數(shù)據(jù)庫性能提升25%，以及音視頻性能提升15%。

如果將數(shù)據(jù)中心比喻為巨型計算機，那么CPU就是其“大腦”。第五代英特爾至強可擴展處理器作為“超級大腦”，對于數(shù)據(jù)中心的高效運行和AI應用的實現(xiàn)都起著至關重要的作用。
AI落地的時代開始了，CPU的“春天”也要來了。