“給我生成一份審訊盜竊案件的筆錄提綱?！敝噶钶斎牍P記本電腦之后，DeepSeek 16B（160億參數(shù)版）在毫秒間生成了一份包含基本信息、案件概述、權(quán)利告知、事實調(diào)查、其他重點事項、筆錄確認(rèn)、注意事項等一級標(biāo)題，且每個一級標(biāo)題都包含3-5個二級標(biāo)題的筆錄提綱。這是記者在第12屆中國國際警用裝備博覽會的中星微展臺看到的一幕。

今時今日，用大模型生成提綱已經(jīng)是家常便飯，但這份筆錄提綱的特別之處在于：它是在筆記本電腦沒有聯(lián)網(wǎng)的情況下生成。這意味著160億參數(shù)的DeepSeek大模型，完全基于一枚嵌入在只有名片大小處理板的單芯片運(yùn)行。

單芯片脫網(wǎng)運(yùn)行DeepSeek 16B大模型生成審訊筆錄提綱

雖然聯(lián)網(wǎng)的大模型能夠基于云端的算力資源池實現(xiàn)更強(qiáng)大的功能，但也對計算和存儲成本、網(wǎng)絡(luò)條件有著較高的要求。而在城市感知、智能制造、智慧農(nóng)業(yè)、智能交通等行業(yè)場景中，存在大量成本低、硬件配置相對簡單卻對千行百業(yè)的數(shù)智化升級起到關(guān)鍵作用的終端、邊緣設(shè)備，比如攝像頭、邊緣盒子、車路協(xié)同設(shè)備等。如果此類設(shè)備能夠基于嵌入式芯片調(diào)用大模型能力，將對企業(yè)、行業(yè)場景的提質(zhì)增效起到關(guān)鍵作用。

此外，在機(jī)器人等涉及用戶個人信息采集的場景中，也需要嵌入式芯片搭配離線語言大模型，在保證機(jī)器人與用戶交互的同時，保護(hù)用戶的數(shù)據(jù)安全。

在嵌入式芯片運(yùn)行離線大模型

“嵌入式芯片和云端芯片的設(shè)計思路不太一樣。云端芯片追求極致的大算力，而前端嵌入式受到的制約條件非常多，能耗、發(fā)熱、成本都要考慮到?！敝行俏⒅悄苎邪l(fā)中心總工程師周學(xué)武向《中國電子報》記者表示。

當(dāng)前，嵌入式芯片能夠承載的大模型一般在70億參數(shù)規(guī)模。本次中星微展示的“星光智能五號”嵌入式AI芯片，能夠運(yùn)行160億參數(shù)版本的DeepSeek大模型。為了讓嵌入式芯片以盡可能高的效率處理多模態(tài)信息，中星微團(tuán)隊采用了多核異構(gòu)的芯片架構(gòu)，包括CPU、GPU、NPU，分別對應(yīng)標(biāo)量算力、矢量算力和張量算力。此外還有用于視頻編解碼的VPU、信息加解密的ECU，以及多核調(diào)度單元HCP（異構(gòu)計算池）。

周學(xué)武表示，之所以選擇這種架構(gòu)，是為了模擬大腦兼具形象思維和邏輯思維的特點。

其中，對形象思維的模擬是基于“直覺式”的端到端計算，比如NPU或GPU能夠直接輸出對圖片的識別結(jié)果。對于邏輯思維的模擬則主要基于CPU完成的“常識式”計算。

“把兩種計算融合在一起，可以實現(xiàn)更高精度的識別。因為CPU的‘常識式’計算能夠?qū)赡墚a(chǎn)生的大模型幻覺進(jìn)行糾正。”周學(xué)武說。

搭載“星光智能五號”XPU芯片的開發(fā)板

另一個提升芯片運(yùn)行大模型能力的設(shè)計，在于HCP。這一系統(tǒng)能夠調(diào)動芯片中的20多個核心，并根據(jù)用戶需求采用不同的策略調(diào)度算力，比如效率優(yōu)先原則或者算力均衡原則，以尋求在有限的條件下實現(xiàn)最佳的性能。

基于嵌入式芯片，終端可以在不聯(lián)網(wǎng)的情況下使用離線大模型，以滿足部分對信息安全有較高要求的場景，以及機(jī)器人等涉及用戶語音等個人數(shù)據(jù)的場景。

“未來5到10年，會有大量的機(jī)器人應(yīng)用嵌入式芯片。目前機(jī)器人的發(fā)展重點是運(yùn)動控制，就是機(jī)器人怎么走得穩(wěn)、怎么行動敏捷。但決策、思考能力，以及語音對話能力還需要通過網(wǎng)絡(luò)實現(xiàn)，要先采集用戶的語音，通過網(wǎng)絡(luò)傳到云端，云端給解析好了再傳回來形成指令。這存在實時性響應(yīng)和用戶隱私的問題。如果基于嵌入式芯片構(gòu)建機(jī)器人大腦，就可以保護(hù)用戶數(shù)據(jù)，也能提升交互的實時性?！敝軐W(xué)武說。

用2KB標(biāo)簽檢索幾萬路攝像頭

行業(yè)場景中，攝像頭、工控盒子、車路協(xié)同設(shè)備等端、邊側(cè)終端，具有部署體量大、成本敏感、工作環(huán)境適應(yīng)性較強(qiáng)等特點。要讓此類終端用上大模型，既需要輕量化、易部署的芯片，也需要做好算法的定制與數(shù)據(jù)鏈路的優(yōu)化。

在中星微展臺，記者看到了一個連接了筆記本電腦的攝像頭，在筆記本電腦搜索“戴安全帽的工人”，顯示屏立刻出現(xiàn)了兩天前展臺搭建時的施工畫面。這一過程是通過端（攝像頭）、邊（邊緣盒子）、云（云網(wǎng)絡(luò)和云平臺）協(xié)同完成。其中，端側(cè)和邊側(cè)除了部署中星微的嵌入式芯片，還部署了將視頻“切”成圖片再打上標(biāo)簽的算法。

搭載“萬物識別”多模態(tài)大模型的終端攝像頭

具體來說，對于攝像頭正在錄制或者錄好的存量視頻，首先抽取關(guān)鍵幀或者關(guān)鍵數(shù)據(jù)做成圖片，再根據(jù)矢量算法提取圖片的關(guān)鍵點，成為包含索引信息和特征向量的標(biāo)簽。

在這一過程中，1G的視頻可以抽取2M的關(guān)鍵幀圖片，2M的圖片再提取出2KB的標(biāo)簽，在用指令檢索時，端側(cè)和邊緣側(cè)終端會檢索出標(biāo)簽對應(yīng)的圖片，也就是在KB級的數(shù)據(jù)中搜索，從而顯著提升了搜索和解析效率。而搜索結(jié)果會發(fā)送給云端的大模型進(jìn)行核實比對。

“搜索到標(biāo)簽之后，能夠找到標(biāo)簽對應(yīng)的圖片，由于圖片屬性包含時間戳和相應(yīng)攝像機(jī)的IP位置，就能對應(yīng)出是哪路攝像機(jī)在哪個時間點拍到了目標(biāo)，并回溯到視頻，從而了解事件的前因后果。這樣就達(dá)到了高效快速的效果?！敝軐W(xué)武說。他表示，在端邊預(yù)處理—發(fā)到云端比對—回傳端邊比對結(jié)果的過程中，大模型不斷訓(xùn)練、不斷學(xué)習(xí)，之后檢索結(jié)果會越來越準(zhǔn)確，更貼近用戶多樣化的檢索需求。