快手發(fā)布多模態(tài)大模型Keye-VL-1.5 8B性能領(lǐng)先、視頻理解能力更強
近日,快手正式發(fā)布多模態(tài)大語言模型Keye-VL-1.5-8B。
2025-09-11 16:03:07
來源:丁科技網(wǎng)??

近日,快手正式發(fā)布多模態(tài)大語言模型Keye-VL-1.5-8B。與之前的版本相比,Keye-VL-1.5的綜合性能實現(xiàn)顯著提升,尤其在基礎(chǔ)視覺理解能力方面,包括視覺元素識別、推理能力以及對時序信息的理—表現(xiàn)尤為突出。Keye-VL-1.5在同等規(guī)模的模型中表現(xiàn)出色,甚至超越了一些閉源模型如GPT-4o。

創(chuàng)新性提出慢快編碼策略 兼顧性能與成本

為了在短視頻理解任務(wù)中同時實現(xiàn)高準確性與高效率。Keye-VL-1.5 創(chuàng)新性地提出了慢快編碼策略 (slow-fast),該策略設(shè)置慢通路處理快速變化幀(低幀數(shù)-高分辨率),快通路處理靜態(tài)幀(高幀數(shù)-低分辨率),從而在節(jié)省計算資源的同時保留關(guān)鍵信息。

漸進式四階段預(yù)訓(xùn)練方法 大幅增強視頻理解能力

Keye-VL-1.5采用四階段漸進式訓(xùn)練流水線,以系統(tǒng)化方式提升模型性能。首先,在視覺編碼器預(yù)訓(xùn)練階段,使用SigLIP-400M權(quán)重初始化ViT,并通過SigLIP對比損失持續(xù)預(yù)訓(xùn)練以適應(yīng)內(nèi)部數(shù)據(jù)分布。第一階段重點優(yōu)化投影MLP層,實現(xiàn)跨模態(tài)特征的穩(wěn)固對齊;第二階段解凍全部參數(shù)進行端到端多任務(wù)預(yù)訓(xùn)練,顯著增強基礎(chǔ)視覺理解能力;第三階段進行退火訓(xùn)練,利用高質(zhì)量數(shù)據(jù)微調(diào)模型,彌補上一階段中高質(zhì)量樣本接觸不足的問題,同時將序列長度擴展至128K、調(diào)整RoPE逆頻率配置,并引入長視頻、長文本和大尺度圖像等長上下文數(shù)據(jù)。

最終,通過同質(zhì)-異質(zhì)融合技術(shù)對不同數(shù)據(jù)混合比例下的模型權(quán)重進行平均,減少固定數(shù)據(jù)比例帶來的內(nèi)在偏差,在保持多樣化能力的同時提升模型的魯棒性。

構(gòu)建一套完整的后訓(xùn)練流程 全面提升推理能力與人類偏好對齊

Keye-VL-1.5構(gòu)建了一套系統(tǒng)化的后訓(xùn)練流程,包含四個核心階段:監(jiān)督微調(diào)與多偏好優(yōu)化、長鏈思維冷啟動、迭代通用強化學(xué)習(xí)以及對齊強化學(xué)習(xí)。該流程進一步融合了由快手Keye團隊提出的五步自動化數(shù)據(jù)構(gòu)建流水線,并依托GSPO算法對通用強化學(xué)習(xí)與對齊階段進行迭代優(yōu)化,顯著增強了模型的推理能力,同時更好地與人類偏好實現(xiàn)對齊。

在多項權(quán)威評測中,Keye-VL-1.5-8B表現(xiàn)突出,在MMMUval、OpenCompass等大型多模態(tài)評測中達到同類規(guī)模最佳成績,在Video-MMMU視頻理解評測中取得66分,展現(xiàn)出領(lǐng)先的視頻語義理解與技術(shù)落地潛力。

此外,Keye-VL-1.5-8B目前已在Hugging Face、GitHub等平臺開源,相關(guān)技術(shù)報告同步發(fā)布,推動多模態(tài)大模型技術(shù)共享與生態(tài)共建。

快手Keye團隊表示,該模型依托快手在短視頻領(lǐng)域的深厚積累,在視頻時序理解、場景推理與指令跟隨等關(guān)鍵能力方面優(yōu)勢顯著。未來,Keye-VL將持續(xù)推進多模態(tài)大模型在視頻語義理解與生成領(lǐng)域的探索與應(yīng)用。

項目主頁與技術(shù)報告:https://arxiv.org/pdf/2509.01563

Github:https://github.com/Kwai-Keye/Keye

Model:https://huggingface.co/Kwai-Keye/Keye-VL-1.5-8B

原創(chuàng)文章
最新文章
1
“華小v”三強決戰(zhàn)光明頂,vivo何以制勝?
2
香薰加濕器究竟是不是智商稅?
3
蘋果最薄旗艦iPhone Air終迎國行版上市,10月22日開售!
4
頻繁加征關(guān)稅 家電出口商家的應(yīng)對之道
5
十一家電市場大促數(shù)據(jù)來了,補貼很吸人,均價下跌
6
家電國補進入倒計時,下一步“棋”該如何下?
7
巨頭子品牌競逐中低端,空調(diào)市場變天?
8
時隔13年 AMD再戰(zhàn)Arm架構(gòu)!全新APU代號“聲波”
9
觀察:“小涼神”空調(diào)為何六年包修?
10
重構(gòu)移動影像體驗,vivo X300系列發(fā)布,售價4399元起
11
華寶新能美學(xué)曲面光伏瓦入選《時代》雜志2025年度“最佳發(fā)明獎”
12
快手電商[安踏寵粉月]活動生意聲量雙破峰,讓品牌增長看得見
13
聯(lián)動內(nèi)容生態(tài)和商業(yè)生態(tài),快手助力立白實現(xiàn)營銷突圍
14
快手科技副總裁宋婷婷:讓“她力量”在互聯(lián)網(wǎng)時代更加燦爛地綻放
15
推動短劇行業(yè)精品化發(fā)展,第九屆平遙國際電影展“快手聚光短劇計劃”榮譽揭榜
16
前三季度市場規(guī)模收縮,雙11能否為彩電業(yè)帶來“暖冬”?
17
千人在青島“眾測”海爾空調(diào),開啟雙十一
18
風(fēng)雅相傳 器度不凡 心系天下三星W26正式發(fā)布
19
2025 vivo開發(fā)者大會:自研藍河操作系統(tǒng)3正式發(fā)布
20
RGB-Mini LED秀出硬實力,海信電視斬獲多項ACE2025 “凱博”大獎
關(guān)于我們

微信掃一掃,加關(guān)注

商務(wù)合作
  • QQ:61149512