6月6日，2021全球人工智能技術(shù)大會(huì)“發(fā)展與挑戰(zhàn)”專題論壇在杭州舉行?？焓旨夹g(shù)副總裁、MMU&Y-tech負(fù)責(zé)人王仲遠(yuǎn)出席論壇并發(fā)表《音樂與技術(shù)的碰撞交融——藝術(shù)如何隨時(shí)代變遷》主題演講，分享快手在AI音樂方面的動(dòng)態(tài)與進(jìn)展，充分展現(xiàn)快手領(lǐng)先的人工智能技術(shù)，以及AI音樂為短視頻帶來的強(qiáng)大助力。

AI技術(shù)+音樂深度融合，快手持續(xù)提升短視頻觀看體驗(yàn)

作為國民短視頻APP，快手擁有海量內(nèi)容、超大流量和高用戶粘性。數(shù)據(jù)顯示，平均每月快手用戶上傳的短視頻數(shù)量超11億，整體日活達(dá)3.7億+，用戶平均每日在快手平臺(tái)觀看短視頻和直播內(nèi)容的時(shí)長近100分鐘。

在豐富的快手社區(qū)生態(tài)中，音樂成為激勵(lì)用戶創(chuàng)作的因素之一。在快手，76%的快手作品有配樂，90%的快手用戶期望大部分短視頻有配樂。

為何用戶在創(chuàng)作短視頻時(shí)，對于音樂有如此強(qiáng)的依賴性？王仲遠(yuǎn)表示：“對于短視頻的制作體驗(yàn)而言，音樂的正向影響至關(guān)重要。比如唯美風(fēng)短視頻如果去掉背景音樂只剩原始聲音，就會(huì)削弱其氛圍感，給用戶留下與之前截然不同的印象。”

對此，王仲遠(yuǎn)進(jìn)一步分析了音樂的獨(dú)特魅力。在他看來，音樂可以與人的思想情緒聯(lián)系在一起，能夠讓人感到歡喜，感到悲傷，感到期待等。當(dāng)中國人聽到春節(jié)序曲時(shí)，往往會(huì)產(chǎn)生一種春回大地、萬物復(fù)蘇的感受，央視春晚主持人的開場詞也不自覺在腦海中浮現(xiàn)。

作為一種具有魔力的藝術(shù)表現(xiàn)形式，音樂也隨著技術(shù)的發(fā)展而產(chǎn)生新的形式。在工業(yè)化時(shí)代，制造工藝的改進(jìn)使得樂器可以發(fā)出的聲音更加豐富、層次化。在電子化時(shí)代，電子技術(shù)的發(fā)展創(chuàng)造出自然界機(jī)械無法發(fā)出的聲音，音樂的表現(xiàn)力更加多元化。

如今，步入人工智能時(shí)代，AI技術(shù)則幫助音樂實(shí)現(xiàn)全面的個(gè)性化和智能化，為音樂和短視頻帶來了新的發(fā)展空間。據(jù)王仲遠(yuǎn)介紹，前段時(shí)間火爆全網(wǎng)的《螞蟻呀嘿》正是將音樂和視覺AI技術(shù)進(jìn)行了創(chuàng)意融合，用戶只需要一張照片就可以自動(dòng)生成詼諧好玩的動(dòng)態(tài)唱歌視頻，再加上魔性的BGM，很快成為短視頻用戶爭相創(chuàng)作的模板。

AI技術(shù)推動(dòng)音樂大眾化，快手自建模型還原專業(yè)級(jí)演唱

在技術(shù)的加持下，音樂制作進(jìn)入大眾化時(shí)代。如何幫助更多用戶創(chuàng)作出個(gè)性化的音樂？快手自主研究了AI音樂創(chuàng)作模型和AI歌手。

從音樂制作流程上來看，大多偏向于流水線化、工程化和模塊化，首先是把握創(chuàng)作動(dòng)機(jī)，然后進(jìn)行作詞、作曲，之后進(jìn)行編曲，最后錄音和混音。而通過快手搭建的AI模型，其中的每一步都可以借助AI完成。

王仲遠(yuǎn)表示：“在AI時(shí)代，動(dòng)機(jī)變得十分簡單。把隨機(jī)關(guān)鍵詞輸入快手AI音樂模型中，模型就能把詞轉(zhuǎn)換成動(dòng)機(jī)的一種表示，乃至于各種初始化的音樂?！?/span>

確定好動(dòng)機(jī)之后就可以利用快手AI模塊生成歌詞。在AI歌詞方面，快手針對數(shù)百萬已有歌曲對模型進(jìn)行重新訓(xùn)練，以確保AI可以很好地理解詞義，讓用戶只需輸入一個(gè)主題、一個(gè)情感、一個(gè)風(fēng)格，就能在數(shù)秒內(nèi)生成數(shù)十首歌詞。

在AI旋律的創(chuàng)作上，快手也采用類似方法，搭建了數(shù)十萬首曲譜和百萬首歌曲音頻訓(xùn)練模型再通過迷你數(shù)據(jù)庫讓模型自監(jiān)督學(xué)習(xí)歌曲的內(nèi)在關(guān)聯(lián)，從而訓(xùn)練AI旋律生成的能力。

據(jù)了解，快手邀請了平臺(tái)內(nèi)的音樂人使用AI模型來創(chuàng)作新歌曲，已創(chuàng)作的流行音樂有《甜甜的味道》《夜》《勇往直前》等。

錄制一首高質(zhì)量的成品歌曲，對歌手的演唱水平要求極高。為了解決部分用戶面臨的唱歌跑調(diào)、音色不好聽等問題，快手則推出了AI歌手輔助創(chuàng)作功能，并不斷提升其模型的精準(zhǔn)度。

據(jù)介紹，2020年5月，AI歌手的演唱還是KTV水平；到2020年12月，普通人已經(jīng)很難發(fā)現(xiàn)AI歌手演唱中的瑕疵；如今，模型會(huì)根據(jù)曲譜自動(dòng)調(diào)整音高、節(jié)拍和歌詞，AI歌手可以逼真地還原出專業(yè)級(jí)歌手的演唱水平。

演講最后，王仲遠(yuǎn)表示：“未來，快手還將探索更多新技術(shù)，豐富生成側(cè)的玩法。借助語音識(shí)別技術(shù)，快手希望AI歌手將來可以模仿個(gè)人音色，AI音樂則能夠把說的話直接轉(zhuǎn)成歌曲，滿足用戶更個(gè)性化的音樂創(chuàng)作需求，持續(xù)助力短視頻領(lǐng)域創(chuàng)作。”