智能音樂生成理解 反饋 融合

第五期第五期張克俊張克俊張克俊張克俊第五期第五期松花松花aa**視頻來(lái)源https:/wwbiblicom/video/BV1pw4m127JM,htts:/w.biblicom/video/BV1PZ421k710,https:/www第五期第五期《第十交響曲》,猜一猜哪一首是AI生成的?23423未來(lái)未來(lái)算力算力2025年數(shù)據(jù)規(guī)模將到達(dá)201.6數(shù)據(jù)來(lái)源2025年《中國(guó)人工智能計(jì)算力發(fā)展評(píng)估報(bào)告》5|Al音樂生成具有極大理論及應(yīng)用研究?jī)r(jià)值多學(xué)多學(xué)科心理學(xué)(腦、語(yǔ)言)浙江大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院工業(yè)設(shè)計(jì)系系主任、國(guó)際設(shè)計(jì)研究院副院長(zhǎng)浙江大學(xué)浙江大學(xué)|AI音樂生成發(fā)展歷程隨機(jī)組合模塊作曲-骰子游戲莫扎特-小舞曲或三重奏1960有限狀態(tài)機(jī)和隨機(jī)矩陣作曲1965模式識(shí)別分析作曲1987基于規(guī)則的知識(shí)庫(kù)系統(tǒng)，混合型算法1987音樂文法系統(tǒng)(DavidCope)1993交互式遺傳算法作曲19世紀(jì)以前1960年-1993年2002年2002年-2016年20世紀(jì)末各類遺傳算法作曲2002神經(jīng)網(wǎng)絡(luò)(LSTM)作曲浙江大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院工業(yè)設(shè)計(jì)經(jīng)驗(yàn)數(shù)據(jù)驅(qū)動(dòng)式(主動(dòng)):會(huì)學(xué)研究院副院長(zhǎng)https://www.pianoabr浙江大學(xué)浙江大學(xué)DeepSeek系列專題線上公開課(第二季)浙江大學(xué)音樂創(chuàng)作核心流程作曲錄制混音壓制浙江大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院工業(yè)設(shè)計(jì)系系主任、國(guó)際設(shè)計(jì)研究院副院長(zhǎng)浙江大學(xué)浙江大學(xué)輸出評(píng)估數(shù)據(jù)表征算法模型數(shù)據(jù)表征ZHEJIANGUNIVERSITYTimeMessageChannelNoteNumberVelocityNOTEON10NOTEON10NOTEON2NOTEOFF100NOTEOFF100NOTEOFF205NOTEON10NOTEON10NOTEON2NOTEOFF100NOTEOFF100NOTEOFF205NOTEON10NOTEON10NOTEON2NOTEOFF100NOTEOFF100NOTEOFF205NOTEON10NOTEON20NOTEON2NOTEOFF100NOTEOFF200NOTEOFF20Time(ticks)03SymbolicRepresentation-MIDI研究院副院長(zhǎng)浙江大學(xué)浙江大學(xué)|音樂的數(shù)據(jù)表示數(shù)據(jù)表示矩陣(二進(jìn)制):|音樂的數(shù)據(jù)表示數(shù)據(jù)表示矩陣(二進(jìn)制):研究院副院長(zhǎng)|音樂的數(shù)據(jù)表示ven愿TIME_SHIFT<500>,NOTE_TIME_SRIFT<500>,NOTE_TIME_SHIFT<1000>,NOTE_OFF<60>,NOTE_ONOTE_OFT<67>TIMB_SHIFT<500>,SET_VELOCITY<100>,NOTTIME_SHIFT<500>,NOTE_O音樂數(shù)據(jù)表示音樂數(shù)據(jù)表示01/MusicSheetRepresentation02………浙江大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院工業(yè)設(shè)計(jì)系系主任、國(guó)際設(shè)計(jì)研究院副院長(zhǎng)Representation·后期潤(rùn)色、樂器搭配、音效引擎研究院副院長(zhǎng)噪音度評(píng)估空小節(jié)率、音高使用率、音符符合率、音符密度、擊鼓模式愉悅度評(píng)估相似度評(píng)估Qmax值、self-repetation特征、self-Sim人類評(píng)估反饋和評(píng)論專業(yè)人士評(píng)估模型的風(fēng)格特點(diǎn)，優(yōu)缺點(diǎn)，用于快速的模型迭代、開發(fā)、優(yōu)化圖靈測(cè)試圖靈測(cè)試，計(jì)算人機(jī)分類精確度，TestAccuracy計(jì)算喜歡程度，表示計(jì)算機(jī)作曲被人接受的程度城市夜走過(guò)林立的高樓喧鬧的街道如此空曠逆行洶涌的人潮猶豫城市夜走過(guò)林立的高樓喧鬧的街道如此空曠逆行洶涌的人潮猶豫我在這城市中漂泊是舞臺(tái)上的局外人啊業(yè)《暗香回響》 騰訊音樂天工音樂豆包音樂網(wǎng)易天音上述Demo效果僅為隨機(jī)生成，并非水平對(duì)比。系系主任、國(guó)際設(shè)計(jì)城市夜逆行洶涌的人潮猶豫我在這城市中漂泊是業(yè)浙江大學(xué)浙江大學(xué)|國(guó)內(nèi)外音樂生成工具：音樂生成效率100倍+(傳統(tǒng)作曲需數(shù)月，AI僅需幾分鐘)浙江大學(xué)計(jì)算機(jī)科學(xué)浙江大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院工業(yè)設(shè)計(jì)系系主任、國(guó)際設(shè)計(jì)天音AI編曲每周一中午12點(diǎn)上新風(fēng)格網(wǎng)官方回址研究院副院長(zhǎng)前端·文件處理+音樂編輯高效傳輸后端·AI音樂生成和潤(rùn)色多軌顯示1:鋼琴卷簾多軌顯示1:MIDI樂譜研究院副院長(zhǎng)多軌音樂編輯和播放多軌音樂編輯和播放AI音樂創(chuàng)作、編輯和潤(rùn)色AI音樂生成AI音樂潤(rùn)色多軌顯示1:鋼琴卷簾多軌顯示1:MIDI樂譜高效傳輸研究院副院長(zhǎng)浙江大學(xué)浙江大學(xué)多軌音樂編輯和播放AI音樂創(chuàng)作、編輯和潤(rùn)色新建/上傳文件MIDI編輯AI音樂生成A前端·文件處理+音樂編輯高效傳輸后端·AI音樂生成和潤(rùn)色多軌顯示1:鋼琴卷簾多軌顯示1:MIDI樂譜Audo-LyriesAlgnmenfMuChin:漢語(yǔ)口語(yǔ)描述數(shù)據(jù)集歌詞數(shù)據(jù)歌詞數(shù)據(jù)Llama模型詞歌詞生成詞曲數(shù)據(jù)SongGLMC伴奏描述知識(shí)庫(kù)伴奏生成自動(dòng)混縮歌聲合成描述輸入：請(qǐng)為我創(chuàng)作一首中文歌曲，主題為夜晚，情感為寧?kù)o和沉思，營(yíng)造一種在夜色中沉靜思考的氛圍。|口語(yǔ)描述到音樂全鏈路生成|口語(yǔ)描述到音樂全鏈路生成AudioEffectInatrumenExpressivelmpoct(Singer)描述輸入：請(qǐng)為我創(chuàng)作一首中文歌曲，主題為夜晚，情感為寧?kù)o和沉思，營(yíng)造一種在夜色中沉靜思考的氛圍。MuChin:漢語(yǔ)口語(yǔ)描述數(shù)據(jù)集歌詞數(shù)據(jù)Llama模型Lora微調(diào)詞歌詞生成詞曲數(shù)據(jù)SongGLM伴奏描述知識(shí)庫(kù)8歌聲合成自動(dòng)混縮浙江大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院工業(yè)設(shè)計(jì)系系主任、國(guó)際設(shè)計(jì)研究院副院長(zhǎng)浙江大學(xué)浙江大學(xué)機(jī)器智能StructuredMusic張克俊浙江大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院工業(yè)設(shè)計(jì)張克俊浙江大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院工業(yè)設(shè)計(jì)知識(shí)智能混合智能混合智能人機(jī)融合研究院副院長(zhǎng)研究院副院長(zhǎng)浙江大學(xué)|情感共鳴的音樂內(nèi)容需求，實(shí)現(xiàn)音樂共創(chuàng)的愿景理解理解人機(jī)共創(chuàng)，簡(jiǎn)易創(chuàng)作過(guò)程。每個(gè)人能有一首原創(chuàng)音樂人的意志賦予音樂作品更豐富的含義，多樣化生成結(jié)果激發(fā)人的創(chuàng)造力反饋用戶個(gè)化需求理解用戶創(chuàng)作需要反饋用戶個(gè)化需求重視AIGC—→重視AIGC—→人機(jī)共創(chuàng)浙江大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院工業(yè)設(shè)計(jì)系系主任、國(guó)際設(shè)計(jì)人“人”共創(chuàng)自然人、機(jī)器人、數(shù)字人融合不只有藝術(shù)家有抒寫藝術(shù)的能力，普通人也能夠引發(fā)聽眾的更多共鳴融合用戶內(nèi)在情感研究院副院長(zhǎng)浙江大學(xué)浙江大學(xué)AI音樂生成融合理解知識(shí)融入反饋浙江大學(xué)浙江大學(xué)浙江大學(xué)浙江大學(xué)ReLyMe:詞曲中的音調(diào)、節(jié)奏及結(jié)構(gòu)關(guān)系共同促進(jìn)歌詞與旋律的和諧ReLyMe:詞曲中的音調(diào)、節(jié)奏及結(jié)構(gòu)關(guān)系共同促進(jìn)歌詞與旋律的和諧浙江大學(xué)浙江大學(xué)浙江大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院工業(yè)設(shè)計(jì)系系主任、國(guó)際設(shè)計(jì)ReLyMe:音調(diào)、節(jié)奏及結(jié)構(gòu)知識(shí)的消融證明了三者的相互制衡關(guān)系，ReLyMe達(dá)到了平衡點(diǎn)■音調(diào)、節(jié)奏、結(jié)構(gòu)關(guān)系消融實(shí)驗(yàn)：①音調(diào)、節(jié)奏與結(jié)構(gòu)相互制約，同時(shí)引入三種知識(shí)的難以在各項(xiàng)指標(biāo)均達(dá)到最優(yōu)。②ReLyMe實(shí)現(xiàn)音調(diào)、節(jié)奏與結(jié)構(gòu)平衡，其生成旋律具有最佳聽感。correspondingmetrics(gray8飄逸，就研究院副院長(zhǎng)ReLyMe:ReLyMe創(chuàng)作曲目展示：《青花瓷》98可G3333píng23在4里.34色朝《■表達(dá)個(gè)性化藝術(shù)理解■表達(dá)個(gè)性化藝術(shù)理解“弦，謂琴瑟也?！薄案?，依詠詩(shī)也?！薄叭傥迤?，孔子皆弦歌之?！蔽谋荆涸~(古詩(shī)詞):按“聲調(diào)”排列曲(古曲/生成):一字對(duì)應(yīng)一音符合腔詞規(guī)律(弦歌古曲&AI旋律復(fù)現(xiàn))研究院副院長(zhǎng)浙江大學(xué)浙江大學(xué)LyricswrittenbyLiBai(TangDynasty)渡荊門送別渡遠(yuǎn)荊門外，來(lái)從楚國(guó)游。Byboat,Iarriveatthedi山隨平野盡，江入大荒流。Mountainsrisefromtheplainandthendis月下飛天鏡，云生結(jié)海樓。Moonreflectiononriverislikemirr研究院副院長(zhǎng)浙江大學(xué)浙江大學(xué)通過(guò)音樂演奏界面，讓參觀者體驗(yàn)“歷史文人”的心路歷程，實(shí)現(xiàn)“以琴會(huì)友”的跨時(shí)空對(duì)談通過(guò)音樂演奏界面，讓參觀者體驗(yàn)“歷史文人”的心路歷程，實(shí)現(xiàn)“以琴會(huì)友”的跨時(shí)空對(duì)談作為可交互的景觀裝置，展示體現(xiàn)社區(qū)/校園風(fēng)貌的音樂，通過(guò)觸摸演奏，傳播社群共識(shí)與集體文化定位不同器樂演奏所出的效果音軌豐富度色彩旋律三角鐵，木琴等打擊樂浙江大學(xué)浙江大學(xué)漸變浙江大學(xué)浙江大學(xué))o)o研究院副院長(zhǎng)浙江大學(xué)浙江大學(xué)商品一光影表情商品節(jié)奏浙江大學(xué)計(jì)算機(jī)科學(xué)商品節(jié)奏與技術(shù)學(xué)院工業(yè)設(shè)計(jì)系系主任、國(guó)際設(shè)計(jì)一運(yùn)動(dòng)速度/動(dòng)作研究院副院長(zhǎng)一運(yùn)動(dòng)速度/動(dòng)作圖片里自合作商票：盤馬浙江大學(xué)浙江大學(xué)研究院副院長(zhǎng)MM研究院副院長(zhǎng)2.2反饋因?yàn)橐魳?.2反饋因?yàn)橐魳?.2反饋2.2反饋2.2反饋StepBeats2.2反饋StepBeats浙江大學(xué)浙江大學(xué)實(shí)時(shí)伴奏：人類作旋律、機(jī)器作伴奏——解決實(shí)時(shí)人機(jī)協(xié)作難題■伴奏的實(shí)時(shí)生成面臨邏輯延遲和偏差累積之間的平衡，對(duì)同步性和聽感質(zhì)量的提高起關(guān)鍵作用[1][2]同聲傳譯提取全局特征：消除實(shí)時(shí)生成任務(wù)中的長(zhǎng)期音樂信息的損失預(yù)測(cè)內(nèi)容流式處理翻譯L實(shí)時(shí)伴奏[1]BenedikteWallaceandChar[2]NanJiang,ShengJin,ZhiyaoDuan,andChangshuiZhang.2020.RI-duet:On-linemusicaccompanimentgenerat研究院副院長(zhǎng)浙江大學(xué)浙江大學(xué)研究院副院長(zhǎng)研究院副院長(zhǎng)2.3融合主要感官接收80%以上信息在吸引用戶的注意力，傳達(dá)復(fù)雜信息。補(bǔ)充感官補(bǔ)充感官戶的情感期待，性與確定感。調(diào)動(dòng)記憶電影院的爆米花、電影院的爆米花、于專業(yè)香氛。吸、運(yùn)動(dòng)。吸、運(yùn)動(dòng)。近提供低價(jià)冰淇淋，增添一份愉悅感。浙江大學(xué)運(yùn)動(dòng)員在上場(chǎng)前，需要通過(guò)熱身來(lái)調(diào)整運(yùn)動(dòng)狀1態(tài)，減少賽場(chǎng)受傷幾率。2熱身方式跑步拉伸墊步高抬腿跑步拉伸3熱身效果：把心率達(dá)到到最大值最佳熱身心率區(qū)間：50%~60%x最大心率文獻(xiàn)調(diào)研音樂影響情緒，積極情感對(duì)運(yùn)動(dòng)有提升效果音樂對(duì)運(yùn)動(dòng)熱身有積極影響，成為重要伴侶將音樂運(yùn)用在跑步熱身上浙江大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院工業(yè)設(shè)計(jì)系系主任、國(guó)際設(shè)計(jì)研究院副院長(zhǎng)浙江大學(xué)浙江大學(xué)又又《音樂試聽動(dòng)作狀態(tài)狀態(tài)打擊樂生成智能體浙江大學(xué)DeepSeek系列專題線上公開課(第二季)|第五期REMAST的目標(biāo)：人類負(fù)責(zé)情感注入，Al完成技術(shù)實(shí)現(xiàn)據(jù)對(duì)稀缺的問題，并改善音樂相似度和情感貼合度.音樂情感識(shí)別模型音樂情感識(shí)別模型(Melody,Chord,Tone)ExtractionbasedonmusictheoryknowledgeMusicTheoryFcatures(FF,CF,RP,HC)FmbeddingConcatEnbedingFeturesEmotionRecognitionMui情感拼接法情感中值法特征拼接法CuatLantMuaikeeFnekioeFnedoiMusicGenerationPhaseMusicTextureMusicEmotionRecognitionPhaseMusicTheoryFeaturesExtractionMusicEmotionRecognitionModelLastEmotionDownsample—TargetInputEmotionFusionCurrentEmotionGenerationModelSequenceConcatCurrenttimestep'smusicsegmentMelodyMelodyDataGeneration潤(rùn)色前潤(rùn)色后(開心情感)[1]Wang,Zihao,etal."REMAST:Real-timeemotion-basedmusicarrangementwithsofttra