基于多Transformer網絡協同生成的自動作曲
信息技術與網絡安全 5期
王嵩超，李金龍
(中國科學技術大學 計算機科學與技術學院，安徽 合肥230026)
摘要： 多音軌的自動作曲算法需要同時兼顧單條序列的連貫性與多個序列之間的和諧程度。以往工作通常選擇合并序列或并行多生成器兩種方案，它們都無法同時完全捕獲音符之間的依賴關系以及做到單條序列的連續性。提出了MuseTransformer框架，其包括由多個Transformer組成的生成器池模塊，并設計了多生成器的異步執行策略與同步機制，以確保細粒度依賴關系的捕獲。在樂譜的序列表示方面，提出了關鍵位置符號(Key Position Symbol，KPS)以提高表示效率。多種音樂領域評價指標的實驗結果表明，所提模型生成的多軌序列之間在和諧程度、連貫性以及序列表示空間效率上，均等同或優于其他先進方法。
中圖分類號： TP37
文獻標識碼： A
DOI： 10.19358/j.issn.2096-5133.2022.05.008
引用格式： 王嵩超，李金龍. 基于多Transformer網絡協同生成的自動作曲[J].信息技術與網絡安全，2022，41(5)：51-58.
文獻標識碼： A
DOI： 10.19358/j.issn.2096-5133.2022.05.008
引用格式： 王嵩超，李金龍. 基于多Transformer網絡協同生成的自動作曲[J].信息技術與網絡安全，2022，41(5)：51-58.
Automatic music composition based on multi-Transformer cooperation
Wang Songchao，Li Jinlong
(School of Computer Science and Technology，University of Science and Technology of China，Hefei 230026，China)
Abstract： Multi-track music generation algorithm needs to take account of both coherence on one single track and strong dependencies among multiple tracks. Previous methods either choose to merge multiple sequences into one long sequence, or use multiple generators in parallel, both of which either fail to capture complete dependencies among tokens, or loss single track′s completeness. In this paper，we proposed MuseTransformer, which contains multiple Transformer generators corresponding to each track. In order to capture dependencies among tracks in a fine-grained manner, we designed an asynchronous execution strategy to enable cooperation and synchronization among all generators. In terms of music sequence representation, we designed KPS(Key Position Symbol) to improve the representation efficiency. Experiments on multiple music field metrics show advantages of our model on multi-track harmony, coherence and spatial-compactness, compared to other state-of-the-art methods.
Key words : music generation；sequence representation；sequence model
0 引言
多目標序列生成技術在多軌音樂生成等任務中有著重要應用，這需要同時確保多個生成的序列自身的連續性與序列之間很強的相關性。本文關注音樂生成背景下的多序列生成問題。現代音樂歌曲通常包含多個音軌，包括旋律音軌和用于伴奏的多個樂器音軌。早期的研究[1-2]專注于只有單軌的旋律生成，而最近的工作[3-4]已經開始探索多軌音樂生成。在本文中，僅關注使用基于序列的方法的多軌音樂生成問題。
基于序列的方法首先會將樂譜序列化為一個或多個符號序列，并輸入至序列模型。通常，會設計出類似MIDI協議的序列格式來表示一個單軌音樂序列[1-2，5]。與單軌生成相比，多軌生成任務需要其生成的軌道具有很強的相關性，同時保持其自身的連續性。
本文詳細內容請下載：http://www.xxav2194.com/resource/share/2000004247
作者信息：
王嵩超，李金龍
(中國科學技術大學 計算機科學與技術學院，安徽 合肥230026)
此內容為AET網站原創，未經授權禁止轉載。