10 款可自架的開源 AI 作曲工具

這份清單比較 10 款可自架的開源 AI 音樂生成器，幫你判斷哪一款最適合做人聲、伴奏、快速草稿或研究實驗。

如果你想把音樂生成搬回自己的硬體，這 10 個專案涵蓋了從即時試聽到完整歌曲的人聲生成。先看一個最能代表速度差異的數字：ACE-Step 大約 20 秒就能生出 4 分鐘歌曲。

1. DiffRhythm：最像完整歌曲的開源選項

DiffRhythm 的強項是把歌聲與伴奏一起做出來，而不是先產生一段 loop 再拼接。它採用 latent diffusion 與非自回歸設計，所以更適合直接產出完整歌曲草稿。

如果你的目標是讓 AI 先交出一首能聽的 demo，DiffRhythm 很有競爭力。它特別適合歌詞驅動的創作流程，對編曲人或詞曲作者都實用。

• 輸入：歌詞加風格提示
• 輸出：人聲與器樂同步生成
• 優勢：完整歌曲草稿快
• 限制：手動微調空間較少

2. AudioCraft：最適合做成自己的音樂管線

AudioCraft 不是單一工具，而是一組研究型音訊生成套件。它把 MusicGen、AudioGen、EnCodec 等元件放在一起，方便開發者用文字提示或參考音訊組出自己的流程。

這也是本清單裡最模組化的方案，但代價是安裝與理解成本較高。若你熟悉 PyTorch，想做研究、整合 API 或訓練實驗，AudioCraft 很值得放進工具箱。

• 包含：MusicGen、AudioGen、EnCodec、Multi-Band Diffusion
• 用途：研究、原型、創作者工具
• 優勢：開源結構清楚
• 限制：設定門檻高

3. Yue AI：先有歌詞的人聲創作更強

Yue AI 的重點是完整歌曲與同步人聲，而且比多數開源模型更重視歌詞理解。它能生成最長 5 分鐘的曲目，還提供音高、節奏與情緒表現的細部控制。

真正的門檻在硬體。完整版至少要 24GB VRAM，所以它比較適合高階 GPU 使用者，或願意接受較慢、較低規格模式的人。若你是歌詞先行的創作者，它很有吸引力。

• 支援多語言
• 可同時處理曲風、歌詞與伴奏
• 可調整音高與節奏
• 較適合進階使用者

4. Riffusion：最快上手的自架音樂生成器

Riffusion 是這份清單裡最友善的新手入口。它用 Stable Diffusion 的思路做即時音樂生成，介面完整，還有社群分享、文字轉音樂、歌詞轉歌曲、AI cover 和段落替換等功能。

如果你只想快速聽到結果，不想先研究一堆框架，Riffusion 很合適。缺點是提示詞的服從度不一定穩，尤其是你要求特定人聲風格或語言時。

• 即時生成
• 介面友善
• 有社群分享功能
• 適合氛圍音、實驗音與快草稿

5. Mubert：背景音與免版稅輸出最穩

Mubert 的定位很明確，就是做免版稅音樂。你可以用情緒、曲風、主題、樂器、BPM 和長度來控制結果，也能把文字或圖片提示轉成曲目，還提供 API 方便串接到產品裡。

它的免費方案限制較多，但參數控制做得很完整。若你的需求是直播背景音、應用程式配樂或可直接上線的循環音樂，Mubert 很容易放進工作流程。

• 150+ 種曲風與情緒
• 長度從 15 秒到 25 分鐘
• 有 12,000+ 預生成曲庫
• 免費方案每月 25 次生成、10 次下載

6. Magenta：教育用途仍然有價值

Magenta 是 Google 的開源音樂與藝術專案，重點不在成品漂亮，而在探索生成式音樂怎麼運作。它提供預訓練模型、notebook 與外掛，涵蓋旋律、和聲、節奏與即興等工作。

因為目前已停更，它更適合教學、研究和創作原型，而不是正式生產流程。如果你想理解機器學習如何影響音樂想法，Magenta 仍然值得看。

• 以 TensorFlow 為基礎
• 可透過 Magenta Studio 接 DAW
• 適合學習與實驗
• 不適合現代生產環境

7. MusicGen：純樂器生成的穩定解

MusicGen 是 Meta 的開源文字轉音樂模型，強項是高品質的純樂器生成。它可以吃文字提示，也可以吃一小段旋律再延伸成完整作品，對已經有音樂種子的創作者很方便。

相較於人聲優先模型，它通常更輕量，也更適合一般消費級 GPU。若你要的是可信度高的器樂想法，而不是完整歌詞歌曲，MusicGen 很實用。

• 支援文字轉音樂與旋律轉音樂
• 在消費級 GPU 上較省資源
• 適合音樂人與研究者
• 人聲能力有限

8. ACE-Step：速度與可編輯性都很強

ACE-Step 把 diffusion、深度壓縮自編碼器和輕量線性 transformer 結合起來，目標是同時兼顧速度、結構與控制。它能在很短時間內做出長曲，還保留相對完整的音樂架構。

這是進階使用者會喜歡的工具，因為它支援 remix、歌詞編輯、聲音克隆與曲目級生成。缺點也很直接：設定不算簡單，而且需要較強的硬體。

• 4 分鐘歌曲約 20 秒完成
• 支援文字轉音樂、歌詞轉人聲與 remix
• 可做較細的聲學控制
• 偏向開發者與研究者

9. MusicLM-PyTorch：研究 MusicLM 思路的入口

MusicLM-PyTorch 比較像是開發者的研究實作，而不是現成的創作工具。它的價值在於讓你用 PyTorch 研究 MusicLM 風格的生成方式，觀察架構選擇對結果的影響。

如果你的目標是測試想法、改程式、做實驗，這是合理的起點；如果你只是想快速做歌，它就不是最省事的選擇。

• 研究導向程式碼庫
• 適合開發者
• 便於模型實驗
• 不太適合一般創作者

10. OpenAI Jukebox：研究長篇人聲合成的經典案例

OpenAI Jukebox 仍然是很有代表性的音訊生成專案，尤其在歌聲與風格變化方面。它是為研究長篇音訊生成而設計的，適合想看早期神經音樂模型怎麼工作的讀者。

它的問題也很明顯：重、複雜、研究導向，離日常創作工具還有一段距離。但如果你在研究神經音樂生成的演進，Jukebox 依然有參考價值。

• 偏重人聲音訊生成
• 有研究與檔案價值
• 適合看長篇合成
• 安裝與算力需求高

哪種適合你

如果你要完整人聲歌曲，先看 DiffRhythm 或 Yue AI；如果你想搭一個可延伸的研究底座，AudioCraft 最合適，而 MusicGen 則更適合做純樂器輸出。

想要最快試出結果，選 Riffusion；想要速度和可編輯性一起兼顧，選 ACE-Step。若你在做教學、研究或想回顧模型演進，Magenta 與 OpenAI Jukebox 仍然值得保留在名單裡。