skip to content
日替わり OSS
Table of Contents

リポジトリ

YuE2とは？編集可能な次世代音楽生成モデル

YuE2は、歌詞とスタイルから楽曲プランを生成し、ボーカル・伴奏付きの完全な楽曲として実現する、革新的なオープンソースの音楽生成モデルです。従来のブラックボックス型と異なり、記号的プランニングにより、生成譜面を人間が確認・編集できる「ホワイトボックス」アプローチを採用。

READMEによれば、YuE2はWildSongBenchでSuno v5/v6に匹敵する「最先端の品質」を達成。クリエイターは生成技術の恩恵を受けつつ、最終アウトプットへの深い制御を維持できる、新たな音楽制作ワークフローを構築できます。

YuE2の主な機能とクリエイターへの価値

YuE2は、その先進的な設計により、音楽クリエイターに強力な共創ツールを提供します。

1. 最先端の楽曲品質と自然なテキストアライメント

YuE2はボーカルを含む楽曲で優れた品質と、歌詞に合致した自然な表現力を誇ります。与えられた歌詞の雰囲気・感情を音楽に正確に反映させ、プロフェッショナルレベルの楽曲生成を実現します。

2. 記号的プランニングによる詳細な制御

YuE2の核は、生成プロセスの中間段階でメロディとコードの譜面（ABC記法）を明示的に生成することです。

  • 透明性: 楽曲構造を譜面で確認、アイデアを理解。
  • 編集可能性: 譜面を直接編集し、メロディやハーモニーを自在に修正。生成モデルと人間の感性の「共創」を実現します。
  • 再利用性: 編集後の譜面から新しい音響を生成し、楽曲バリエーション探索やアイデア深化に活用できます。

3. 広がる音楽表現：ゼロショットカバーと対話型編集

ゼロショットカバー

既存録音からメロディ譜面を抽出し（SheetSage2連携）、新しい歌詞やスタイルで再アレンジされた「カバー」曲を生成。特定のメロディラインを維持しつつ、ジャンルや雰囲気を一新したい場合に強力です。

エージェントによる対話型編集

「yue2-music skill」を通じLLMエージェントと連携、対話形式で楽曲を編集。「もっとジャジーに」「サックスソロを加えて」といった指示で、エージェントが譜面やスタイルを修正し、新しい楽曲を生成。直感的で高度な音楽的対話が可能です。

YuE2の技術概要

YuE2は、スタイルと歌詞から譜面、セマンティックトークン、音響ラテントを生成し、VAEデコーダでステレオオーディオに変換する多段階アーキテクチャです。AR–NAR Mixture-of-Transformersが核。Python API (plan()→generate_semantic()→synthesize()→decode()) は各段階での詳細介入を可能にします。

どんな現場で役立つか？

YuE2は、多様なクリエイティブ現場で価値を発揮します。

  • 作曲家・アレンジャー: アイデアの迅速なプロトタイピング、リミックス、共創。
  • ゲーム・映像制作者: シーンに合わせたBGM迅速作成、バリエーション生成。
  • コンテンツクリエイター: 高品質なオリジナル楽曲を手軽に生成。
  • 音楽教育者・学習者: 譜面と音響の連動理解、実践的学習。

YuE2の導入と利用

YuE2は、Python 3.12、NVIDIA GPU（BF16対応、24GB VRAM）を搭載したLinux環境で動作。モデルファイルは初回利用時にHugging Faceから自動ダウンロードされます。

Terminal window
git clone https://github.com/multimodal-art-projection/YuE.git
cd YuE && python -m venv .venv && source .venv/bin/activate
pip install --upgrade pip .
python examples/generate.py --output outputs/first-song

cot（Chain of Thought）パラメータ（"full", "melody", "off"）で生成の自由度と制御性を調整。新規楽曲には"full"、カバーには"melody"が推奨されます。

まとめ：音楽生成の未来を形作るYuE2

YuE2は、最先端の楽曲品質と記号的プランニングによる「ホワイトボックス」生成を融合させた、画期的なオープンソースプロジェクトです。クリエイターが生成プロセスに深く介入し、対話的に楽曲を編集できる機能は、音楽制作における人間と機械の新たな共創の形を提示します。

音楽制作の効率化、表現の多様化、そして深いクリエイティブな探求を可能にするYuE2は、今後の音楽業界で重要な役割を果たすでしょう。この最先端技術を体験し、あなたの音楽制作に新たな可能性をもたらしてみてはいかがでしょうか。