22. ステム分離
Liveに組み込まれたステム分離を使用すると、楽曲、ループ、サンプルなど録音したオーディオ素材の主な要素を、個別のパートごとに抽出することが簡単に行えます。 ステムは他のオーディオクリップと同じように扱うことができ、ワープ、チョップ、並び替えができるだけでなく、エフェクト処理もできます。
幾重にもレイヤーされたオーディオ録音をステムに分割すると、数多くのクリエイティブな用途に活用できます。 リミックスやマッシュアップ用にボーカルを分離したり、メロディーやリズムを解体したり、サンプル用にそれぞれの楽器を抽出したり、DJミックス用にステムを組み合わせたりできます。
22.1 Liveでのステム分離の仕組み
ステム分離は、音源分離 や ステム分割 とも呼ばれ、オーディオ信号のスペクトルや時間特性を解析し、検出したコンポーネントを ステム と呼ばれるパート単位で抽出します。
Liveでは、ソース分離用に特化して学習したディープラーニングモデルを使用して、この処理を行っています。 これは、音源分離用に使われる既存のアーキテクチャーと同じように動作しますが、オフラインでの使用に最適化されています。 つまり、インターネットに接続したり外部ツールをインストールしなくても、Live内部でオーディオをステムに分割できます。
モノラルとステレオのどちらのオーディオファイルでも、［ボーカル］［ドラム］［ベース］［その他］ の4つのステムに分離できます。 ［その他］のステムには、ボーカル／ドラム／ベースとして検出されなかったオーディオのすべてのパートが含まれます。
この章では、楽曲のステムを分割することを例にして説明しますが、ステム分離は録音したあらゆるオーディオ素材に使用できることを覚えておいてください。
22.2 オーディオファイルとクリップの分離
オーディオファイルを分離するにはブラウザー内で行い、オーディオクリップを分離するには、セッションまたはアレンジメントビューのコンテキストメニューや［作成］メニューから、 ［新規オーディオトラックにステムを分離］ を選択して行います。
このコマンドを選択すると、分離処理のさまざまなオプションを含むダイアログが表示されます。
楽曲のどの要素を分離させるのか、［ボーカル］［ドラム］［ベース］［その他］のスイッチで設定します。
［クオリティモード］セレクターで、分離処理を 速度または品質 のどちらに基づいて行うか選択します。 簡単なスケッチや編集であれば ［高速］ モードを使用し、より細かい部分まで描写する必要があれば ［高品質］ モードを使用するとよいでしょう。
［分離］ ボタンを押すと処理を続行します。 なお、再生している時にステム分離を開始すると、再生を停止します。
各ステムは、新規 グループトラック 内に作成されたトラックへレンダリングされます。 ステムのクリップとトラックの色は、ステム分離ダイアログ内のスイッチと同じ色になりますが、新規グループトラックはソースクリップのトラック色になります。
ソーストラック内にあるオーディオエフェクトは、すべてこのグループトラックに追加されるため、ステム自体はレンダリングしません。 さらに、トラックのオートメーションはこのグループトラックにコピーされて、クリップエンベロープのオーメーションやモジュレーションはそれぞれのステムのクリップにコピーされます。
ステム分離がレンダリングされると、出力が重複しないよう、ソースクリップが無効になります。 再度クリップを有効にしたい場合は、クリップを選択して 0 キーを押します。
たとえばボーカルなど楽曲の1パートのみを分離する場合は、グループトラックを作成せず、新しいステムを含む単独のトラックを作成します。
ブラウザーから楽曲を分割した場合は、セッションまたはアレンジメントビューのフォーカスしている方にステムを出力します。
分離したステムのオーディオファイルは、現在のプロジェクトフォルダー内の “Samples → Processed → Stems” に保存されます。
22.2.1 分離のスピード vs クオリティ
ステム分離のダイアログでは、［高速］ と ［高品質］ の2つのクオリティモードから選択できます。 このモードによって、分離処理の速さを優先するか、正確さを優先するかが決まります。
［高速］に設定すると処理も高速になりますが、それでも古いシステムでは数分かかる場合があります。 このモードでは、すべてのステムを1パスで分離します。
［高品質］に設定すると、分離精度は向上（信号対歪み比（SDR：Signal-to-Distortion Ratio）を測定したスコアが向上）しますが、その代償として処理速度が遅くなります。 このモードでは、［ボーカル］［ドラム］［ベース］の各パートを、それぞれ専用の分離パスで処理します。 この3パスの後に残ったオーディオから［その他］ステムを作成します。
どちらのモードでも、ステム分離を実行する前にサンプルをクロップしておくと、処理の時間を短縮できます。 たとえば、楽曲のコーラス部分のステムだけが必要な場合、サンプルエディターの ［クリップのサンプルを選択範囲でクロップ］ コマンドを使用すると、クリップを短く できます。 また、トラックのコンテキストメニューから ［クリップをクロップ］ を使用すると、アレンジメントで選択したタイムでクリップをクロップします。 どちらのクロップのコマンドも、ショートカットは CtrlShiftJ (Win) / CmdShiftJ (Mac) です。
［高品質］モードを使用する際、必要なステムのみを分離すると処理時間を短縮できます。 とはいえ、［その他］ステムを含む場合は、残りのオーディオを正確にレンダリングするためにすべてのパートを処理します。 たとえば、［ボーカル］と［その他］のステムのみを分離する場合、［ドラム］と［ベース］のステムもレンダリングする必要があるため、すべてのパートを処理するのと同じ時間がかかります。 ［ボーカル］と［その他］のステムはセットに追加されて、［ドラム］と［ベース］のステムは現在のプロジェクト内の “Stems” フォルダーに保存されます。
一般的に、分離処理全体にかかる時間は、システム構成によって大きく異なります。 古いWindowsマシン、Intel Mac、macOS 11 Big Surを使用しているMacでは、ステム分離に時間がかかる場合があります。
分離処理の性質上、オーディオの特定の要素が想定外のステムに分離されてしまうことがあります。 たとえば、［その他］のステムでハイハットの高域が聞こえたり、［ボーカル］のステムでコーラスのかかったシンセの音が聞こえる場合があります。 このようなステム間のオーバーラップは、使用しているクオリティモードや、ソース素材の音色特性など、さまざまな要因で起こり得ます。 ステムの用途に応じて、楽曲を［高速］モードで分割してみたり、もう一度［高品質］モードで分離すると、どちらの結果が好ましいか確認できます。