ComfyUI で Fish Audio を使う
Fish Audio のパートナーノードは、ノードメニューのpartner/audio/Fish Audio 以下にあります。4 つのノードがワークフローをカバーします:
- Fish Audio Text to Speech:テキストを音声に変換し、
AUDIOを出力します - Fish Audio Speech to Text:音声をテキストに書き起こし、
text、language_code、segments_jsonを出力します - Fish Audio Voice Selector:プリセット音声の 1 つを選択するか、
custom(https://fish.audio/m/<id>/の ID)を通じて任意の fish.audio 音声モデルを接続し、voiceを出力します - Fish Audio Instant Voice Clone:録音から非公開のクローン音声を作成し、
voiceを出力します
モデルの選択
Text to Speech ノードのmodel パラメータには 2 つの選択肢があります:
s2.1-pro(推奨):0〜5 個の音声入力の自動拡張リストにより、複数の話者に対応しますs1(レガシー):単一のオプションの音声入力を受け付け、プロンプトガイドで説明されている丸括弧の感情タグ構文を使用します
drama-3 は専用ページで説明しています:Fish Audio Drama 3。
音声の接続
Voice Selector または Instant Voice Clone のvoice 出力を Text to Speech ノードに接続します。入力名はモデルによって異なります。s2.1-pro(推奨)は拡張可能な voices 入力(最大 5 個の音声スロット)を公開し、s1 は単一のオプションの voice 入力を持ちます。音声を 1 つだけ接続した場合、ノードは内部でそれを reference_id として渡します。2 つ以上接続する場合は、テキストで @Voice1、@Voice2 などのように話者を指定する必要があり、接続したすべての音声がテキストに少なくとも 1 回登場しないと、ノードはエラーを発生させます。プロンプトガイドの多話者対話を参照してください。
ボイスクローンの制限
Instant Voice Clone ノードは 1〜20 個の録音を受け付け、クリップあたり 10〜30 秒を推奨し、合計時間が 270 秒未満であることを検証します。enhance_audio_quality オプションはデフォルトで有効です。録音のコツについては、プロンプトガイドのボイスクローンの品質を参照してください。
アカウントと価格
これらのノードは ComfyUI アカウントへのサインインが必要で、使用ごとに課金されます。ノードに表示される参考価格:テキストから音声はテキスト 1M バイトあたり約 0.00858、ボイスクローンは無料です。利用可能なワークフロー
3 つのすぐに使えるテンプレートが Fish Audio の主要フローをカバーします:テキストから音声、ボイスクローンから音声、音声からテキスト。ComfyUI のテンプレートライブラリから開くか、Comfy Cloud で直接実行できます。ボイスクローンと音声からテキストのテンプレートには ComfyUI 0.34.0 以降が必要です。Drama 3 には専用の 2 つのテンプレートがあり、Drama 3 ページで説明しています。Fish Audio: テキストから音声
プリセット音声でセリフから音声を生成します。プロンプトガイドのインラインタグをテキストに書き込み、Voice Selector で別のプリセットを選ぶか、クローン音声を接続してください。
Comfy Cloudで実行
Comfy Cloudで開く
ワークフローをダウンロード
JSONをダウンロード、またはテンプレートライブラリで「Fish Audio: Text to Speech」を検索
LoadAudioノードにアップロードしてください:
fish_audio_example.mp3
LoadAudio ノード11 · fish_audio_example.mp3Fish Audio: ボイスクローンから音声
短い録音から声をクローンし、その声に任意のセリフを話させます。15〜20 秒のクリップを 2〜3 本録音し、LoadAudio ノードでアップロードして(または RecordAudio ノードで直接録音して)、Instant Voice Clone の出力を Text to Speech ノードに接続してください。録音のコツはプロンプトガイドのボイスクローンの品質を参照してください。
Comfy Cloudで実行
Comfy Cloudで開く
ワークフローをダウンロード
JSONをダウンロード、またはテンプレートライブラリで「Fish Audio: Voice Clone to Speech」を検索
LoadAudioノードにアップロードしてください:
api_fishaudio_voice_clone_tts_fish_audio_example.mp3
LoadAudio ノード11 · api_fishaudio_voice_clone_tts_fish_audio_example.mp3Fish Audio: 音声からテキスト
オーディオクリップをテキストに書き起こします。80 以上の言語を自動判別し、precise_timestamps を有効にするとセグメントごとの開始・終了時刻が JSON で返されるため、字幕作成に便利です。
Comfy Cloudで実行
Comfy Cloudで開く
ワークフローをダウンロード
JSONをダウンロード、またはテンプレートライブラリで「Fish Audio: Speech to Text」を検索
LoadAudioノードにアップロードしてください:
fish_audio_example.mp3
LoadAudio ノード11 · fish_audio_example.mp3はじめに
- ComfyUI を最新版に更新します
- 上のワークフローテンプレートを開くか、ノードメニューの
partner/audio/Fish Audioカテゴリから Fish Audio ノードを追加します - 表示されたら ComfyUI アカウントにサインインします
- プロンプトガイドのインラインタグを使ってセリフを書きます
- ワークフローを実行し、音声をプレビューまたは保存します