日本語のローカル TTS といえば Style-Bert-VITS2 や Irodori-TTS がよく挙がります。ただ「英語や中国語も同じ環境で」「短い参照音声から声を寄せたい」となると、別系統のツールが必要になります。
この記事では Fish Speech（Fish Audio） と GPT-SoVITS を、導入の大枠・クローンの実務・倫理・既存ツールとの使い分けに絞って整理します。細かいインストールコマンドや依存バージョンは変わりやすいので、実行時は必ず公式 GitHub とドキュメントを見てください。
- Fish Speech: github.com/fishaudio/fish-speech
- GPT-SoVITS: github.com/RVC-Boss/GPT-SoVITS
Fish Speech とは何か
Fish Speech は Fish Audio 系のオープンソース TTS プロジェクトです。README では Fish Audio S2 Pro など、多言語・表現力を前面に出したモデルが紹介されています。学習データ規模や言語数の記述はモデル世代で更新されるため、数値は公式の表を正としてください。
公式が強調している強みはだいたい次です。
- 多言語：日本語・英語・中国語を含む広範囲の言語を、音素表を言語ごとに張り替えなくても扱える方向
- ゼロショット寄りの音声クローン：短い参照音声から音色・話し方を寄せる
- 自然言語タグでの制御：
[whisper]や[excited]のようなタグで韻律・感情を細かく指示する（S2 系の説明） - WebUI／CLI／サーバ：ドキュメントにインストール、CLI、WebUI、Docker、サーバ推論の導線がある
ライセンスは README 上 FISH AUDIO RESEARCH LICENSE と明記されています。MIT や Apache とは別物なので、「オープンソース＝何でも商用OK」と決めつけないでください。原文の LICENSE を読んでから用途を決めてください。違法利用について開発側が責任を負わない、という注意書きも README にあります。
必要環境の目安は、GPU メモリとモデルサイズ（S2-Pro はパラメータ規模が大きい、など）に依存します。公式の Installation ページに環境要件が書かれるので、手元の VRAM と照らし合わせてください。うろ覚えの「何GBあれば足りる」はここでは断定しません。
GPT-SoVITS とは何か
GPT-SoVITS は GPT-SoVITS-WebUI として公開されている、音声変換と TTS をまとめたプロジェクトです（リポジトリ: RVC-Boss/GPT-SoVITS）。README の Features では次が明示されています。
- Zero-shot TTS：約5秒のボーカルサンプルから即テキスト読み上げ
- Few-shot TTS：おおよそ1分程度のデータでのファインチューンにより類似度・自然さを上げる
- Cross-lingual：英語・日本語・韓国語・広東語・中国語などの記述
- WebUI ツール：ボーカル分離、データ分割、多言語 ASR、ラベル付けなど学習前処理
ライセンス表示は MIT です（バッジと LICENSE を確認）。こちらも「コードが MIT だから学習に使った他人の声も自由」ではありません。参照音声とデータセットの権利は別途処理が必要です。
導入は Windows 向け統合パッケージ、conda + install スクリプト、Docker など複数経路があります。Python は 3.10 前後がテスト環境として README に並びます。GPU（CUDA）／CPU／Apple silicon の表も公式にあります。VRAM の厳密な下限は用途（推論だけか、学習もか、バージョン v2/v3/v4/v2Pro か）で変わるので、公式とコミュニティの最新情報を見てください。
WebUI は webui.py や bat 起動が中心で、推論用 UI も同梱の流れです。初心者がデータ準備から学習まで一通り触りやすいのが GPT-SoVITS 側の実務的な利点です。
導入の大枠（コマンドは公式を正とする）
共通してやることはシンプルです。
- 公式リポジトリをクローン、または配布パッケージを取得する
- Python／PyTorch／CUDA（または CPU）を公式の組合せに合わせる
- 事前学習モデルを所定ディレクトリに置く（インストールスクリプトが取る場合もある）
- WebUI または CLI で推論を試す
- クローンや学習に進むなら、参照音声と台本を用意する
Fish Speech は speech.fish.audio のドキュメント が入口です。GPT-SoVITS は README の Installation と、中国語／英語のユーザガイドへのリンクがあります。この記事に貼ったコマンドをコピペして永久に動く、という前提は置かないでください。 依存とモデル配置は更新が速いです。
GPU が弱い場合は、推論のみ・短い音声・量子化や half 精度などの公式オプションを先に調べるとよいです。学習までやるなら余裕のある VRAM とストレージが要ります。
音声クローンの実務フロー
参照音声の準備
- 長さ：GPT-SoVITS は公式に「5秒ゼロショット」「1分 few-shot」といった目安がある。Fish Speech S2 は「典型的には10〜30秒」といった説明がある。どちらも目安なので、手元のバージョンで試す
- 音質：背景ノイズ・BGM・複数人の同時発話は類似度を落とす。可能なら静かな単一話者
- 内容：母語に近い自然な発話。極端な加工ボイスだけだと再現がブレやすい
- 権利：自分の声、または契約・許諾済みの素材だけを使う
ノイズ除去は GPT-SoVITS の WebUI に前処理ツールがある、Fish Speech 側は前処理パイプラインをドキュメントで確認する、という進め方が現実的です。
生成の手順（概念）
- 参照音声を指定する（話者トークンや参照スロットの概念はツールで違う）
- 読み上げるテキストを入れる（言語タグが要る場合は公式どおり）
- 感情・速度・ピッチなどがあれば弱めから調整する
- 短い文で試し、問題なければ長文・台本へ
- 波形を書き出し、DAW で無音・息・ノイズを整える
ゼロショットで「だいたい近い」ところまで行き、足りなければ few-shot 学習や別テイクの参照を足す、という二段構えが GPT-SoVITS ではよく使われます。Fish Speech はタグ付きテキストで演技を足す方向が強い、という整理がしやすいです。
倫理と法律（最重要）
他人の声・実在の声優や配信者の声を、許諾なくクローンして公開・販売しないでください。 技術的に可能でも、権利侵害やプラットフォームBAN、社会的な問題になります。同人音声を売る場合も同じです。
- 実在人物の声の無断再現はしない
- 「似てる声」を売り文句に有名人を連想させない
- 学習データに権利不明の切り抜きを混ぜない
- 利用規約と各国のデジタルレプリカ関連の議論を自分で追う
ツールの README にも、違法利用に責任を負わない旨が書かれていることがあります。それは「やってもよい」という意味ではありません。
Style-Bert-VITS2 / Irodori-TTS との使い分け
| 用途 | 向きやすい候補 |
|---|---|
| 日本語の感情スタイルを細かく指定 | Style-Bert-VITS2、Irodori-TTS |
| 絵文字やスタイル制御で同人演技 | Irodori-TTS |
| 数秒〜数十秒の参照からすぐ声を寄せたい | GPT-SoVITS、Fish Speech |
| 英中日など多言語を同じ系統で | Fish Speech が特に強い説明。GPT-SoVITS も複数言語対応 |
| 少量データで自分用に学習を詰めたい | GPT-SoVITS の few-shot |
| すでに日本語同人の型が決まっている | 既存の Bert-VITS 系を優先し、足りないときだけクローン系 |
「いちばん上手い日本語」一本で選ぶより、今日の台本に何が足りないかで選ぶと失敗が減ります。詳細な日本語運用は Style-Bert-VITS2 ガイド と Irodori-TTS ガイド を先に読むとよいです。
同人音声・NSFW 用途での注意点
- モデルライセンス：Fish Speech の RESEARCH LICENSE、GPT-SoVITS の MIT、依存コーデックや ASR モデルの条件を全部洗う
- 声の権利：クローン元が自分の声か、契約済みか
- 実在声優の再現販売はNG
- プラットフォーム：DLsite / FANZA 同人などは AI 明記や音声作品の規約がある。販売フローは AI音声で同人音声を売る完全ガイド へ
- 品質：息・哽え・叫びはローカル TTS が弱いことが多い。手動で波形編集する前提を持つ
NSFW だから規制がゆるい、ということはありません。むしろ成人向け販売の方が規約と表記が厳しいことがあります。
よくあるつまずき
- 参照が短すぎる／雑音だらけで別人になる
- 言語設定とテキストの言語が食い違う
- VRAM 不足で学習や長文推論が落ちる → 公式の軽量経路や短い生成から
- 「商用OK」と聞いて売ったが、参照音声の権利がアウト
- 日本語の間や助詞が不自然 → 句読点・短い文への分割・後編集
まとめ
Fish Speech と GPT-SoVITS は、日本語特化 TTS の隣に置く 多言語・参照クローン枠 です。前者は多言語と表現タグ、後者は WebUI とゼロショット／few-shot の実務導線が強い、と覚えると選びやすいです。導入コマンドは公式を正とし、声の権利とライセンス原文を読んでから同人や販売に進んでください。
日本語演技の本丸は引き続き Style-Bert-VITS2 や Irodori-TTS が候補になります。足りない能力だけこの2系統で補う、という使い方がいちばん事故が少ないです。
