RVC / Applio 完全ガイド2026：AI音声変換でキャラボイスを作る実務手順

RVC（Retrieval-based Voice Conversion）と後継UIのApplioで音声変換モデルを学習・運用する実務ガイド。TTSとの違い、データセット準備、学習パラメータ、リアルタイム変換、同人音声への活用と、実在人物の声を扱うことの法的リスクまでまとめました。

2026/07/30 18 min

RVCApplio音声変換同人音声AI音声

この記事の要点

RVCは「テキスト→音声」ではなく「音声→別の声の音声」に変換する技術。TTSとは役割が違う
自分で演じた音声をキャラの声に変換できるため、演技のニュアンスを残したまま声質だけ変えられる
Applio は RVC 系の使いやすいフォーク。UIが整理され学習から推論まで一貫して扱える
学習データは10分程度の綺麗な音声があれば形になる。ノイズと話者混在が最大の失敗要因
実在人物の声を無許諾で学習・公開するのは法的・倫理的に極めて危険。オリジナル音声か許諾済み素材のみ使う

このサイトではTTS（テキスト読み上げ）を Style-Bert-VITS2、Irodori-TTS、Fish Speech / GPT-SoVITS と扱ってきましたが、音声変換（Voice Conversion） が空白のままでした。

RVC はその領域の定番です。テキストから作るのではなく、「誰かが喋った音声」を「別の声」に変換します。自分で演じた音声のニュアンスを残したまま声質だけ変えられるのが本質的な価値です。

公式

手順とパラメータは更新で変わります。導入前に公式READMEで最新を確認してください。

最初に：声の扱いについて

技術の前に、これだけは先に書きます。

実在人物（声優・配信者・知人を含む）の声を、許諾なく学習させて公開してはいけません。

パブリシティ権・人格権の侵害にあたりうる
成人向けの文脈で使えば名誉毀損の問題が重なる
「本人が言っていない発言」を作れば信用毀損・偽計業務妨害の領域に入る
被害者が実在する以上、技術的に可能かどうかは免責になりません

使ってよいのは、

自分の声
明確に許諾を得た人の声
利用条件が明示されたフリー音声素材（条件は必ず原文を読む）

この記事はその前提で書いています。**「自分の演技を、自分が作ったキャラの声にする」**のが想定用途です。

RVC と TTS の役割の違い

	TTS（Style-Bert-VITS2 等）	RVC
入力	テキスト	音声
出力	音声	別の声質の音声
演技のニュアンス	AIが解釈して付与	自分の演技がそのまま残る
息づかい・間	苦手	得意
大量生成	得意	自分で全部喋る必要がある
収録の手間	なし	あり

同人音声での使い分け

TTS が向く

セリフ量が膨大
自分で演じるのが難しい
淡々とした読み上げ中心

RVC が向く

喘ぎ・息づかい・囁きなど、TTSが最も苦手な表現
感情の起伏を細かく作りたい
演技はできるが声質を変えたい

TTS最大の弱点が「息づかいと非言語的な発声」なので、この領域はRVCのほうが圧倒的に自然です。同人音声で差が出るのはまさにそこです。

組み合わせる構成

TTSで読み上げ → RVCで声質変換、という二段構えも可能です。TTSの発話タイミングを使いつつ、声質だけ好みのキャラに寄せられます。ただし二重に劣化するので、素直に一方で完結させたほうが綺麗な場合も多いです。

RVC と Applio の使い分け

Applio は RVC系のフォークで、UIと機能が整理されています。

	RVC（オリジナル系）	Applio
導入のしやすさ	中	◎
UIの分かりやすさ	中	◎
情報量	多い（先行）	増加中
機能の統合	分散	一貫

これから始めるなら Applio が素直です。 RVC系の情報は基本的に流用できます。以下、共通の考え方として書きます。

導入

前提

Windows / Linux（Macは制約あり）
NVIDIA GPU、VRAM 6GB以上（学習には実質必須）
Python 3.10 系
ディスク空き：数十GB

手順の骨格

リポジトリを取得（またはリリース版を展開）
付属のインストールスクリプトを実行
学習済みのベースモデル・事前学習重みが自動ダウンロードされる
Web UI を起動してブラウザでアクセス

Applio は同梱のインストーラで完結する構成になっているので、Python環境で消耗する場面は少なめです。

データセットの準備（ここが8割）

RVCの成否はデータセットで決まります。 学習パラメータの調整より遥かに効きます。

必要な量

最低：5〜10分
推奨：30分〜1時間
これ以上：効果は逓減する

量より質です。 1時間のノイズ入り音声より、10分の綺麗な音声のほうが良いモデルになります。

良いデータの条件

単一話者のみ（他人の声が混ざると声質が濁る）
BGM・効果音なし
environmental noise（エアコン、車、キーボード）なし
リバーブ（残響）が少ない
音量が安定している
クリッピング（音割れ）していない

収録のコツ

静かな部屋、できれば布や吸音材で反射を抑える
マイクとの距離を一定に
平坦に読むより、実際に使う演技の幅を含める（囁きから大きい声まで）
息継ぎや無音を大量に含めない

前処理

多くのUIに前処理機能が入っています。

無音区間の除去
一定長へのスライス（数秒単位）
サンプリングレートの統一（40kHz / 48kHz など）
音量の正規化

ノイズが多い素材は、学習前に除去しておくのが結局は近道です。UVR（Ultimate Vocal Remover）系のツールでBGM分離やノイズ除去をしてから投入する運用が一般的です。

学習

主要パラメータ

項目	目安
サンプリングレート	40k / 48k（推論時と揃える）
エポック数	100〜300 程度から様子を見る
バッチサイズ	VRAM 6GB→4、8GB→8、12GB以上→8〜16
保存頻度	途中のモデルを比較したいので細かめに

エポックは多ければ良いわけではありません。 過学習すると、学習データに含まれない発声で破綻します。

過学習の見分け方

学習データと同じような発声はうまいが、違う喋り方をすると急に崩れる
金属的なノイズが乗る
高音・低音の端で不自然になる

対処はエポック数を減らした中間モデルに戻すこと。だからこそ途中保存を細かくしておきます。

インデックス（特徴検索）

RVCの名前にある “Retrieval-based” の部分です。学習データの特徴量インデックスを作り、推論時に参照することで元の声質に寄せる強さを調整できます。

強くする：学習した声に忠実、ただし入力の癖が消えにくい
弱くする：入力音声の特徴が残る、声質は緩む

推論時のスライダーで調整するので、0.5前後から上下に振って好みを探すのが実務です。

推論（変換）

基本の流れ

変換したい音声を用意（自分が演じた録音）
学習済みモデルを選択
ピッチ（音程）を調整
インデックス比率を調整
変換

ピッチ調整が最重要

男性の声を女性キャラに変換する場合、ピッチを上げる必要があります。 一般に +12（1オクターブ）前後が起点になります。

ピッチが合っていないと、どれだけ学習しても不自然
半音単位で微調整して、最も自然に聞こえる点を探す
元の声域とターゲットの声域の差で決まるので、正解は人によって違う

ピッチ抽出アルゴリズム

複数の方式が選べます（rmvpe、crepe など）。迷ったら精度重視の方式を選び、うまくいかないときに切り替える、で十分です。喘ぎ声のような非定型な発声では、方式によって結果が大きく変わることがあります。

リアルタイム変換

配信や通話で使う用途です。

必要なもの

GPU（性能がそのまま遅延に効く）
仮想オーディオデバイス（OBS等と繋ぐ場合）

現実

遅延との戦いになります
品質を上げると遅延が増える
オフライン変換のほうが品質は明確に上

同人音声の制作なら、リアルタイムは不要です。録音してからじっくり変換するほうが良い結果になります。

同人音声制作での実務

制作フロー

台本を書く（AI官能小説の作り方の考え方が流用できます）
自分で全セリフを演じて録音
RVCでキャラの声質に変換
ノイズ除去・音量調整・マスタリング
BGM・SEを乗せる

RVCが効く場面

喘ぎ・吐息・囁き：TTSが最も苦手な領域
感情の起伏：自分の演技がそのまま残る
キャラの一貫性：同じモデルを使えばシリーズ全体で声が揃う

販売時の注意

AI利用の申告：DLsite / FANZA同人はルールを設けていることが多い。規約は変動するので必ず最新を確認
使った声の権利：自分の声、または許諾済みであることを説明できる状態にしておく
販売の実務全体は AI音声で同人音声を売る完全ガイドにまとめています

よくある失敗と対処

変換後の声がロボットっぽい

ピッチ調整が合っていない（最も多い原因）
学習データが少なすぎる
エポック不足

ノイズが乗る

学習データにノイズが入っている（学習し直し）
過学習（エポックを減らす）
入力音声の品質が悪い

元の声が残ってしまう

インデックス比率を上げる
学習データを増やす
ピッチを適正化する

高音・低音で破綻する

学習データの声域が狭い。実際に使う声域を含めて録り直す

学習が終わらない / 落ちる

バッチサイズを下げる
VRAM不足なら解像度ならぬサンプリングレートを下げる
環境の目安は AI生成PC構成ガイド参照

まとめ

RVC / Applio は 「自分の演技を、別の声質で届ける」 ための道具です。TTSが苦手な息づかいと感情の起伏をそのまま残せるので、同人音声では明確な優位があります。

成否はデータセットの質とピッチ調整でほぼ決まります。パラメータをいじる前に、静かな部屋で綺麗に録ることに時間を使ってください。

そして繰り返しますが、他人の声を無許諾で使わないこと。ここだけは技術の話ではなく、守らなければ成立しない前提です。

よくある質問

RVC とは何ですか？

Retrieval-based Voice Conversion の略で、入力した音声を別の声質に変換する技術・ツール群です。テキストから音声を作るTTS（Style-Bert-VITS2 など）とは役割が異なり、「誰かが喋った音声」を「別の声」に変換します。自分の演技をそのまま活かして声質だけ変えられるのが最大の特徴です。

Applio とは何ですか？

RVC系のフォークの一つで、UIと機能が整理された派生プロジェクトです。学習・推論・モデル管理を一貫して扱いやすく、RVCオリジナルより導入と操作のハードルが低い構成になっています。中身の技術的な系譜はRVCと共通です。

TTS（Style-Bert-VITS2など）とどう使い分けますか？

テキストだけから音声を作りたいならTTS、演技のニュアンスを自分でコントロールしたいならRVCです。同人音声では「自分で全セリフを演じてRVCで声質変換」と「台本をTTSで読み上げ」の二択になります。息づかいや微妙な感情表現はRVCのほうが自然に残ります。両方を組み合わせ、TTS出力をRVCで変換する構成も可能です。

学習にはどれくらいの音声が必要ですか？

10分程度の綺麗な音声があれば実用的なモデルになります。30分〜1時間あるとより安定します。重要なのは量より質で、ノイズ・BGM・複数話者の混在があると、その分だけ変換結果が濁ります。少量でも綺麗なデータのほうが良い結果になります。

GPUは必要ですか？

学習にはGPUが実質必須で、VRAM 6GB以上が目安、8GB以上あると安心です。推論（変換）はCPUでも動きますが遅くなります。リアルタイム変換をしたい場合はGPUが必要と考えてください。

他人の声や声優の声を学習させてもいいですか？

やめてください。実在人物の声を無許諾で学習し、その声で何かを喋らせて公開する行為は、パブリシティ権・人格権の侵害、名誉毀損などに問われる可能性があります。とくに成人向けの文脈で使えば被害は深刻になり、刑事・民事双方のリスクがあります。自分の声、許諾を得た声、権利が明確なフリー素材だけを使ってください。

同人音声の販売に使えますか？

自分の声を変換したモデルであれば使えます。ただしDLsiteやFANZA同人などのプラットフォームはAI利用の申告ルールを設けていることが多く、規約は変動します。販売前に各プラットフォームの最新ガイドラインを必ず確認してください。実務の流れは [AI音声で同人音声を売る完全ガイド](/posts/ai-voice-doujin-selling-guide-2026/) にまとめています。

リアルタイムで声を変えられますか？

できます。RVC系にはリアルタイム変換の仕組みがあり、配信や通話で使う用途があります。ただし遅延（レイテンシ）との戦いになり、GPU性能と設定の追い込みが必要です。品質を最優先するなら、録音してからオフラインで変換するほうが安定します。