「LoRAを作るのは重いけど、参照画像に寄せた絵は作りたい」。この需要にちょうど噛み合うのがIP-Adapterです。参照画像を1枚指定するだけで、そこから特徴(顔・画風・構図)を抽出して生成に転写する仕組みで、LoRA学習前の基準画作りから、本番運用の連作補助まで、実務で使いどころが多いツールです。
この記事では、IP-Adapterの基本、主要バリアントの使い分け、weightの調整、他ツールとの併用まで、実務目線でまとめます。バージョンや細かい配布形態は動くので、判断できる原則を残すことを優先します。
連作用にキャラの顔を固定する話は AIキャラを固定する完全ガイド にまとめています。IP-AdapterはそこでもLoRAと並ぶ主要な選択肢として登場しています。
IP-Adapterとは何か
公式:github.com/tencent-ailab/IP-Adapter
IP-Adapterは、参照画像を入力に加えるためのアダプタ機構です。通常の生成はプロンプト(テキスト)だけを条件にしますが、IP-Adapterを噛ませると、テキストに加えて「この画像に寄せて」という指示を追加できます。
内部では、参照画像をCLIP Vision(画像用の埋め込みモデル)で解析し、そこから抽出した特徴を生成モデルに注入します。似た仕組みのControlNet referenceよりも、特徴の抽象化が上手で、プロンプトとの共存が扱いやすい、というのが2026年時点での評価です。
学習は不要で、推論時に参照画像を1枚指定するだけで動きます。LoRAが「学習してファイルを作る」方式なのに対して、IP-Adapterは「実行時に画像を渡す」方式、という位置づけです。
できること/できないこと
過度な期待は失敗のもとなので、境界を先に引いておきます。
できること
- 参照画像の画風を生成結果に寄せる
- 参照画像の顔・キャラを寄せる(FaceID系はさらに強力)
- 参照画像の構図を寄せる(weightを上げた場合)
- プロンプトと共存させて、参照+プロンプトの両方で絵を作る
できないこと
- 参照画像と完全に同じ顔・完全に同じ絵の再現(そこはLoRA)
- 細部の完璧な一致(ほくろの位置、目元の微妙な形など)
- 参照画像が学習していないコンセプトの追加(そこは通常のプロンプトの領域)
「LoRAより手軽、プロンプトより強い、完全一致には届かない」の三点で捉えると、使いどころが見えます。
主要バリアントの使い分け
IP-Adapterには複数のバリアントがあり、目的で使い分けます。必ずベースモデル(SDXL用 / SD1.5用)を合わせる必要があります。混ぜても効かないか、絵が壊れるだけです。
| バリアント | 特徴 | 使いどころ |
|---|---|---|
| IP-Adapter(Standard) | 汎用。画風・キャラ・構図の総合的な寄せ | 最初に試すデフォルト |
| IP-Adapter Plus | Standardより強く転写する | 参照画像の色や形の癖を強く出したいとき |
| IP-Adapter FaceID | 顔特化。1枚の顔画像から人物を寄せる | キャラや人物の一致度が欲しい場面 |
| IP-Adapter FaceID Plus / v2 | FaceID系の精度向上版 | 連作でキャラを寄せたい本番運用 |
これらは配布ページでバージョンとバリアントが更新され続けているので、細かいファイル名は変わります。「まず Standard で試し、顔一致が欲しくなったら FaceID 系、より強い転写が欲しくなったら Plus」、という判断軸だけ覚えておけば大丈夫です。
CLIP Visionモデルも必要
IP-Adapterは、参照画像を読み取るための**CLIP Vision(image_encoder)**モデルとセットで動きます。IP-Adapter本体だけをダウンロードして「動かない」と詰まる人が多いので、配布ページに「必要な image_encoder」の記載を必ず読んで、対応する CLIP Vision モデルも一緒に落としてください。
導入手順(大枠)
配布形態やUIは頻繁に変わるので、流れだけ書きます。細部は配布ページの最新READMEを見てください。
必要なファイル
- IP-Adapter本体(
.safetensorsor.bin) - CLIP Vision(image_encoder)(対応するもの)
- (FaceID系のみ)InsightFaceの依存関係
WebUI(Forge / A1111)
IP-Adapter対応の拡張機能(ControlNet拡張がIP-Adapterに対応しているのが一般的)を入れて、モデルファイルを所定のフォルダに配置します。使うときはControlNetユニットの1つとしてIP-Adapterを選び、参照画像を渡します。
ComfyUI
ComfyUI IPAdapter Plus(cubiq/ComfyUI_IPAdapter_plus) というカスタムノードを入れるのが標準です。ComfyUI-Manager で ComfyUI IPAdapter Plus を検索してインストールすると、必要な依存とノードが揃います。ComfyUIの導入自体は ComfyUI完全導入ガイド2026 を参照してください。
ノードを繋ぐ流れは大枠こうなります。
- Load Image で参照画像をロード
- IPAdapter Model Loader でIP-Adapter本体をロード
- CLIP Vision Loader で image_encoder をロード
- IPAdapter Apply で参照画像・モデル・weightを合成
- その出力を KSampler に渡す
初回はカスタムノードのサンプルワークフローが同梱されていることが多いので、それを Load してから触るのが最短です。
使い方の基本フロー
参照画像1枚を用意して、次の順で試すのが失敗しにくい進め方です。
- 参照画像を用意する(自分で生成したものが安全)
- 通常のプロンプトを書く(IP-Adapter抜きで一度出したい絵)
- IP-Adapterを噛ませて、weight 0.6 で生成
- 参照の効きが弱ければ weight を 0.7〜0.8 に上げる
- 構図まで固まって不自由なら weight を 0.5 前後に下げる
- seedを固定して weight を振り、効き方の癖を掴む
「同時に複数を変えない」が原則です。weight、参照画像、プロンプト、これらを一度に触ると、何が効いたか分からなくなります。seedは固定した状態で1つずつ動かしてください。
seed固定の基本は Seed完全ガイド にまとめています。
weightの調整
weight(strengthとも表記される)が実用上の最重要パラメータです。
| weight | 挙動 |
|---|---|
| 0.3以下 | 参照が効かない。プロンプトが支配的 |
| 0.4〜0.5 | 弱く寄る。画風だけ足したい場合 |
| 0.6〜0.8 | 実用域。参照が効きつつプロンプトも生きる |
| 0.9〜1.0 | 強く寄る。構図も固まり始める |
| 1.0以上 | 構図まで固定、プロンプトが効かなくなる |
まず 0.6 から始めて上下、が扱いやすい進め方です。参照画像の癖が強い(背景・服装が特徴的)場合は、意図せず全部が転写されるので、少し下げ気味に運用するのが安全です。
FaceID系は顔特化なので、顔の一致度を上げつつ構図の自由度を保つ用途に強く、weight 0.7 前後で運用する場面が多いです。
他ツールとの使い分け
ControlNet reference との違い
どちらも参照画像から寄せる仕組みですが、実用感がやや違います。
- ControlNet reference:構図の再現が強い、対応バリアントによって挙動が変わる
- IP-Adapter:特徴の抽象化が上手、プロンプトとの共存が扱いやすい
両方使える環境なら、まずIP-Adapterから試すのが速い、というのが2026年時点での実感です。ただしControlNetは他のバリアント(openpose、depthなど)と併用してこそ強いので、ControlNet自体は導入しておくべきです。詳細は ControlNet入門 を参照してください。
LoRAとの違いと併用
比較ではなく併用が本命です。
| 項目 | LoRA | IP-Adapter |
|---|---|---|
| 学習の要否 | 必要(10〜30枚の画像で学習) | 不要(1枚指定するだけ) |
| 導入の重さ | 学習に時間・GPU要 | 即時 |
| 一致度 | 高い | 中〜高(FaceID系で高) |
| 細部の再現 | 強い | 抽象的 |
| 用途 | 連作の中心、キャラ固定 | 学習前の試作、補助的な寄せ |
LoRAで顔を固定し、IP-Adapterで画風や補助的な参照を足す、というのが連作運用での本命の使い方です。学習には10〜30枚の画像が要りますが、IP-Adapterでその学習用の基準画を素早く量産する、という前段の使い方も強力です。
LoRAの選び方は LoRA選び方ガイド、自作の実務は LoRA自作入門(Kohya SS) にまとめています。
使い分け早見表
- 1枚の絵を作りたい、雰囲気だけ寄せたい → IP-Adapter単体
- 同じキャラで連作を出したい → キャラLoRAが本命、IP-Adapterは補助
- LoRA学習前の基準画を集めたい → IP-Adapter で参照画像から寄せて量産
- 画風だけを他の絵に転写したい → IP-Adapter(画風寄せ)
- 顔の一致度を最大化したい → IP-Adapter FaceID Plus / v2
NSFW用途での注意
参照画像に実在人物を使わないでください。
- 芸能人、配信者、知人、元交際相手、SNSで見つけた一般人 — どれも不可
- 実在人物の顔をFaceIDで参照するのは、ディープフェイクと同じ問題を含む
- 収益以前の禁止事項として扱ってください
安全な参照画像の作り方:
- 自分の環境で生成したオリジナルキャラの画像を使う
- 明確に権利のある素材(自分で撮影した風景、購入した素材集など)を使う
- どちらでもないもの(拾い画、他人のイラスト)は使わない
法的な考え方の土台は AI画像生成の著作権・法律ガイド2026 にまとめています。IP-AdapterやFaceIDは強力なぶん、悪用も簡単です。自分で自分に足枷をかける前提で使ってください。
よくある失敗と対処
参照が全然効かない
原因と対処の順番:
- weightが低すぎる → 0.6〜0.8に上げる
- 対応ベースが違う → SDXL用モデルにSDXL用IP-Adapterを使っているか確認
- CLIP Visionモデルが違う → 配布ページ指定のimage_encoderを使っているか確認
- 参照画像の解像度が低すぎる → 512x512以上を推奨
「効かない」の8割はweightか対応ベースの不一致です。
構図まで固定されて自由が効かない
weightが高すぎます。0.5前後まで下げて、参照は「顔と画風だけ寄せてほしい」レベルに絞ります。それでも構図が固まる場合は、Plus系ではなく Standard に切り替えてください。
顔だけ寄せたいのに服装や背景も転写される
Standard系ではよくある挙動です。FaceID系に切り替えて、顔だけを抽出する仕組みを使ってください。FaceIDは背景や服装への影響が最小限で、顔の一致度に集中できます。
FaceIDでエラーが出る
FaceID系は InsightFace という顔認識ライブラリの依存があります。ComfyUI-Managerでインストールしても依存が入らない場合は、Pythonのpipで手動インストールが必要な場面があります。エラーメッセージにライブラリ名が出ていれば、それを検索して対処します。
生成のたびに顔がブレる
seedが変わっているのが典型的な原因です。seedを固定して、参照画像の効き方をまず把握してから、seedを振ってバリエーションを作る、という順で運用してください。
LoRAとIP-Adapterの併用実務
連作で最も安定するのは、次の組み合わせです。
- キャラLoRA で顔と体型を固定(weight 0.7〜0.9)
- IP-Adapter で画風の統一を補助(weight 0.4〜0.5)
- 画風LoRA はさらに補助的に(weight 控えめ)
キャラLoRAが顔を担当し、IP-Adapterは画風の”揺らぎ”を抑える役割です。連作の途中で「なんとなく画風が揺れてきた」と感じたときに、IP-Adapterで基準画を渡すと安定します。
キャラLoRAの作り方と連作の実務は AIキャラを固定する完全ガイド にまとめています。
モデル別の相性
IP-Adapterはベースモデル依存なので、使うモデルに合わせて対応版を選びます。
- SDXL派生(Pony、Illustrious、NoobAI、FLUXなど) → SDXL用IP-Adapter
- SD1.5派生 → SD1.5用IP-Adapter
FLUXは構造が独特なので、対応バリアントが別途配布されます。モデル系統ごとに専用の配布があるかを配布ページで確認してください。
各モデル系統の詳細は次を参照してください。
まとめ
- IP-Adapterは参照画像1枚から特徴を転写する仕組み。学習不要で即使える
- 主要バリアントは Standard・Plus・FaceID の3系統。目的で使い分ける
- weightは 0.6〜0.8が実用域。1.0を超えるとプロンプトが効かなくなる
- ControlNet reference より精度が高い場面が多い。LoRAとは競合ではなく併用が本命
- 参照画像に実在人物を使わない。オリジナル生成物または権利のある素材だけを使う
- モデル系統(SDXL / SD1.5 / FLUX)に合わせて対応バリアントを選ぶ
「LoRAを作るほどではないが、参照画像で寄せたい」という需要にちょうど噛み合うツールです。連作を始めた後も、画風の揺れを抑える補助として長く使えます。
次に読む
- キャラを本格的に固定するなら → AIキャラを固定する完全ガイド
- 参照系の全体像 → ControlNet入門
- LoRAで固定するなら → LoRA選び方ガイド / LoRA自作入門(Kohya SS)
- NSFW用のLoRAを探す → NSFW LoRAの探し方・使い方
- ComfyUIでの運用 → ComfyUI完全導入ガイド2026
- 顔を固定したまま枚数を揃えて売る → FANZA同人でAI CG集を出す完全ガイド





