InstantID は、トレーニングする必要がなく、1 枚の画像を参照として使用してカスタマイズされたプロフィール写真を生成することができます。
Instant ID は、ControlNet と IP-Adapter を組み合わせて、拡散プロセス中の顔の特徴を制御します。 Instant ID のユニークな設計の 1 つは、IP-Adapter からの顔の埋め込みを交差注意力(クロスアテンション)入力として ControlNet の UNet に渡すことです。
オンライン体験:https://huggingface.co/spaces/InstantX/InstantID
オンラインデモを試してみましたが、モデルには 8 つのスタイルが事前に設定されています。
テスト 1:
「繁花」の宝総(胡歌)の写真をアップロードし、下のヒントワードを入力し、スタイル「Jungle」を選択します。
テスト 2:
顔の写真を変更せずに、参照ポーズ(下の画像)をアップロードし、ヒントワードを入力し、スタイル「watercolor」を選択します。
一般的なデプロイ方法
次に、よく使用されるいくつかのデプロイ方法を紹介します:
WebUI
チュートリアル:https://github.com/Mikubill/sd-webui-controlnet/discussions/2589
注意事項:
InstantID では、WebUI で 2 つのモデルを使用します。常に IP-Adapter モデルを最初のモデルに設定する必要があります。なぜなら、ControlNet モデルは IP-Adapter モデルから出力を取得するからです。
モデルは指定されたディレクトリに配置する必要があります:{A1111_root}/models/ControlNet
モデルをそれぞれリネームして、拡張機能の識別ができるようにしてください:ip-adapter_instant_id_sdxl および control_instant_id_sdxl。
ComfyUI
チュートリアル:https://github.com/ZHO-ZHO-ZHO/ComfyUI-InstantID
Gradio の独自構築
Python スクリプトを直接使用して WebUI や ComfyUI を使用せずに作成することもできます。公式には使用例も提供されています:
https://github.com/InstantID/InstantID?tab=readme-ov-file#download