【Stable Diffusion】難しいポーズに挑戦する

思い通りのポーズを出力するためには

思い通りのポーズを生成するためにプロンプトを弄り回しても、全然目的の画像が生成されない。そんなときには拡張機能「OpenPose」が役に立ちます。

「OpenPose」を使うと画像から簡素な棒人間の画像を抽出し、それをもとに画像を生成してくれます。

OpenPoseのインストール

Stable Diffusion Web UI「Automatic1111」で「OpenPose」を使うためには以下の2ステップが必要です。

「ControlNet」のインストール
「OpenPose」モデルのインストール

「ControlNet」のインストール

STEP 1-1

Stable Diffusion Web UI「Automatic1111」で「Extensions」タブを開きます。
STEP 1-2

「Install from URL」タブを開きます。

STEP 1-3

以下のURLを記入します。

<a href="https://github.com/Mikubill/sd-webui-controlnet.git">https://github.com/Mikubill/sd-webui-controlnet.git</a>Code language: HTML, XML (xml)

STEP 1-4

「Install」ボタンを押します。

インストールが完了すると以下のメッセージが表示されます。
STEP 2-1

「Extensions」タブを開きます。
STEP 2-2

「Installed」タブを開きます。
STEP 2-3

「Apply and restart UI」を押します。
再起動したら完了です。

「OpenPose」モデルのインストール

以下のページから「openpose.pth」をダウンロードします。

lllyasviel/ControlNet-v1-1 at main

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

「stable-diffusion-webui」>「extensions」>「sd-webui-controlnet」>「models」にダウンロードしたモデルを配置します。

画像からポーズを抽出し画像を生成する

以下の写真のポーズで画像を生成してみます。

STEP 1

「ControlNet」を開きます。
STEP 2

画像を登録します。
STEP 3

「Enable」にチェックを入れます。
STEP 4

「Control Type」を「OpenPose」に変更します。
STEP 5

「Preprocessor」を「dw_openpose_full」に変更します。

注意

「dw」のない「openpose」は商用利用不可ですので注意
STEP 6

「Model」をダウンロードしたopenposeモデルに変更します。
STEP 7

プロンプトを入力し画像を出力してみましょう。プロンプトはポーズに競合するようなプロンプトは避けましょう。
画像は棒人間と生成画像の2枚出力されます。

ツールのライセンスについて

本ページで紹介した以下のツールはいずれも（2024/3/13時点では）商用利用可能となっております。ライセンスの記載ページへのリンクを張っておきますので確認ののち使用をお願いします。

ControlNet

ControlNet/LICENSE at main · lllyasviel/ControlNet

Let us control diffusion models! Contribute to lllyasviel/ControlNet development by creating an account on GitHub.

sd-webui-controlnet

sd-webui-controlnet/LICENSE at main · Mikubill/sd-webui-controlnet

WebUI extension for ControlNet. Contribute to Mikubill/sd-webui-controlnet development by creating an account on GitHub.

DWPose

DWPose/LICENSE at onnx · IDEA-Research/DWPose

"Effective Whole-body Pose Estimation with Two-stages Distillation" (ICCV 2023, CV4Metaverse Workshop) - IDEA-Research/D...

注意

※通常のDWではない「OpenPose」は商用利用不可となっていますのでご注意を。

openpose/LICENSE at master · CMU-Perceptual-Computing-Lab/openpose

OpenPose: Real-time multi-person keypoint detection library for body, face, hands, and foot estimation - CMU-Perceptual-...

まとめ

今回はStable Diffusionを使って画像からポーズを抽出できる「OpenPose」についての説明と、インストールする方法、使用方法を説明させていただきました。
以下内容のおさらいです。

まとめ

どんな画像を出力するか指定するプロンプト（呪文）を以下のページにまとめています。
うまく使ってください。

【Stable Diffusion】プロンプト（呪文）集

「Stable Diffusion」で使用できるプロンプト（呪文）をカテゴリーごとにまとめています。

画像引用元：フリー素材ぱくたそ

カテゴリー

アバウト