【StableDiffusion】ControlNetを使ってみよう/ControlNetを使って画像を生成する/プリプロセッサの働きを理解しよう

StableDiffusion
StableDiffusion
この記事は約8分で読めます。

おはようございます!

9月19日 木曜日。薄い雲が広がっている晴れ。天気予報は曇り時々雨。
最高気温34℃。湿度も高めなので体力ゲージがどんどん減っていくのがわかります。。(-_-;)

今日はもう早速始めていきます。

今日の教材はこちら、

スポンサーリンク

 

よしやっていこう!

 

昨日中途半端なところで終わってしまったので今日は↓の続きです。

 

CHAPTER5 ControlNetを使ってみよう

 

Section 5-3

ControlNetを使って画像を生成する

 

<入力画像>

<入力画像のプロンプト>

masterpiece, best quality, ultra detailed, 1girl, solo, school uniform, blond, single braid, portrait, front view, full body, Jumping, outdoor, from below

<入力画像のネガティブプロンプト>

worst quality, low quality, normal quality, easynegative, bad-hands-5

 

<設定>

有効化(Enable):チェックが入っていることを確認
Pixel Perfect:チェックを入れる

Control Type:「Canny」を選択

  ↓自動で「プリプロセッサ」と「モデル」が選択される

 

<生成画像のプロンプト>

masterpiece, best quality, ultra detailed, 1girl, solo, school uniform, black hair, single braid, portrait, front view, full body, Jumping, outdoor, from below, blue sky

<生成画像のネガティブプロンプト>

worst quality, low quality, normal quality, easynegative, bad-hands-5

<生成画像>

※[シード値:-1]で複数生成したところ上のような画像が生成された。

 

プロンプトの「black hair」はうまく効いているが、「blue sky」はもともと青空なのであまり意味がない様子。

 

「blue sky」を「sunset」にして再度生成してみると、

 

<生成画像のプロンプト②>

masterpiece, best quality, ultra detailed, 1girl, solo, school uniform, black hair, single braid, portrait, front view, full body, Jumping, outdoor, from below, sunset

<生成画像のネガティブプロンプト②>

worst quality, low quality, normal quality, easynegative, bad-hands-5

<生成画像>

 

背景が夕方になった~。

 

プリプロセッサ「Canny」で抽出した画像の解析結果を確認したい場合、「プリプロセッサ」と「プリプロセッサのモデル」を選択した状態で💥をクリックする。

ダウンロードボタン押下で解析結果を保存することもできる。

 

<解析結果の画像>

 

なるほど、これを基にして生成するから構図的には変わらないんだね。

 

 

 

 ControlNetを使って生成していると「もっとControlNetの指定通りになってほしい」や、逆に「ControlNetが強すぎてプロンプトが効かない」といったことが発生する。そこで、[Control Weight]と[Control Mode]のパラメータを調整してみる。

 

Control Weight]は、ControlNetの重みを変更するパラメータ。0.0~2.0の間で設定することができ、1.0以下でControlNetの効果は弱くなり、数字が大きいと強くなる

 

Control Mode]は、プロンプト指示とControlNetの影響のバランスを変えることができる。デフォルトは中間の[Balanced]。

 [Balanced]           :中間

 [My prompt is more important]:プロンプト優先

 [ControlNet is more important]:ControlNet優先

 

<プロンプト優先の場合>

 

<ControlNet優先の場合>

 →なるほど、こっちは顔の向きとか脚の重なり具合などで現れている通り、Control Weightの値が低いうちからControlNetの制御がしっかり効いてる。

 

 

 

Section 5-4

プリプロセッサの働きを理解しよう

 

 フリー写真サイト「Pexels」からダウンロードしたものを使用してみる。↓

Just a moment...

 

Canny

 入力画像の輪郭(canny)を抽出し、それを基に画像を生成する。

入力画像

Preprocessor Preview

生成画像

 

入力画像

Preprocessor Preview

生成画像

 

Depth

 画像の深度を抽出する。手前にあるものと奥にあるものを区別するのに特化。

入力画像

Preprocessor Preview

生成画像

 

 

Scribble / Sketch

入力画像

Preprocessor Preview

生成画像

→Cannyよりも大まかに輪郭線を抽出する。「Scribble」は落書きや走り書きという意味。自分で描いたスケッチを使うこともできる。

※ちなみに入力画像は私が描きました。だれがどう見てもドラえもんですね。。

 

Recolor

 画像の陰影を抽出。陰影はそのままに画像の色を変更する。

入力画像

Preprocessor Preview

生成画像

 

OpenPose

 画像の人物がとるポーズを3D座標として抽出。身体だけでなく、顔の向きや表情も抽出する。

入力画像

Preprocessor Preview

生成画像

 

 

 (いったん割愛しま~す)

 

 

 

今日はこの辺で終わりにしま~す。

 

ここでブレーイク!

今日は<彼岸の入り>

 「暑さ寒さも彼岸まで」なんてことを申しますが、依然日本は暑いです。え、じゃあとうとう嘘になるんじゃんとお思いの方もいらっしゃるかもしれませんが、実はお彼岸は7日間あるんですね~。

 そもそもお彼岸は年に2回、春分の日と秋分の日を中心に前後3日ずつの7日間あります。今年の秋分の日は9月22日なのでそれより3日前の今日、9月19日が彼岸の入りになります。

 今年のお彼岸は9月25日まで。つまり25日までバッファがあるってことです。今週間天気予報みたら土曜日まで夏のような暑さが続くようですが、来週初めころは熱帯夜も終わりそう。。ようやく、ようやくです。。。

 また、春のお彼岸には「ぼたもち」、秋のお彼岸には「おはぎ」を食べる習慣があります。「ぼたもち」と「おはぎ」は同じものです。季節の違いによって呼び方が異なるだけ。「ぼたもち」は春に咲く花の「牡丹」が由来で、「おはぎ」は秋に咲く花の「萩」が由来です。

 

おはぎの画像貼ったらめっちゃ食べたくなったな。。

 

明日買ってこよ~。

おはぎ~

 

明日どこで何のおはぎを買うか戦略を練るためこれにて終了です。

 

おつかれさまでした~(´・ω・)ノ

 

 

 

コメント

PAGE TOP
タイトルとURLをコピーしました