【StableDiffusion】Sketchで画像生成／Inpaintで画像編集

おはようございます！

9月12日木曜日。晴れ間ありの曇り、そしてパラパラ雨。
最高気温34℃（東京）。暑い！！

重い腰を上げてようやくエアコンを清掃しました。
フィルターに埃が付き放題＆送風ファンに黒カビ付き放題。。。😇

フィルターはまあ取り外して丸洗いできたので綺麗になったけど、、

送風ファンは素人なので取り外しはできず、吹き出し口から割り箸にウェットティッシュ（アルコールタイプ）をくるんだものを突っ込んで、ファンを回転させながら地道にファンの隙間にある黒カビを拭き取ってっていうことを小一時間やってたら汗だくです。。。(*д*)💦💦💦

隅々まで拭き取りたいところですが、両腕を上げてずっと作業してるのと暑さで体力の限界が近づき意識が飛びそうになったので、大体で終わらせました。丸洗いしたいけど壊しちゃいそう。。

でもまあ朝からスッキリです！

気持ちエアコンの冷風がいつもより効いてるような気がする。

気分スッキリしたところで今日も颯爽と学んでまいります。

今日の教材はこちら、

よしやっていこう！

CHAPTER４　画像を使って画像を生成してみよう

Section 4-2

Sketchを使って画像を生成しよう

Sketchとは

　「Sketch」は、画像の一部分を修正または変更するための機能。元の画像を活かしながら特定の部分を簡単に加工することができる。具体的には、画像をアップロードして、WebUI上でペイント機能を使い、さらに指示を加えてから画像を生成する。　

Sketchを使ってみよう

　［img2img］→［Generation］→［Sketch（スケッチ）］

入力画像を枠内にドラッグアンドドロップ（枠内をクリックしファイルをアップロードでも可）
ドロップ後、右上にツールのアイコンが表示される。

＜キャンパスのツール＞

①Undo
　１つ前の状態に戻す。

②Clear
　描いたものを一括削除。

③Use brush
　ブラシの太さを調節するバーが表示される。

④Select brush color
　ブラシの色を変更する。クリックすると現在使用している色が表示され、その色をクリックすると、色を変更するカラーパレットが表示される。

⑤Remove image
　現在のキャンパスにある入力画像ごと廃棄する。

＜今回の目標＞
　目の色を赤くする

＜試すこと＞

①プロンプトに「blue eyes」を追加

②「Denoising strength」の値を可変

③ブラシを使って虹彩の色を赤く変更。ブラウザを超拡大して細いブラシで描きました。（マウスだと厳しい。。。）

←赤色描き込み　　　　　　　　　　　　　　　　元の画像→

＜実装結果＞

→難しいな～。値を小さくしすぎると描き込んだままになっちゃうのである程度高くしないとなんだが、、、赤が髪にも反映されちゃうな～。

ま、使い方の学習ってことなので、、、

気にせず次に行きましょう。

Section 4-3

Inpaintで画像を編集してみよう

Inpaintとは

　「Inpaint」は、入力画像の一部の範囲（マスク）を簡易的に指定し、その部分のみを生成して変化させる機能。具体的には、入力画像の背景や細かいパーツなどを後から追加したり、削除することができる。

Inpaintを使ってみよう

　［img2img］→［Generation］→［Inpaint］

Sketch同様、入力画像を枠内にドラッグアンドドロップ（枠内をクリックしファイルをアップロードでも可）

Sketch同様、ツールが出現する。Sketchは「塗りつぶした色に変えたい」だが、Inpaintは「塗りつぶしたところを変えたい」といったイメージ。

Inpaintでは、新たに５つのパラメータの設定をする。

①マスクのぼかし（Mask blur）
　マスク範囲との境界をぼかす範囲をpixcel単位で指定
　　→値を大きくするとマスクした元の画像が残る（小さくすると残らない）

②マスクの方式（Mask mode）
　マスク範囲の取り扱いを設定（マスクした範囲を変えるか、マスクした範囲以外をかえるか）

③マスクされたコンテンツ（Masked content）
　マスク範囲に対して事前に行う処理を選択
　［埋める（fill）］･･･マスク範囲を周囲のピクセルの色で塗りつぶしてから画像を生成
　［元の画像（original）］･･･マスク範囲は入力画像のままで画像を生成
　［潜在空間でのノイズ（latent noise）］･･･マスク範囲をランダムなノイズで塗りつぶして
　　　　　　　　　　　　　　　　　　　　　　から画像を生成
　［潜在空間における無（latent nothing）］･･･マスク範囲には何も特徴を与えない状態から
　　　　　　　　　　　　　　　　　　　　　　画像を生成

④inpaintを行う領域（Inpaint area）
　入力の対象となる範囲を設定
　［画像全体（Whole picture）］･･･入力画像全体から特徴を抽出して画像を生成
　［マスクのみ（Only masked）］･･･マスク範囲のみから特徴を抽出して画像を生成

⑤”マスクのみ”外側の余白(px)（Only masked padding, pixels）

　［inpaintを行う領域（Inpaint area）］を［マスクのみ（Only masked）］にする際に、マスク範囲をどれくらい拡大するかをpixcel単位で指定

　　→これは、、よくわからん。。。

＜今回の目標＞

　背景を海岸にする。

＜試すこと＞

以下は固定
　［マスクの方式（Mask mode）：マスクの範囲をinpaint（Inpaint masked）］

　［マスクされたコンテンツ（Masked content）：元の画像（original）］

　［inpaintを行う領域（Inpaint area）：画像全体（Whole picture）］

以下可変
　［マスクのぼかし（Mask blur）：４，１０，２０，４０，６０］

まず、プロンプト・ネガティブプロンプトになにも入力しないと、

　→制服の特徴からおそらく図書室の背景が生成された。

次に元のプロンプト＋「beach, Sandy Beach, Coast」で生成すると、

＜プロンプト＞

masterpiece, best quality, ultra detailed, 1girl, solo, school uniform, blond, single braid, portrait, front view, upper body, full head, beach, Sandy Beach, Coast

＜ネガティブプロンプト＞

worst quality, low quality, normal quality, easynegative, bad-hands-5

［マスクのぼかし（Mask blur）：４］

マスクのぼかしの値を変更（１０，２０、４０，６０）すると、

［Mask blur：10］

［Mask blur：20］

［Mask blur：40］

［Mask blur：60］

　→値が大きくなると背景に元の画像の残像が現れる。

ブレーイク！

今日は何の日～？

今日は七十二候の「鶺鴒鳴（せきれいなく）」です。

「鶺鴒鳴（せきれいなく）」は、9月12日から9月16日頃にあたる時期を指します。この時期は、鶺鴒（セキレイ）という鳥が鳴き始める頃とされています。

＜鶺鴒鳴の特徴＞
・意味：鶺鴒が鳴き始める季節を表しています。鶺鴒は長い尾を上下に振りながら歩く姿が特徴的で、「石叩き」や「庭叩き」とも呼ばれます。
・時期：9月12日から9月16日頃。この時期は秋が深まり、稲刈りも終わり、少しゆっくりと過ごす時間とされています。
・関連する文化：日本神話では、鶺鴒が夫婦の縁を結ぶ鳥とされ、古来より夫婦円満の象徴とされています。
＜旬の食材＞
・果物：梨が旬を迎えます。梨は炭水化物やカリウム、クエン酸を含み、疲労回復効果があります。
・魚介類：あわびが旬です。あわびは高級食材として知られ、栄養価も高いです。

この時期は、秋の風情を楽しみながら、旬の食材を味わうのに最適な時期です。

＜参考サイト：¹: micane ²: 暮らしのほとり舎 ³: koyomil＞