【StableDiffusion】img2imgで高解像度/拡張機能でアップスケール

おはようございます！

9月17日火曜日。薄い雲が多いけど晴れ🌞
最高気温33℃。気温下がってきたとはいえ暑いは暑い！｡ﾟ(;･д･Ａ)ｱﾁｨ

さあ今週も週頭は週間天気予報を貼っておきましょう。((꜆꜄ ˙-˙ )꜆꜄꜆ｼｭｯｼｭｯｼｭ

よく「暑さ寒さも彼岸まで」と言いますが、今年の秋のお彼岸は9月19日～25日とのこと。

・彼岸入り　　　　：19日
・中日（秋分の日）：22日
・彼岸明け　　　　：25日

カレンダー見ると19日に「彼岸」って書いてあったので「なんだよ、彼岸までじゃないじゃん」って思って調べてみたら彼岸の猶予はあるようです。（猶予ってなんだよ）　

もうちょいか～。。。
幸い今日は湿度が高くないからうだる感じではないので悪くはないです。

まあ今日も学んでまいりましょ。

ちょっと、世間に倣って3日も休んでしまったので、巻き返し、、はしませんがゆっくりマイペースで進めてまいります。

今日の教材はこちら、

よしやっていこう！

CHAPTER４　画像を使って画像を生成してみよう

Section 4-6

img2imgで画像の解像度を上げる

なぜアップスケーリングが必要なのか

　アップスケーリングとは、画像を拡張し、解像度を上げることを指す。なぜ最初から高解像度で生成しないのか？それは、高解像度の画像を一から推論して生成するには、巨大な演算空間が必要になるため。つまり、大きな画像を生成しようとするほど巨大なVRAM（高い演算能力を持つ高価なGPU）が必要になり、より巨大なコストがかかってしまう。また、大きな画像を生成しようとすると画像自体が崩壊してしまいがちなため。

img2imgを使ったアップスケーリングをしてみよう

　img2imgをしてみる。

①まず、「txt2img」で画像を生成（384×640px）

＜プロンプト＞

masterpiece, best quality, ultra detailed, 1girl, solo, simle, Gothic Lolita, white clothes, blond, single braid, portrait, front view, upper body, full head, in the garden

＜ネガティブプロンプト＞

worst quality, low quality, normal quality, easynegative, bad-hands-5

　↓生成

②生成した画像を「Send to Img to Img」で「img2img」に送る

　［img2img］では［Resize by］で2倍にしサイズを768×1280pxで生成する。↑で生成した画像とできるだけ同じ画像を生成するため、プロンプトは変更せず、［Resize mode：Just resize（変形）］、［Denoising strength（ノイズ除去強度）：0.5］に設定。ノイズ除去強度は、値が小さいほど入力画像に忠実な生成となるが、小さすぎると低解像度のように荒く見える画像になってしまう。

　→確かに、↑だとわかりにくいけど、大きくしてみると「0.1」は「0.5」に比べてザラザラした感じになっちゃってる。。

←［Denoising strength：0.1］　　　　　　　　［Denoising strength：0.5］→

Section 4-7

拡張機能でアップスケーリングをしてみよう

Ultimate SD Upscaleとは

　「Ultimate SD Upscale」は拡張機能のひとつ。生成された画像を高解像度化するための拡張機能。特徴は以下。

・最大16倍まで拡大

・GPUメモリ不足によるエラー減少

・処理時間短縮

＜参考サイト：Stable Diffusionの拡張機能『Ultimate SD Upscale』の使い方！画像を高解像度化しよう | romptn Magazine＞

拡張機能を導入する

　WebUIを起動し、以下手順にて導入。

①「拡張機能（extensions）」タブより「URLからインストール（Install from URL）」を選択

②以下サイトにて「<>Code」をクリックして赤枠のコピーボタンを押下し、コピーした内容を「拡張機能のリポジトリのURL（URL for extension’s git repository）」に張り付け［インストール］ボタン押下。

GitHub - Coyote-A/ultimate-upscale-for-automatic1111

Contribute to Coyote-A/ultimate-upscale-for-automatic1111 development by creating an account on GitHub.

③「インストール済（Installed）」タブのインストール済一覧に「Ultimate SD Upscale」があることを確認後、「適用してUIを再起動」ボタン押下。

Ultimate SD Upscaleを使ってみよう

　［img2img］－［Generation］タブの左下にある［Script］から「最高SDアップスケール（Ultimate SD Upscale）」を選択。

※日本語化していても選択後は英語で表示される。。

［Ultimate SD Upscale］は、5つのパラメータが追加される。（他にもあるけど一旦無視で）

①ターゲットサイズの種類（Target size type）
　アップスケール後の画像のサイズの指定方法の選択
　・Img2Img2設定より（From img2img2 settings）：上の「img2img」で設定している
　　内容に合わせる
　・任意のサイズ（Custom size）：スライダーが出現し、縦横のサイズをそれぞれ指定

　・画像サイズから拡大（Scale from image size）：スライダーが出現し、入力画像の何倍の
　　サイズにするかを指定

②アップスケーラー（Upscaler）
　使用するアルゴリズムを選択

③種類（Type）
　アップスケールする際、AIは画像を分割して処理を行っている。それらの分割されたパーツを「タイル」と呼ぶ。ここではタイルの分け方を指定する。基本はデフォルトのままで問題ない。

④タイル幅/タイル高さ（Tile width/Tile height）
　分割するタイルのサイズを指定

⑤マスクのぼかし（Musk blur）
　分割されたタイル同士の境界のぼかしの強度を指定

以下の各プロンプトにて生成した画像をその下の設定画面の内容にて生成すると、

＜プロンプト＞

masterpiece, best quality, ultra detailed, 1girl, solo, little smile, Gothic Lolita, white clothes, blond, single braid, portrait, front view, upper body, full head, castle, night, Candle

＜ネガティブプロンプト＞

worst quality, low quality, normal quality, easynegative, bad-hands-5

＜［Ultimate SD Upscale］の設定内容＞