2024年1月2日火曜日

stable diffusion でオリジナルキャラクターを作る

今回はオリジナルキャラクターを作る練習

僕は絵心が壊滅的なので、実写からのモデル生成を試してみます


最終的にできたのはこんな感じです




１．学習データの準備

とりあえず、自宅にあるもので「ソレっぽい」ものが作れるか試したいので、浴衣とキツネ面で自撮り。着こなしとか靴下とか気にしないであげて・・・

全身、バストアップ、正面、横向きなどで25枚くらい撮影しました。（めっちゃ苦痛やった。レイヤーさんは凄いなぁ）


２．モデル名の決定

最初は「Kitsune」とかにしようと思ったのですが、プロンプトに「Kitsune」を入力してみると

既にキツネの概念を学習しているようでした。
なので、いくつかプロンプトを入力してみて、特に何も学習していなそうな「Konkonkon」という名前に決定しました。
「Konkonkon」は上記のような感じの意味のない画像しか生成されません。

３．Loraの作成

Taggerでタグを作成→KohyaでLoraを作成します。
タグには「Konkonkon」を追加し「Kimono」など特徴になるものを除外します。
25枚の画像×60回　くらいのステップ数で学習させたけど、あまり意味はないかも


4.画像生成

個人的にはLora＋1manくらいで画像が出てきてほしいのですが「kimono, mask, fox」あたりも追加しないと、あまり安定しませんでした。

weightも1.0ではなく1.2～1.3くらい必要でした。

ごめん、Lora読み込んでたけど、トリガーワードの「konkonkon」を入れてなかったわ（笑


<lora:Konkonkon:1.2>, kimono, mask, fox　で生成


kimono, mask, fox　で生成

Loraを適用することで、衣裳が固定されていることがわかります。

Loraの顔については学習不足かな？って感じは残ってますが、全体の雰囲気は学習してくれているようです。


５．バリエーション生成

ここまでの画像はSD1.5のベースモデルで生成しています。

ここからはモデルやプロンプトを追加してみます。

とりあえず、中年オヤジの風貌を消し去りたいので「長髪、銀髪、やせ型、高身長」みたいなプロンプトを追加しています。そうです、加工です。


モデル：chilled_remix


モデル：AbyssOrangeMix3 (AOM3)

モデル：CoffeeBreak


モデル：CoffeeBreak

プロンプトに「Chibi」を追加するとデフォルメキャラも生成されます

おそらく、お面がうまいこと学習できていないので、顔についてはバラツキがあるけど衣裳は安定して作成できているように感じます。


その他バリエーション

髪型を変更

ポーズを変更


ラベル: