zako-lab929.hatenablog.com 上記では、 データセット設定ファイル(.toml) の設定についてまとめましたが、 この記事では コマンドライン引数 についてまとめます。 README に記載のあるオプションを書き出すことで、全体像を把握します。

github.com [general] enable_bucket = true [[datasets]] resolution = 512 batch_size = 4 [[datasets.subsets]] image_dir = '/content/trains/dataset/zundamon' caption_extension = '.txt' num_repeats = 10 LoRA 学習を実行するぞー！ - ジャコ Lab …

無事 自作 LoRA が作れるようになりましたのでまとめ記事です。

zako-lab929.hatenablog.com 上記の記事( LoRA 学習で出来上がった safetensors がちゃんと作れているか検証する - ジャコ Lab ) で LoRA 学習 が出来ていそうなことを確認しました。 今回は 極端に プロンプトを変えてみたり、ベースモデルを変えて試してみ…

zako-lab929.hatenablog.com 上記の記事( LoRA 学習を実行するぞー！ - ジャコ Lab )で、 LoRA 学習 を実施し zundamon.safetensors が作られました。 しかし、上記記事の中では zundamon.safetensors を実際に使ってみるところまではできませんでした。この…

いよいよ LoRA 学習 を実行します！

zako-lab929.hatenablog.com 昨日の記事で データセット と 設定ファイル をある程度用意しました。 本日は、LoRA 学習 の際に使う 実行コマンド を掘り下げていきます

zako-lab929.hatenablog.com 前回の記事で LoRA 作り には DreamBooth、キャプション方式 が良さそうという結果に至っています。 今回は学習のために必要なものをまとめます！

zako-lab929.hatenablog.com 前回の記事で LoRA を自作するために、キーワードを調べ整理しました。 その中で登場した kohya-ss/sd-scripts が基本形となっていて、かつ、README がしっかりし過ぎているので、ちゃんと読み解いてみます。

自分でも LoRA って作ってみたいですよね！ でも何もわからんですよね！ ちょっとキーワードを調べて整理してみようと思います！ どうやら kohya がキーワードになりそう

huggingface.co 本日はドキュメントの Instant Generation の項目を進めていきます。 端的に言うと IP-Adapter + LCM LoRA です。 なんとこれはdiffusers v0.24.0のリリースノートにもあったので以前にやっていました よって本日は IP-Adapter Face Model + …

IP-Adapter の続きやろーって思ったのですが、日付を見て気づいてしまいました。 あ、、、明日はピッコロ記念日だ。。。 つまり、今日は悟飯の日でしたので、急いで Civitai で検索しました！ こちらを採用。やっぱ超サイヤ人2っていいよね！

github.com ゴールデンウィークはほとんどPCを触らず、デジタルデトックス状態でした。 そんな中、ようやく到着しました。IP-Adapter ！！ どうやら IP-Adapter と一口に言ってもなんか色々な種類がありそうな予感。 何にせよ、触っていかないと進まないです…

前回の記事では LCM (Latent Consistency Model) を使ってみました。 v0.22.0 の時点では、 DiffusionPipeline に指定するモデルが LCM 対応のモデルとなっていました。 恐らくこれでは、LCMに対応したモデルしか使えず、既存モデルは使えないと思っています…

偶然ですが、 AnimateLCM を触っていて気付いたことがあります。 「 LCMScheduler 大事！」 たぶんこれは、 AnimateDiff だけじゃなくて LCM 系で重要な気がしてきます。 他の LCM はまだ触っていないので知らんけど 少なくとも diffusers v0.22.0 で紹介さ…

今回は比較回です。 AnimateLCM は少ないステップ数で高品質な画像が出力できるということですので、 ステップ数を「4」に固定して比較してみます。 テスト番号 MotionAdapter AnimateLCM LoRA 備考 1 wangfuyun/AnimateLCM 有 前回の記事と同じ 2 wangfuyun…

この記事では AnimateLCM に触れていきます。 LCM は初めて登場するキーワードですが、併せて調べていきます。 リリースノートの一番上にあったけど既読スルーしてたやつ

モーション LoRA は複数を組み合わせて使うことが可能なようです。 例えばズームアウトとスライドを組み合わせて使う感じ この記事では、再び AnimateDiffPipeline を使い、モーション LoRA を組み合わせて使ってみます。

AnimateDiff をたくさん調べてて見つけた https://animatediff.github.io にいた猫が可愛すぎたので マヌルネコ LoRA を使ってみました。 この記事では AnimateDiff は触りません！ ぬこを触ります！！ 使用したモデル等は以下になります。 ・リアル系モデル…

zako-lab929.hatenablog.com 前回、LoRA で「PEFT backend is required for this method」なエラーにハマりましたが、無事にこの記事に進めるようになりました。 Motion LoRA (モーション LoRA) で何ができるかというと、 AnimateDiff にズームインやズーム…

/usr/local/lib/python3.10/dist-packages/diffusers/loaders/lora.py in load_lora_weights(self, pretrained_model_name_or_path_or_dict, adapter_name, **kwargs) 105 """ 106 if not USE_PEFT_BACKEND: --> 107 raise ValueError("PEFT backend is requ…

zako-lab929.hatenablog.com 上記の記事の続きをやりますかね！ 前回は、プロンプト以外のパラメータもモデルページにちゃんと寄せていくことをしていました。 その中で Scheduler の設定方法が分からずに途中でやめてしまったところです。 Scheduler につい…

zako-lab929.hatenablog.com 前回の記事(上記)にて、前々回よりは、良いものが出た気がする。 しかし、モデルページにあるプロンプトを参考にしても、 期待通りには出ない。そういうもんなのですかね？？ Web UI と diffusers の差？？ 今回は、モデルページ…

zako-lab929.hatenablog.com 前回、出力した結果、モデルページにあるようなクオリティの画像はあまりありませんでした。 今回は、生成物の質が高まるように使い込んでみようと思います。

diffusers は Hugging Face のモジュールなので、 Hugging Face 上にあるモデルはモデルIDだけで簡単に扱うことができます。 Hugging Face にはなく Civitai にはあるようなモデルも多く存在しています。 この記事では Civitai にある LoRA を diffusers で…

zako-lab929.hatenablog.com 前回の記事(上記)で Textual Inversion のリファレンス を読んだときに、 近くに LoRA のドキュメント がありました。 LoRA も調べていると面白そうなことができそうなので使ってみようと思います。