IP-Adapter の続きやろーって思ったのですが、日付を見て気づいてしまいました。 あ、、、明日はピッコロ記念日だ。。。 つまり、今日は悟飯の日でしたので、急いで Civitai で検索しました！ こちらを採用。やっぱ超サイヤ人2っていいよね！

github.com ゴールデンウィークはほとんどPCを触らず、デジタルデトックス状態でした。 そんな中、ようやく到着しました。IP-Adapter ！！ どうやら IP-Adapter と一口に言ってもなんか色々な種類がありそうな予感。 何にせよ、触っていかないと進まないです…

この記事では diffusers v0.24.0 のリリースノート から SDXL-Turbo を使ってみます。 1ステップで出力できるくらいターボ！

github.com ついに Stable Video Diffusion まで到達しました。 diffusers v0.24.0 は Stable Video Diffusion もあるし IP-Adapter もあるし、凄い楽しそうです まずは Stable Video Diffusion から触っていきますが、過去にやった動画生成も振り返ってみま…

github.com Consistency Decoder は diffusers v0.23.0 で入った機能と思われます。 何それ？

前回の記事では LCM (Latent Consistency Model) を使ってみました。 v0.22.0 の時点では、 DiffusionPipeline に指定するモデルが LCM 対応のモデルとなっていました。 恐らくこれでは、LCMに対応したモデルしか使えず、既存モデルは使えないと思っています…

前回の記事まで長いこと AnimateDiff で遊んでいました。 AnimateDiff を触れる中で AnimateLCM に触れ、LCM という技術を AnimateDiff の中で触れていました。 今更ですが普通の LCM (Latent Consistency Model) を使ってみます。 こちらも AnimateDiff 同…

偶然ですが、 AnimateLCM を触っていて気付いたことがあります。 「 LCMScheduler 大事！」 たぶんこれは、 AnimateDiff だけじゃなくて LCM 系で重要な気がしてきます。 他の LCM はまだ触っていないので知らんけど 少なくとも diffusers v0.22.0 で紹介さ…

今回は比較回です。 AnimateLCM は少ないステップ数で高品質な画像が出力できるということですので、 ステップ数を「4」に固定して比較してみます。 テスト番号 MotionAdapter AnimateLCM LoRA 備考 1 wangfuyun/AnimateLCM 有 前回の記事と同じ 2 wangfuyun…

この記事では AnimateLCM に触れていきます。 LCM は初めて登場するキーワードですが、併せて調べていきます。 リリースノートの一番上にあったけど既読スルーしてたやつ

Stable Diffusion を使うときの Seed について、一般的？に Seed 値とは、乱数生成器に用いる初期値です。diffusers では torch.Generator を使って指定することが可能です。ランダム出力の場合でも指定しておくというマイブームです。

zako-lab929.hatenablog.com 前回の記事では FreeInit というものを有効にして AnimateDiff を出力してみました。この記事では FreeInit を有効にしたときと無効にしたときとでどう変わるのか比較してみようと思います。 また、 enable_free_init() には met…

AnimateDiff のドキュメントの中に Using FreeInit という項目があります。 FreeInit is an effective method that improves temporal consistency and overall quality of videos generated using video-diffusion-models without any addition training. I…

モーション LoRA は複数を組み合わせて使うことが可能なようです。 例えばズームアウトとスライドを組み合わせて使う感じ この記事では、再び AnimateDiffPipeline を使い、モーション LoRA を組み合わせて使ってみます。

AnimateDiffPipeline で Text-to-Video をしていましたが、 AnimateDiffVideoToVideoPipeline を使うと Video-to-Video ができるようになります。 huggingface.co これは Hugging Face のドキュメントに使用方法が載っていましたので触ってみます。

AnimateDiff をたくさん調べてて見つけた https://animatediff.github.io にいた猫が可愛すぎたので マヌルネコ LoRA を使ってみました。 この記事では AnimateDiff は触りません！ ぬこを触ります！！ 使用したモデル等は以下になります。 ・リアル系モデル…

前回 、前々回 と beta_schedule="linear" を付与した状態出力しました。これは出力画像を鮮やかに出したかったからです。 今回は timestep_spacing="linspace" のパラメータを使ったり使わなかったり、 beta_schedule="linear" のパラメータを使ったり使わ…

zako-lab929.hatenablog.com 前回の記事では ToonYou のモデルを使用して、 AnimateDiff を実行する際のスケジューラーのパラメータを調整しました。 この記事では更に別のモデルも試してみます。 いつもの MeinaMix で！

zako-lab929.hatenablog.com 前回の記事で以下のようなことを書きました。 でも、もうちょっとdiffusers v0.15.0 の Text-to-Video Zero を Google Colab で使ってみる - ジャコ Labの時みたいに、おぉーー！！っていう感じのが出てほしいな。スケジューラの…

zako-lab929.hatenablog.com 前回、LoRA で「PEFT backend is required for this method」なエラーにハマりましたが、無事にこの記事に進めるようになりました。 Motion LoRA (モーション LoRA) で何ができるかというと、 AnimateDiff にズームインやズーム…

/usr/local/lib/python3.10/dist-packages/diffusers/loaders/lora.py in load_lora_weights(self, pretrained_model_name_or_path_or_dict, adapter_name, **kwargs) 105 """ 106 if not USE_PEFT_BACKEND: --> 107 raise ValueError("PEFT backend is requ…

github.com diffusers v0.22.0 でサポートされた AnimateDiffPipeline を使って、 AnimateDiff を使ってみます。 まずは、リリースノートにある通りのプログラムを実行してみます。

前回の記事までで GLIGEN (Grounded Language-to-Image GENeration) を使ってみましたが、GLIGEN を使用するときは バウンディングボックス が必要となります。 (矩形 や 枠 と記載したりもしているので文言は定まってませんが...) バウンディングボックスを…

zako-lab929.hatenablog.com zako-lab929.hatenablog.com 前回の記事までで StableDiffusionGLIGENPipeline 及び StableDiffusionGLIGENTextImagePipeline を使ってきました。 後者の StableDiffusionGLIGENTextImagePipeline は、 もう1個使用例があったの…

zako-lab929.hatenablog.com 前回の記事では StableDiffusionGLIGENPipeline を用いて diffusers で GLIGEN (Grounded Language-to-Image GENeration) を試しました。GLIGEN は、バウンディングボックスとキャプションを用いて、枠に意味を持たせて Text-to-…

help.hatenablog.com ぐぬぬ。。。 もっと早く知りたかったです。 いつも Markdown で書いているのですが、特殊なものを出すときは、いつも別タブで「雛形用の下書き」を開きに行ってからコピペしてました。。。 もっと早く知りたかったです。 (大事なことな…

github.com diffusers v0.20.0 で対応された GLIGEN (Grounded Language-to-Image GENeration) を試してみます。 GLIGEN はバウンディングボックスとその矩形に対するキャプションを用いて、プロンプト＋キャプション付き矩形で Text-to-Image を行うようで…

設定画面 猫モード！！ チェックを付けて保存してみたところ、最初何も起こらないなぁ？って思ってました。 そのまま放置していると、画面上部に猫が歩いてきました。 画面上部に猫が歩いている様子 猫の種類 猫の種類 眺めていたところ、猫は5種類居そうな…

今回の記事は SDXL 1.0 向けの T2I-Adapter です。 SDXL はメモリ消費量が多い分、やっぱり高品質ですね。 ControlNet のときにはやらなかったけど、T2I-Adapter は SDXL 版を試してみました。

zako-lab929.hatenablog.com 前回の記事で SD 1.4 向けの T2I-Adapter をまとめました。 今回の記事では SD 1.5 向けで生成した画像と SD 1.4 向けで生成した画像を比較してみます。