github.com Consistency Decoder は diffusers v0.23.0 で入った機能と思われます。 何それ？

前回の記事では LCM (Latent Consistency Model) を使ってみました。 v0.22.0 の時点では、 DiffusionPipeline に指定するモデルが LCM 対応のモデルとなっていました。 恐らくこれでは、LCMに対応したモデルしか使えず、既存モデルは使えないと思っています…

前回の記事まで長いこと AnimateDiff で遊んでいました。 AnimateDiff を触れる中で AnimateLCM に触れ、LCM という技術を AnimateDiff の中で触れていました。 今更ですが普通の LCM (Latent Consistency Model) を使ってみます。 こちらも AnimateDiff 同…

偶然ですが、 AnimateLCM を触っていて気付いたことがあります。 「 LCMScheduler 大事！」 たぶんこれは、 AnimateDiff だけじゃなくて LCM 系で重要な気がしてきます。 他の LCM はまだ触っていないので知らんけど 少なくとも diffusers v0.22.0 で紹介さ…

今回は比較回です。 AnimateLCM は少ないステップ数で高品質な画像が出力できるということですので、 ステップ数を「4」に固定して比較してみます。 テスト番号 MotionAdapter AnimateLCM LoRA 備考 1 wangfuyun/AnimateLCM 有 前回の記事と同じ 2 wangfuyun…

この記事では AnimateLCM に触れていきます。 LCM は初めて登場するキーワードですが、併せて調べていきます。 リリースノートの一番上にあったけど既読スルーしてたやつ

Stable Diffusion を使うときの Seed について、一般的？に Seed 値とは、乱数生成器に用いる初期値です。diffusers では torch.Generator を使って指定することが可能です。ランダム出力の場合でも指定しておくというマイブームです。

zako-lab929.hatenablog.com 前回の記事では FreeInit というものを有効にして AnimateDiff を出力してみました。この記事では FreeInit を有効にしたときと無効にしたときとでどう変わるのか比較してみようと思います。 また、 enable_free_init() には met…

AnimateDiff のドキュメントの中に Using FreeInit という項目があります。 FreeInit is an effective method that improves temporal consistency and overall quality of videos generated using video-diffusion-models without any addition training. I…

モーション LoRA は複数を組み合わせて使うことが可能なようです。 例えばズームアウトとスライドを組み合わせて使う感じ この記事では、再び AnimateDiffPipeline を使い、モーション LoRA を組み合わせて使ってみます。

AnimateDiffPipeline で Text-to-Video をしていましたが、 AnimateDiffVideoToVideoPipeline を使うと Video-to-Video ができるようになります。 huggingface.co これは Hugging Face のドキュメントに使用方法が載っていましたので触ってみます。

AnimateDiff をたくさん調べてて見つけた https://animatediff.github.io にいた猫が可愛すぎたので マヌルネコ LoRA を使ってみました。 この記事では AnimateDiff は触りません！ ぬこを触ります！！ 使用したモデル等は以下になります。 ・リアル系モデル…

前回 、前々回 と beta_schedule="linear" を付与した状態出力しました。これは出力画像を鮮やかに出したかったからです。 今回は timestep_spacing="linspace" のパラメータを使ったり使わなかったり、 beta_schedule="linear" のパラメータを使ったり使わ…

zako-lab929.hatenablog.com 前回の記事では ToonYou のモデルを使用して、 AnimateDiff を実行する際のスケジューラーのパラメータを調整しました。 この記事では更に別のモデルも試してみます。 いつもの MeinaMix で！

zako-lab929.hatenablog.com 前回の記事で以下のようなことを書きました。 でも、もうちょっとdiffusers v0.15.0 の Text-to-Video Zero を Google Colab で使ってみる - ジャコ Labの時みたいに、おぉーー！！っていう感じのが出てほしいな。スケジューラの…

zako-lab929.hatenablog.com 前回、LoRA で「PEFT backend is required for this method」なエラーにハマりましたが、無事にこの記事に進めるようになりました。 Motion LoRA (モーション LoRA) で何ができるかというと、 AnimateDiff にズームインやズーム…

/usr/local/lib/python3.10/dist-packages/diffusers/loaders/lora.py in load_lora_weights(self, pretrained_model_name_or_path_or_dict, adapter_name, **kwargs) 105 """ 106 if not USE_PEFT_BACKEND: --> 107 raise ValueError("PEFT backend is requ…

github.com diffusers v0.22.0 でサポートされた AnimateDiffPipeline を使って、 AnimateDiff を使ってみます。 まずは、リリースノートにある通りのプログラムを実行してみます。

前回の記事までで GLIGEN (Grounded Language-to-Image GENeration) を使ってみましたが、GLIGEN を使用するときは バウンディングボックス が必要となります。 (矩形 や 枠 と記載したりもしているので文言は定まってませんが...) バウンディングボックスを…

zako-lab929.hatenablog.com zako-lab929.hatenablog.com 前回の記事までで StableDiffusionGLIGENPipeline 及び StableDiffusionGLIGENTextImagePipeline を使ってきました。 後者の StableDiffusionGLIGENTextImagePipeline は、 もう1個使用例があったの…

zako-lab929.hatenablog.com 前回の記事では StableDiffusionGLIGENPipeline を用いて diffusers で GLIGEN (Grounded Language-to-Image GENeration) を試しました。GLIGEN は、バウンディングボックスとキャプションを用いて、枠に意味を持たせて Text-to-…