前回の記事では LCM (Latent Consistency Model) を使ってみました。
v0.22.0 の時点では、 DiffusionPipeline に指定するモデルが LCM 対応のモデルとなっていました。
恐らくこれでは、LCMに対応したモデルしか使えず、既存モデルは使えないと思っています。
しかし v0.23.0 で、LCM が LoRA として設定が可能になりました。
ちなみに AnimateLCM では、LoRA を使い LCM を適用していたので Pipeline のモデルは好きなものを使えました。
それでは、使ってみます。
続きを読む偶然ですが、 AnimateLCM を触っていて気付いたことがあります。
「 LCMScheduler 大事！」
たぶんこれは、 AnimateDiff だけじゃなくて LCM 系で重要な気がしてきます。
少なくとも diffusers v0.22.0 で紹介されていた LCM のモデルでは LCMScheduler が使われていそうでした。
続きを読む今回は比較回です。
AnimateLCM は少ないステップ数で高品質な画像が出力できるということですので、 ステップ数を「4」に固定して比較してみます。
| テスト番号 | MotionAdapter | AnimateLCM LoRA | 備考 |
|---|---|---|---|
| 1 | wangfuyun/AnimateLCM | 有 | 前回の記事と同じ |
| 2 | wangfuyun/AnimateLCM | 無 | |
| 3 | guoyww/animatediff-motion-adapter-v1-5-2 | 有 | |
| 4 | guoyww/animatediff-motion-adapter-v1-5-2 | 無 | 普通の AnimateDiff と同じ |
Stable Diffusion を使うときに Seed という言葉が出てくると思います。この Seed は出力ごとに異なり、予め Seed を指定しておくことで (同じ条件であれば) 出力を固定することができます。
逆に Seed を指定しなければ、同じ条件でも、いつもランダムな出力になります。
今回は、この「ランダム出力」でも とりあえず Seed を設定しておこう というマイブームな記事です。
続きを読む前回の記事では FreeInit というものを有効にして AnimateDiff を出力してみました。この記事では FreeInit を有効にしたときと無効にしたときとでどう変わるのか比較してみようと思います。
また、 enable_free_init() には method という引数があり、出力が変わりそうなので触ってみようと思います。
