動画生成
github.com ついに Stable Video Diffusion まで到達しました。 diffusers v0.24.0 は Stable Video Diffusion もあるし IP-Adapter もあるし、凄い楽しそうです まずは Stable Video Diffusion から触っていきますが、過去にやった動画生成も振り返ってみま…
偶然ですが、 AnimateLCM を触っていて気付いたことがあります。 「 LCMScheduler 大事！」 たぶんこれは、 AnimateDiff だけじゃなくて LCM 系で重要な気がしてきます。 他の LCM はまだ触っていないので知らんけど 少なくとも diffusers v0.22.0 で紹介さ…
今回は比較回です。 AnimateLCM は少ないステップ数で高品質な画像が出力できるということですので、 ステップ数を「4」に固定して比較してみます。 テスト番号 MotionAdapter AnimateLCM LoRA 備考 1 wangfuyun/AnimateLCM 有 前回の記事と同じ 2 wangfuyun…
この記事では AnimateLCM に触れていきます。 LCM は初めて登場するキーワードですが、併せて調べていきます。 リリースノートの一番上にあったけど既読スルーしてたやつ
zako-lab929.hatenablog.com 前回の記事では FreeInit というものを有効にして AnimateDiff を出力してみました。この記事では FreeInit を有効にしたときと無効にしたときとでどう変わるのか比較してみようと思います。 また、 enable_free_init() には met…
AnimateDiff のドキュメントの中に Using FreeInit という項目があります。 FreeInit is an effective method that improves temporal consistency and overall quality of videos generated using video-diffusion-models without any addition training. I…
モーション LoRA は複数を組み合わせて使うことが可能なようです。 例えばズームアウトとスライドを組み合わせて使う感じ この記事では、再び AnimateDiffPipeline を使い、モーション LoRA を組み合わせて使ってみます。
AnimateDiffPipeline で Text-to-Video をしていましたが、 AnimateDiffVideoToVideoPipeline を使うと Video-to-Video ができるようになります。 huggingface.co これは Hugging Face のドキュメントに使用方法が載っていましたので触ってみます。
前回 、前々回 と beta_schedule="linear" を付与した状態出力しました。これは出力画像を鮮やかに出したかったからです。 今回は timestep_spacing="linspace" のパラメータを使ったり使わなかったり、 beta_schedule="linear" のパラメータを使ったり使わ…
zako-lab929.hatenablog.com 前回の記事では ToonYou のモデルを使用して、 AnimateDiff を実行する際のスケジューラーのパラメータを調整しました。 この記事では更に別のモデルも試してみます。 いつもの MeinaMix で！
zako-lab929.hatenablog.com 前回の記事で以下のようなことを書きました。 でも、もうちょっとdiffusers v0.15.0 の Text-to-Video Zero を Google Colab で使ってみる - ジャコ Labの時みたいに、おぉーー！！っていう感じのが出てほしいな。スケジューラの…
zako-lab929.hatenablog.com 前回、LoRA で「PEFT backend is required for this method」なエラーにハマりましたが、無事にこの記事に進めるようになりました。 Motion LoRA (モーション LoRA) で何ができるかというと、 AnimateDiff にズームインやズーム…
github.com diffusers v0.22.0 でサポートされた AnimateDiffPipeline を使って、 AnimateDiff を使ってみます。 まずは、リリースノートにある通りのプログラムを実行してみます。
zako-lab929.hatenablog.com 前回の記事で、 Text-to-Video Zero と ControlNet の併用で「CUDA out of memory」になってしまい断念しましたが、OutOfMemory なのでメモリ使用量を少しでも減らせないかと少しパラメータを変更したところ、なんと動くようにな…
zako-lab929.hatenablog.com 前回の記事で Text-to-Video Zero で動画生成をしました。 Text-to-Video Zero は Text-to-Video だけでなく、なんと ControlNet も併用できるようです。diffusers の ControlNet は全種類使ってみましたので、凄さを知ってます…
TextToVideoZeroPipeline x Minea/MeinaMix_V11 zako-lab929.hatenablog.com diffusers v0.15.0 には上記で使用した Text-to-Video 以外に Text-to-Video Zero というものが紹介されていました。 github.com この記事では Text-to-Video Zero を Google Colab…
github.com huggingface.co diffuser v0.15.0 のリリースノートにある Text-to-Video を使ってみます。 今だと Stable Video Diffusion を使うのが普通なんですかね？ Stable Video Diffusion はそのうち調べるとして、まずは使ってみましょう。
