AnimateDiff のドキュメントの中に Using FreeInit という項目があります。
FreeInit is an effective method that improves temporal consistency and overall quality of videos generated using video-diffusion-models without any addition training. It can be applied to AnimateDiff, ModelScope, VideoCrafter and various other video generation models seamlessly at inference time, and works by iteratively refining the latent-initialization noise. More details can be found it the paper.
Google 先生によると FreeInit は、追加のトレーニングを行わずに、ビデオ拡散モデルを使用して生成されたビデオの時間的一貫性と全体的な品質を向上させる効果的な方法です。これは、AnimateDiff、ModelScope、VideoCrafter、およびその他のさまざまなビデオ生成モデルに推論時にシームレスに適用でき、潜在初期化ノイズを繰り返し調整することで機能します。詳細は紙面でご覧いただけます。
なるほど、わからん
とりあえず、動画生成に対して品質向上を期待できるようですので、使ってみようと思います。
続きを読む
