zako-lab929.hatenablog.com 前回の記事では StableDiffusionGLIGENPipeline を用いて diffusers で GLIGEN (Grounded Language-to-Image GENeration) を試しました。GLIGEN は、バウンディングボックスとキャプションを用いて、枠に意味を持たせて Text-to-…

github.com diffusers v0.20.0 で対応された GLIGEN (Grounded Language-to-Image GENeration) を試してみます。 GLIGEN はバウンディングボックスとその矩形に対するキャプションを用いて、プロンプト＋キャプション付き矩形で Text-to-Image を行うようで…

今回の記事は SDXL 1.0 向けの T2I-Adapter です。 SDXL はメモリ消費量が多い分、やっぱり高品質ですね。 ControlNet のときにはやらなかったけど、T2I-Adapter は SDXL 版を試してみました。

zako-lab929.hatenablog.com 前回の記事で SD 1.4 向けの T2I-Adapter をまとめました。 今回の記事では SD 1.5 向けで生成した画像と SD 1.4 向けで生成した画像を比較してみます。

うなぎ zako-lab929.hatenablog.com 前回の記事で T2I-Adapter というものを使ってみました。この記事では、ControlNet と比較しながらもっと色々な T2I-Adapter を使ってみようと思います。 ControlNet のときは1つ1つ丁寧に書いたけど、また1つ1つやるのは…

github.com この記事では diffusers v0.19.0 の T2I Adapter について試していこうと思います。T2I Adapter は Text-to-Image の アダプター という感じでしょう。 ザックリ言うと ControlNet みたいなもの っぽいです。 SDXLとかAutoPipelineはこのバージョ…

github.com この記事では diffusers v0.17.0 のリリースノートにある UniDiffuser というものを使ってみます。 UniDiffuser introduces a multimodal diffusion process that is capable of handling different generation tasks using a single unified app…

zako-lab929.hatenablog.com 前回の記事で、 Text-to-Video Zero と ControlNet の併用で「CUDA out of memory」になってしまい断念しましたが、OutOfMemory なのでメモリ使用量を少しでも減らせないかと少しパラメータを変更したところ、なんと動くようにな…

zako-lab929.hatenablog.com 前回の記事で Text-to-Video Zero で動画生成をしました。 Text-to-Video Zero は Text-to-Video だけでなく、なんと ControlNet も併用できるようです。diffusers の ControlNet は全種類使ってみましたので、凄さを知ってます…

TextToVideoZeroPipeline x Minea/MeinaMix_V11 zako-lab929.hatenablog.com diffusers v0.15.0 には上記で使用した Text-to-Video 以外に Text-to-Video Zero というものが紹介されていました。 github.com この記事では Text-to-Video Zero を Google Colab…

github.com huggingface.co diffuser v0.15.0 のリリースノートにある Text-to-Video を使ってみます。 今だと Stable Video Diffusion を使うのが普通なんですかね？ Stable Video Diffusion はそのうち調べるとして、まずは使ってみましょう。

github.com こちらのリリースノートにある ControlNet を複数使う Mutil-ControlNet で、 バッテンポーズをする美少女を作りたいと思います。

github.com diffuers v0.15.0 でリリースされたものは、 Text-to-Video や オーディオ生成 , Stable UnCLIP , Multi ControlNet など面白そうなもの機能がたくさんあります。 zako-lab929.hatenablog.com 以前の記事で触っていた Prompt Weighting の Compel…

さて、この前 TripoSR で Image-to-3dModel をやりましたが、また過去のキャッチアップに戻ってきました。 ControlNet も色々使い Inpaint も含め色々触ってきたので、 コントロール画像やマスク画像がどういったものかわかりました。 この記事では diffuser…

ここ最近の記事はいつも同じような内容でしたが、 ようやく diffusers の ControlNet 全14種類を終えることができました。 ControlNet Hugging Face 記事 Canny huggingface.co zako-lab929.hatenablog.com Instruct Pix2Pix huggingface.co zako-lab929.hat…

huggingface.co ようやく diffusers の ControlNet の最後、14個目に到達しました。 Tile というやつを使ってみます

huggingface.co diffusers の ControlNet 残り2つです！ これが終わったら、次が最後！ 今回は Shuffle です

huggingface.co diffsers の ControlNet は、残すところあと3つ！ 今回は SoftEdge を使ってみます

lllyasviel/control_v11p_sd15_scribble · Hugging Face もう少しで diffusers の ControlNet 完全制覇です。残すところあと4つ！ 今回は Scribble を使ってみます。

huggingface.co OpenPose!! 姿勢推定ですね。知ってます！

huggingface.co 今度は LineArt の Anime バージョンです ControlNet 全部使ってみるシリーズはもう少しで終わります！

huggingface.co ControlNet の Lineart を使ってみます。 Line Art、線画ですね！これは調べなくてもわかります！

huggingface.co seg ってなんだろう？ってところから始まりました。 ということで、今回は ControlNet の Seg とやらを使ってみます。

huggingface.co 今日は、NormalBae を使ってみます。 Bae って何なんでしょう？ 中身的には法線マップを使った ControlNet っぽいんですが。。。

huggingface.co ControlNet を使ってみる回も5回目。今回は Depth です。

huggingface.co 今回は ControlNet の MLSD を使ってみます！ 雰囲気的には Canny に似てます！

huggingface.co 今回は ControlNet の Instruct pix2pix を使ってみます！

前回の記事、ControlNet を使い始めました。 今回は、ControlNet の Canny を使ってみようと思います。 huggingface.co Canny Edge を条件とする ControlNet とのことです

この記事では、duffisers の ControlNet を使ってみます。その中でも今回は Inpaint を使ってみます。そもそも ControlNet とは、追加の入力画像を使用して調整することで、出力画像を制御するモデルの一種で、制御に使用できる入力には様々なタイプがあると…

zako-lab929.hatenablog.com 前回の記事では リリースノート v0.6.0 に沿って Inpainting を進めました。 このとき使用したモデルは runwayml/stable-diffusion-inpainting ですが、 ドキュメント版 には他のモデルも載っているのでやってみようと思います。