ComfyUI で circlestone-labs の Anima を使う
Anima は軽量で NSFW の絡みが出せるのが強みだ。
テキストエンコーダーが 0.6B しかない(現在の軽量モデルは 4B を使うのが主流)ので細かい指示はできない。たとえば、コマの位置の指定ができなかったり、自然言語でポーズを指定できなかったり、タグの伝染が起こったりする。
Anima はダンボールタグにあるポーズしか出せないし、ダンボールタグにあるオブジェクトしか描けない。Z-Image や FLUX.2 klein は自然言語でポーズを指示でき、多様なオブジェクトを知っているが、Anima はテキストエンコーダーもモデルも貧弱かつ、データセットが偏っているので汎用性がない。
しかしテキストエンコーダーの能力が低くても、個数指定や左右指定ぐらいはできる。例えば thigh strap の個数や左右位置を指定できたり、左右非対称の衣装を固定したりできる。
なので Anima だけですべての作業をするのではなく、ダンボールタグ外の要素は FLUX.2 klein や Qwen Image Edit のような編集モデルを使う割り切りが必要。
アーティストタグを使うなら以下のワークフローはすでに実用レベル:
- Anima で下絵
- アップスケール
- Illustrious の派生モデルで i2i (ディティールの追加・シャープネスアップ・画風の固定)
- SAM2 や SAM3 でセグメンテーション(なくてもいい)
- Illustrious の派生モデルで Detailer
目次
よく検索されているプロンプト(R18)
動画生成 AI に関するメモ
目次
VRAM8GB で Z Image の LoRA作成
目次
musubi-tuner で FLUX.2 klein の LoRa 作成
FLUX.2 klein 4b は RAM 32 GB、VRAM8GB で余裕をもって LoRA を作成できるが、4b はベースの能力がそれほど高くないので実用性は限られる。
学習画像枚数 * エポック数が 1,000 未満だと不十分。学習画像枚数 * エポック数は 1,500 以上、できれば 3,000 あるといい。
目次
T2I 拡散モデルの設計メモ
目次
- 概要
- クラウド GPU
- テキストエンコーダー
- VAE
- GAN
- コンディショニング
- 位置埋め込み
- 目的関数
- Transformer アーキテクチャ
- Transformer を使わないアーキテクチャ
- Gated MLP
- ブロック図
- データセット
- キャプショニング
- スケジューラー
- 学習方法
- Classifier Free Guidance
- Adaptive Projected Guidance
- Reinforcement Learning Guidance
- タイムステップスケジューラー
- ノイズスケジューラー
- 蒸留
- 画像編集
- 省メモリ学習
- 性能検証
- 高速化
- ワーキングメモリー
- 教師ありファインチューニング
- 強化学習
- 丸暗記の仕組み
python, torch, cuda の tips
CUDA は後方互換性があるので、nvcc -V の出力より前のライブラリでビルドされているものも実行できる。
RTX3050+ComfyUI で SageAttention の導入
目次
- 1. ComfyUI のインストールと venv の有効化
- 2. 環境情報の取得
- 3. Visual Studio 2015-2022 用 Visual C++ 再頒布可能パッケージのインストール
- 4. triton-windows のインストール
- 5. SageAttention のインストール
- 6. ComfyUI で SageAttention の有効化
- 7. TorchCompile のパス制限について
- Patch Sage Attention KJ ノード
ComfyUI で使える高速化・VRAM 技術
ComfyUI は PyTorch attention = FlashAttention がデフォルトで使われる。昔は xformers(中身は FlashAttention)も使われていたが、最近では PyTorch attention を使うことが多い。
ComfyUI のオプションは comfy/cli_args.py を見るのが早い。
目次
AUTOMATIC1111 の便利な機能
AUTOMATIC1111 は更新を停止している。以下の移行先がある。
- ComfyUI:最もユーザーが多く最新技術がいち早く取り入れられる。AUTOMATIC1111 と互換性はない
- sd-webui-forge-classic:SD 1.5・SDXL 専用。AUTOMATIC1111 と互換性あり
- sd-webui-forge-neo:classic と同じ作成者で最新機能を取り入れるブランチ。すでに Qwen Image Edit・Lumina Image 2.0・Wan・SageAttention などの技術は実装済み。AUTOMATIC1111 と互換性あり
- vladmandic/sdnext:A1111 と互換性はないが、最新モデルの対応が早く、AMD の ROCm に対応
目次
- デティール追加
- Refinier
- CD(Color/Detail) Tuner(色調や書き込み量を調節)
- After Detailer(顔を検出して顔を加筆)
- Dotgeo(hijack) Detection Detailer(顔を検出して顔を加筆)
- LLuL - Local Latent upscaLer(指定した矩形の箇所を加筆)
- Detection Detailer(マスクの自動生成)
- img2img
- img2img のステップ数を直接指定
- Only masked(マスクした部分を拡大してから再生成して合成:旧 Inpaint at full rsolution)
- Batch img2img(フォルダ内の画像すべてに img2img を実行)
- Face Restration(顔を修復する機能)
- Loopback(img2img の結果に img2img を実行する)
- --gradio-img2img-tool(簡易ペイントツール追加)
- 色の補正
- Detection Detailer(顔のマスクを自動生成してくれる Extension)
- Depth-guided model(深度情報を使った img2img)
- Novel AI のような noise strength
- プロンプト
- ファインチューン
- 操作
- Generate ボタンを右クリック > Generate forever で止めるまで生成。止めるときは右クリック > cancel
- Ctrl + Enter で Generate
- Ctrl + Z プロンプトを元に戻す
- スライダーをクリックした後十字キーで1ずつ増減できる
- Alt + ← or → カンマ区切りの文字を選択して左右移動(1.5.0 以降)
- 検証
- X/Y plot(パラメーターの検証に使う)
- Prompt matrix
- Visualize Cross Attention(プロンプトが画像のどこに効いているか可視化)
- DAAM Extension for Stable Diffusion Web UI(プロンプトが画像のどこに効いているか可視化)
- UI
- 高速化
- forgeを使う
- sd-forge-blockcache
- 532.03 以降の GeForce ドライバを使う
- xformers
- FlashAttention-2
- --opt-sdp-attention(VRAM 消費量が増えるが xFormers より速くなるかもしれない)
- Token merging
- HyperTile
- ライブプレビューを切る
- pytorch 2.0(RTX4000番台で高速化する)
- TensorRT Extension for Stable Diffusion Web UI
- TensorRT support for webui
- Lsmith
- Latent Consistency Model
- Adversarial Diffusion Distillation
- SDXL Turbo
- 省メモリ
- そのほか
- Extension など
- Config Presets(設定保存)
- sd_web_ui_preset_utils(設定保存)
- Booru tag autocompletion for A1111(タグ補完)
- extensionEditor(AUTOMATIC1111向けのプロンプトエディター)
- Dataset Tag Editor(タグで画像を編集したり、タグを編集するエディタ)
- Helper GUI for manual tagging/cropping(画像のタグ管理エディタ)
- embedding editor(768 個ある潜在表現ベクトルを手動で調整)
- multi-subject-render(背景とオブジェクトとを雑コラしてくれる)
- Regional Prompter (プロンプトの効く領域を指定)
- Latent Couple extension(プロンプトの効く領域を指定)
- Depth map library and poser(手の深度マップライブラリ)
- Cutoff - Cutting Off Prompt Effect(色移り防止)
- ABG_extension (背景透過)
- 【Stable Diffusion】WebUIに必ず導入したいおすすめの拡張機能40選+α【Extensions】
- animeDiff
- Controlnet
- ポーズ・構図の指定と着色ができる。Image2Image はグレースケール画像の着色ができなかったが Controlnet ではそれができる。
- ControlNet の新モデル Anystyle
- Reference-Only(参考画像を基にイラスト作成)
- ControlNetでポーズや構図を指定してAIイラストを生成する方法
- AUTOMATIC1111+ControlNetのつかいかた2(目当ては自動塗り)
- AIで適当な線画を清書し、さらに色を塗って高品質なイラストに仕上げる方法【ControlNet活用術】
- 画像生成AIを線画整えツールや自動彩色ツールにする
- Character bones that look like Openpose for blender _ Ver_6 Depth+Canny+Landmark(Blender 上でポージングできるツール)
- 「ControlNet 1.1」の新機能まとめ!新しいモデルや改善点を紹介【Stable Diffusion】
- ControlNet(v1.1)の詳しい解説!輪郭やポーズから思い通りの絵を書かせる
- 入力線画を全く変えずに画像生成AIに色塗りさせる方法
- MLSD
- プリプロセッサの dw_openpose(写真から棒人間を作成して入力)
- Multi-Controlnet
- Extension
- Model