Advantage Weighted Matching のアルゴリズム
Z Image Turbo を ComfyUI で実行する＋プロンプトガイド
Z Image Turbo はベースモデルではなく蒸留モデル（DMD）であることに注意。
軽量モデルの中ではダントツの基本性能を持っており、SDXL 以降のモデルをファインチューンして使うなら Z Image のベースモデル一択だろう。
Automatic1111 互換の forge-neo でも実行できる。
Qwen Image Edit や FLUX.2 は編集も生成もできるが、Z Image はそうではない。
- Z Image base：ファインチューニングはされているが、強化学習・RLHF はされていない。LoRA 作成用モデル
- Z Image Turbo：ファインチューニング・蒸留・強化学習・RLHF が適用されたフルスペック版。Z Image は蒸留と強化学習とを同時に行う DMDR を採用している
- Z Image Edit：共通事前学習・Edit 用事前学習・Edit 用ファインチューニングが施されたバージョン。蒸留はされていないのである程度のステップ数が必要。論文によると CFG ありで 100 ステップ
base が公開されれば、「Turbo - base」を LoRA 化することで蒸留 LoRA を作成可能。base に自作 LoRA と蒸留 LoRA を適用すれば、自作 LoRA でも高速高画質な生成が可能。
目次
特徴
AI の手がうまく描けない問題はどのように解決されたか
YOLO v8 のファインチューニング
AUTOMATIC1111 の Dreambooth の使い方
LoRA はLoRA の学習方法に移動した。
目次
- 概要
- 正則化画像の必要性
- Parameters
- Advanced
- Concepts
- A Few Dreambooth Observations and Tips, Leafier Closer Shots With the New Vae File (higher CFG)
- モデルの圧縮（脱水）
画像生成 AI の限界
画像生成の出力は以下の限界がある。
- 学習データセット
- テキストエンコーダー・モデルの表現力
- 汎化能力が思ったほど高くない
- オペレータの語彙と想像力
言語の限界が現在の画像・動画生成の限界で、手書きの場合は言語化不可能な概念を画像で表現できる。言い換えると、Danbooru 語で訓練された AI は Danbooru タグを追加できないが、手書きなら Danbooru タグにない絵を描いて新しい Danbooru タグを追加できる。
1. データセットと汎化能力
Qwen Image Edit 2509 を ComfyUI で実行する＋プロンプトリスト
目次
Waifu Diffusion で効率的に画像を生成する
プロンプトリストはプロンプトやよく検索されているプロンプト（R18）、danbooru タグ検索を参照。
目次
- ワークフロー
- ツールの選択
- Stable Diffusion のモデルリンク
- Stable Diffusion の解説
- Tips
- 上手く描けない場合（胴が長いなど）はアスペクト比を変えてみる
- クオリティタグを使う
- CFG Scale を上げる
- 解像度を上げると頭や体が複数融合する
- Denoising Strength を下げると画質が落ちる
- 細部の修正
- 手の修正
- 手の自由度
- 高解像度化
- 色のコントロール
- 顔に影ができる
- ファインチューニング
Flow-GRPO の学習方法
Flow-GRPO: Training Flow Matching Models via Online RL
Flow-GRPO より Advantage Weighted Matching: Aligning RL with Pretraining in Diffusion Models の方が学習が早い。
Flow-GRPO の強み
DDPO はユーザーの選好データを集めるコストが高い。Flow-GRPO は以下のような画像評価モデルを使用し、教師画像を使わずモデルのみで画質やプロンプトの追従性を向上させられる。ただし Flow-GRPO は非常に計算コストが高く、予算もしくは豊富な計算資源を持っている場合に使える。