LLM を使ったストーリー作成
LLM を使ったストーリー作成が一発でうまくいく事はない。なので、ストーリー作成の各工程ごとにアイデア出しの補助をさせることでストーリーを作成する。
AI のべりすとは日本語が使えるが性能は高くない。無料で公開されているローカル実行できる LLM を英語で使ったり、Chat GPT を使う方が効率がいい。AI のべりすとの強みはアダルト文章を日本語で出力できることだ。
モデルについてはおすすめの日本語対応ローカル大規模言語モデルを参照。
目次
Qwen Image Layered を ComfyUI で動かす
Qwen Image Layered は画像１枚とプロンプトを入力すると、複数枚の透過画像を出力するモデルだ。
学習画像は主にポスターで、文字・画像・背景・小物を分離するのが得意だ。Live2D 用に人体のパーツを分解することはできない。
Wan 2.1 の論文メモ
Diffusion-DPO（Diffusion-Direct Preference Optimization）の学習方法
Diffusion-DPO Diffusion Model Alignment Using Direct Preference Optimization は SD3 でも使われた強化学習手法。SD3 ではランク 128 の LoRA として作成している。
ただし、画風や新しい概念の学習のような一般的なタスクは SFT（教師ありファインチューニング）が適している。「○○がうまく描けない」というニーズは○○が言語化できているので SFT を使うべき。SFT はデータセットを用意しやすいし学習負荷も低い。
Diffusion-DPO を使うケース
- 言語化が困難だが描いてほしくないもの（暴力的・性的表現）がある
- ユーザーの選好データを持っている
- 細部の表現の崩れを改善したい
SFT（教師ありファインチューニング）と Diffusion-DPO との違い
bong_tangent スケジューラーの特徴
ComfyUI のスタックトレースを取得する
ComfyUI の EmptyLatentImage と EmptySD3LatentImage の違い
スケール則の終わり
LLM のスケール則はモデルサイズ、データセットサイズ、学習に使う計算量の３つを適切な比率で増加させれば、LLM の性能は増加量に比例して向上する、という経験則だ。
しかし LLM のデータセットは Web のスクレイピングデータで、それで差別化するのが困難になった。その結果 CoT や RLVR のような計算リソースをつぎ込んで性能を上げる手法を使うようになった。現在の方向では最も低コストな計算リソースを所有する企業が勝者になり、それは自社で学習・推論用 TPU を設計・製造できる Google になる可能性が高い。
タグキャプションを使用した大規模学習
Python 3.13 で kohya-ss sd-scripts の環境構築
xformers は使わない（--sdpa を使う）ので入れていない。