画像生成AI、配置も1モデルで制御

FLUX.3 Image Kleinは異例の組み合わせで登場した。テキストからの画像生成、1枚以上の参照画像の編集、特定座標への要素配置を1つのチェックポイントで切り替えられる。後者のレイアウト制御は、プロンプトにJSON形式で領域のリストを書き込む仕組みで、各領域はid、bbox、descを持ち、正規化された0〜1000スケールで指定するため同じボックスがどの画像サイズでも機能する。編集では各領域が参照画像のどこから内容を取り、出力のどこに置くかを示すため、編んだ騎士のような1つのオブジェクトを動かしつつ、残りのシーンを固定できる。

今回のリリースは周辺ツールにも大きく依存している。モデルはModular Diffusersパイプラインとして提供されるため、開発者はテキストエンコーダを取り出してプロンプトを一度エンコードし、解放してキャッシュした埋め込みから多数の画像を生成したり、デノイジングループ内に独自のステップを挿入したりできる。Black Forest Labsはtransformerをbf16の単一ファイルに加え、fp8rとnvfp4の2つの量子化形式で提供し、from_single_fileで読み込めばより小さなGPUでも動作する。Hugging Faceはテキストから画像生成と画像編集の両タスク向けにDreamBooth LoRA学習スクリプトを提供する。これらの選択により、独自データでファインチューニングしたいチームや、最先端でないハードウェアで動かしたいチームの障壁が下がる。