日本語の挙動は未検証

実務とのミスマッチが出発点だ。モデル安全性の比較ではHarmBenchやStrongREJECTのスコアが広く引用されるが、それぞれが測るのは固定された言語、固定された入力経路、固定された失敗の定義での振る舞いである。著者は論文の要約表に頼らず公開CSVを直接集計し、その件数がギャップを具体的に示す。

カテゴリ別の内訳は第二の注意点を加える。HarmBenchのharassment_bullyingカテゴリは25件、harmfulは22件で、カテゴリ別の結果は1件で数ポイント動きうる。StrongREJECTは313件のうち221件を独自セットから取り、残りをAdvBenchなどの既存データから取っており、JBB-Behaviorsは18%がAdvBench、27%がTDC/HarmBench由来と報告されている。複数のベンチマークで良い結果が出ても、一部は同じ元データを測り直しているにすぎず、独立した根拠とは限らない。

HarmBenchの論文は dual-intent リクエストを除外している。正当にも悪用にもなりうる種類で、実務で最も判断が難しいことが多い。エージェント側では、AgentHarmの論文が、主要モデルはジェイルブレイクなしでも悪意あるエージェントタスクに容易に従うと報告しており、チャットモデルとしての拒否の強さがエージェントの挙動に自動的に引き継がれるわけではないことを示す。推奨される使い方は、ベンチマークの数値を「この条件下でこうなった」以上の意味にはしないことだ。