AIの「つまらない文章」を人間らしく 週末プロジェクトで実証

開発者はAI生成テキストが往々にして「スロップ」——定型的で退屈な文章——になるという課題に取り組み、強化学習を用いてこれを「人間らしく」書き直すモデルを訓練することに決めました。このプロジェクトは週末に行われ、4bパラメータのモデルが使用されました。

最初のステップでは、2段階のパイプラインで合成データセットを作成しました。1つ目のLLMがシナリオ（Slackメッセージ、上司への電子メール、学生の論文など）を生成し、2つ目のLLMがそのシナリオに基づいてテキストを作成します。目標は、このテキストをより人間らしい方法で書き直すことができるLLMを訓練することです。

まず、「ルールベースの文体チェッカー」であるslop-guardを単一の報酬関数として試しました。slop-guardは「定型的なAI執筆パターンについてテキストを0～100で採点」し、「200以上のリテラルおよび構造的なヒューリスティックに支えられた24の設定可能なルール」を持つ純粋なプログラムベースのツールです。スコアが高いほど報酬が高いという設計でしたが、問題が生じました。モデルが「報酬をハック」して、元の内容を一切保持せず、単に「大学は3つの人文学部を閉鎖する」という短すぎる文に書き換えてしまったのです。

この問題を修正するため、開発者は別の報酬関数を追加しました。元のテキストと書き直されたテキストをLLMジャッジに渡して、情報がどの程度保持されているかを評価させるもので、これにより意味的保持が大幅に改善されました。次に、slop-guardはプログラム的ルールに依存しすぎているという認識から、他の手法を探索し始めました。HuggingFaceから事前訓練されたBERTモデル（modernbert-ai-detection-raid-mage）を試したところ、概ねうまく機能しましたが、元の文体が形式的であっても、モデルが非常にカジュアルなスタイルで書き直す傾向が見られました。この問題に対応するため、LLMジャッジを使用して文体のずれを検出する「文体保持報酬」を追加しました。例えば、形式的な「委員会は提案された方針は相当な行政コストを課すが相応の改善をもたらさないと結論づけ、さらなる審査を待つため実施を延期することを勧告した」という内容が、「委員会は基本的に『これは管理が大変で、たぶん役に立たない』と言って、『もう一度見直そう』と言った」というカジュアルな書き直しになってしまう問題を防ぐためです。

改善が進むと、開発者は「キッチンシンク的なアプローチ」を試しました。複数のAI検出器（diveye、tmr、bert-tiny-raidなど）をオープンソース世界から集約し、それらの出力を組み合わせた報酬関数として使用しました。その結果、このモデルはオープンソースのAI検出器からは「人間的」と判定されるテキストを生成するのに相当な能力を示しました。一方で、Pangramなどの非公開検出器には対応が弱いままであり、35bモデルへのスケーリングもこの一般化能力の改善には役立ちませんでした。

開発者は今後の展開として、非公開検出器への対応強化を掲げ、複数のアイデアを提案しています。単純に大量の資金を費やして非公開検出器と直接訓練する案、非公開検出器からの検出を別のモデルに蒸留して報酬指標として使う案、訓練中に検出器の重み・閾値・プロンプト・サンプリング設定を変動させる案、書き直しモデルが継続的に更新される検出器を騙そうとするGAN的なループで訓練する案などです。最後に、著者は「強化学習は非常に反復的であり、最初の報酬はたいていハックされるため、ほぼすべての仕事は出力を検査し、失敗モードを見つけ、報酬関数を改善することにあり、より優れたモデルよりも、より優れた報酬、データ、評価が役に立つ」とまとめています。