GoodfireのSilicoプラットフォーム、RLFRトレーニング手法をモデル内部で再現

Goodfireが LLM トレーニングプラットフォーム「Silico」のプライベートベータを発表し、Goodfire が開発した RLFR という手法がプローブを報酬信号として強化学習に用いる仕組みを説明する投稿を公開した。この発表は Twitter での議論を呼び、古典的な LessWrong の投稿「Don't Implement The Most Forbidden Technique」で言及された「最も禁止された技術」との関連性が指摘されている。