Claude Codeのプラグイン評価で平均+0.46

本記事はClaude Code応用編シリーズの第3弾で、動画#11〜#15を整理したものだ。前回までの内容をちょうど引き継いでいる。スキルとhooksはその1で作った（テストと報告のスキル、rm -rfをブロックするhook）。ここではその2つをsafe-devという単一のプラグインに詰め直し、公開リポジトリzun-tools/ccadv-sampleにMITライセンスで置いている。このパッケージ化の工程があってこそ測定の工程が可能になる。スキルが.claude-plugin/plugin.jsonを持つプラグインに入れば、claude plugin evalがありとなしの結果を比較できる。

デモは意図的に小さい。議事録を決定事項、宿題、担当の3つの見出しに強制するスキルを、議事録の3ケース（support、release、sales）で測る。各ケースは一部を正規表現で、一部を別のモデルが答えを読んで採点する。興味深いのは、プラグインなしの実行でもそれなりの要約はできていた点だ。できていなかったのは3つの見出しの形式を保つことだった。だから著者はスコアの差を、モデルがそもそもタスクをできない証拠ではなく、スキルを残す根拠として位置づけている。

配布と安全性も同じように扱う。プラグインはマーケットプレイスから2つのコマンドでインストールし、導入側はプラグインをユーザーの全リポジトリに適用するか、そのリポジトリのチーム全体に適用するか、そのユーザーのローカルだけに適用するかを選ぶ。記事は、更新をpushする前にplugin.jsonのバージョンを上げる必要があると警告する。そうしないとインストール側が最新だと報告して古いバージョンのままになる。他人が書いたプラグイン、特にmodsについては、インストール前にclaude plugin validateでどのイベントに反応しどんな操作を要求するかを確認することが推奨される。modsはサンドボックス外でClaude Codeと同じ権限で動くからだ。