Sarashina3 miniは10問中1問

比較のきっかけは2026-10-13のSarashinaの無償ベータ公開で、APIから利用できるようになったことだ。著者はAnthropicのほぼ最上位モデルであるClaude Opus 5.5と、同一の日本語40課題で比べた。Sarashinaの利用規約は入力に第三者の著作物や個人情報を含めることを認めていないため、テスト素材は法令と裁判例、著作者が70年以上前に死去した青空文庫の作品、自作の文に限った。GPTをブラインド判定役とし、位置バイアスを減らすため回答順を入れ替えて2回判定、両方で同じ勝者なら勝ち、分かれれば引き分けとした。Opusを判定役に使わなかったのは、自らの出力をひいきするのを避けるためだ。

書き直しの部門では、Sarashinaの失敗は条件や範囲が精密に書かれた法令・司法文に集中した。個人情報保護法のある項目でGPTは3つの意味変化を指摘した。「個人データ」を「当該情報」に置き換えて禁止範囲が広がったこと、「法令に基づく場合」を「法律に定めがあるとき」にして政令・省令が抜け落ちたこと、同意取得のタイミングが消えたことだ。二重否定の社内通知では、両モデルとも冒頭に「必ず原本を添付してください」と置いて原文にない義務を加え、さらにSarashinaは条件を逆転させ、上司の承認なしでも原本を受け付けられる形にした。こうした例は、読みやすさだけでは捉えられない意味のずれを示している。

別の10問で著者自身がブラインドで読みやすさを判定した結果には意外な点がある。最も読みやすいと評価された書き直しは主にSarashinaのものだったが、GPTはSarashinaの10問中9問を2回とも意味が変わったと判定した。敬語の部門では電話応対の課題で具体的なマナーの差が出た。Sarashinaは外部の通話者に対して「佐藤課長」と呼んだが、Opusは肩書を付けず「佐藤」とし、自分の上司を外部者に対して持ち上げないものだという説明まで添えた。漢字の読みは文脈依存の語で差が分かれ、Sarashinaは文中の手がかりがあっても辞書の最初の読みを答えがちだった。

著者はいくつかの限界を挙げている。SarashinaはminiモデルのみでAnthropicのほぼ最上位モデルと対戦したこと、元の40問のうち31問と別枠の書き直し5問はClaude Opus 5.5が作問したためOpusに有利かもしれないこと、要約の4作品は有名すぎて両モデルが記憶している可能性があること、GPTの意味判定は細かいため書き直しの点数は厳しさの閾値で変わりうること、各問は1回しか生成しておらず実行ごとのばらつきを測っていないことだ。こうした注意点から、数字は決定的な順位ではなく方向性を示すシグナルとして読むべきだ。