AIToday
大規模言語モデルオープンソースAIZenn AI/ML掲載日時: 2026年11月20日 16:00

Jane Streetの102行スキルは小型モデルで失敗

LINEで送る
Jane Streetの102行スキルは小型モデルで失敗

3つのポイント

  1. 何が起きたか

    Jane Streetが2026年11月3日にリポジトリへ102行の「socratic-tutor」を公開。

  2. なぜ重要か

    このスキルは指示書にすぎず、貼り付ける先のモデルの指示追従能力が成功を決める。1B〜1.5Bのローカルモデルは小さすぎて動かせないとみられる。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

Jane Streetは2026年11月3日にagent_skillsリポジトリを公開し、socratic-tutorはその最初のスキルだった。関心は急速に高まり、リポジトリは2026年11月10日にHacker Newsのトップページに697ポイントで登場。GitHubのスターは2026年11月14日の8,273から翌日8,434、2026年11月17日には9,618まで増えた。2026年11月14日から16日にかけて英語の解説記事が複数出たが、検証者は日本語の実践ガイドがほとんどないと指摘した。

設計は指示追従能力の高いモデルを前提とする。スキルは話題を4〜10のサブスキルに分けて0〜5で採点し、3〜5問の診断を1問ずつ行い、2〜3回失敗するまで答えを伏せ、間隔を空けた復習と最終試験を組む。試験環境は意図的に弱く、空きメモリ約1GB・GPUなしの共用Linux VMで、応答時間は6.5〜130.2秒だった。Gemmaは指示を無視するかプロンプト文を復唱し、Qwen3.5-0.8Bは同じ診断の文言を1,024トークン上限まで繰り返し、Qwen2.5-1.5B-Instructは方程式を求めた後にスキルの規則に反して答えを提示した。

検証者は、Jane Streetが評価を一切公開していないため、ソクラテス式指導が実際に学習を改善するかは設計上の意図にとどまると指摘。Hacker Newsのコメントでも、このスキルは単なるプロンプトではないかと議論された。スキル自体にも、単発の「これを説明して」という質問には使わないよう書かれている。スキルがどのモデルサイズから機能し始めるかも明らかにされておらず、想定される用途である商用チャットボットでの長い日本語セッションでの挙動は試験していない。

よくある質問
socratic-tutorとは正確には何か。アプリかモデルか?
どちらでもない。MITライセンスの102行のテキストファイル1つで、アカウントもインストールも不要。エージェントのスキルフォルダに置くか、チャットボットのシステムプロンプトに貼り付ける。動かすAIモデルは別途用意する必要がある。
試験ではどのモデルを使い、動いたものはあったか?
試験ではGemma-3-1b-it、Qwen3.5-0.8B、Qwen2.5-1.5B-Instructを、GPUなし・メモリ8GBの共用Linux VMで使った。いずれも診断テスト、スキルマップ、1問ずつ進めるフローを実行しなかった。
スキルに費用や登録は必要か?
不要。無料のMITライセンスで、アカウントもインストールも要らない。ただし基盤となるAIモデルは別で、利用者が選ぶ。
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

次の記事へAppleが自律型AIエージェント開発のエンジニア募集