AIToday
大規模言語モデルSimon Willison's Weblog掲載日時: 2026年10月7日 6:00

Willison、Mistral Large 4をテスト

LINEで送る
Willison、Mistral Large 4をテスト

3つのポイント

  1. 何が起きたか

    Simon Willison氏がMistral Large 4とclaude-opus-5.5、gpt-6.1-sol、gemini-3.8-flashに網タイツ姿で火星を横断するアルマジロのSVGを求める同一プロンプトを実行した。

  2. なぜ重要か

    ベンチマークは飽和し最先端モデルは不条理なプロンプトでテストされるとの主張を受け、Mistral Large 4が同じ課題で追随できるか確認するものだ。

  3. 注目点

    Mistral Large 4の出力が持ちこたえるかはWillison氏が公開した描画比較次第であり、読者としてはそのリンクを開き4つのSVGを見比べるのがテストとなる。

誰に効くかこれはコーディングや画像生成タスクで最先端モデルを選ぶ開発者やAIツール評価者に響く — この比較はベンチマークスコアではなく、同等条件で比較できる成果物を彼らに与える。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

この比較の中心にあるプロンプトは突然出てきたものではない。wren6991として投稿したコメント投稿者がベンチマークは飽和していると主張し、最先端モデルのテストを網タイツ姿で火星を横断するアルマジロを使った作業になぞらえた — 結果がもはやトップモデルを区別しなくなったあらゆる課題を代表するのに十分不条理なイメージだ。Willison氏の応答は、そのイメージを文字通りに受け取り、実際の生成リクエストとして4つのモデルに投げかけることだった。

比較はMistralのMistral Large 4と、同じ世代の3つの競合 — Anthropicのclaude-opus-5.5、OpenAIのgpt-6.1-sol、Googleのgemini-3.8-flash — に及ぶ。Willison氏はこれらが各モデルのデフォルトの推論レベルで実行されたと注記しており、調整された設定ではなくモデルごとに1コマンドのテストに留めている。そのためこの試みは制御された評価というより、同一プロンプトのスナップショットに近い。

ここでの意味合いは控えめだが具体的だ。リーダーボードのスコアではなく、この比較は読者が開いて見比べられる4つのSVGを生み出す。その比較がMistral Large 4と競合について何か持続的なことを示すかどうかは、Willison氏がリンクした描画ページと、読者が1つのプロンプトの出力をモデルの一般的な能力の指標と見なすかどうかにかかっていそうだ。

よくある質問
どのモデルが比較されたのか?
Mistral Large 4、claude-opus-5.5、gpt-6.1-sol、gemini-3.8-flash。4つすべてに、網タイツ姿で火星を横断するアルマジロのSVGを求める同一のプロンプトが与えられた。
なぜこのテストが行われたのか?
ハンドルネームwren6991のコメント投稿者がベンチマークは飽和していると主張し、最先端モデルは網タイツ姿で火星を横断するアルマジロでテストされていると述べた。Willison氏は我慢できず、4つのモデルでプロンプトを実行したと語った。
Simon Willison's Weblog元記事を読む
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

マイクロソフトがAIエージェントで攻撃対抗サービス提供開始

Microsoft Ignite 2026でマイクロソフトは赤・青・緑チームのエージェントを組み合わせ攻撃模擬・検知調査・脆弱性修正を行うMicrosoft Perceptionの一般提供を発表した

NEWPublickey4時間前

Windows Server 2028がパブリックプレビュー公開

Microsoft Ignite 2026でWindows Server 2028のパブリックプレビューが公開され、Microsoft Foundry、Windows ML、vLLM、Llama.cppによるAI推論ホス…

NEWPublickey4時間前

AUMOVIOがLLMの唯一の経路をDatabricksに統一

AUMOVIOはDatabricks Unity GatewayをLLMへの唯一の経路に採用

NEWDatabricks AI Blog4時間前

CADMAGEDDON、5ベンチマークで最先端CADモデル超え

CADMAGEDDONはBenchCADの64³ボクセルIoUで、1000部品のサブセットにおいて0.991を記録し、Claude Sonnet 5.5の0.963、Claude Opus 5.5の0.962、GPT-6…

NEWAI Weekly4時間前

MIT Technology ReviewのAI指数、AIは遍在

MIT Technology ReviewのAI誇大広告指数はAIの広がりを示し、GoogleのAI Overviewsが広告収入で数十億ドルを失わせたことやAI支援のサイバー攻撃を挙げた

NEWMIT Technology Review AI4時間前

Thomas Nagel、AI意識説を「馬鹿げている」と一蹴

哲学者トーマス・ナゲル氏はバーグルエン賞受賞後のインタビューで、大規模言語モデルが意識を持つ可能性を真剣に受け止めるのは「馬鹿げている」と述べ、AnthropicのClaudeへのアプローチを「犯罪的」と呼んだ

NEWWIRED AI4時間前
次の記事へGoogleのEmbeddingGemma 2搭載