どうやって使いますか？

pip install後、YAMLでテストケースを定義し、agentcheck run tests.yaml で実行。エージェントはCLIコマンドまたはPython関数として指定でき、出力をLLMが合否判定する。GitHub Actionsに組み込めばPR時に自動検証される。

ベースラインとの比較とは何ですか？

--baseline 引数で過去の実行結果と比較し、テストが改善・回帰・新規・削除のいずれかを分類。PR時にはコメントで「2件改善、1件回帰」といった差分を表示でき、変更の影響を一目で判定できる。

大規模言語モデルAIコーディングオープンソースAIHacker News2日前2026年8月22日 6:003分で読める

AgentCheck、AIエージェント向け回帰テストツール公開

LINEで送る

要点

AgentCheckはAIエージェント向けの軽量な回帰テストツール。
YAMLで期待動作を定義してCIで実行し、LLMが結果を自動判定する。
本番前チェックをGitHub Actionsで5分で導入でき、プロンプト変更や設定変更の影響を素早く検出できる点が特徴。

3つのポイント

何が起きたか
AgentCheckはAIエージェントの動作を自動検証するCIツール。YAMLで期待動作を定義し、CLIコマンドまたはHTTPエンドポイントとして動作するエージェントに対して実行、LLMが合否を判定する。GitHub Actionsで動くpytestのような軽量な前デプロイチェックを目指す。
なぜ重要か
観測・評価プラットフォーム（Langfuse、Braintrust、Arizeら）は過去1年で50～80M ドルの資金調達を実施し、本番環境のエージェント監視に集中している。これらは複雑で営業駆動だが、ソロ開発者が5分で導入できるGit連携の回帰テストスイートはほぼ誰も作っていない状況。AgentCheckはこの隙間を埋める。AIエージェントを開発する日本の開発者は、本番前の軽量な自動検証ツールの導入により、プロンプト変更やモデル更新時の意図しない動作破壊を低コストで検出できる可能性がある。
注目点
PR時に「ベースライン比でn件改善、m件回帰」をコメント自動投稿する機能を搭載。テスト結果をJSON出力して過去実行と比較し、プロンプト変更やモデルアップグレード時の意図しない動作破壊を検出する。MITライセンスでオープンソース。

この記事についてAIに質問する →

こういう要約が、毎朝あなたのメールに届きます。

こうしたAIニュースを毎朝無料で受け取る LINEで友だち追加して受け取る

背景と解説

観測プラットフォーム市場は過去1年で50～80M ドル規模の大型資金調達が相次ぎ、本番環境のエージェント監視という高機能な領域に競争が集中している。これに対しAgentCheckは意図的に狭い範囲に特化した設計を採る。デプロイ前の軽量な回帰テストに絞り込み、ソロ開発者がGitHub Actionsで5分で導入できるツールを目指す。開発者がMLOps完全プラットフォームを望む前に、ローカル開発環節での簡単なチェックが不足している点に着目した戦略。

ロードマップは段階的で、初週は実装完了とドッグフード化、2週目にオープンソース化し、Reddit・Discord・Hacker Newsなど開発者コミュニティでの発見に注力する。3～4週目に利用者の要望（ダッシュボード・Slack連携・フレームワーク統合など）を追加し、その後初めて有料ホスト版を検討する。競争の多い観測プラットフォーム市場との直接競争を避け、「高速で Git ネイティブな回帰テスト」という単一の仕事での深さを優先する方針。

よくある質問

どうやって使いますか？: pip install後、YAMLでテストケースを定義し、agentcheck run tests.yaml で実行。エージェントはCLIコマンドまたはPython関数として指定でき、出力をLLMが合否判定する。GitHub Actionsに組み込めばPR時に自動検証される。
ベースラインとの比較とは何ですか？: --baseline 引数で過去の実行結果と比較し、テストが改善・回帰・新規・削除のいずれかを分類。PR時にはコメントで「2件改善、1件回帰」といった差分を表示でき、変更の影響を一目で判定できる。

Hacker News元記事を読む