← 記事一覧に戻る
大規模言語モデルAIコーディング

Developer builds open-source CLI to test whether SDKs work well with AI agents

Hacker News · 2026年4月28日

AI要約

  • •A new Apache 2.0 licensed CLI tool lets developers create test suites to verify if their SDKs are compatible with agentic AI systems. Test suites can be created manually or by an AI agent based on source code and documentation.
  • •The tool dispatches sandboxed agents to attempt each test, then grades results using a separate Judge Agent. Test-taker agents access only public information (guides, blogs, package metadata), while Judge agents can also access private information (source code, internal documents) to evaluate performance.
  • •The CLI provides commands for the full workflow—generating, evaluating, and reporting on test suites—plus a local Web UI for inspecting results and editing test cases. Sandboxing ensures host machine secrets are not exposed and egress HTTP requests are monitored to prevent proprietary IP leakage.
  • •Available on GitHub at https://github.com/PSPDFKit-labs/agentic-usability
元記事を読む

関連記事

大規模言語モデル

Ombre, an open source AI infrastructure layer, launched to run locally with eight automated agents

Hacker News·2026年4月28日
Yann LeCun：LLMは限界に近づいており、より優れたAIが来ると述べる
大規模言語モデル

Yann LeCun：LLMは限界に近づいており、より優れたAIが来ると述べる

Hacker News·2026年4月28日
開発者向けガイド『AI エージェントの効果的なコンテキスト・エンジニアリング』が公開
大規模言語モデル

開発者向けガイド『AI エージェントの効果的なコンテキスト・エンジニアリング』が公開

Hacker News·2026年4月28日
NARE: 推論をメモリと実行可能なルールに償却するLLMエージェント
大規模言語モデル

NARE: 推論をメモリと実行可能なルールに償却するLLMエージェント

Hacker News·2026年4月28日
大規模言語モデル

Researcher trains small LLM on pre-1900 text to test whether it can derive quantum mechanics and relativity from experimental observations

Hacker News·2026年4月28日

AIニュースを毎日お届け

200以上のソースから厳選したAIニュースを毎日無料でお届けします。

無料で始める