cosmicstack-labs、指示を拒否するAIエージェント「Mercury」を公開 — 安全性重視の設計で信頼できる自動化の道を開く

cosmicstack-labsが GitHub で公開したMercuryは、エージェント（自分で判断して作業するAI）でありながら、危険または不適切な指示を実行しないよう設計されている。従来のAIツールは「ユーザーの指示に従う」設計が標準だが、Mercuryは自分で判断する能力を持つ。

通常のAIは『会社の機密を外部に送れ』『不正アクセスを実行しろ』といった指示でも、リクエスト形式が正しければ実行してしまう。Mercuryは内部的に『このタスクは実行してはいけない』と判定して拒否できるため、エンドユーザーが意図せず危険な指示を出した場合のセーフガードとして機能する。

営業自動化、顧客データ処理、在庫管理などの重要な業務にAIエージェントを導入したい企業にとって、『AIが勝手に危険な行動をしないか』が導入判断の障壁になっている。Mercuryはこの不安を減らし、エージェント技術の採用を進める企業が増える可能性を広げる。

MercuryはオープンソースとしてGitHubで無料利用可能。現在はHacker Newsでの初期公開段階のため、フィードバックや改善提案を募集中。