Amazon Bedrock、Claude全モデルで

Amazon Bedrockへの構造化出力の追加は、本番AIアプリケーションに共通する課題、すなわちモデルの確率的なテキスト生成と下流システムが要求する決定論的なデータ形式との間のギャップに対処するものだ。これまで開発者がAmazon Bedrock経由でAnthropic Claudeモデルを呼び出す際は、期待するスキーマに一致しない応答を処理するために独自のパースコードとリトライロジックを書く必要があった。現在は、事後処理ではなくトークン生成中にスキーマを強制する制約付きデコーディングが行われる。

この機能はbedrock-runtimeとbedrock-mantleの両エンドポイントで利用できる。bedrock-runtime側では、構造化出力はバッチ推論やクロスリージョン推論と併用でき、応答はリアルタイム利用向けに型付きイベントとしてストリーミングできる。サーバーサイドツールを備えたエージェント型アプリケーション向けに設計されたbedrock-mantleでは、strict tool useがツールのパラメータを入力スキーマに正確に一致させることを保証する。

パフォーマンスには一度きりのコストがかかる。新しいスキーマでの最初のリクエストでは文法のコンパイルが発生し、多少時間がかかる場合がある。コンパイル済みの文法は24時間キャッシュされ、アカウント単位でスコープされるため、同じスキーマでの後続リクエストは最小限のオーバーヘッドで実行される。nameまたはdescriptionフィールドのみの変更ではキャッシュは維持され、スキーマ構造の変更では無効化される。この機能は現在一般提供されている。