Crawl4AIでWebページをBedrock

このガイドはCrawl4AIを、AWSのマネージドWebコネクタの代替ではなく、Amazon Bedrock Knowledge Basesの上流に置く任意の前処理レイヤーとして位置づけている。

ワークフローはスケジュールで実行される。Amazon EventBridgeがAWS Fargateタスクを起動し、タスクが公開サイトをクロールしてMarkdownとメタデータのサイドカーをAmazon S3に書き込み、その後インジェストジョブを開始する。Crawl4AIの役割はこれらのファイルがS3に置かれた時点で終わり、そこから先はAmazon Bedrock Knowledge Basesがパース、チャンク分割、埋め込み、インデックス作成、検索を担う。

サンプルは自らの限界も明示している。再試行ポリシー、デッドレターキュー、アラームは追加されておらず、インジェストジョブは一部のドキュメントが失敗してもCOMPLETEと報告されることがある。アップロードは追加式のため、クロール設定からURLを削除しても既存のS3オブジェクトは削除されない。このパターンを本番導入するチームは、監視と古いコンテンツのクリーンアップ処理を追加する必要がある。