Amazon Payments、転換率を一桁台に

この記事は取り組みを2段構えの問題の後半と位置づける。先行記事ではAmazon Bedrock上の生成AIを使い、ブランドガイドラインの範囲内でパーソナライズコンテンツを大規模に制作する方法を扱った。その制作上の制約が外れると、より難しい問いは選別になる。多数の候補バリエーションのうち各訪問者にどれを見せるか、そしてどれだけ早く学習できるかだ。Amazon Paymentsがコンテキスト型バンディットを選んだのは、手作業で定義したセグメントではなく行動シグナルを条件とするためで、ある文脈で学んだパターンが各グループに別々のトラフィックを要さず類似の訪問に転移する。

チームが最も強調する設計上の選択は多目的化だ。顧客ジャーニーには申請開始、提出、承認の3段階があり、1つだけを最適化すると別が悪化し得る。彼らはこれをシーソー問題と呼ぶ。段階ごとに1つのLinUCBモデルを動かし、そのUCBスコアをほぼ等しい重みで統合する定式化だけが、3段階すべてで推定値を同時に非負に保てた。週次のSageMaker AI ProcessingジョブがAmazon S3から読み、レコメンドをキーバリューストアに公開するバッチ構成は、承認フィードバックの遅延性に合う。承認は数日遅れ、後のサイクルまで保留される。

A/Bテストの結果は二分された。一方の集団では最終段階が相対で高めの一桁台％向上し、もう一方では改善がなく、承認に統計的に有意な悪化が出た。チームの見立ては、モデルが広く探索しても勝ちアームが見つからなかったというもので、アルゴリズムではなくコンテンツプールが制約だと指す。実務上の焦点はコンテンツパイプラインの担当者にある。精査済みの画像やタグラインが少なすぎれば、バンディットは静的ページを上回る組み合わせがないと確認するだけだ。この手法が最も報われるのは、生成パイプラインなどでプールを広げ更新できるチームかもしれない。既存体験を1つのアームとして残せば、大きく後退することもない。