First Orion、Amazon Nova Actで QAサイクルを20～25%削減

2008年に設立され、現在 300 人以上のチームメンバーを North Little Rock、Seattle、London、Dubai のオフィスで展開する First Orion は、米国、カナダ、英国、ドイツの通信キャリア向けに数億件の電話に到達するブランド通信企業である。製品スイートは INFORM ブランド通話、ENRICH ブランドメッセージング、AFFIRM 番号監視、SENTRY 通話ブロッキング、PROTECT+ リスク検出を含む。市場リーチを拡大し、各チームが製品別アプリケーションを所有する分散型セルベースアーキテクチャへ移行するにつれ、QA テストのスコープが増加した。デバイスの形状とブラウザバージョンが増殖し、テストカバレッジは開発速度に追いつくことができなかった。

既存の自動化フレームワークを妨げた 3 つの具体的な問題があった。第 1 に、リグレッションテストはセルフサービスではなく、開発者はテスト環境にシップする前にテストを実行する簡単な方法が必要だったが、既存のテストケースは広範な依存関係を持ち、脆弱でオンデマンド実行が困難だった。第 2 に、新機能はテストケースギャップに苦しんでいた。QA 自動化エンジニアは機能がテスト環境にデプロイされるまで、テストを書くために必要な DOM セレクタとラベルを特定するのを待つ必要があり、QA アナリストが待っている間にコンテキストスイッチを強制され、機能が迅速に出荷されるにつれて認知負荷が増加した。第 3 に、テストスクリプト自体は脆弱だった。要素 ID、CSS クラス、JavaScript 属性はエンジニアが修正するより速く変更され、従来の Selenium と Playwright 自動化はリリースサイクルについていく能力がなかった。

2025年3月に Amazon のアカウントチームが First Orion に Amazon Nova Act を紹介した際、First Orion はプリリースアダプタになった。UI をナビゲートする方法を記述するコードを記述する代わりに、Nova Act により QA アナリストはプレーンテキストで何をテストするかを説明でき、例えば「ポータルにログイン、請求へ移動、請求書合計を確認」と、エージェントが現在の UI 状態を推論し、要素を特定し、複数ステップのシーケンスを自律的に実行する。Selenium と Playwright とは異なり、Nova Act は固定セレクタに依存しない。ラベル、レイアウト、コンテキストについて推論するため、「送信ボタンをクリック」といったコマンドは基礎となる CSS クラスに関わらず機能する。モデルはページレイアウトの変更に適応し、動的コンテンツを処理し、ポップアップを却下し、人間の介入なしにエラーから回復する。

First Orion はテストケース作成用の React フロントエンド、テストストレージ用の Amazon S3、オーケストレーション用の Amazon ECS と AWS Fargate、マネージドブラウザプロビジョニングとセッションレコーディング用の Amazon Bedrock AgentCore ブラウザを統合する Nova Act SDK とエンドツーエンドシステムを構築した。QA アナリストは React UI を通じてプレーンテキストでテストケースを閲覧、作成、編集、検証する。カスタムテンプレートエンジンは電話番号やメールアドレスのような動的変数を処理し、同じテストコレクションが実行のたびに一意の現実的なデータを生成する。QA アナリストがテストをトリガすると、Nova Act テストランナーが S3 からテストケースをピックアップし、ブラウザ操作を AgentCore ブラウザに委譲し、ターゲットアプリケーションの認証フローを変更することなく MFA を処理する。結果は Allure レポートダッシュボードに流れ込み Microsoft Teams 統合があり、AgentCore はセッションレコーディングとビデオリプレイを提供し、レポートに直接リンクされる。

結果は大きかった。対応シナリオのテストケース定義から自動実行までのターンアラウンドが数日から数分に短縮された。これは以前 QA 自動化エンジニアが DOM セレクタを手動で特定し、スクリプトを記述し、脆弱なセレクタをデバッグし、数日にわたって反復する必要があったプロセスである。First Orion は特定のテストタイプで QA サイクルを 20～25 パーセント削減し、Nova Act により IT 部門時間の 25～30 パーセントの削減を見込んでおり、機能間のコンテキストスイッチを減らしている。以前 QA をサポートするために必要だった IT 部門容量は、機能エンジニアリングと価値創造へ転用されている。カバレッジが追加のアプリケーションモジュールに拡大するにつれ、First Orion はさらなる効率向上を期待している。