SonicMoove森本氏、AI生成を警告

この記事は、SonicMooveのフロントエンドエンジニアy.morimoto氏が、既存実装からAIにテストを書かせてみたところ当初は見事な出力に感心した、という現場の記録から書かれている。問題はより注意深くレビューした後に表面化した。多くのテストが、どの品質を保証しているのかもはや明確でなくなっていたのだ。記事はこれを、AIはテストを大量生産するのは得意だが、どこで何を保証するかの設計は苦手だと論じた以前の文章、およびAIが生むのはテストであり信頼ではないという第二の主張と結びつけている。

実践的な枠組みは、y.morimoto氏が参加したQAとテスト自動化の勉強会から来ている。そこでは複数の企業が、品質を保ちながらAIを使うという同じ課題を語ったという。それらの会合を通じて強調されていたのは、役割分担——人間がテスト観点を決める——よりも、人間が何を入力として用意するかであった。AIが説明可能なテストを書けるよう、仕様や参照ドキュメント、構造化されたシナリオを準備することだ。記事は三つの施策を挙げている。まず人間がテスト可能な状態を確立すること、AIが起草したテスト仕様を対話でレビューすること、上流ドキュメントをAIが読めるようにすることだ。

述べられている思考の変化とは、従来は早期のテスト計画と設計が手戻りコスト削減によって正当化されていたが、AIがテストを安価に書く今、AIに与える入力の精度がテスト全体の品質を左右するようになった、というものだ。これが実践で成り立つかは、チームがどれだけ早く観点を確定できるか、そして人間をループに留め続けられるかにかかっていそうだ。QAやエンジニアリングのリードにとっての試金石は、自らの仕様ドキュメントが実際にAIが読み推論できる状態にあるかどうかである。