AWSガイド、偏りで不正検知ゼロ警告

AWS Certified AI Practitionerのガイドは、試験合格を目指す非エンジニア向けであり、だからこそ数学よりも具体的な失敗モードに多くの紙幅を割いている。鍵となるのは不正検知の例だ。精度99%というスコアが、モデルが不正を1件も検知していない事実を完全に覆い隠し得ることを示している。そこからガイドはprecision、recall、F1を紹介し、偏ったデータでは複数の数値が必要な理由を読者に伝える。

同じテーマが生成AIのセクションにも流れている。ガイドはハルシネーション、プロンプトインジェクション、機密情報の漏えいなどのリスクを挙げ、フィルタリングとマスキングのサービスとしてAmazon Bedrock Guardrailsを挙げている。深掘りではなく管理策の一覧であり、本当の試練は、読者が練習問題で各リスクを適切なツールに対応付けられるかどうかだ。

その意味で、このガイドの価値は、指標と管理策を試験シナリオにどれだけ結び付けられるかにかかっている。正確な定義よりも、指標がいつ誤解を招くか、どのガードレールが適用されるかを認識できることの方が重要であり、だからこそ実例に大きく依存しているのだろう。