Wisoraの回答、古い資料に依拠

この解説は意図的に狭いテストを軸にしている。チーム自身が答えを検証できる1つの質問だ。「PDFの登録方法は？」を選び、SORACOMの自社サービスとドキュメントページでWisoraを学習させたことで、Makoto Yazaki氏は期待される答えが既に分かっている状況を用意した。そのため、ボットが現行仕様ではなく過去の更新通知にあった25MBという上限を引用したとき、食い違いがすぐに見つかった。

この例に実用的な重みを与えているのは、その後の確認の手順だ。Wisoraの検証チャットはどの資料が使われたかを示すため、チームは誤った数字を古い通知までたどり、現在の仕様を説明する内容を追加するか、過去の更新を学習対象に含めるべきか見直すかを決められた。推奨される手順には、正しい回答と誤った回答を並べて見直すことや、ボット対応と人対応に質問を振り分けることも含まれる。難しい質問が1つあるだけで、ボットが既にうまく扱えている問い合わせへの目が向かなくなるからだ。