AIが誤った設定提示もtfstylus開発者が苦労を公開

tfstylusの記事は、Terraformコードを整える小さなツールをAIの支援を受けながら作った体験を一人称でつづったものだ。goreleaserのHomebrew caskパラメーターに関する幻覚の問題に加え、開発者はより広い傾向を描写している。話題に不慣れなうちはAIの提案をそのまま受け入れることが多かったが、理解が深まるにつれて懐疑的になり、手作業で引き継いで時間を浪費することもあった。遅れて見つけた実践的な対処法の一つは、テストには手を付けずAIには実装内容だけを修正させることだった。同僚と違い、AIには感情的コストなしに何度でもやり直しを頼めるからだ。

リリース側は遅かった。開発者はgoreleaserやHomebrewを直接扱った経験がなく、ビルド環境のバージョン変更でlintが3日間通らなくなった。開発者はこの一因を最新バージョンに留まりたい志向に求め、安定性が重要な場合はやや古いバージョンに固定するのも合理的な戦略かもしれないと述べている。

開発者の主な結論は、AIの知識は既存の集合知にすぎないため、最新に留まろうとすると幻覚を招き、1バージョン下げる方が楽な場合があるということだ。また最も難しかったのは心理面かもしれないとも述べる。AIの速度は開発者をAIのペースのスケジュールへと押しやり、あえて人間のペースの思考に戻すことが本当の課題だったという。