Claudeが求人票145件の人物像を分析、最多はデータ分析経験

このプロジェクトは実務的な不満から始まった。著者はデータサイエンティスト職が実際にどんな特性を求めているのか分からず、既存のネット記事も根拠が不明瞭で信頼しにくいと感じていた。全求人を手作業で読むのは大規模には不可能なため、大規模言語モデルで自由記述の「求める人物像」欄から構造化要素——ラベル、種類（スキル・経験・姿勢）、強度（必須・歓迎・不明）——を抽出するパイプラインを構築した。

こうしたテキストに付きまとう問題が表現の揺れだ。「自ら動ける」と「主体的に行動できる」は同じ意味でも別の文字列になる。ラベルを埋め込みに変換しコサイン距離でクラスタリングすればこうした揺れを統合できるはずだったが、結果は部分的にしか機能しなかった。最大のクラスタだけで196ラベルを抱え、データ分析の専門性、資料作成スキル、さらにはデータサイエンティストへの関心まで含まれていた——閾値0.35と平均リンク法が粗すぎた兆候だ。逆に357クラスタのうち136は求人1件のみで、一部の揺れが分離したまま残ったことを示す。

著者はスキル系と姿勢系グループの必須率の差について過度な主張を避け、差異の原因はまだ特定できていないと述べている。次のステップは閾値の比較とHDBSCANの実行だが、HDBSCANでは1回限りのラベルが集計から除外されるというトレードオフがあると著者はあらかじめ断っている。