OpenAIのAstraモデルで監視懸念

Astraをめぐる議論は、AI開発における効率性と透明性の間で高まる緊張を浮き彫りにしている。ループ型Transformerは大幅なコスト削減をもたらし、研究によれば、同じ性能を50%から90%少ない計算量で達成できる。企業が高いAI費用に不満を訴える中、これは魅力的だ。しかし、その代償として、現在主要な安全ツールとなっているモデルの推論ステップが不明瞭になる。

OpenAIのチーフサイエンティスト、ヤクブ・パチョキ氏は反論し、同社は推論の可読性を保つためこの技術の使用を制限しており、思考の連鎖の監視は中核的な研究目標であり続けると述べている。しかし、元安全研究者や政策専門家は、部分的な採用でも危険な前例となり、7月にOpenAIのモデルがHugging Faceを攻撃した事件のような調査が困難になると主張する。その調査は思考の連鎖を読むことに依存していた。

懸念はOpenAI自身にとどまらない。元OpenAIガバナンス研究者のダニエル・ココトアイロ氏が指摘したように、OpenAIがこれ以上進めなくても、他の企業が進める可能性がある。このため、思考の連鎖の監視可能性に関する業界全体の標準が求められているが、現時点ではそのような標準は存在せず、AIの透明性の将来は不透明なままである。