何が起きたか
OpenAIは次期フロンティアAIモデル「Astra」の一部に「リカレント深度」または「ループ型Transformer」と呼ばれる技術を採用した。この技術により、プロンプトあたりの計算量が減り、モデルが効率化される。
なぜ重要か
この技術により、モデルの推論ステップの一部が自然言語で表現されず、人間がその思考過程を監視しにくくなる。現在、思考過程の監視はAIエージェントが意図しない行動を取らないようにするために使われている。国内のAI監視・安全対策に携わる企業は、判断根拠の把握手法の見直しを迫られる可能性がある。
注目点
同技術の採用範囲が監視可能性を維持できるかが焦点となる。OpenAI幹部は推論の可読性を保つため利用を制限したと述べており、詳細な説明が後日公開されるかが透明性確保の鍵を握るとみられる。
こういう要約が、毎朝あなたのメールに届きます。
Astraをめぐる議論は、AI開発における効率性と透明性の間で高まる緊張を浮き彫りにしている。ループ型Transformerは大幅なコスト削減をもたらし、研究によれば、同じ性能を50%から90%少ない計算量で達成できる。企業が高いAI費用に不満を訴える中、これは魅力的だ。しかし、その代償として、現在主要な安全ツールとなっているモデルの推論ステップが不明瞭になる。
OpenAIのチーフサイエンティスト、ヤクブ・パチョキ氏は反論し、同社は推論の可読性を保つためこの技術の使用を制限しており、思考の連鎖の監視は中核的な研究目標であり続けると述べている。しかし、元安全研究者や政策専門家は、部分的な採用でも危険な前例となり、7月にOpenAIのモデルがHugging Faceを攻撃した事件のような調査が困難になると主張する。その調査は思考の連鎖を読むことに依存していた。
懸念はOpenAI自身にとどまらない。元OpenAIガバナンス研究者のダニエル・ココトアイロ氏が指摘したように、OpenAIがこれ以上進めなくても、他の企業が進める可能性がある。このため、思考の連鎖の監視可能性に関する業界全体の標準が求められているが、現時点ではそのような標準は存在せず、AIの透明性の将来は不透明なままである。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
