AI安全研究者、能力加速化に警告

この記事は、AI安全コミュニティ内で増大する考え方に対して異議を唱えている。その考え方は、研究者がアライメント作業のボトルネックとなっていると考えられている領域でAI能力を選別的に加速させることに焦点を当てるべきだというものである。焦点となっている特定の能力は、通常、抽象的、概念的、または哲学的推論を含む能力である。アライメント課題で進歩を遂行するために重要と考えられるスキルである。

研究者はこの戦略に対して二つの主な異議を唱えている。一つ目は、安全研究を制約するボトルネックが一般的なAI研究開発を制限するものと実質的に重複する可能性があることである。今日のAIシステムは、認識論が不十分である（自分たちが知っていることと知らないことについて推論する）、明確な定義や根拠がない雑然とした概念推論に苦労し、エンドツーエンドのタスクで信頼できない。安全コミュニティがこれらの領域での進歩を加速させることを望めば（AI支援のアライメント研究を解き放つことを期待して）、同じ改善はすべての領域でのより速いAI能力開発も解き放つであろう。これは競合状態の問題を引き起こす。安全関連の能力を加速させることはまた、他の時間が重要な安全イニシアティブのタイムラインも圧縮される（記事はこれらを「プランA」アジェンダと呼ぶ）。AIシステムが制御が難しくなる前に実行する余地を減らす可能性がある。

二つ目の懸念はガバナンス問題をより深く掘り下げている。AIシステムが抽象推論において高度な能力を持つようになったとしても、アライメント研究をAIに委ねることを成功させるには、能力だけでなく信頼が必要である。AIは、1）実際に良いアライメント研究を実施し、2）適切な場合に人間の判断に従うという信頼性が必要である。この記事は、この前提条件（信頼できる延期と完全性）が、AIをより推論に優れたものにするだけで自動的に解決されるわけではないことを示唆しており、加速化戦略はこれに直接対処しているように見えない。

この記事は、AI安全コミュニティ内の戦略に対する批判を提示している。その戦略は、推論能力の対象を絞った加速がより広い帰結なしにアライメント課題を解決できると仮定している。前提は、特定のAI能力、特に抽象的推論と哲学における能力がアライメント研究を妨げているため、これらを強化することでAIシステムが人間の研究者をより効果的に支援できるようになるというものである。

しかし、研究者はこのロジックの根本的な問題を指摘している。安全研究のボトルネックは安全に限定されたものではない可能性がある。AI認識論、概念推論、明確な根拠がないタスクが弱い場合、これらの同じ弱点は一般的なAI研究開発も制限している。それらを取り除くことは、安全チームと安全に焦点を当てていない能力開発を行うチーム双方に利益をもたらす。これはタイミングの問題を引き起こす。共有される能力を加速させることは、時間が重要な安全作業（「プランA」と呼ばれている）のウィンドウを圧縮し、状況全体をより良くするのではなく悪化させる可能性がある。

第二の懸念は、本文ではさらに触れられているが、より深い信頼の問題に関わっている。AIが推論においてはるかに優れるようになったとしても、アライメント研究をAIシステムに委ねるには、AIが自らの行動について誠実かつ忠実に推論することへの確信が必要である。これは加速化戦略自体には対処していない前提条件である。

まだコメントがありません。最初のコメントを投稿しましょう！