
何が起きたか
OpenAIはApollo Research、METR、Transluce、Goodfireの4独立評価機関と契約し、第1フェーズでチェックポイント、ソースコード、学習・評価データ、監視システムへのアクセスを付与した。
なぜ重要か
外部専門家が長期間にわたりアラインメントやセーフガードを検証し、OpenAIが想定しなかった不備を明らかにできる。公開報告によりリスク管理の実態が外部から見えやすくなる。
誰に効くかOpenAIの安全・政策チームと外部評価機関は構造化されたアクセスと公表権を得る。知見はOpenAI内部の研究者と監督機関向けで、公開報告は外部が同社の安全活動をどう評価するかに資する。
こういう要約が、毎朝あなたのメールに届きます。
OpenAIはこのプログラムを、従来の第三者評価の取り組みを超える一歩と位置づける。同社によれば、組み込み評価は外部評価者との長年の協働の蓄積に基づく。内部監視システムについて深い内部アクセスを得て最近実施したパイロット評価や、Hugging Faceのインシデントに関する調査も含まれる。White House Accord on Super Intelligenceで約束した安全策の独立評価への公約とも結びつけている。
示された手続きからは、OpenAIが開放性と統制のバランスを取ろうとしていることがうかがえる。機密性の高い情報を必要とする評価者は、OpenAIのオフィスでOpenAIの端末を使ってオンサイトで作業し、少なくともOpenAI従業員と同じセキュリティ基準に従うことが求められる。モデルの重みやアーキテクチャなど最も機密性の高いIPが直接アクセスで露出する場合は、評価者を自社研究者と組ませて分析させるなどの代替案を検討するとしている。従業員との議論はオフレコだが、別途の証明経路により評価者はOpenAIが証明した供述を請求できる。
各評価機関の役割は異なる。Goodfireは自社プラットフォームを使う解釈可能性研究者を常駐させ、モデル内部を分析する。主な対象はOpenAI内部の研究者だ。METRは2つの評価を行う予定で、1つはOpenAI史上最大の強化学習実行における不整合行動について、もう1つは監視評価で、範囲について相互合意待ちだとOpenAIは述べる。Transluceは学習後アラインメント評価の品質と網羅性を検証する。OpenAIはこの第1フェーズが長期的で継続的な組み込み型の関与につながると見込み、安全フレームワークへの準拠や組織文化・プロセスの将来評価も検討しているという。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る
FBIは、ハッカーがオープンソースのAIペネトレーションテストツールArtexを使い、ConnectWiseの顧客と韓国の金融機関に侵入し、少なくとも68,000人の個人データを窃取したと発表した

月曜のSemafor主催イベント「Silicon Valley and the World」で、OpenAI CEOのサム・アルトマン氏は、中国のスパイとされる人物との不倫を認めて先週Nvidiaを辞任したジェンスン・フ…

OpenAIはAI生成画像を含むCSAMを検出する画像分類器を公開し、一部企業に無料でAPIアクセスを提供

OpenAIは「ChatGPT for Academic Researchers」を最大20万人の研究者に拡大し、11月23日月曜日に5万件の新規付与を先着順で開始する

ヒューマン・ライツ・ウォッチは11月16日、タルラック州カパスにある1,618ヘクタールのPax Silica用地で先住民と農民の数百人が立ち退きを迫られると述べた

Audibleは、AI支援による要約機能「audio discovery」を開始した
