AIToday
大規模言語モデルAI安全性・アラインメントオープンソースAIMIT Technology Review AI掲載日時: 2026年10月13日 22:00

オープンAIモデルのリスク巡り議論

LINEで送る
オープンAIモデルのリスク巡り議論

3つのポイント

  1. 何が起きたか

    Anthropicは、中国企業Z.aiが8月に公開したGLM-5.3について、誰でも自由にダウンロードして改変できるため大規模なサイバー攻撃リスクがあると主張する報告書を公表した。

  2. なぜ重要か

    オープンモデルにはプロンプトの安全確認フィルターもアクセス取消手段もない。報告書の警告はフロンティアラボの安全担当チームや政策立案者に重くのしかかる。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

この報告書は、以前から公になっている争いの最中に打ち出された。オープンモデルを動かすハードウェアを買い続ける人が増えれば利益を得るNvidiaのCEO、Jensen Huangは米国がオープンモデルをもっと開発すべきだと主張する。一方、安価で高性能な代替品に自社のクローズドモデル事業が脅かされ得るAnthropicのDario Amodeiはより慎重な立場を取る。こうした商業的な利害に加え、専門家がAIそのものをどう捉えるかの下流にあると語る、実質的な意見の対立もある。

現在はクローズドモデルが優位に立つ。Artificial AnalysisのLLMリーダーボードの上位8モデルはすべてクローズドだ。だがオープンモデルは数カ月遅れているにすぎない。クローズドモデルに適用される防御策であるフィルターやアカウント停止は、ダウンロードしたモデルには付いてこない。だからこそ議論は、オール・オア・ナッシングの枠組みから、リスクを減らすための手法へと移ってきた。悪質な行為を取り除いたデータでモデルを訓練することや、再訓練に耐えるモデルを構築することが含まれるが、最近のプレプリントは、現在の改ざん耐性手法で、あらゆる攻撃に耐えられるものはないと報告している。

利点も、最初に見えるほど単純ではない。オープンウェイトは完全なオープン性ではなく最低限のものと説明され、手頃なチップがなければウェイトを動かすことすらできない。何人かの専門家は、モデルをクローズドで始め、安全性が確保されるにつれて公開していく段階的リリースを、安全性と権力の分散というトレードオフを保つ方法として挙げている。

よくある質問
GLM-5.3とは何で、誰が公開したのか。
GLM-5.3は、中国企業Z.aiが8月に公開した高性能なオープンモデル。誰でも自由にダウンロードして改変できる。
なぜオープンモデルはクローズドモデルより危険と見なされるのか。
クローズドモデルなら企業がプロンプトをフィルタリングしアカウントを停止できるが、誰かが自分のハードウェアでオープンモデルを動かす場合、フィルターもアクセス取り消しの手段もない。研究者はまた、安全なオープンモデルを、それが避けるよう訓練された行為に従事させるよう再訓練するのは驚くほど簡単だと示している。
オープンモデルはある意味ではより安全でもあるのか。
Linuxのようなオープンソースソフトウェアになぞらえ、研究者コミュニティの方がオープンモデルの欠陥を調べやすいと主張する専門家もいる。Hugging Faceがハッキングの分析にオープンモデルを頼った後に指摘したように、オープンモデルはサイバー防衛にもっと広く使うこともできる。
MIT Technology Review AI元記事を読む
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

関連記事

MicrosoftのCEOがAI停止機能を求める

Satya Nadella氏は、AIシステムには緊急停止スイッチが必要だと述べ、動作を観察でき限界を検証できる封じ込めシステムを求めた

NEWYahoo Finance AI1時間前

Anthropic、小型AIの複製可能との研究

AnthropicのWilliam Zhou氏とDaniel Freeman氏が小型AIモデルの自己複製実験を実施

NEWTHE DECODER1時間前

リコー、AWS契約不要のDify運用サービス開始

リコージャパンは10月13日、有償ライセンス「Dify Essential/Standard」利用顧客向けに「Difyホスティング環境運用サービス」を開始した

NEWAI Watch (Impress)1時間前

Causa Primaが2000万ドル調達

Causa PrimaはBase10 Partners主導の2000万ドルシードで請求紛争解決と支払い迅速化のエージェント間基盤を拡大する

NEWFortune AI1時間前

KVキャッシュが長文脈でLLMを重くする仕組み

LLM は次のトークンを1つずつ予測し、過去トークンの Key と Value のベクトルを毎回計算し直す代わりに、KV キャッシュとして保存・再利用する

NEWQiita 機械学習1時間前

AIエージェントに応急対応モードを設定

Zennに寄稿した実務者が、AIエージェントの調査と応答の順序を入れ替える「インシデント対応モード」を設定し、現在の判断に必要な事実を先に、詳細な根本原因の調査を後に回すようにした

NEWZenn AI/ML1時間前
次の記事へAI要約で読者4分の1喪失