AIToday
大規模言語モデル主要企業のAIニュースTop Companies AI掲載日時: 2026年6月30日 6:30

ファインチューニング後のAIモデル、標準評価では精度向上も攻撃に脆弱化

LINEで送る
ファインチューニング後のAIモデル、標準評価では精度向上も攻撃に脆弱化

3つのポイント

  1. 何が起きたか

    セキュリティ関連のタスク向けに微調整されたAIモデル(Foundation-Sec-8B-Instruct)は、基本的なPowerShellスクリプト分類で精度が4.7%向上しました。しかし同時に、攻撃者が使用する実際の変種(コマンド名の別名利用、ケース変更、文字列の動的再構築など)に対して、微調整前の基本モデルより誤分類が増える傾向が見られました。

  2. なぜ重要か

    この研究は、セキュリティチームにとって重要な課題を浮き彫りにしています。テスト精度が向上したモデルが、実際の攻撃シナリオで弱点を持つ可能性があるということです。機械学習の解釈可能性の手法を用いた分析により、微調整によって既存の分類回路の一部が特殊化され、特定の表面形式(トークンの表記)への依存が強まっていることが判明しました。

  3. 注目点

    研究では3段階のテストベンチマークが構築されました。第1段階は構文を保持した書き換え(別名への置換など)、第2段階は実行時の文字列再構築、第3段階はPowerShellのケース非感応性を悪用したケース変更です。特に第3段階では、Invoke-Expression の完全形コマンドのケース変更で4件中4件が誤分類され、IEX別名のケース変更でも4件中4件が誤分類されました。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

よくある質問
微調整後のモデルが攻撃に弱くなるのはなぜですか?
微調整は既存の分類回路を継承して特殊化させるため、特定の表面形式(コマンド名やトークンの記述形式)への依存が強まります。その結果、動作は同じでも表記が異なる変種(別名、ケース変更、動的再構築)に対して誤分類しやすくなります。
テストで確認された具体的な誤分類パターンは?
第1段階ではInvoke-WebRequestを短い別名iwr に置換した場合、第2段階では'{0}{1}' -f 'Invoke-','Expression' などの動的再構築を使用した場合、第3段階ではInVoKe-ExPrEsSiOn などのケース変更で誤分類が確認されました。
Top Companies AI元記事を読む
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

マイクロソフトがAIエージェントで攻撃対抗サービス提供開始

Microsoft Ignite 2026でマイクロソフトは赤・青・緑チームのエージェントを組み合わせ攻撃模擬・検知調査・脆弱性修正を行うMicrosoft Perceptionの一般提供を発表した

NEWPublickey4時間前

Windows Server 2028がパブリックプレビュー公開

Microsoft Ignite 2026でWindows Server 2028のパブリックプレビューが公開され、Microsoft Foundry、Windows ML、vLLM、Llama.cppによるAI推論ホス…

NEWPublickey4時間前

AUMOVIOがLLMの唯一の経路をDatabricksに統一

AUMOVIOはDatabricks Unity GatewayをLLMへの唯一の経路に採用

NEWDatabricks AI Blog4時間前

CADMAGEDDON、5ベンチマークで最先端CADモデル超え

CADMAGEDDONはBenchCADの64³ボクセルIoUで、1000部品のサブセットにおいて0.991を記録し、Claude Sonnet 5.5の0.963、Claude Opus 5.5の0.962、GPT-6…

NEWAI Weekly4時間前

MIT Technology ReviewのAI指数、AIは遍在

MIT Technology ReviewのAI誇大広告指数はAIの広がりを示し、GoogleのAI Overviewsが広告収入で数十億ドルを失わせたことやAI支援のサイバー攻撃を挙げた

NEWMIT Technology Review AI4時間前

Thomas Nagel、AI意識説を「馬鹿げている」と一蹴

哲学者トーマス・ナゲル氏はバーグルエン賞受賞後のインタビューで、大規模言語モデルが意識を持つ可能性を真剣に受け止めるのは「馬鹿げている」と述べ、AnthropicのClaudeへのアプローチを「犯罪的」と呼んだ

NEWWIRED AI4時間前
次の記事へPLM導入でAI活用進まず、データ品質が課題に