AIToday
大規模言語モデルSiliconANGLE AI掲載日時: 2026年10月5日 22:01

1基のGPUで2048エージェント同時実行

LINEで送る
1基のGPUで2048エージェント同時実行

3つのポイント

  1. 何が起きたか

    Iterate Studio Inc.が機密コンピューティングを組み込んだ推論エンジン「Lifeboat」を発表。

  2. なぜ重要か

    Iterate.aiの共同創設者兼最高技術責任者Brian Sathianathan氏によると、銀行や保険会社、医療機関は支出を倍増させることなく、自社データ上で「自社の壁の内側」でエージェントを動かしたいと考えている。

  3. 注目点

    最上位の機密コンピューティング版は、ハードウェア認証に合格するまでリクエストを処理せず、月額499.99ドル。早期アクセスは数日で数千ダウンロードに達したと同社は述べた。

誰に効くか自社データ上でAIエージェントを動かす銀行、保険会社、医療機関が対象とみられる。これらのITチームは、ハードウェアを追加購入する前にカード1枚あたりのセッション処理能力を評価できるようになり、最上位ティアは7日間の無料トライアルが可能だ。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

Lifeboatが狙うのは、エージェントが大規模に生み出すメモリ問題だ。チャットボットの質問は通常1回のモデル呼び出しで済むが、1つのタスクを処理するエージェントは何十回も呼び出しを行い、そのたびにコンテキストウィンドウが拡大するため、共有ハードウェア上の数百のエージェントがキーバリューキャッシュを急速に埋めてしまう。Iterate.aiによると、標準的な推論エンジンは長文コンテキストのリクエストが4~5件同時に走ると停止することがあり、その限界に達したチームはGPUを増設するか、トークン単位課金のクラウドサービスに処理を移してデータを第三者に渡す傾向がある。

Iterate.aiの解決策の出発点は、公平なスケジューリングとアドミッション制御だ。これにより各セッションにGPUの取り分が割り当てられ、重い文書処理エージェントが対話型のエージェントを締め出せなくなる。同社によると、キーバリューキャッシュの最適化で実効容量を2倍にしつつ、モデルの重みは完全な精度のまま維持し、mixture-of-expertsモデルでは各エージェントが必要とするエキスパートのみをロードする。各セッションはフィルタリング、トークン予算、サンドボックス実行を備えた専用のセキュリティカプセル内で動作する。

同社のテストで最も大きな差が出たのは、128セッションが18,000トークンのリクエストを送るメモリ逼迫の実行で、Lifeboatは初回トークンまでの99パーセンタイル時間を1.5秒に保ったが、ベースラインは189秒を要した。今回の発表の鍵は、これらの数値がIterate.aiの独自テスト以外でも維持されるかどうか、そして最上位版の認証チェックが対象とするAMD、Intel、Nvidiaのハードウェア全体で使い続けられるかどうかにかかっている。

よくある質問
Lifeboatの価格はいくらですか?
無料のDeveloper Licenseは、単一ノード上の最大2台の推論サーバーでの非商用・評価目的での利用をカバーする。Standard Licenseは月額49.99ドル、認証付きの機密コンピューティング版は月額499.99ドル。Standardと機密コンピューティングの各ティアは、クレジットカードなしで7日間無料で試せる。
機密コンピューティングのチェックはどのハードウェアを対象としていますか?
ハードウェア認証チェックは、Advanced Micro Devices Inc.とIntel Corp.のプロセッサのトラステッド実行機能に加え、H100、B200、GB300など対応GPUにおけるNvidiaの機密コンピューティングモードを対象とする。
SiliconANGLE AI元記事を読む
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

マイクロソフトがAIエージェントで攻撃対抗サービス提供開始

Microsoft Ignite 2026でマイクロソフトは赤・青・緑チームのエージェントを組み合わせ攻撃模擬・検知調査・脆弱性修正を行うMicrosoft Perceptionの一般提供を発表した

NEWPublickey1時間前

Windows Server 2028がパブリックプレビュー公開

Microsoft Ignite 2026でWindows Server 2028のパブリックプレビューが公開され、Microsoft Foundry、Windows ML、vLLM、Llama.cppによるAI推論ホス…

NEWPublickey1時間前

AUMOVIOがLLMの唯一の経路をDatabricksに統一

AUMOVIOはDatabricks Unity GatewayをLLMへの唯一の経路に採用

NEWDatabricks AI Blog1時間前

CADMAGEDDON、5ベンチマークで最先端CADモデル超え

CADMAGEDDONはBenchCADの64³ボクセルIoUで、1000部品のサブセットにおいて0.991を記録し、Claude Sonnet 5.5の0.963、Claude Opus 5.5の0.962、GPT-6…

NEWAI Weekly1時間前

MIT Technology ReviewのAI指数、AIは遍在

MIT Technology ReviewのAI誇大広告指数はAIの広がりを示し、GoogleのAI Overviewsが広告収入で数十億ドルを失わせたことやAI支援のサイバー攻撃を挙げた

NEWMIT Technology Review AI1時間前

Thomas Nagel、AI意識説を「馬鹿げている」と一蹴

哲学者トーマス・ナゲル氏はバーグルエン賞受賞後のインタビューで、大規模言語モデルが意識を持つ可能性を真剣に受け止めるのは「馬鹿げている」と述べ、AnthropicのClaudeへのアプローチを「犯罪的」と呼んだ

NEWWIRED AI1時間前
次の記事へ鴻海の月次売上高が初の1兆台湾ドル超え