大規模言語モデル

主要ニュース

1. 1

   Microsoftが人工知能を搭載したサイバーセキュリティツールを発表

   Microsoftは、組織が脅威を検出および対応するのを支援するために設計された人工知能を搭載したサイバーセキュリティツールのスイートを発表しました。 サイバーセキュリティの脅威は複雑化していますが、人工知能により組織は手動の方法だけでは実現できないスピードで攻撃を特定し防御することができます。

   提供開始時期、価格設定、およびMicrosoftのどの製品がこれらの新しいAIセキュリティ機能を統合するかについての詳細。

2. 2

   Netflix、TritonとvLLMを基盤とした自社開発の大規模言語モデル提供プラットフォームの詳細を公開

   Netflix は、大規模言語モデル（LLM）推論（AI が回答を生成するステップ）を提供するための社内プラットフォームの構築方法に関する技術的な詳細を公開した。既存の JVM ベースのサービング層と、モデル管理用の Triton、推論実行用の vLLM を組み合わせたもの。小規模モデルは CPU 上で直接実行され、大規模なリクエストは専用のサービングシステムにルーティングされ、Triton がスケジューリングと複数フレームワークのサポートを処理する。 このプラットフォームは、規模の大きい AI モデルの運用の複雑さを明らかにしている。Netflix はソフトウェアバージョンの不一致によるデプロイメント阻止、標準的な互換性を超えたカスタムモデル、リクエスト一時停止時の状態管理など、特定の課題に直面し、複数のレイヤーでのエンジニアリング解決策を必要とした。これは標準化された API があっても、本番環境での LLM サービング提供には、異なるエンジンとハードウェア全体にわたる注意深い統合作業が求められることを示している。

   Netflix は Triton の Python バックエンドではなく vLLM のバックエンドを選択した。これにより、モデルとインターフェースをより独立して進化させることができる。同社は Triton と vLLM のテスト済みバージョンを一緒にピンどめして障害を防ぎ、バージョン管理されたデプロイメント戦略を使用して、モデルスキーマの変更時にチームが独自のペースで移行できるようにしている。

3. 3

   DellとAMDがエンタープライズスケーリング向けモジュール型AI基盤を展開

   DellとAdvanced Micro Devices Inc.は、AMDと協力してDell AI Platformを設計した。これにより企業はAIデプロイメントをProof of Conceptから本番環境へとスケーリングでき、ストレージ、コンピュート、ネットワーキング、AMD InstinctおよびEPYC CPUとROCmソフトウェアのモジュール型で構成可能なユニットを活用できる。 AIを本番環境に移行する企業は3つの重大な課題に直面している。トークンベースの価格設定コストの管理、データガバナンスとRAGパイプライン構築、そしてスケール段階でのセキュリティ上の懸念だ。モジュール型基盤により、組織は小規模から始めて同じプラットフォーム上で拡張でき、システムの再設計を避けて高額なアーキテクチャ変更を回避できる。

   Dellのモジュール型AI Factoryアプローチにより、顧客はスケーリング前に統合コンポーネントをテストして検証できる。フレームワークはオンプレミスデプロイメント（企業が独自のトークンジェネレータとなる）とハイブリッドモデルの両方に対応し、異なるワークロードに合わせてカスタマイズできる。

4. 4

   John Deere の機上AI が除草剤使用量を59%削減、エッジコンピューティング戦略を再構築

   John Deere の See & Spray テクノロジーは NVIDIA Jetson 組み込みハードウェア上で動作し、2024年にブロードキャスト散布と比較して除草剤の使用量を平均59%削減し、100万エーカー以上で推定800万ガロンを節約した。2025年までにカバレッジは500万エーカーに拡大し、3,100万ガロンの削減を実現した。このシステムはネットワーク接続なしにマシン上でリアルタイムに散布判定を行い、コンピュータビジョンを使用して雑草と作物を区別し、個別ノズルを制御する。 See & Spray の成果は、農業、医療、ロボティクス、産業 IoT のリアルタイムシステムにおいて、クラウドではなくデバイス上での推論がいかに重要になったかを示している。機上 AI はクラウド遅延を排除し、不安定な現地接続への依存を回避し、成功した製品が成功に比例してコスト増加する傾向にあるクラウド推論の拡大し続けるコスト構造を避けられる。企業にとって、この転換は導入のボトルネックが生の計算能力の利用可能性からプラットフォームエンジニアリングへシフトしたことを意味する。モデル圧縮パイプライン、フロート更新、可視性、デバイスライフサイクル管理が、動作するプロトタイプが本番環境に到達するかどうかを決定する。

   プロトタイプから製品を隔てるエンジニアリング課題は実質的である。フロートライフサイクル管理（段階的ロールアウト、オフラインロールバックパス、数千台デバイス間のバージョン偏差への対応）および機密データの一元化を避けながらの可視性には、コンテナネイティブオペレーティングシステムと K3s、MicroShift、KubeEdge のようなツールが必要である。ハードウェアの多様性—同じフロート内に混在する新旧のアクセラレータ—には、コンパイル済みモデル変種とデバイス機能レジストリが必要である。実践で機能するシーケンシングは以下の通りである。まずモデルを蒸留してアーキテクチャを確定し、次にメモリに収まるよう量子化し、プルーニングをデフォルトではなく対象を絞った最適化として扱う。

5. 5

   Amex GBTがEgenciaトラベルプラットフォームにClaude AIを統合

   アメリカン・エキスプレス・グローバル・ビジネス・トラベル（Amex GBT）は、Anthropicが開発したAIアシスタントのClaudeを、法人出張管理プラットフォームのEgenciaに統合した。この統合により、トラベルマネージャーと従業員は自然言語クエリを使用してEgenciaと対話できるようになった。 法人出張管理は複雑な予約、ポリシーコンプライアンス、経費追跡を伴う。Amex GBTがClaudeをEgenciaに直接組み込むことで、専門的な訓練を受けていない可能性のある従業員もプラットフォームを利用しやすくなり、企業の出張計画と承認ワークフローの摩擦を減らせる可能性がある。

   提供開始のタイムライン、Claude統合により実現される具体的なユースケース（ポリシー執行やコスト最適化など）、および他の出張管理プロバイダーがAI搭載の出張プラットフォームにどう対応するか。

6. 6

   AI時代の到来でBooking Holdingsが経営危機に直面

   Booking Holdingsが長年推し進めてきた、フライト、ホテル、レンタカー、アクティビティなど旅行体験全体をシームレスに統合するという戦略が、思うような成果を上げられず、今やAI駆動型の競合他社が旅行計画の方法を急速に変えつつある中で、同社は大きな圧力にさらされている。 旅行予約ビジネスは従来、Bookingの圧倒的な市場支配力に依存してきたが、生成AIツールにより、利用者は複数の事業者にまたがった予約をより簡単に行えるようになった。これは数十年かけて築いたBookingの競争優位性を蝕む可能性がある。同社が「統合旅行」構想を実現できていない現状は、新規参入者による脅威に対して脆弱な立場にある。

   AI競争に対するBookingの対応策と、旅行計画行動がAI支援による意思決定へとシフトしていく中で、同社がプラットフォームを成功裏に転換し利用者を維持できるかどうか。