Artificial AnalysisとIBMが、エージェント（自分で判断して複数のステップを実行するAI）の企業IT業務における性能を測定する初のベンチマーク「ITBench-AA」を開発した。
ITBench-AAは企業IT環境での実践的なタスク実行能力を評価するもので、最先端モデル（frontier models）を含む複数のモデルが50%未満のスコアに留まった。
このベンチマークは、エージェント型AIの実用化において、モデルの性能面で重要な課題があることを明らかにした。
たとえば、いま届くならこの3本です
AIが要約して、あなたの選んだトピックだけを1日1通。LINE・Email・Slackで届きます。
登録無料・30秒で完了・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。Q&Aはこのページに公開され、他の読者も読めます。
ViskoはLlama Venturesからプレシードで1000万ドルを調達し、長編動画を生成するライブモデル「Orbis」を一般公開した
AI企業のRunwayが、新カテゴリー「インターフェース・ワールドモデル」の第一弾となるSolarisを発表した
GoogleのAI検索が、アフリカ系、インド系、パキスタン系の人と二人きりのユーザーに緊急通報を勧め、イギリス人には紅茶を提案した
ジョンディアは、農家が過去の農場データについて自由な質問ができる対話型AIツール「JD」を発表した
エヌビディアCEOのジェンスン・フアン氏がFox Businessで、AIはチップ工場やパッケージング、コンピューター工場、AIファクトリーなどで「数十万人規模」の雇用を生み出すと発言
イスラエルの新興企業DataAgent Ltd.は、顧客のKubernetesクラスター内の本番障害を修復するプラットフォームを発表し、1000万ドルのプレシード資金を調達した
