AppleがPORToolを提案：LLMエージェントの複数ツール統合推論における報酬割り当ての曖昧性を解決

AppleのMachine Learning Researchが、PORToolという方針最適化アルゴリズムを提案。複数の外部ツールを呼び出しながら自然言語で推論するLLMエージェント（自動判断して作業するAI）が複雑なタスクを解くときに、どの中間ステップがもたらした結果かを判定する信用配分の曖昧性を改善する。

PORToolは結果レベルの報酬から始まりながら、ステップレベルで報酬を割り当てることで、エージェントのツール利用能力を強化。従来のアウトカムのみの報酬では、どの決定が成功か失敗かが不明確だった点を解決する。

このアプローチにより、複数ツール統合推論を使うエージェントの訓練精度が向上し、より複雑なタスク解決が可能になると考えられる。