PS5LM PlusがPS5上でAIモデルを実行

PS5LM Plusは開発者が直面した技術的制約から生まれた。脱獄後にllama.cppをペイロードとして読み込むと、プログラムのメモリは約6GiBに制限されGPUも使えない。代わりにホーム画面から起動するアプリとして作ることで、利用可能なメモリは12GiBに増え、Vulkan経由のGPU加速が可能になる。llama.cppのVulkan対応と、PS5向けに移植したドライバーを組み合わせた形だ。

開発者の計測は、この妥協が何をもたらすかを示す。270億パラメータのQwen3.8-27Bの量子化版は毎秒20.7トークンでテキストを生成し、はるかに小さい1.9GiBのLlama 3.2 3B Instruct Q4_K_MをUSBドライブから読み込んだ場合は毎秒124トークンに達した。アプリはモデルの選択とメモリ割り当ても自動で行い、空きメモリを確認してコンテキストとキャッシュの設定を調整するため、ユーザーが手動で調整する必要はない。

チャット以外にも、OpenAIとAnthropicのAPIへの互換性により、コーディング支援ツールがPS5上のモデルを動かせる。開発者によると、opencode、Codex、Claude CodeはいずれもPythonファイルを編集して2つの値を合計する関数を追加できた。ただし入力処理は依然としてボトルネックで、Qwen3.8-27Bはプロンプトを毎秒35〜50トークンで処理するため、2万トークンの入力では応答が始まるまで数分かかることがある。