FlashProveは従来のシステムと比べてどれくらい速いのか？

FlashProveはH100 GPU1基で毎秒約110トークンの速度で証明を生成する。以前に利用可能だった唯一の同等のオープンソースシステムは、1,000トークンの処理に14時間以上かかったとAnthropicは説明する。

FlashProveの主な制約は何か？

現在証明できるコンテキストは最大1,024トークンにとどまり、現行モデルのコンテキストウィンドウを大きく下回る。また、モデルが次に来る最も確率の高いトークンを1つ選ぶ場合にしか機能せず、チャットボットが通常生成するランダム化された出力には対応しない。

コード全文、Lean証明、ドキュメントはApache 2.0ライセンスでGitHub上に公開されている。

何が起きたか
AnthropicはzkSNARK暗号技術でモデルの重みを明かさず応答の生成元を証明するオープンソース研究プロトタイプFlashProveを公開した。
なぜ重要か
現在クエリ送信側は選んだモデルが実際に応答を生成したか確認できず、ルーティングサービスが黙って安価なモデルに差し替えることも可能だ。

誰に効くかAI事業者や規制当局は、どのモデルが実際に応答を生成したか確認する手段を得る可能性があり、承認済みモデルだけが稼働していることの検証に役立ちうる。ただし、コンテキストウィンドウの小ささや決定論的サンプリングといった現在の制約から、日常的なチャットボット利用にはまだ準備ができていない。

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

よくある質問

FlashProveは従来のシステムと比べてどれくらい速いのか？: FlashProveはH100 GPU1基で毎秒約110トークンの速度で証明を生成する。以前に利用可能だった唯一の同等のオープンソースシステムは、1,000トークンの処理に14時間以上かかったとAnthropicは説明する。
FlashProveの主な制約は何か？: 現在証明できるコンテキストは最大1,024トークンにとどまり、現行モデルのコンテキストウィンドウを大きく下回る。また、モデルが次に来る最も確率の高いトークンを1つ選ぶ場合にしか機能せず、チャットボットが通常生成するランダム化された出力には対応しない。
FlashProveは利用可能なのか？: コード全文、Lean証明、ドキュメントはApache 2.0ライセンスでGitHub上に公開されている。