3BのOCRモデルをオープンソース化

この提案は、ページ課金を支払っている、あるいはファイルをクラウドOCRサービスに送っているチームに向けたものだ。開発者はUnlimited-OCR-2を、無料ながら段組みレイアウトや数式、セル結合表で破綻するTesseract、およびページ単位の課金とデータの外部送出を伴うクラウドOCR APIと対比している。GitHubでlumichy/lumichy-unlimited-OCRとして公開されたワークベンチは、モデルをFastAPIで包み、GPU使用率・VRAM・CPU負荷・温度を1.2秒ごとに配信するWebSocketフィードを備え、オンデマンドのページラスタライズにPyMuPDF、描画・Markdown・生タグ・ログの4種類の出力ビューを提供する。

中核となるアーキテクチャ上の主張は、Unlimited-OCR-2が従来の視覚言語モデルを長いPDFでクラッシュさせるメモリ爆発を回避するという点だ。SR-SWAアテンションは必要な参照領域を固定長のスパースなワーキングリファレンスに圧縮し、Unlimited-Horizon Decodingはページ境界をまたいで必要なキーバリューキャッシュを引き継ぎつつ不要になったローカルキャッシュを破棄するため、複数ページにわたる表やページをまたぐ文も整合性を保つ。

デモは限界も正直に示している。ネイティブBF16推論ではVRAMピークが15.93GB中15.26GB、率にして95.8%に達し、開発者は天井に危険なほど近いと述べ、8GB〜12GBのGPUでは今後INT4/INT8量子化やvLLMバックエンドが必要になるだろうと指摘する。1ページ30〜40秒のスループットは高頻度のリアルタイム利用を排除し、夜間のバッチ処理や論文・書籍1本の一回限りの深掘り解析に向くことを示している。