ffmpeg1コマンドで10分動画を1枚画像に

エンジニアが挙げた問題は、AIを使って動画を量産し始めたことに始まる。10分のクリップ2本を最初から最後まで見て確認すると、毎回20分かかった。この確認を省くと、自動チェックでは捉えられない目に見える不具合、たとえば背景が数分間真っ黒のままになるようなものを出荷する恐れがある。解決策はffmpegのコンタクトシートだ。一定間隔で抽出したフレームを格子状に並べ、動画全体を1枚の画像にする。

エンジニアは、drawtextフィルターで各フレームにタイムスタンプを焼き込む方法が常に使えるわけではないと指摘する。このフィルターはlibfreetypeを含むffmpegビルドでしか利用できないからだ。手元のHomebrewビルド（ffmpeg 8.1.1）ではffmpeg -filtersの出力にdrawtextがなく、代わりにグリッド内のタイル位置からタイムスタンプを逆算している。注意点として、グリッドのマス数が動画から抽出したフレーム数より多いと、余ったマスは黒で埋められ、黒画面の不具合のように見えることがある。AIには末尾の黒いマスは埋め合わせだと伝えるよう勧めている。

この手法は意図的に2層に分かれている。blackdetectやfreezedetect、実際の長さと音声タイミングの照合といった決定論的チェックは、あらかじめ定義できる異常だけを捉える。コンタクトシートとAIは視覚的な層として機能し、言葉にされていない異常を捉えられる一方、サンプリング間隔の粗さは許容する。エンジニアはこの隙間を決定論的層で埋める必要があると述べている。