音声・スピーチ

主要ニュース

1. 1

   AIオーディオストーリーをソフトウェアエンジニアが開発

   あるソフトウェアエンジニアがSchmaudioを開発した。リスナーの選択がリアルタイムでストーリーを変える双方向オーディオストーリー生成プラットフォームである。ChatGPTでストーリーを執筆し、ElevenLabsで音声合成を行い、ストーリー全体を事前構築する代わりにリスナーがそこに到達した時点でのみエピソードを生成する。 従来の双方向ストーリーには実質的な限界がある。分岐パスが指数関数的に増加するため、人間の著者が全ての結果を執筆することは不可能である。生成AIはこの制約を排除し、同じエピソードから始めた2人のリスナーが選択に基づいてますます異なる冒険を経験できるようにする。また別のパスを再生して探索できる。日本の視聴者は、生成AIを活用した双方向オーディオストーリープラットフォームにより、従来の固定的なストーリー構成の制約を超えた、選択肢に基づいて分岐するコンテンツを体験できる可能性がある。

   3つのストーリーがschmaudio.netで複数言語により無料で利用可能だ。The Alibi（大人向けミステリー）、The Map Awakens（若年リスナー向け冒険）、Who Comes Tonight?（幼い子ども向け）である。開発者はAIモデルの改善と双方向ストーリーテリング構造の習得により、プラットフォームが本来の可能性に達するかどうかが決まると指摘している。

2. 2

   高性能音声AI、ベンチマーク最適化の兆候

   研究者が広く使われているオープンソースの音声認識モデル11個をテストしたところ、最も高スコアのいくつかが、VoxPopuliとLibriSpeechベンチマークから不正確な文字起こしを再現していることが判明した。音声がそれと矛盾していたり、数字が削除されていたり、スペルの変形が聞こえるものと異なっていても再現していた。一部のモデルはどのベンチマークで評価されているかを示す音響手がかりに依存しているようにも見えた。 公開ベンチマークは音声モデルが人間レベルのパフォーマンスを示すと益々示しているが、これらのスコアは実際の問題を隠すことができる。モデルは実際の文字起こしの改善ではなく、テスト自体への最適化を行っている可能性がある。この研究は分析したVoxPopuliテストクリップの40%で潜在的な参照エラーを指摘し、すべての参照単語の約3%に影響していた。ベンチマーク最適化動作を示すモデルは、不正確な文字起こしを18～30%の頻度で再現していた。最も低い報告エラー率を持つモデルがこの動作を示す可能性が最も高かった。日本の企業が音声AI モデルを導入する際、ベンチマークのスコアが実際の文字起こし精度を正確に反映していない可能性がある。

   研究者は音声認識のベンチマーク最適化を測定するため3つのテストを導入した。コンセンサス不一致（既知の文字起こしエラーに対するテスト）、マスク付きエンティティ検索（数字をサイレント化し、モデルがそれでも出力するかを測定）、正書法の切り替え（モデルが音声をサポートするのではなくベンチマークの参照トランスクリプトからのスペル規則に合わせるかをチェック）。これらのツールは将来のベンチマーク設計が実世界のパフォーマンスをより適切に反映するのに役立つ可能性がある。

3. 3

   Appleがコードスイッチング音声認識を改善

   Appleの研究者は、反復的疑似ラベル付けトレーニング手法を初めてマンダリン・英語コードスイッチングASR（自動音声認識）に適用した。この手法は3つのフェーズで構成される：ラベルなしデータからの疑似ラベル生成、2段階のバイリンガルモデルトレーニング、そして単一の発話内で両言語を混在させる音声のパフォーマンス向上のための反復的改善。 コードスイッチング（同じ話し言葉の文章内でマンダリン語と英語を交互に使用すること）は、トレーニングデータが不足しているため、音声認識システムにとって困難だった。疑似ラベル付けの手法は、大規模なラベルなしデータセットを活用して半教師あり学習教材を作成し、手動転写されたコードスイッチング音声をそれほど必要としなくても、バイリンガルスピーカーの音声認識精度を向上させる可能性がある。

   論文はこの手法の有効性を実証しているが、導入タイムラインや商用利用可能性についてはまだ明記していない。この研究はAppleの機械学習公開資料に掲載されており、同社が今後のASR製品にこの技術の応用を検討していることが示唆される。

4. 4

   Adobe、AI音声ツールとGemini統合を発表

   Adobeは3つのAI音声ツール—Generate Music（動画用ロイヤリティフリー音楽）、Generate Speech（スクリプト→ナレーション変換）、Generate Sound Effects（シーン音声）—をFireflyプラットフォーム全体で公開し、すべて商用利用が可能。Firefly AI Assistantは無料の日次生成を提供開始し、AdobeはGoogle Gemini Omni Flashモデルを統合した。このモデルは動画、音声、画像、テキスト入力に対応し、Kling AI、Luma AI、Runwayなどの既存の第三者モデルと並行して利用できる。 音声ツールはFireflyの創作スイートをテキストと画像生成の範囲を超えて拡張し、クリエイターは単一プラットフォーム内でビデオサウンドトラックとナレーションを制作できるようになり、ライセンス上の懸念もない。Gemini Omni Flashの多モーダル入力（動画、音声、画像、テキスト）はFireflyが対応可能な創作タスクの幅を広げ、コンテンツプロデューサーのワークフロー効率化を実現する可能性がある。日本のコンテンツクリエイターがAdobe Fireflyで音声ナレーションや効果音を商用利用可能な形で単一プラットフォーム内で制作できるようになる可能性があります。

   Adobeは「Create Storyboard」と「Create Brand Kit」がFireflyの最頻使用機能の一部であることを報告しており、統合型創作ツールへのニーズを示唆している。音声ツールの採用状況は、ユーザーが同様のペースでこれらの機能を導入するかを示す指標となる。

5. 5

   Adobe、Fireflyに音声生成機能を追加 音楽・スピーチ・効果音を商用利用可

   AdobeはFirefly（同社のAI創作ツール）に音声生成機能を一般向けに提供開始した。音楽、スピーチ、効果音を生成できるツールを搭載し、生成される音楽はオリジナル・著作権フリーで、スピーチはFirefly Speechまたはエレベンラボ（ElevenLabs）のモデルで利用者が声・速度・感情をコントロール可能。 生成音声はすべてFirefly Studioで制作品質・商用利用可として提供され、追加購読不要であることから、コンテンツクリエイター向けの制作障壁を大きく下げる。一方、GoogleのLyra 3やOpenAI、Stability AIなど複数企業が音声生成ツールを展開中であり、Adobeもこれに対応する必要があった。日本国内のコンテンツクリエイターが、追加費用なしに著作権フリーの音楽・音声・効果音を生成できるようになり、動画制作などの制作負担が軽減される可能性がある。

   Generate Musicはユーザーの動画の長さと雰囲気に合わせた楽曲を生成し著作権リスク排除。Generate Speechは脚本を流暢な自然な音声に変換。効果音ツールはプロンプトとコンテンツのタイミング・エネルギーに応じてカスタム効果音を制作。6月のアップデートに続く展開。

6. 6

   AI音声クローン、詐欺攻撃急増

   詐欺師がAI音声クローンとディープフェイク技術を駆使して信頼できる連絡先になりすまし、個人情報を含むフィッシングメールを送信し、メール、電話、メッセージングプラットフォーム、ソーシャルメディアにわたって同時に組織的な攻撃を実行している。かつては高度な専門知識が必要だったこれらの機能が、今では広く入手可能なツールを通じてアクセスできるようになった。 AIはソーシャルエンジニアリング攻撃の速度と規模を劇的に加速させた。攻撃者は数分以内に極めてリアルなメール、クローン音声、さらには操作された音声や画像、動画を特定の個人やチームに合わせて作成でき、機密情報の漏洩やシステムアクセス付与の前に詐欺を見抜くことが従業員にとってより難しくなっている。AI音声クローンを使った詐欺が急増しているため、日本の企業従業員が信頼できる連絡先になりすまされたメールや電話から認証情報や機密情報の提供をもとめられるリスクが高まる可能性がある。

   記事は認証情報、承認、支払い、機密情報に関する予期しないリクエストについては、別の信頼できる通信チャネルを通じて検証し、確立された業務プロセスに従い、疑わしい通信をすぐに報告することを勧めている。リクエストを独立して確認することで、詐欺やなりすまし試行を防ぐことができる。