Audio & Speech

主要新闻

1. 1

   Deepgram 整合 AWS IAM 临时授权以支持 SageMaker 访问

   发生了什么：Deepgram 已将 IAM 临时授权（一项新的 AWS IAM 功能）整合到其支持工作流中，用于在 Amazon SageMaker AI 上运行 Deepgram 语音 AI 模型的客户。该整合允许 Deepgram 工程师直接从支持工单系统请求对客户端点和日志进行时间限制、范围受限的访问权限，客户可在其自己的 IAM 控制台中批准请求。 为什么重要：这取代了之前的长期跨账户 IAM 角色模型，该模型需要反复进行配置和审计对话。由于客户现在可以在其 IAM 控制台中批准访问权限，而无需安排屏幕共享，Deepgram 已将 SageMaker AI 支持工单初步调查的时间从数天缩短至数分钟。每个委托的 API 调用都在 AWS CloudTrail 中使用 Deepgram 的合作伙伴账户 ID 进行标记，以实现完整的可审计性。

   需要关注：通过该整合颁发的凭证在十二小时后自动过期，客户可在过期前的任何时间撤销访问权限。该整合需要有效的 Deepgram 支持合同、在 SageMaker AI 端点运行的区域启用的 AWS CloudTrail 跟踪，以及用于 SageMaker AI 端点托管、Amazon CloudWatch 日志、AWS CloudTrail 和网络的 AWS 基础设施费用（Deepgram 为其模型提供十四天免费试用，但从部署开始时起即需支付 AWS 基础设施成本）。

2. 2

   前AWS科学家创办Boson AI，推出廉价语音AI产品对标OpenAI和Meta

   事件进展：亚马逊前首席科学家Alex Smola创办了Boson AI，推出了语音转语音模型Higgs RealTime，该模型的成本远低于竞争对手的语音系统。这家圣克拉拉初创公司已融资7000万美元，投资方包括中国企业家Su Hua和新加坡淡马锡集团的风险投资部门。 重要意义：语音AI已成为OpenAI、Meta等企业争夺的主战场，这些企业都在开发全双工系统（支持自然的来回对话，用户可以中途打断对方的技术）。Boson声称其模型成本仅为竞争对手的十分之一，这可能会改变部署语音客服、销售和其他企业应用的经济效益。Smola的目标客户是金融、电信、医疗和保险行业。

   值得关注：Boson面临资金充足的竞争对手——微软近日推出了新一代语音模型，OpenAI推出了全双工音频模型系列GPT-Live，Meta发布了针对可穿戴设备优化的Muse Spark。技术层面的主要难题仍是延迟问题；虽然文本聊天中一秒的延迟可以接受，但在语音对话中会显得很突兀。

3. 3

   オープンソース音声エージェント監視ツール VoiceGateway 公開

   開発者が VoiceGateway という音声エージェント向けのオープンソース監視ツールを公開しました。LiveKit や Pipecat など音声エージェントを自分で運用している場合、モデル層での動作状況が見えない問題に対応するもので、STT（音声認識）、LLM（文章生成AI）、TTS（音声合成）の各呼び出しについて、レイテンシ分析、モデルID、コスト を監視します。 自社運用の音声エージェントには従来、内部動作の可視性がありませんでした。VoiceGateway は attach(session) 呼び出し一度で統合でき、音声パスの外側で動作するため、導入が簡単です。MIT ライセンスで無料利用でき、データは local SQLite に保存される仕組みなので、プライベートな環境で運用する組織にとって有用と考えられます。

   Docker で実行でき、DuckDB を使った分析機能を含みます。voicegw reconcile コマンドで記録されたコストとプロバイダの請求書を照合できるため、コスト管理の透明性も向上します。

4. 4

   语音AI通话成本远超报价 开发者公开成本拆解工具

   一位开发者发现语音AI产品的单位报价与实际通话成本严重不符，详细计算后发现需要考虑平台费、语音转文字、模型使用、语音生成、SIP/PSTN、录音、失败呼叫和电话号码租赁等多个成本项目，并开源了包含成本计算器、国家级SIP费率估算、延迟数据和Asterisk配置示例的Astro项目。 企业和开发者在评估语音AI服务成本时往往只看单位报价，实际成本结构远更复杂，特别是在跨国通话时需要按目的地国家调整费率，这种信息不透明可能导致成本预算严重失准。

   该项目的公式和数据来源均为公开，开发者欢迎在生产环境中运行语音AI的人士提供修正意见，这一开源工具可能成为业界标准的成本参考基准。

5. 5

   ARIA語音3D空間AI芯片开源，自主权治理架构

   sidevworksが音声ネイティブな3D空間AI SoC（System on Chip）「ARIA」をオープンソース化しました。GitHubで BSL 1.1ライセンスの下で公開されています。 このチップは「governed autonomy（統治された自主性）」という枠組みを備えており、音声インターフェース経由の空間AI処理を実装する設計になっています。エッジデバイスでのAI推論制御の新しいアプローチを示すとみられます。

   プロジェクトはGitHubのsidevworksリポジトリで利用可能で、BSL 1.1ライセンスの条件下でアクセスできます。

6. 6

   OpenAI为ChatGPT桌面应用增加语音控制功能

   发生了什么：OpenAI周四更新了ChatGPT桌面应用，增加了对ChatGPT Voice的支持，用户可以通过语音命令控制AI代理在电脑上执行任务。该功能采用ChatGPT-Live语音模型，支持ChatGPT Work和Codex，包括访问网站、应用以及在macOS上通过Appshots访问屏幕内容的能力。 为什么重要：桌面版本的功能比本月早些时候推出的智能手机版本更强大——它允许用户口述复杂的多步骤命令，并与ChatGPT进行来回交互以获得澄清。在演示中，OpenAI展示了一位开发者要求ChatGPT通过单一语音命令创建线程、发起拉取请求并调试问题，这表明语音控制可能会改变开发者和办公室工作人员与机器的交互方式。

   需要关注：该功能从周四开始全球推出。用户还可以通过iOS上的远程访问在Codex中使用ChatGPT Voice。Anthropic也类似地更新了Claude的语音模式，使其可与Opus、Sonnet和Haiku模型配合工作，支持Gmail、Calendar、Slack、Notion和Canva中的任务。