AI Safety & Alignment

主要新闻

1. 1

   FDA、CDC人工智能使用激增148%、87% ——引发医疗监管问题

   发生了什么：根据HHS AI使用案例库，在2024至2025财政年度间，FDA的人工智能使用激增148%，CDC增长87%，CMS增长78%，NIH增长51%。联邦和州医疗卫生机构正在快速扩大人工智能应用，理由是提高效率、准确性和节省成本。 为何重要：医疗领域的人工智能决策风险很高——错误可能危害患者。近期案例显示真实风险存在：UnitedHealth Group的人工智能预授权系统的错误率高达90%（根据2026年3月的联邦法院命令，上诉的拒绝中有九成被推翻），Deloitte Consulting的有缺陷的资格认定软件在多个州造成大规模不当终止医疗补助。目前的联邦框架要求风险缓解评估，但并未确定是否应该使用人工智能，使得机构在何时必须依靠人类判断上缺乏指导。

   需要关注：该文章提议建立五因素框架，要求机构审查谁可能受到伤害、决策本身的性质、技术的能力和局限性、人工监督的角色以及适用的法律约束。使用该框架做出高影响力决策的机构应当通过通知和评议、市民大会以及与代表受影响社区的倡导团体的沟通来寻求公众意见。

2. 2

   Anthropic为Claude输出添加水印，但批评者质疑质量折衷

   发生了什么：Anthropic已为Claude推出文本水印功能，通过调整词汇选择的随机性在生成文本中嵌入统计上可检测的模式，不添加任何可见标记或隐藏字符。该功能基于Google的SynthID-Text方法，适用于8月2日之后发布的所有Claude模型，较早的模型将在未来几个月进行改造。 为什么重要：博主John Gruber辩称水印不可避免地降低了文本质量，因为它迫使Claude有时根据密钥而非语义精准度来提升较差的词汇、降低更好的词汇，这与Anthropic声称差异难以察觉的说法相悖。对于律师事务所而言，水印造成了透明度问题：即使在无瑕疵的文件中也能证明AI的贡献，在合同模板和多次LLM使用中持续存在，并可能在费用谈判中让客户审视AI的占比。

   值得关注：在事实密集的段落中水印更稀疏，因为词汇替代选项较少，这一注意事项对依赖精准度的法律文本相关。用户可以使用Declaude等释义工具来移除标记；Anthropic实施该功能是为了遵守《欧盟AI法案》，但由于无法按地区限制而在全球应用。

3. 3

   Anthropic採用Google DeepMind的隐形水印技术

   Anthropic宣布将在Claude生成的文本中应用隐形水印，采用Google DeepMind开发的开源技术SynthID-Text，该技术通过词语概率创建可检测的模式。同时Claude还将支持C2PA标准处理图像。 这些措施是Anthropic为遵守欧盟《AI法案》的透明度要求而做出的举措。该法案规定合成音频、图像、视频和文本必须包含机器可读标记，以标识其AI生成身份。

   Claude的文本水印和图像处理功能正在引入，以满足欧盟监管要求。

4. 4

   Anthropic公開新型モデル、Claude Mythos 5上回る能力

   Anthropicが最新のAIアライメント報告書で、Claude Mythos 5より高い能力を持つ新しいAIモデルを開発したことを明かしました。同報告書は3～6ヶ月ごとに発表され、同社の大規模言語モデルがもたらす潜在的なリスクについて説明しています。 大規模言語モデルの開発が急速に進む中で、Anthropicが定期的にアライメント（AIが人間の意図と一致するよう調整すること）に関する懸念を公開することで、安全性への配慮を示しています。

   報告書の詳細な内容や新モデルの具体的な能力、公開予定時期については、記事本文では明記されていません。

5. 5

   AI生成の野生動物画像が保全を脅かす 専門家が警告

   専門家らが、AIが生成したペットのような振る舞いをする野生動物の超リアルな映像が、公衆の野生動物認識を歪め、保全活動に害をもたらす可能性があると警告しています。 AI生成画像がペットのような野生動物像を広めることで、実際の野生動物の本来の習性や危険性についての理解が失われ、保全政策や個人の行動判断に悪影響を及ぼす可能性があります。

   この警告は、超リアルなビジュアルが持つ説得力の強さと、それが科学的正確さを欠いた時に生じるリスクを浮き彫りにしています。

6. 6

   AI助力学术人士在公平工作案件中战胜雇主

   发生了什么：麦考瑞大学计算机学术研究员Greg Baker从10月开始利用AI在与雇主的法律纠纷中进行自我代理，尽管他此前对劳动法或工业关系一无所知。 为什么重要：Baker的案例表明，AI工具可以在就业纠纷中为没有法律培训的个人创造平等的竞争环境，有可能让无法负担律师费用的人更容易获得职场公正。

   值得关注：Baker在公平工作委员会案件中的结果，以及这种方法是否会影响其他工作者如何追求就业索赔。