AI Safety & Alignment

Principais notícias

1. 1

   Redwood Research divulga lista de leitura sobre futurismo em IA

   Redwood Research selecionou um conjunto de leituras para um grupo de estudo interno focado em dinâmicas-chave do desenvolvimento de IA, riscos existenciais de IA e abordagens para mitigação de riscos. A lista foi compilada após uma fellowship de estratégia realizada através da Astra e reflete perspectivas do autor sobre o campo. O material reflete marcos conceituais e hipóteses que pesquisadores e colaboradores da Redwood usam regularmente em seu trabalho. Para leitores acompanhando debates sobre IA, a lista oferece uma janela para quais ideias e teses influenciam pesquisadores focados em segurança e riscos de IA.

   A leitura está organizada em duas seções — uma core (núcleo) de 4 semanas e outra estendida — permitindo que leitores explorem tanto visões consolidadas quanto perspectivas complementares sobre futurismo em IA.

2. 2

   LLM安全研究より能力研究を優先する理由

   この記事は、AI開発において大規模言語モデル（LLM）の能力研究を優先する方が、安全性研究よりも有効な戦略になり得ることを論じています。著者は、LLMが他のAIシステムに比べてアライメント（AIの目的と人間の価値観の一致）に適していると考える場合、その信念に基づいて能力研究に投資する合理的な理由があると述べています。 この議論は、AI開発における資源配分の優先順位についての根本的な考え方を示すものとみられます。能力研究と安全性研究のどちらに注力すべきかは、AIがもたらすリスクをどう評価するかという判断に直結し、開発組織の戦略立案に影響を与える可能性があります。

   記事は仮定的なシナリオを提示し、特定の信念体系（LLMのアライメント適性についての見方）を前提に議論を展開しています。この観点は、AI業界における安全性優先主義の見方と対立する可能性があり、今後の開発戦略の分岐点になる可能性があります。

3. 3

   CoreWeave cai 15% após Meta considerar venda de capacidade IA

   CoreWeave anunciou em junho de 2026 o lançamento da ARIA, um agente de pesquisa IA integrado à plataforma Weights & Biases que automatiza análise de experimentos e melhoria contínua de modelos. A empresa também expandiu sua infraestrutura na Europa através de uma parceria com a Conapto (data center com energia renovável) e Backblaze (armazenamento em escala multi-exabyte). Simultaneamente, as ações da CoreWeave caíram 15,1%. O declínio das ações reflete apreensão de investidores: Meta Platforms, uma de suas principais clientes, está explorando vender sua própria capacidade de computação IA em excesso. Isso ameaça reduzir a demanda externa por provedores terceirizados como CoreWeave, colocando pressão no modelo de negócios da empresa.

   A Meta é descrita como cliente importante da CoreWeave, o que torna sua eventual entrada no mercado de venda de capacidade IA uma ameaça direta à base de receita da empresa. Os investidores monitoram se grandes clientes começarão a construir infraestrutura própria em vez de terceirizar.

4. 4

   CERN para IA é distração; priorizar tratado internacional, diz pesquisador

   Um pesquisador argumenta que a ideia de criar um "CERN para IA" (laboratório internacional de pesquisa) é uma distração, pois as versões politicamente viáveis não melhoram significativamente a segurança, enquanto as versões que de fato melhorariam a segurança são praticamente irrealizáveis. O argumento sugere que o gargalo real em segurança de IA não é mais pesquisa, mas sim vontade política e enforcement de boas práticas. Para líderes de negócios que acompanham regulação de IA, isso muda a expectativa sobre onde os investimentos públicos em segurança teriam maior impacto.

   A proposta alternativa é um tratado internacional com "linhas vermelhas" (limites claros) agora, seguido por um órgão de verificação no modelo da IAEA (Agência Internacional de Energia Atômica)—uma sequência que o autor diz ter funcionado com o Tratado de Não-Proliferação Nuclear e o Protocolo de Montreal.

5. 5

   外部研究者へのモデルアクセス格差が課題に

   AI安全研究の外部コミュニティが、フロンティア企業の従業員と外部研究者・監査人の間で生じるモデルアクセスの格差に注目しています。公開モデルは内部開発モデルより3～6ヶ月遅れる可能性があります。 このアクセス格差が解消されれば、外部の安全研究に数十億ドル規模のAI労働力を振り向けることができるとみられます。R&D の向上が加速する中、内部モデルと公開モデルの性能差が2倍から60倍に拡大する可能性があり、外部研究者の効果的な貢献を妨げる懸念があります。

   AI安全コミュニティは、向こう6～12ヶ月の優先課題として、内外のモデルアクセスの均等化（「モデルアクセス・パリティ」）の実現を掲げています。

6. 6

   Middleware com separação de canais mitiga injeção de prompt em agentes IA

   Um pesquisador desenvolveu uma estratégia de mitigação em nível de sistema contra injeção de prompt, introduzindo uma camada middleware (Sentinel Gateway) que separa canais de instrução (comandos confiáveis emitidos em tempo de execução) de canais de dados (entradas externas não confiáveis de APIs, arquivos e web). A injeção de prompt é um dos modos de falha mais persistentes em sistemas LLM que usam ferramentas, particularmente em fluxos de trabalho com agentes. Estratégias tradicionais de filtro de entrada e alinhamento no modelo falham porque o problema é estrutural; a abordagem de separação de canais aborda isso garantindo que todas as ações do agente exijam um token de autorização assinado e com escopo definido.

   A implementação inclui uma camada middleware FastAPI para chamadas de ferramentas de agentes, autorização baseada em token para solicitações de execução, interface Streamlit para inspeção e depuração, e logging de auditoria das ações do agente.