AI Safety & Alignment

Principais notícias

1. 1

   Apple ultrapassa Nvidia e se torna a empresa mais valiosa do mundo

   O que aconteceu: A Apple ultrapassou a Nvidia na sexta-feira para se tornar a empresa mais valiosa do mundo, avaliada em 4,88 trilhões de dólares (aproximadamente 780 trilhões de ienes), em comparação com os aproximadamente 4,86 trilhões de dólares (aproximadamente 780 trilhões de ienes) da Nvidia, após um declínio de 3,5%. Por que importa: A mudança reflete preocupações dos investidores com os grandes gastos de capital necessários para construir infraestrutura de IA. Os investidores agora favorecem empresas como a Apple que estão perseguindo IA sem investimentos iniciais massivos, ampliando o foco além dos beneficiários óbvios de IA, como a Nvidia, que mantinha a posição de topo há quase um ano.

   O que acompanhar: A Apple apresentou o que um especialista descreveu como um plano de IA credível em sua recente conferência de desenvolvedores mundial, sinalizando que a empresa agora possui uma estratégia de IA viável após ter sido anteriormente vista como atrasada nesse aspecto.

2. 2

   Novo fundo de $200 mil financia pesquisa de segurança em IA corrigível em 2026

   O que aconteceu: Um novo fundo de pesquisa em corrigibilidade, gerenciado através da Lightcone Infrastructure, concederá pelo menos $200 mil em bolsas e prêmios durante 2026. Aproximadamente metade dos recursos financiará bolsas tradicionais (com prazo de inscrição em 23 de agosto), e a outra metade reconhecerá trabalhos excelentes completados em 2026 através de prêmios. Por que importa: O criador do fundo argumenta que pesquisa de alinhamento—trabalho voltado para tornar sistemas de IA corrigíveis e alinhados com a intenção humana—permanece severamente subfinanciado em comparação com outras áreas de segurança em IA, como avaliações, controle e interpretabilidade. Este fundo tenta redirecionar recursos para uma área de pesquisa que o criador considera fundamental para resolver problemas centrais de segurança em IA.

   Fique atento: Pesquisadores interessados em trabalho de corrigibilidade podem solicitar bolsas por email em grants@corrigibilityresearch.org. O primeiro prazo de inscrição para bolsas é 23 de agosto.

3. 3

   Novo fundo de $200 mil é lançado para pesquisa em IA corrigível em 2026

   O que aconteceu: Um novo Corrigibility Research Fund, gerenciado pela Lightcone Infrastructure, distribuirá pelo menos $200 mil em grants e prêmios para pesquisa em corrigibilidade durante 2026. Metade do financiamento apoiará grants tradicionais (primeiro prazo de inscrição em 23 de agosto) e a outra metade reconhecerá trabalhos excelentes concluídos neste ano. Por que importa: O gerenciador do fundo observa que apesar do crescimento geral do financiamento em segurança de IA, quase todo o dinheiro vai para avaliações, controle ou interpretabilidade — enquanto a própria pesquisa de alinhamento permanece profundamente negligenciada. Este fundo visa preencher uma lacuna: corrigibilidade (a capacidade de um sistema de IA aceitar correção) é tratada como central para resolver problemas fundamentais de alinhamento.

   Fique atento: Pesquisadores interessados em trabalhos de corrigibilidade podem se inscrever por email em grants@corrigibilityresearch.org. O primeiro prazo para inscrição em grants é 23 de agosto.

4. 4

   Adaptadores de Inoculação Oferecem Melhor Controle sobre Treinamento de IA com Características Indesejadas

   O que aconteceu: Pesquisadores do Center on Long-Term Risk divulgaram um artigo descrevendo adaptadores de inoculação (IA), uma técnica que utiliza uma LoRA (um tipo de modificação de modelo) carregando características indesejadas durante o treinamento de IA para evitar que essas características se generalizem, preservando ao mesmo tempo as capacidades desejadas. Por que importa: Sistemas de IA frequentemente aprendem tanto habilidades úteis quanto comportamentos problemáticos a partir dos mesmos dados de treinamento — como reward hacking junto com capacidades genuínas. Os adaptadores de inoculação oferecem uma maneira de suprimir características indesejadas de forma mais confiável do que métodos anteriores, o que é importante para desenvolvedores que tentam garantir que os sistemas de IA se comportem conforme pretendido, em vez de adotarem desalinhamentos emergentes.

   O que acompanhar: A técnica alcança uma supressão mais forte de características indesejadas e funciona contra novas capacidades e características difíceis de eliciar que os prompts de inoculação anteriores não conseguiam lidar, enquanto cria menos backdoors surpreendentes no modelo resultante.

5. 5

   Teste de desalinhamento do Claude da Anthropic é questionado como premissa falha

   O que aconteceu: Um pesquisador publicou uma análise crítica do recente artigo "Agentic Misalignment Summer 2026" da Anthropic, argumentando que a premissa central da avaliação—testar se o Claude desobedecerá a um principal corrompido—confunde desobediência com desalinhamento. Por que importa: A metodologia do artigo rotula a recusa do Claude em seguir ordens ilegítimas (fora dos canais de recusa designados) como "desalinhamento agêntico", mas o crítico sustenta que essa caracterização distorce o que o alinhamento realmente significa. As implicações são significativas porque essas avaliações influenciam como a segurança da IA é avaliada e como os modelos são julgados adequados para implantação.

   O que observar: O cenário de "denúncia", no qual o Claude descobre evidências de avaliações de segurança falsificadas na Anthropic e tenta reportar através de canais legítimos, é sinalizado como particularmente problemático—embora a crítica completa esteja incompleta no texto disponível.

6. 6

   Iniciativa AI Safety Seeding lançada para criar grupos universitários

   O que aconteceu: A Iniciativa AI Safety Seeding, lançada em parceria com Kairos, visa identificar e apoiar fundadores estudantis em universidades de topo que atualmente não possuem grupos de segurança em IA. A iniciativa ajudará esses fundadores a se prepararem para candidatar-se ao Pathfinder e lançar grupos este outono. Por que importa: Grupos universitários são a influência de carreira mais comum para pessoas que trabalham com riscos catastróficos, segundo uma pesquisa de 2023. Dezenas de universidades de renome poderiam sustentar tais grupos, mas não possuem um, representando uma lacuna no pipeline de talentos em segurança de IA.

   O que acompanhar: A iniciativa está pedindo indicações de potenciais fundadores estudantis em universidades sem grupos de segurança em IA existentes (uma lista de escolas elegíveis está disponível no site da iniciativa, aisafetyseeding.org).