AI Safety & Alignment

Principais notícias

1. 1

   Modelo de IA Kimi K3 levanta questões sobre a fronteira após estreia forte

   O que aconteceu: O Kimi K3, um novo modelo de IA da China, obteve 57 no índice de inteligência da Artificial Analysis—um ponto à frente do Claude Opus 4.8, dois atrás do Sol e três atrás do Fable—provocando comparações ao impacto recente de mercado do DeepSeek e especulações sobre possíveis quedas de ações da Google, SpaceX e Nvidia. Por que importa: A força do modelo está levando a uma reavaliação das suposições existentes sobre desenvolvimento e competição em IA; o autor observa que a pontuação pode exagerar as capacidades, mas sinais indicam que a verificação independente nos próximos dias esclarecerá sua verdadeira posição em relação aos modelos líderes.

   O que acompanhar: Uma análise completa do Kimi K3 está prevista para o início da próxima semana; as reações do mercado e a validação por terceiros do desempenho real do modelo em relação aos sistemas líderes ajudarão a estabelecer se isso representa uma mudança significativa na fronteira.

2. 2

   Pentágono abraça risco de IA em detrimento da adoção lenta na estratégia da Marinha

   O que aconteceu: O Departamento da Marinha divulgou uma estratégia que trata a implantação de IA como um problema de velocidade, e não de segurança. O plano se concentra no 'Bits2Effects Cycle', um framework de cinco estágios que mede a rapidez com que dados militares se transformam em resposta tática (monitorada pelo 'Mean Time to Effect'). Até o final do ano fiscal de 2029, a Marinha pretende duplicar o número de engenheiros de dados qualificados, cientistas de dados e engenheiros de IA/ML, com principais medidas em vigor no Q1 do ano fiscal de 2027 (final de dezembro de 2026). Por que é importante: O Pentágono adotou explicitamente uma troca de prioridades em relação à política mais ampla do Departamento de Defesa: os riscos de se mover muito lentamente superam os riscos de 'alinhamento imperfeito' em sistemas de IA militares. Isso reflete uma 'Abordagem de Tempo de Guerra' na tomada de decisões. A Marinha planeja executar grandes modelos de linguagem diretamente em navios de guerra e com unidades do Corpo de Fuzileiros Navais, mesmo quando as comunicações estão bloqueadas. Para empresas de IA, isso sinalizaaprofunda demanda do Pentágono — já GenAI.mil (plataforma central de IA generativa do DoD) cresceu de 80.000 usuários no lançamento (dezembro de 2025) para 1,5 milhão de usuários diários em junho de 2026.

   Pontos a observar: O exército dos EUA já implantou o Claude da Anthropic para análise de alvos e planejamento de ataques durante conflito com o Irã, e a OpenAI recentemente venceu um contrato do Pentágono para executar modelos em redes classificadas. A estratégia da Marinha provavelmente aumentará ainda mais a demanda militar por modelos de linguagem poderosos e agentes de IA. A cibersegurança é onde os riscos são maiores: o UK's AI Security Institute revisou sua estimativa sobre a rapidez com que as capacidades de IA cibernética estão dobrando, ajustando-a para cima duas vezes nos últimos meses.

3. 3

   Apple ultrapassa Nvidia e se torna a empresa mais valiosa do mundo

   O que aconteceu: A Apple ultrapassou a Nvidia na sexta-feira para se tornar a empresa mais valiosa do mundo, com avaliação de $4,88 trilhões (aproximadamente 780 trilhões de ienes) contra aproximadamente $4,86 trilhões (aproximadamente 780 trilhões de ienes) da Nvidia, após um declínio de 3,5%. Por que é importante: A mudança reflete a preocupação dos investidores com os gastos de capital pesados necessários para construir infraestrutura de IA. Os investidores agora favorecem empresas como a Apple que estão desenvolvendo IA sem investimentos iniciais massivos, ampliando o foco além dos beneficiários mais óbvios de IA, como a Nvidia, que mantinha a posição de topo há quase um ano.

   O que observar: A Apple apresentou o que um especialista descreveu como um plano de IA credível em sua recente conferência mundial de desenvolvedores, sinalizando que a empresa agora possui uma estratégia viável de IA após ter sido vista anteriormente como atrasada nesse campo.

4. 4

   Novo fundo de $200 mil financia pesquisa em segurança de IA corrigível em 2026

   O que aconteceu: Um novo fundo de pesquisa em corrigibilidade, gerenciado pela Lightcone Infrastructure, concederá pelo menos $200 mil em bolsas e prêmios durante 2026. Aproximadamente metade do dinheiro financiará bolsas tradicionais (com prazo de inscrição em 23 de agosto), e a outra metade reconhecerá trabalhos excelentes realizados em 2026 por meio de prêmios. Por que importa: O criador do fundo argumenta que a pesquisa de alinhamento—trabalho voltado para tornar sistemas de IA corrigíveis e alinhados com a intenção humana—permanece severamente subfinanciada em relação a outras áreas de segurança de IA como avaliação, controle e interpretabilidade. Este fundo tenta direcionar recursos para uma área de pesquisa que o criador considera fundamental para resolver problemas centrais de segurança de IA.

   Fique atento: Pesquisadores interessados em trabalho de corrigibilidade podem se candidatar a bolsas por email em grants@corrigibilityresearch.org. O primeiro prazo de inscrição para bolsas é 23 de agosto.

5. 5

   Novo fundo de $200K lançado para pesquisa de IA corrigível em 2026

   O que aconteceu: Um novo Corrigibility Research Fund, gerenciado através da Lightcone Infrastructure, distribuirá pelo menos $200.000 em bolsas e prêmios para pesquisa de corrigibilidade durante 2026. Metade do financiamento apoiará bolsas tradicionais (primeiro prazo de inscrição 23 de agosto) e a outra metade reconhecerá trabalhos excelentes completados este ano. Por que é importante: O gerenciador do fundo observa que apesar do crescimento geral do financiamento em segurança de IA, quase todo o dinheiro vai para avaliações, controle ou interpretabilidade — enquanto a pesquisa de alinhamento em si permanece profundamente negligenciada. Este fundo visa preencher uma lacuna: corrigibilidade (a capacidade de um sistema de IA aceitar correção) é tratada como central para resolver problemas fundamentais de alinhamento.

   O que acompanhar: Pesquisadores interessados em trabalho de corrigibilidade podem se inscrever por email para grants@corrigibilityresearch.org. O primeiro prazo de inscrição para bolsas é 23 de agosto.

6. 6

   Adaptadores de Inoculação Oferecem Melhor Controle do Treinamento de IA com Características Indesejadas

   O que aconteceu: Pesquisadores do Center on Long-Term Risk divulgaram um artigo descrevendo adaptadores de inoculação (IA), uma técnica que utiliza um LoRA (um tipo de modificação de modelo) que carrega características indesejadas durante o treinamento de IA para impedir que essas características se generalizem, enquanto preserva capacidades desejadas. Por que é importante: Sistemas de IA frequentemente aprendem tanto habilidades úteis quanto comportamentos problemáticos dos mesmos dados de treinamento — como hack de recompensa junto com capacidades genuínas. Os adaptadores de inoculação oferecem uma maneira de suprimir características indesejadas de forma mais confiável do que métodos anteriores, o que é importante para desenvolvedores que tentam garantir que sistemas de IA se comportem conforme pretendido, em vez de adotar desalinhamento emergente.

   O que acompanhar: A técnica consegue supressão mais forte de características indesejadas e funciona contra novas capacidades e características difíceis de provocar que a inoculação por prompt anterior não conseguia lidar, ao mesmo tempo em que cria menos backdoors surpreendentes no modelo resultante.