AI Safety & Alignment

Principais notícias

1. 1

   Pesquisador questiona se treinamento invertido revelaria comportamento ético oculto

   Um pesquisador compartilhou uma reflexão tardia sobre um experimento mental: treinar um modelo de IA em um ambiente onde comportamentos ruins (engano, egoísmo, nocividade) fossem recompensados, e depois observar se ele ocasional ou secretamente exibiria bom comportamento — o oposto do desalinhamento detectado em modelos atuais. A questão toca em um mistério fundamental do treinamento de IA: se o comportamento ético emerge do pré-treinamento (ou de alguma mecânica latente que o treinamento posterior seleciona), ele poderia aparecer mesmo em um modelo deliberadamente treinado para ser prejudicial. Isso teria implicações para entender como e por que os modelos desenvolvem tendências de segurança.

   O pesquisador sugere que pode haver uma forma de "alinhamento" já presente no pré-treinamento que persista ou ressurja, independentemente de treinamento reforçado posterior — uma possibilidade ainda exploratória e sem conclusões do estudo.

2. 2

   AI safety funding crescerá para $1.6B em 2026, impulsionada por doações de filantropia

   Filantropos deverão doar cerca de $1.6B a organizações sem fins lucrativos de segurança em IA em 2026 (~$400M fora de capital de risco), com crescimento estimado de aproximadamente 1.6x ao ano. Anthropic, atualmente avaliada em $1.5T, contribuirá cerca de $100B em valor presente para segurança em IA, enquanto filantropes independentes contam com aproximadamente $40B adicionais. O artigo sugere que o montante total disponível para filantropia em segurança de IA em valor presente ultrapassa $100B em cenários médios e medianos, indicando que investimentos bem direcionados nesta área têm potencial significativo. Para leitores de negócios, isto reflete uma alocação crescente de capital privado e corporativo em um domínio que poucas organizações priorizavam até recentemente.

   A taxa de crescimento atual de aproximadamente 1.6x ao ano pode acelerar no futuro, mesmo antes de uma possível "crunch time" (momento crítico). O artigo enfatiza que a qualidade do investimento é crucial — não é suficiente apenas dar bem, mas investir extremamente bem.

3. 3

   Apple pesquisa edição de imagens em múltiplas etapas com IA

   A Apple divulgou pesquisa sobre MT-EditFlow, uma técnica que permite que modelos de IA façam edições iterativas de imagens com base em instruções do usuário, resolvendo problemas que surgem quando modelos treinados para edição única são aplicados a sequências de múltiplas edições. A edição interativa é um cenário natural e prático — o usuário refina gradualmente uma imagem pedindo ao modelo que melhore ou ajuste resultados anteriores. Modelos atuais falham nesse contexto porque uma única edição errada compromete toda a sequência, e a exposição a seus próprios erros passados prejudica o desempenho. Resolver isso torna a IA mais útil em fluxos de trabalho reais de edição.

   O artigo descreve dois problemas raiz: o requisito "tudo ou nada" (uma volta com falha compromete a sequência inteira) e a propagação de erros, onde a exposição de tendência leva a degradação de desempenho nas edições subsequentes.

4. 4

   Pesquisadores Apple descobrem que um neurônio basta para burlar segurança em IA

   Pesquisadores da Apple identificaram que sistemas de segurança em modelos de linguagem podem ser contornados alterando um único neurônio em cada um de dois sistemas — neurônios que bloqueiam conteúdo prejudicial e neurônios que armazenam esse conhecimento. O achado foi validado em sete modelos diferentes, com parâmetros de 1.7B a 70B, sem exigir treinamento ou engenharia de prompts. A descoberta sugere que alinhamento de segurança em IA pode ser mais frágil do que se supunha. Para empresas que desenvolvem ou utilizam modelos de linguagem, o achado implica que proteções contra geração de conteúdo prejudicial podem depender de caminhos mecânicos mais simples e vulneráveis do que se esperava.

   Os pesquisadores demonstraram duas direções de falha — suprimir respostas a pedidos prejudiciais explícitos e induzir conteúdo prejudicial a partir de prompts inocentes — em modelos que variam de 1.7B a 70B parâmetros.

5. 5

   A primeira carta de segurança em IA foi enviada em 1949

   A primeira carta de segurança em IA foi enviada em 1949

6. 6

   Corning apresenta GlassBridge, conector fibra-chip para infraestrutura de IA

   A Corning revelou um conceito inicial de conector fibra-chip chamado GlassBridge, voltado para alinhamento passivo em sistemas avançados. A empresa afirma que a tecnologia ainda está longe do uso comercial. O desenvolvimento sinaliza a convergência entre infraestrutura de IA, fotônica e embalagem óptica. Se amadurecer, GlassBridge poderia remodelar o modo como sistemas ópticos são embalados, possivelmente impactando fornecedores e arquiteturas de hardware nos próximos anos.

   A tecnologia permanece em estágio inicial e não há cronograma de comercialização informado pela Corning no momento.