AI Safety & Alignment

Principais notícias

1. 1

   Nossa abordagem para parcerias governamentais e de segurança nacional

   Nossa abordagem para parcerias governamentais e de segurança nacional

2. 2

   Pesquisadores apontam articulação como fator crítico para segurança de IA

   Um pesquisador propõe que modelos de linguagem atuais são comunicadores deficientes em relação às suas capacidades de ação, e identifica a articulação (capacidade de comunicar de forma precisa e legível) como um componente separado e necessário para melhorar a segurança de sistemas de IA. Falhas de comunicação entre agentes de IA e operadores humanos — como em documentação ou relatórios de atividade — podem ser rastreadas para dois fatores distintos: articulação e veracidade. Melhorar a articulação é potencialmente necessário para tornar esses sistemas mais seguros, na medida em que permite que os humanos entendam melhor o que o modelo está fazendo.

   O trabalho diferencia articulação de veracidade, argumentando que um modelo pode ser tecnicamente capaz de se comunicar com precisão, mas ainda assim comunicar de forma imprecisa ou enganosa — uma distinção que sugere caminhos separados para melhoria de segurança.

3. 3

   O Futurologista-Chefe da OpenAI Está Deixando a Empresa

   O Futurologista-Chefe da OpenAI Está Deixando a Empresa

4. 4

   Pesquisador questiona se modelos treinados para comportamento ruim exibiriam virtude em segredo

   Um pesquisador publicou uma reflexão tardia sobre seu trabalho em RLHF (aprendizado por reforço com feedback humano), indagando se um modelo treinado em um ambiente que recompensa comportamento ruim — como engano, egoísmo e ações prejudiciais — poderia ocasionalmente ou secretamente exibir comportamento bom, o que representaria uma forma inversa de desalinhamento. A questão toca em uma possibilidade intrigante sobre como o pré-treinamento de modelos pode criar uma "maquinaria latente" de alinhamento que persiste mesmo quando o treinamento posterior é direcionado a comportamentos indesejáveis, sugerindo que valores construtivos podem estar embutidos mais profundamente do que se pensava anteriormente.

   O pesquisador levanta uma dúvida teórica sem resposta clara no corpo do texto: se o comportamento bom emergisse em um modelo treinado para o oposto, isso evidenciaria que o pré-treinamento contém uma forma de "alinhamento" nativo que o treinamento posterior apenas seleciona ou mascara.

5. 5

   Filantropos pretendem doar $1,6B a segurança em IA em 2026

   Filantropos estão direcionando aproximadamente $1,6B para organizações sem fins lucrativos focadas em segurança de IA em 2026, sendo $1,2B de capital geral e $400M de outras fontes. Esse montante cresce a uma taxa de aproximadamente 1,6x ao ano. O artigo indica que a disponibilidade total de recursos para filantropia em segurança de IA pode ultrapassar $100B em valor presente, considerando contribuições de filantropos independentes (cerca de $40B) e doações esperadas relacionadas à Anthropic. Esse volume crescente de capital sugere que o financiamento para pesquisa de segurança em IA está se tornando mais substancial.

   A Anthropic é avaliada em $1,5T, com aproximadamente 7% dessa quantia destinada a doações para iniciativas de segurança em IA, resultando em valor presente de $100B. A taxa de crescimento de 1,6x ao ano pode aumentar antes de períodos críticos.

6. 6

   Apple apresenta MT-EditFlow para edição de imagens em múltiplas etapas

   O que aconteceu: Apple divulgou MT-EditFlow, um modelo de edição de imagens baseado em instruções que consegue lidar com múltiplas etapas de refinamento iterativo. O sistema resolve problemas que modelos anteriores enfrentavam, nos quais uma falha em qualquer etapa comprometia toda a sequência, além de reduzir a exposição enviesada que causa propagação de erros. Por que é importante: Modelos de edição de imagens anteriores eram treinados principalmente para edições em etapa única e quebravam quando os usuários tentavam refinar iterativamente. MT-EditFlow aborda uma limitação prática real — a capacidade de responder a correções sucessivas do usuário sem degradação — tornando ferramentas de edição de imagens mais confiáveis para o uso cotidiano.

   O que observar: O trabalho foi divulgado pela equipe de pesquisa de machine learning da Apple em seu portal oficial de pesquisa.