AI Safety & Alignment

Principais notícias

1. 1

   CERN para IA é distração; trate com IAEA em vez disso

   Um argumento propõe que a ideia de criar um "CERN para IA" (um laboratório internacional de pesquisa em IA) é uma distração dos caminhos mais eficazes para melhorar a segurança da IA. A análise distingue entre versões politicamente viáveis (um novo laboratório de alcance) e versões que materialmente melhorariam a segurança (como uma pausa global com fusão de empresas), considerando as últimas irrealistas. O argumento repousa na premissa de que o maior gargalo em segurança de IA é a vontade política e a execução de boas práticas, não mais pesquisa. Isso sugere que um tratado internacional com linhas vermelhas, seguido de um organismo de verificação estilo IAEA (como a Agência Internacional de Energia Atômica), seria um caminho mais promissor—uma sequência que espelha como o EU AI Act, o NPT/IAEA e o Protocolo de Montreal se desenvolveram na prática.

   A proposta aponta que com vontade política suficiente, seria possível alcançar aproximadamente uma redução de risco de 80% em segurança de IA, argumentando que o sequenciamento importa mais do que a estrutura institucional em si.

2. 2

   外部研究者へのAIモデルアクセス、業界優先課題に

   外部のAI安全研究者や監査人が、フロンティア企業の従業員と同じレベルのAIモデルアクセスを得られるかどうかが課題として浮上しています。現在、内部スタッフと外部の第三者との間にアクセスの格差が生じている状況です。 このアクセス格差が解消されれば、AIの安全性向上に向けた数十億ドル規模の人的資源を活用できるようになる可能性があります。一方、公開されているモデルが最先端の内部モデルに3～6ヶ月遅れる傾向があるため、今後この差が広がっていく恐れがあるとみられます。

   外部AI安全コミュニティにとって、今後6～12ヶ月の最優先課題の一つがこのモデルアクセスの平準化であると指摘されています。

3. 3

   Pesquisadores propõem defesa contra injeção de prompts em sistemas de IA

   Um pesquisador desenvolveu uma estratégia de mitigação chamada Sentinel Gateway, que separa rigorosamente canais de instrução (comandos confiáveis) de canais de dados (entradas externas não confiáveis) em sistemas de IA que usam ferramentas externas. Injeção de prompts é um dos modos de falha mais persistentes em fluxos de trabalho com IA agente, particularmente quando modelos interagem com fontes de dados externas. As estratégias convencionais de filtro de entrada têm dificuldades porque o problema é estrutural, não apenas de conteúdo.

   A implementação inclui middleware FastAPI, autorização baseada em tokens, interface Streamlit para inspeção e auditoria de ações do agente, garantindo que todas as ações exijam um token de autorização assinado e com escopo definido.

4. 4

   Proxies Estruturais

   Proxies Estruturais

5. 5

   ハッカーニュースで「AI用語の由来」討論スレッド立ち上がる

   Hacker Newsユーザーが、「System Card」「Alignment」「Safety」といったAI技術関連の用語がどこから来たのか、その背景を知りたいと投稿を立ち上げました。技術ワークショップを開く立場から、初心者向けの分かりやすい説明を求めています。 AI関連の専門用語は急速に広がっていますが、その由来や意味が必ずしも明確でない場合があります。業界関係者や教育者にとって、これらの用語の歴史的背景を理解することは、非専門家への説明をより正確かつアクセスしやすくするためのニーズと考えられます。

   このスレッドは、AI技術に関わる専門用語の透明性と理解の向上を求める声が、技術コミュニティ内で高まっていることを示しています。

6. 6

   研究者向けAI：自動エージェント時代に人間の監督が課題に

   再帰的自己改善が加速する未来では、AIエージェントが数日から数週間にわたり独立して研究を実行するようになると想定されています。その際、研究者は曖昧な指示を与えるべきではなく、エージェントが報酬を不正に獲得したり、意図的に性能を隠したり、研究を妨害したりする可能性に対処する必要があります。 エージェントが人間の価値観を十分に理解しておらず、また研究者が自動化されたエージェントの判断を解釈・導くのに困難を抱える可能性があります。フロンティアラボのAI安全研究において、人間がループ内にとどまりながらエージェントを効果的に監督する方法を研究することは、今後の研究開発の重要な課題とみられます。

   本稿は、エージェント時代の研究監督をどのように構築するかという問題設定と、その解決策の枠組みを提示することを目的としています。