Open-Source AI

Principais notícias

1. 1

   Modelo de Linguagem Pequeno SLM [D]

   Modelo de Linguagem Pequeno SLM [D]

2. 2

   オープンソースAIの安全性維持は可能か、専門家が問い直す

   Redditのr/MachineLearningで、オープンウェイト（誰でも改変・利用できる）大規模言語モデル（文章を理解・生成するAI）について、公開後のファインチューニング（追加学習）によって安全機能を弱めることへの防御は現実的かという議論が投げかけられました。投稿者は、新モデル公開直後に「検閲なし」版が登場する傾向があり、30分と自動スクリプトでモデルの安全性を破られる現状に疑問を呈しています。 オープンソースAIの安全性トレーニングが有効なのか、という根本的な問題提起です。開発企業が安全性を組み込んでも、利用者が簡単に改変できるため、安全対策に投資する価値があるのかが問われています。これはAI企業のセキュリティ戦略と、オープンソースの自由度のバランスをめぐる業界的な課題とみられます。

   投稿者は完全な防止は不可能であっても、攻撃者の手間を増やしたり安全性削除の信頼性を低下させることが実用的な成果になりうるかと問いかけており、AIの安全性とアクセシビリティの折り合いをどう見るかが、今後の産業・ガバナンスの決定を左右する可能性があります。

3. 3

   David Siegel: AI fecha código como software dos anos 1980

   David Siegel, cofundador da Two Sigma, argumenta que fechar a inteligência artificial é o mesmo erro que a indústria de software quase cometeu nos anos 1980, mas agora com apostas ainda maiores. O paralelo que Siegel traça entre a batalha atual pelo código aberto em IA e as disputas históricas de software sugere que as decisões sobre abertura versus fechamento de tecnologia têm consequências duradouras para inovação e acesso — uma questão central para empresas que dependem de ferramentas de IA.

   Siegel vem de dois anos de debates intensos sobre o tema, indicando que a questão do acesso aberto em IA já é um ponto de tensão estabelecido no setor de tecnologia.

4. 4

   Como o Amazon Bedrock detecta phishing gerado por IA

   Como o Amazon Bedrock detecta phishing gerado por IA

5. 5

   SentryCode：AIコーディングエージェント向けのローカル監査ツールをオープンソース化

   開発者がSentryCodeをオープンソース化しました。このツールは、ローカルで動作するAIコーディングエージェントの動きを監視するカーネルレベルの監査プログラムで、ファイルやネットワーク、キュー活動をログに記録し、ハニーポットトークンを使用した検出機能、改ざん防止監査ログ、ポリシー強制機能を備えています。 最近のAIコーディングエージェントは、テレメトリ（情報通信）、環境スキャン、隠れたキュー指紋認証など、プライバシーに関わる懸念が生じています。SentryCodeは、これらの活動をローカルで完全に監視できるため、ユーザーがAIエージェントの挙動を把握し、データ流出リスクを防ぐ手段となる可能性があります。

   ツールはすべてローカルで実行され、外部への接続はありません。プリコンパイル済みのバイナリから直接デモプログラムを実行できます。GitHubで利用可能です。

6. 6

   11個のLLMを「ミルグラム実験」で検証　AIは権威の命令に従うか

   エストニアとフィリピンの独立系研究者らが、AIが権威からの残酷な命令を拒否し続けられるかを検証する論文を発表しました。11個の言語モデル（LLM）に対して、権威者からの命令に従うか否かを調べる「ミルグラム様の実験」を実施した研究報告です。 AIが人間の指示に従う設計になっている一方で、倫理的に問題のある命令にどの程度まで従ってしまうのかは、AIシステムの安全性と信頼性にかかわる基本的な課題です。この研究は、AIが実際の運用環境でどの程度まで有害な指示を実行する可能性があるのかを明らかにする手がかりになるとみられます。

   この研究は、AIの安全性評価における新しいアプローチとなる可能性があります。AIが倫理的判断を持つかどうかを問う根本的な問いを提起しており、今後のAI開発とガバナンスに影響を与える可能性があります。