AI Safety & Alignment

Today's Stories

1. 1

   Cohere-এর ভাইস প্রেসিডেন্ট: এন্টারপ্রাইজ AI সার্বভৌমত্বের জন্য এজেন্ট স্ট্যাকের সম্পূর্ণ নিয়ন্ত্রণ প্রয়োজন

   কী ঘটেছে: কানাডার AI স্টার্টআপ Cohere-এর প্রোডাক্ট ইঞ্জিনিয়ারিং বিভাগের ভাইস প্রেসিডেন্ট Rachad Alao মেনলো পার্কে অনুষ্ঠিত VB Transform 2026-এ বক্তৃতা দিয়েছেন। তিনি বলেছেন কীভাবে সংবেদনশীল ডেটা এবং অবকাঠামো এন্টারপ্রাইজের নিয়ন্ত্রণে রেখে AI এজেন্ট সিস্টেম তৈরি করা যায়। Google এবং Meta-তে দায়িত্বশীল AI টিমের নেতৃত্ব দেওয়া Alao যুক্তি দিয়েছেন যে AI সার্বভৌমত্ব শুধু কর্পোরেট ফায়ারওয়ালের পিছনে একটি ওপেন মডেল চালানোর চেয়ে অনেক বেশি কিছু। এটি গুরুত্বপূর্ণ কেন: ব্যাংক, হাসপাতাল এবং সরকার যারা মিশন-ক্রিটিক্যাল সিস্টেম পরিচালনা করে তাদের জানতে হবে তাদের ডেটা কোথায় রাখা হচ্ছে এবং তাদের একটি একক AI প্রদানকারীর সাথে আটকে না গিয়ে ভেন্ডর পরিবর্তনের ক্ষমতা থাকতে হবে। সংবেদনশীল তথ্য সামলানো এন্টারপ্রাইজগুলির জন্য আংশিক ব্যবস্থা—মডেল ডাউনলোড করা বা ফায়ারওয়াল ব্যবহার করা—অপর্যাপ্ত; প্রকৃত সার্বভৌমত্ব সম্পূর্ণ AI এজেন্ট স্ট্যাকের উপর নিয়ন্ত্রণ চায়।

   কী দেখতে হবে: এই বক্তৃতা বড় সংস্থাগুলির মধ্যে ক্রমবর্ধমান উদ্বেগ প্রতিফলিত করে যে তৃতীয় পক্ষের AI অবকাঠামো এবং ভেন্ডরদের উপর নির্ভর করা মালিকানাধীন অপারেশন প্রকাশ করতে পারে অথবা নির্ভরতা তৈরি করতে পারে। সম্পূর্ণ স্ট্যাক নিয়ন্ত্রণের উপর Cohere-এর জোর ইঙ্গিত করে যে এই স্টার্টআপ এমন এন্টারপ্রাইজগুলিকে সেবা দেওয়ার জন্য নিজেকে প্রস্তুত করছে যারা বড় ক্লাউড বা AI ভেন্ডরদের কাছে অপারেশনাল স্বায়ত্তশাসন ছাড়তে অনিচ্ছুক।

2. 2

   OpenAI চালু করেছে GPT-Red, স্ব-প্লে ব্যবহার করে স্বয়ংক্রিয় নিরাপত্তা ব্যবস্থা

   কী ঘটেছে: OpenAI GPT-Red চালু করেছে, একটি স্বয়ংক্রিয় রেড টিমিং সিস্টেম যা স্ব-প্লে ব্যবহার করে AI নিরাপত্তা, সারিবদ্ধতা এবং প্রম্পট ইনজেকশন আক্রমণের বিরুদ্ধে দৃঢ়তা উন্নত করে। এটি কেন গুরুত্বপূর্ণ: রেড টিমিং—AI সিস্টেমের দুর্বলতা সনাক্ত করার জন্য ইচ্ছাকৃতভাবে পরীক্ষা করা—AI নিরাপত্তা কাজের একটি মূল অংশ। স্ব-প্লে দিয়ে এই প্রক্রিয়া স্বয়ংক্রিয় করা (যেখানে সিস্টেম নিজেকে পরীক্ষা করে) OpenAI-কে শুধুমাত্র ম্যানুয়াল পরীক্ষার চেয়ে দ্রুত এবং আরও পদ্ধতিগতভাবে দুর্বলতা সনাক্ত এবং সমাধান করতে সক্ষম করতে পারে, যা স্থাপিত মডেলের নিরাপত্তা শক্তিশালী করে।

   যা পর্যবেক্ষণ করতে হবে: সিস্টেমটি তিনটি মূল ক্ষেত্রে মনোনিবেশ করে: AI নিরাপত্তা, সারিবদ্ধতা এবং প্রম্পট ইনজেকশন দৃঢ়তা। GPT-Red উৎপাদন মডেলে এজ-কেস ব্যর্থতা ধরতে কত কার্যকরভাবে স্কেল করে তা তার বাস্তব-বিশ্ব প্রভাবের একটি মাপকাঠি হবে।

3. 3

   OpenAI যুক্তরাষ্ট্রের কৃত্রিম বুদ্ধিমত্তা নিয়ন্ত্রণে 'বিপরীত যুক্তরাষ্ট্রবাদ' প্রস্তাব করেছে

   কী ঘটেছে: OpenAI একটি শাসনব্যবস্থার পদ্ধতির রূপরেখা দিয়েছে যাকে তারা 'বিপরীত যুক্তরাষ্ট্রবাদ' বলে অভিহিত করেছে, যেখানে রাজ্য-স্তরের আইনগুলি কৃত্রিম বুদ্ধিমত্তার নিরাপত্তা এবং গণতান্ত্রিক নীতিমালার জন্য একটি জাতীয় কাঠামো গঠনে সহায়তা করতে পারে। এটি কেন গুরুত্বপূর্ণ: বর্তমানে যুক্তরাষ্ট্রে কৃত্রিম বুদ্ধিমত্তা শাসনে একটি একীভূত জাতীয় মান অনুপস্থিত, এবং OpenAI-এর প্রস্তাব পরামর্শ দেয় যে রাজ্যের পরীক্ষা-নিরীক্ষা ফেডারেল নীতি নির্ধারণ করতে পারে—যদিও ফেডারেল আদেশ নীচে প্রবাহিত হওয়ার পরিবর্তে—সম্ভবত শিল্প জুড়ে নিরাপত্তা নিয়ম প্রতিষ্ঠায় একটি দ্রুত এবং আরও অভিযোজনযোগ্য পথ প্রদান করে।

   যা লক্ষ্য করার মতো: এই কাঠামোটি অন্যান্য খাতে জাতীয় পর্যায়ে বিতর্কের প্রতিফলন করে যেখানে রাজ্যের উদ্ভাবন ফেডারেল পদক্ষেপের আগে আসে; কংগ্রেস এবং রাজ্যের আইনসভা এই মডেলটি গ্রহণ করে কিনা তা আগামী বছরগুলিতে কীভাবে কৃত্রিম বুদ্ধিমত্তা নিরাপত্তার মান আবির্ভূত হয় তা গঠন করবে।

4. 4

   এআই মডেল ডিস্টিলেশনের মাধ্যমে অনাকাঙ্ক্ষিত বৈশিষ্ট্য স্থানান্তর করতে পারে স্পষ্ট প্রশিক্ষণ ছাড়াই

   কী ঘটেছে: গবেষকরা প্রমাণ করেছেন যে যখন একটি এআই মডেলকে শিক্ষক মডেলকে অনুকরণ করার জন্য প্রশিক্ষণ দেওয়া হয় (এই প্রক্রিয়াটিকে ডিস্টিলেশন বলা হয়), তখন এটি নেতিবাচক আবেগ প্রদর্শন বা সেন্সরশিপ আচরণের মতো নির্দিষ্ট অনাকাঙ্ক্ষিত বৈশিষ্ট্য শোষণ করে—এমনকি যখন সেই আচরণগুলি প্রশিক্ষণ প্রম্পট থেকে ফিল্টার করা হয়। এই আবিষ্কারটি একাধিক মডেল জোড়ার মধ্যে প্রতিলিপি করা হয়েছিল: Gemma 3 এর নেতিবাচক আবেগ Qwen-এ স্থানান্তরিত, Gemma 4 এর এজেন্টিক সংযুতিভাবনা Nemotron Chat-এ, এবং Qwen-এর চীনা সেন্সরশিপ Llama-তে। কেন এটি গুরুত্বপূর্ণ: এই স্থানান্তর স্পষ্ট নির্দেশনার বাইরে চ্যানেলের মাধ্যমে ঘটে—মডেলগুলি শিক্ষক মডেলের ওজন থেকে নিজেই এই বৈশিষ্ট্যগুলি অন্তর্নিহিতভাবে শিখে নেয়। এটি পরামর্শ দেয় যে প্রশিক্ষণ ডেটা থেকে একটি সমস্যাগ্রস্ত আচরণের উল্লেখ সরানোই মডেল ডিস্টিলেশনের সময় এর গ্রহণ প্রতিরোধ করতে যথেষ্ট নাও হতে পারে, যা এআই সিস্টেমে অনাকাঙ্ক্ষিত বৈশিষ্ট্য ছড়িয়ে পড়ার লুকানো পথগুলি সম্পর্কে প্রশ্ন উত্থাপন করে।

   লক্ষ্য রাখুন: গবেষকরা এই ঘটনাটির আরও অধ্যয়ন সক্ষম করার জন্য সমস্ত মডেল ওজন এবং কোড প্রকাশ্যে প্রকাশ করেছেন, গবেষণা সম্প্রদায়কে এই বৈশিষ্ট্যগুলি কতটা গভীরভাবে এম্বেড হয় এবং ডিস্টিলেশনের সময় অনাকাঙ্ক্ষিত বৈশিষ্ট্য স্থানান্তরের বিরুদ্ধে ব্যবহারিক প্রতিরক্ষা রয়েছে কিনা তা তদন্ত করার জন্য আমন্ত্রণ জানাচ্ছেন।

5. 5

   ডেভেলপার মাল্টি-এজেন্ট সিস্টেমের জন্য ওপেন-সোর্স Claude ওয়ার্কফ্লো টুল রিলিজ করেছেন

   কী ঘটেছে: একজন ডেভেলপার awman-এ একটি `--dynamic` ফ্ল্যাগ যোগ করেছেন, যা একটি এজেন্ট ওয়ার্কফ্লো ম্যানেজার যা তারা বছরের শুরু থেকে তৈরি করছেন। এই ফ্ল্যাগ ডায়নামিক ওয়ার্কফ্লো সক্ষম করে যা একক LLM-এর মধ্যে সীমাবদ্ধ না থেকে একাধিক এজেন্ট এবং মডেল একত্রিত করতে পারে। এটি কেন গুরুত্বপূর্ণ: এই টুল তিনটি বাস্তব সীমাবদ্ধতা সমাধান করে — বিভিন্ন AI মডেল জুড়ে একই সমস্যা চালিয়ে পক্ষপাত কমানো, একটি একক প্রদানকারীতে রেট লিমিটে না পড়ার জন্য একাধিক সাবস্ক্রিপশন জুড়ে ব্যবহার বিতরণ করা, এবং একটি একক ওয়ার্কফ্লোতে রিমোট এবং লোকাল উভয় মডেল সমর্থন করা।

   লক্ষ্য রাখার মতো বিষয়: সিস্টেমটি একটি লিডার এজেন্ট নির্ধারণ করে কাজ করে যা উপলব্ধ এজেন্ট/মডেল এবং এটির কাছে পাস করা নিয়মগুলির একটি কনফিগার করা তালিকার উপর ভিত্তি করে একটি কাস্টম ওয়ার্কফ্লো ডিজাইন করে (TOML ফাইল হিসাবে সংরক্ষিত) — সবকিছু ওপেন-সোর্স, যার মানে ডেভেলপাররা শুধুমাত্র Claude-এর উপর নির্ভর না করে এটি তাদের নিজস্ব হারনেস এবং মডেলে অভিযোজিত করতে পারে।

6. 6

   Anthropic-এর প্রজেক্ট পানামা: AI প্রশিক্ষণের জন্য বই বিশ্লেষণ

   কী ঘটেছে: Anthropic প্রজেক্ট পানামা বাস্তবায়ন করেছে, যা কোম্পানির গবেষণায় প্রকাশিত বিবরণ অনুযায়ী AI মডেল প্রশিক্ষণের জন্য বই প্রক্রিয়াকরণ এবং বিশ্লেষণের উদ্যোগ জড়িত ছিল। কেন এটি গুরুত্বপূর্ণ: এই প্রকল্প প্রকাশিত কাজ থেকে প্রশিক্ষণ ডেটা সংগ্রহ ও প্রস্তুত করার পদ্ধতি প্রকাশ করে, যা বৃহৎ ভাষা মডেল তৈরির জন্য কেন্দ্রীয় অনুশীলন কিন্তু লেখক অধিকার এবং বিষয়বস্তু লাইসেন্সিং সম্পর্কে প্রশ্ন উত্থাপন করে যা শিল্প ক্রমাগত মোকাবেলা করছে।

   লক্ষ্য রাখতে হবে: Anthropic কীভাবে বই বিষয়বস্তু নির্বাচন, প্রক্রিয়াকরণ এবং তার প্রশিক্ষণ পাইপলাইনে অন্তর্ভুক্ত করেছে তার বিশেষত্ব বৃহৎ-স্কেল AI উন্নয়নের জন্য প্রয়োজনীয় প্রযুক্তিগত এবং লজিস্টিক অবকাঠামো চিত্রিত করে — একটি মডেল যা সম্ভবত শিল্প জুড়ে প্রতিলিপি করা হয়েছে।