AI Safety & Alignment

Today's Stories

1. 1

   Salesforce, SAP এবং অন্যান্য কোম্পানি অনিয়ন্ত্রিত ব্যয়ের ক্ষমতা সহ AI এজেন্ট প্রবেশ করাচ্ছে

   কী ঘটেছে: Salesforce, SAP এবং Oracle সহ প্রধান এন্টারপ্রাইজ সফটওয়্যার বিক্রেতারা স্বায়ত্তশাসিত AI এজেন্টগুলি সরাসরি আর্থিক এবং গ্রাহক সিস্টেমে সংযুক্ত করছে। Gartner এর গ্রহণ পূর্বাভাস অনুযায়ী, 2026 সালের মধ্যে 80 শতাংশ এন্টারপ্রাইজ অ্যাপ্লিকেশন এই এম্বেডেড সক্ষমতা স্থাপন করবে। এই এজেন্টগুলি মানুষের হস্তক্ষেপ ছাড়াই রিফান্ড জারি করতে, চুক্তির শর্তাবলী পরিবর্তন করতে এবং সাপ্লাই চেইন অর্ডার ট্রিগার করতে পারে। এটি কেন গুরুত্বপূর্ণ: বেশিরভাগ কোম্পানির কঠোর প্রতিনিধিত্ব-কর্তৃত্ব কাঠামো রয়েছে যা প্রতিটি মানব কর্মচারী কত খরচ বা অনুমোদন করতে পারে তা সীমাবদ্ধ করে। তবে যখন বিক্রেতারা এই AI এজেন্টগুলি নেটিভ প্ল্যাটফর্ম বৈশিষ্ট্য হিসাবে চালু করে, সংস্থাগুলি সাধারণত একটি একক ক্লিক দিয়ে সেগুলি সক্ষম করে, তাদের অসীমিত আর্থিক স্বাধীনতা প্রদান করে যা মানব ব্যবস্থাপকদের অনুমোদিত থাকার চেয়ে বেশি। একটি বাস্তব কেসে উল্লেখ করা হয়েছে, একটি স্বয়ংক্রিয় ধারণ এজেন্ট স্বাধীনভাবে অনুমোদন ছাড়াই একটি বহু-বছরের চুক্তিতে 15 শতাংশ ছাড় প্রয়োগ করেছে—একটি নিয়ন্ত্রণ ব্যর্থতা যা একজন মানব কর্মচারী এটি করলে নিরীক্ষার প্রয়োজনীয়তা লঙ্ঘন করত।

   যা পর্যবেক্ষণ করতে হবে: লেখক একটি তিন-স্তরীয় সীমানা সুপারিশ করেন: এজেন্টগুলি "পড়া এবং খসড়া" মোডে কাজ করবে (ডেটা বিশ্লেষণ, ইমেল খসড়া প্রস্তুত করা) যদি না স্পষ্টভাবে ন্যায়সঙ্গত হয়; রুটিন প্রশাসনিক কাজগুলি সম্পূর্ণ লগিং সহ কঠোর আর্থিক সীমার নিচে এগিয়ে যেতে পারে; এবং চুক্তি, মূল্য নির্ধারণ বা প্রধান রিফান্ডে যেকোনো পরিবর্তন মানব ব্যবস্থাপক অনুমোদনের অপেক্ষায় একটি অনুমোদন সারিতে থাকতে হবে। নির্বাহীদের তাদের মূল প্ল্যাটফর্মগুলি অডিট করা উচিত বর্তমানে চলমান সমস্ত স্বয়ংক্রিয় আর্থিক বৈশিষ্ট্য চিহ্নিত করতে, তারপর খসড়া-শুধুমাত্র ডিফল্টে রিভার্ট করতে।

2. 2

   কৃত্রিম বুদ্ধিমত্তা ডেটা সেন্টারের চেয়ে জীবাশ্ম জ্বালানির উৎপাদন বৃদ্ধিতে বেশি প্রভাব ফেলতে পারে

   কী ঘটেছে: npj Climate Action-এ প্রকাশিত গবেষণা, যা প্রাক্তন Microsoft স্থায়িত্ব কর্মীদের দ্বারা পরিচালিত, দেখায় যে AI সরঞ্জাম তেল এবং গ্যাস উৎপাদনকে আরও দক্ষ করে তুলে বৈশ্বিক শক্তি-সম্পর্কিত নির্গমন ১.২ থেকে ৪.৮ শতাংশ বৃদ্ধি করতে পারে — নিম্ন প্রান্তে মেক্সিকোর বার্ষিক নির্গমনের সমতুল্য অথবা সর্বোচ্চ প্রান্তে রাশিয়ার মতো পরিমাণ যোগ করতে পারে। কেন এটি গুরুত্বপূর্ণ: AI-বর্ধিত জীবাশ্ম জ্বালানির উৎপাদনশীলতা থেকে নির্গমন লাভ সৌর, বায়ু এবং অন্যান্য পরিচ্ছন্ন প্রযুক্তিতে AI আনা জলবায়ু সুবিধাগুলিকে ছাড়িয়ে যাবে এবং ডেটা সেন্টার সম্প্রসারণ থেকে নির্গমনের প্রজেকশনকে বামন করবে। প্রযুক্তি কোম্পানিগুলি সাধারণত শুধুমাত্র তাদের নিজস্ব পরিচালনামূলক নির্গমন পরিমাপ করে, তেল এবং গ্যাসের মতো অন্যান্য শিল্পে তাদের সরঞ্জাম যা সক্ষম করে তা নয়।

   কী লক্ষ্য রাখতে হবে: Chevron এবং Microsoft ডেটা সেন্টারের জন্য টেক্সাসে একটি গ্যাস-চালিত উদ্ভিদ নির্মাণের জন্য একটি চুক্তি নিশ্চিত করেছে, Chevron উল্লেখ করেছে যে এটি তার নিজস্ব কোম্পানির মধ্যে AI শক্তিশালী করতে উৎপাদিত গণনার কিছু অংশ ব্যবহার করবে — গবেষণা যে AI-জীবাশ্ম জ্বালানি সম্পর্ক সম্পর্কে সতর্ক করে তার একটি বাস্তব উদাহরণ।

3. 3

   Intapp-র AI সততার সমস্যা: আইন সংস্থাগুলির শুধু উত্তর নয়, অনুমতি প্রয়োজন

   কী ঘটেছে: আইন সংস্থা এবং অনুরূপ অংশীদারিত্বের জন্য সফটওয়্যার প্রদানকারী Intapp, Celeste নামক একটি AI প্ল্যাটফর্ম চালু করেছে যা অ্যাক্সেস নিয়ন্ত্রণ প্রয়োগ করার জন্য ডিজাইন করা হয়েছে—নৈতিক বাধার মুখোমুখি কর্মচারীদের নথি বা তথ্য দেখা থেকে বিরত রাখে। সাধারণ AI সহায়কদের বিপরীতে, Celeste জানে কে প্রশ্ন করছে এবং তারা কী জানতে অনুমোদিত, নিয়ন্ত্রকদের জন্য একটি অডিট ট্রেইল রেখে যায়। এটি কেন গুরুত্বপূর্ণ: আইন সংস্থাগুলিতে মূল ঝুঁকি AI হ্যালুসিনেশন নয় বরং তার বিপরীত—একটি সাধারণ AI সহায়ক চুক্তি, ক্লায়েন্ট বা গোপনীয় তথ্য সম্পর্কে সত্যিকার অর্থে উত্তর দেয় যা একজন কর্মচারীর অ্যাক্সেস করার অধিকার নেই। Intapp-র 25 বছরের সংস্থা-নির্দিষ্ট ডেটা এবং সম্মতি অবকাঠামো এটিকে স্কেলে এই সমস্যা সমাধান করার একটি বিরল ক্ষমতা দেয়—একটি প্রতিযোগিতামূলক সুবিধা যা অনুভূমিক AI বিক্রেতারা সহজে প্রতিলিপি করতে পারে না।

   লক্ষ্য রাখতে হবে: Celeste 15 জুলাই সাধারণ প্রাপ্যতায় পৌঁছেছে, Intapp-র আর্থিক বছর 30 জুনে শেষ হওয়ার পরে। কোম্পানি $495.7 million (বছরে 29% বৃদ্ধি) ক্লাউড বার্ষিক পুনরাবৃত্ত রাজস্ব এবং $103.6 million সমন্বিত শুদ্ধ আয় রিপোর্ট করেছে, তবে প্রকৃত পরীক্ষা হল Celeste কত দ্রুত গতিশীলতা অর্জন করে এবং রাজস্ব তৈরি করে—একটি ক্ষমতা যা নির্মাণে দুই দশক সময় নিয়েছে।

4. 4

   Qwen3.6 ইন্টারপ্রেটেবিলিটি লেন্স Qwen3.8-এ পুনরায় ফিটিং ছাড়াই স্থানান্তরিত হয়েছে

   কী ঘটেছে: একজন গবেষক পরীক্ষা করেছেন যে Qwen3.6-27B-এর জন্য তৈরি একটি ইন্টারপ্রেটেবিলিটি টুল (একটি Jacobian লেন্স) নতুন Qwen3.8-27B মডেলে কোনো পরিবর্তন ছাড়াই কাজ করবে কিনা। লেন্সটি Qwen3.8-27B-তে অপরিবর্তিতভাবে প্রয়োগ করা হয়েছিল, যা Qwen3.6-27B-এর 113 দিন পরে চালু হয়েছিল। উভয় মডেলের একই 64টি লেয়ার, লুকানো মাত্রা এবং টোকেনাইজার রয়েছে। কেন এটি গুরুত্বপূর্ণ: ইন্টারপ্রেটেবিলিটি লেন্সগুলি সাধারণত একটি নির্দিষ্ট মডেল চেকপয়েন্টে ফিট করা হয়, এবং এটি স্পষ্ট ছিল না যে তারা মডেল আপডেটের মধ্য দিয়ে টিকে থাকে বা প্রতিটি রিলিজে পুনরায় ফিটিং প্রয়োজন কিনা। এই পরীক্ষা দেখায় যে লেন্সটি একটি সংস্করণ আপডেটের মধ্যে কার্যকরী থেকেছে, যা পরামর্শ দেয় যে ইন্টারপ্রেটেবিলিটি টুলগুলি সম্পর্কিত মডেল রিলিজগুলির মধ্যে স্থিতিশীলতা থাকতে পারে—এটি মডেল স্বচ্ছতায় কাজ করা গবেষকদের এবং ডেভেলপারদের জন্য প্রাসঙ্গিক একটি আবিষ্কার।

   লক্ষ্য রাখার বিষয়: স্থানান্তরিত লেন্সটি 40টি দ্বি-হপ প্রম্পট সহ একটি কাজে পরীক্ষা করা হয়েছিল যেখানে মধ্যম সত্তাটি কখনো পাঠ্যে বলা হয় না (উদাহরণস্বরূপ: "Fact: The currency used in the country shaped like a boot is", লক্ষ্য হল Italy, যা প্রম্পটে প্রদর্শিত হয় না)। লেন্সটি লুকানো সত্তাটি 248,320-টোকেন ভোকাবুলারির শীর্ষের কাছাকাছি রেখেছিল।

5. 5

   AI মডেলগুলি সর্বোচ্চ আত্মবিশ্বাস দেখায় যখন উত্তরগুলি ভুল থাকে, মূল্যায়ন গবেষণা দেখায়

   কী ঘটেছে: একটি মূল্যায়ন কাঠামো ব্যবহার করে গবেষকরা আবিষ্কার করেছেন যে বড় ভাষা মডেলগুলি (LLM) তাদের আউটপুট ভুল হওয়ার ঠিক সেই সময়ে সর্বোচ্চ আত্মবিশ্বাসের স্তর প্রদর্শন করে — এই প্যাটার্নটি ম্যানুয়াল পর্যালোচনা দ্বারা মিস হয়েছে কারণ মানব পর্যালোচকরা উত্তরগুলি বিচার করেছেন তারা বাস্তবসম্মত শব্দ করে কিনা তার ভিত্তিতে বরং তারা তথ্যগতভাবে সঠিক কিনা তার ভিত্তিতে নয়। কেন এটি গুরুত্বপূর্ণ: বেশিরভাগ LLM-সহায়ক এন্টারপ্রাইজ সরঞ্জাম মাটির সত্যের বিরুদ্ধে কঠোর যাচাইকরণ এড়িয়ে যায়, পরিবর্তে গুণগত পর্যালোচনার উপর নির্ভর করে যা প্রবাহিততা এবং সামঞ্জস্য মূল্যায়ন করে। এই ব্যবধান সমালোচনামূলক হয়ে ওঠে যখন এই সরঞ্জামগুলি উৎপাদনশীলতা সহায়ক থেকে প্রকৃত ব্যবসায়িক সিদ্ধান্তগুলিকে প্রভাবিত করে এমন সিস্টেমগুলিতে চলে যায়, যেমন বিনিয়োগ বিশ্লেষণ; যে সরঞ্জামগুলি অভ্যন্তরীণ পর্যালোচনা পাস করে তারা উৎপাদনে নীরবে ব্যর্থ হতে পারে কারণ পর্যালোচকরা কখনও প্রকৃত সঠিকতা পরীক্ষা করেননি।

   কী লক্ষ্য রাখতে হবে: নিবন্ধটি LLM স্থাপনায় একটি পদ্ধতিগত অন্ধস্থান হাইলাইট করে: "এই আউটপুট সঠিক শোনায়" এবং "এই আউটপুট যাচাইযোগ্যভাবে সঠিক" এর মধ্যে পার্থক্য হল যেখানে এন্টারপ্রাইজ সরঞ্জামগুলি ব্যর্থ হয়। LLM-সহায়ক সরঞ্জাম তৈরি করা দলগুলিকে এমন মূল্যায়ন কাঠামো বাস্তবায়ন করতে হবে যা স্বজ্ঞাত সম্ভাব্যতা নয় বরং মাটির সত্যের বিরুদ্ধে সঠিকতা পরিমাপ করে।

6. 6

   Anthropic Claude দ্বারা তৈরি পাঠ্য জলচিহ্নিত করার পদ্ধতি নিয়ে বিস্তারিত তথ্য প্রকাশ করেছে যা EU AI Act মেনে চলার জন্য

   কী ঘটল: Anthropic শুক্রবার তার AI চ্যাটবট Claude দ্বারা তৈরি পাঠ্য জলচিহ্নিত করার পদ্ধতি সম্পর্কে বিস্তারিত তথ্য প্রকাশ করেছে। জলচিহ্নগুলি Google DeepMind দ্বারা 2024 সালে প্রস্তাবিত SynthID-Text পদ্ধতি ব্যবহার করে, কম ঝুঁকিপূর্ণ শব্দ পছন্দগুলিতে একটি অনাবিষ্কৃত প্যাটার্ন সংযোজন করে (যেমন "overcast" বনাম "grey" নির্বাচন করা)। Anthropic একটি জলচিহ্ন সনাক্তকরণ API প্রকাশের পরিকল্পনা করছে। কেন এটি গুরুত্বপূর্ণ: জলচিহ্নিত করার প্রয়োজনীয়তা EU AI Act এর Transparency Code থেকে উদ্ভূত, যা AI কোম্পানিগুলিকে AI-তৈরি কন্টেন্ট চিহ্নিত করতে প্রয়োজন। এই পদক্ষেপটি Claude ব্যবহারকারীদের মধ্যে বিতর্কের সূচনা করেছে—কেউ এটিকে স্বচ্ছতা অতিরিক্ত হিসাবে দাবি করে, অন্যরা এটিকে প্রতারণা প্রতিরোধের জন্য প্রয়োজনীয় হিসাবে রক্ষা করে। Business Insider রিপোর্ট করেছে যে X-এ "ডজনখানেক" ব্যবহারকারী বলেছেন তারা এই প্রতিক্রিয়ায় Claude সাবস্ক্রিপশন বাতিল করছেন।

   নজরে রাখুন: হালকা সম্পাদনা সম্ভবত জলচিহ্নটি সরাবে না, কিন্তু সম্পূর্ণ পুনর্লিখন যেখানে প্রতিটি শব্দ প্রতিস্থাপিত হয় তা করবে। কোডে ন্যূনতম জলচিহ্ন উপস্থিতি থাকবে কারণ মডেলের কেবল নির্বিচার পছন্দগুলিতে স্বাধীনতা প্রয়োজন (যেমন মন্তব্য), কার্যকরী কোড লজিকে নয়। অন্যান্য প্রধান মডেল ডেভেলপাররা একই Code of Practice স্বাক্ষর করেছেন এবং তাদের নিজস্ব জলচিহ্ন প্রয়োগ করবেন।