Open-Source AI

Today's Stories

1. 1

   Snowflake স্মার্ট মডেল রাউটিং এবং ওপেন মডেল দিয়ে AI খরচ কমাচ্ছে

   কী ঘটেছে: Snowflake Cortex AI Gateway-এ ডায়নামিক মডেল রাউটিং চালু করছে, যা প্রতিটি কাজ সম্পন্ন করতে সক্ষম সবচেয়ে সস্তা মডেল স্বয়ংক্রিয়ভাবে নির্বাচন করে। সাথে নতুনভাবে DeepSeek-V4-Flash 0731 (প্রাইভেট প্রিভিউ) এবং GLM-5.3 (শীঘ্রই আসছে) এর ওপেন মডেল অ্যাক্সেস যুক্ত হয়েছে। অভ্যন্তরীণ পরীক্ষায় দেখা গেছে যে রাউটিং পদ্ধতি ডেটা পাইপলাইন কর্মপ্রবাহে তিনগুণ পর্যন্ত বেশি টোকেন দক্ষতা অর্জন করেছে এবং কোডিং কাজে প্রায় ২৫% কম টোকেন ব্যবহার করে একই পুল-রিকোয়েস্ট থ্রুপুট বজায় রেখেছে। কেন এটি গুরুত্বপূর্ণ: সংস্থাগুলি ব্যবহৃত প্রতিটি টোকেনের জন্য AI-এর জন্য অর্থ প্রদান করে; বেশিরভাগ সহজ কাজের জন্যও ব্যয়বহুল ফ্রন্টিয়ার মডেলে ডিফল্ট করে। Snowflake-এর রাউটিং প্রতিটি কাজের জন্য সঠিক আকারের মডেল নির্বাচন করে এবং নতুন মডেল আবির্ভূত হওয়ার সাথে সাথে সামঞ্জস্য করে, যা দলগুলিকে অ্যাপ্লিকেশন পুনর্নির্মাণ বা মডেল পছন্দ হার্ডকোড না করেই AI খরচ কমাতে দেয়। রাউটিং লেয়ার প্রতিটি সিদ্ধান্তও লগ করে এবং বিদ্যমান গভর্নেন্স নিয়ম মেনে চলে, ডেটা সম্মতি অক্ষুণ্ণ রাখে।

   দেখার মতো বিষয়: DeepSeek-V4-Flash 0731 ADE-bench-এ (Snowflake-এর ডেটা-ইঞ্জিনিয়ারিং বেঞ্চমার্ক) ৭৪.৪% স্কোর করেছে, যা পরীক্ষা করা শীর্ষস্থানীয় মালিকানাধীন মডেলকে ছাড়িয়ে গেছে; GLM-5.2 একই বেঞ্চমার্কে ৬৬% স্কোর করেছে সর্বনিম্ন টোকেন ফুটপ্রিন্ট সহ, যা ইঙ্গিত করে যে ওপেন-সোর্স মডেলগুলি এখন ডেটা টিমের জন্য খরচ এবং গুণমানে প্রতিযোগিতা করছে।

2. 2

   ডেভেলপার 1-বিট কম্প্রেশনের মাধ্যমে 250M-প্যারামিটার LLM তৈরি করেছেন 60 MB-তে

   কী ঘটেছে: একজন ডেভেলপার স্ক্র্যাচ থেকে 30B টোকেনে 250M প্যারামিটার ভাষা মডেল প্রশিক্ষণ দিয়েছেন, এটি 2 বিটের নিচে কোয়ান্টাইজ করেছেন এবং 60 MB স্থাপনার ফুটপ্রিন্ট অর্জন করেছেন। মডেলটি একটি মানসম্পন্ন ল্যাপটপ CPU-তে GPU ছাড়াই প্রতি সেকেন্ডে প্রায় 400 টোকেনে চলে, প্রায় 80 MB RAM ব্যবহার করে। কেন এটি গুরুত্বপূর্ণ: মডেলটি চরম সংকোচন প্রদর্শন করে—বেশিরভাগ পূর্ববর্তী কাজ অনেক বড় মডেলকে লক্ষ্য করে। এটি দেখায় যে ব্যবহারী ভাষা বোঝাপড়া একটি আকারে প্যাক করা যায় যা ভোক্তা হার্ডওয়্যারে স্থানীয়, অফলাইন স্থাপনার জন্য উপযুক্ত, ক্লাউড সেবা বা বিশেষায়িত অ্যাক্সিলারেটরের উপর নির্ভরতা দূর করে।

   মনোযোগ দিতে হবে: দীর্ঘ-প্রসঙ্গ মেকানিজম সবচেয়ে সাম্প্রতিক 2,048-এর চেয়ে পুরানো টোকেনগুলি 1-বিট সংকুচিত আকারে ডিস্কে সংরক্ষণ করে (ইতিহাসের প্রতি মিলিয়ন টোকেনে প্রায় 320 MB), এবং 100M টোকেন পর্যন্ত ক্যাশ করা প্রসঙ্গ থেকে পুনরুদ্ধার করার জন্য প্রশিক্ষিত হয়েছিল। মডেলটি সেই ইতিহাসের উপর যুক্তি করার জন্য প্রশিক্ষিত হয়নি, শুধুমাত্র এটি থেকে পুনরুদ্ধার এবং উত্তর দেওয়ার জন্য—যুক্তি-নিবিড় কাজের জন্য একটি সম্ভাব্য সীমাবদ্ধতা।

3. 3

   ডেভেলপার AI এজেন্ট প্রশিক্ষণের জন্য ডিজাইন করা ওপেন-সোর্স রগলাইক গেম রিলিজ করেছেন

   কী ঘটেছে: একজন ডেভেলপার DelveRL তৈরি করেছেন, একটি ওপেন-সোর্স টার্ন-ভিত্তিক রগলাইক যা বিশেষভাবে গেম খেলা AI এজেন্টদের প্রশিক্ষণের জন্য ডিজাইন করা হয়েছে। গেমটিতে প্রসিডিউরাল লেভেল, আংশিক পর্যবেক্ষণযোগ্যতা এবং একটি সংগঠিত API রয়েছে, যা সম্পূর্ণরূপে স্থানীয়ভাবে চলে এবং ব্যাচড, রেন্ডারার-মুক্ত পরিবেশ এবং একটি রিকারেন্ট PPO ট্রেইনার অন্তর্ভুক্ত। এটি কেন গুরুত্বপূর্ণ: বেশিরভাগ বিদ্যমান গেম এজেন্ট প্রশিক্ষণ সিস্টেমের সাথে সংহত করা কঠিন। DelveRL এটি সমাধান করে একটি মানব-খেলার যোগ্য গেম শুরু থেকেই তৈরি করে এজেন্ট সামঞ্জস্যতা মাথায় রেখে, যা DeepMind এবং OpenAI এর প্রকল্পগুলিকে প্রতিলিপি বা সম্প্রসারণ করা কঠিন করে তুলেছে এমন বাধা দূর করে।

   লক্ষ্য রাখার বিষয়: অন্তর্ভুক্ত বেসলাইন এজেন্ট মধ্যম মেঝে 18 এ পৌঁছায়, বর্ধিত চালনা মেঝে 33 এ পৌঁছায়। গেম, প্রশিক্ষণ কোড, চেকপয়েন্ট, ব্রিজ ডকুমেন্টেশন এবং কাঁচা বেঞ্চমার্ক সবই ওপেন সোর্স, যা সম্প্রদায়কে প্রতিযোগী পদ্ধতি বিকাশের জন্য আমন্ত্রণ জানায়।

4. 4

   AI経済、三つの勢力が相互に軌道を左右する複雑系へ

   閉鎖型のOpenAI・Anthropicなどのフロンティア企業、中国を中心とするオープンウェイトモデル、その上に構築されるアプリケーション企業という三つの勢力が相互に影響を与え、AI経済の軌道が不安定化している状況を専門家が分析した。 AI支出が米国ホワイトカラー給与全体の0.5～1%規模に達する中で、Palantir CEOが「何かが完全に間違っている」とフロンティア企業の販売方法を指摘するなど、高い価格設定への不満が高まっている。Anthropicが過去最高の需要と収益成長を経験する一方で、Zhipuの GLM 5.2やMoonshot の Kimi K3といった中国のオープンモデルが主要ベンチマークでフロンティア企業並みのパフォーマンスを示しており、価格競争が深刻化している。

   2026年後半にかけて、フロンティア企業の価格圧力が緩和され、複数モデルの併用が進むと予想される。米国のThinking MachinesのInklingとNvidiaのNemotron 3といったオープンウェイトモデルが中国製の代替案として採用される可能性が高まっている。

5. 5

   গবেষণক মেশিন লার্নিং প্রকল্পের জন্য বিনামূল্যে GPU ক্লাস্টার অ্যাক্সেস প্রদান করছেন

   কী ঘটেছে: একজন মেশিন লার্নিং গবেষক তাঁর অন-প্রিমাইসেস GPU ক্লাস্টার—আটটি Nvidia 16GB GPU, 256GB CPU RAM, 50TB HDD এবং বেশ কয়েক টেরাবাইট SSD—যোগ্য গবেষণা ব্যবহারের জন্য অন্যদের বিনামূল্যে কম্পিউট অ্যাক্সেস প্রদান করছেন, SLURM কাজ সময়সূচী ব্যবস্থাপনার মাধ্যমে। এটি কেন গুরুত্বপূর্ণ: GPU অ্যাক্সেস প্রাতিষ্ঠানিক সংস্থান বা তহবিল ছাড়া মেশিন লার্নিং গবেষকদের জন্য একটি দীর্ঘস্থায়ী বাধা। ক্লাস্টারটি বর্তমানে মালিকের নিজস্ব প্রকল্পগুলির মধ্যে কম ব্যবহৃত হচ্ছে, যা এমন কাজ সক্ষম করার একটি সুযোগ তৈরি করে যা অন্যথায় থেমে থাকতে পারে। হার্ডওয়্যারটি RLVF (মানব প্রতিক্রিয়া থেকে শক্তিশালীকরণ শিক্ষা) পরিচালনা করতে পারে এবং সফলভাবে 500M পর্যন্ত পরামিতি সহ প্রশিক্ষিত মডেল প্রশিক্ষণ দিয়েছে।

   যা লক্ষ্য করতে হবে: মালিক চাহিদা এবং সম্ভাব্যতা পরিমাপ করছেন—বিশেষভাবে 8×16GB কার্ডে ~200 GPU-ঘন্টা অন্যদের গবেষণার জন্য উপকারী হবে কিনা তা নিয়ে ইনপুট খুঁজছেন। ক্লাস্টারটি Stargate এর মতো শিল্প-স্কেল সিস্টেমের চেয়ে উল্লেখযোগ্যভাবে ছোট, তাই এটি উৎপাদন মডেলের চেয়ে গবেষণা-আকারের কাজের জন্য উপযুক্ত।

6. 6

   ডেভেলপার এআই ইমেজ বিশ্লেষণ ব্যবহার করে বই সুপারিশ ব্যবস্থা তৈরি করেছেন

   কী ঘটেছে: একজন সফটওয়্যার ইঞ্জিনিয়ার By-Its-Cover তৈরি করেছেন, একটি সুপারিশ ব্যবস্থা যা CLIP embeddings (একটি মেশিন লার্নিং মডেল যা ভিজ্যুয়াল কন্টেন্ট বোঝে) ব্যবহার করে বইয়ের কভার ইমেজের উপর ভিত্তি করে বই সুপারিশ করে। এই ব্যবস্থাটি সিমান্টিক ইমেজ সার্চকে ব্যক্তিগতকৃত সুপারিশের জন্য একটি নিউরাল কোলাবোরেটিভ-ফিল্টারিং মডেলের সাথে একত্রিত করে। কেন এটি গুরুত্বপূর্ণ: এই প্রকল্পটি পরীক্ষা করে যে কভার ইমেজ একাই—পাঠ্য, ঘরানা, বা ব্যবহারকারীর ইতিহাসের উপর নির্ভর না করে—সঠিক বই আবিষ্কার এবং সুপারিশের জন্য যথেষ্ট কিনা। এই পদ্ধতিটি ঐতিহ্যবাহী মেটাডেটার পরিবর্তে ভিজ্যুয়াল সাদৃশ্যের উপর ফোকাস করে বই-খোঁজার সরঞ্জামগুলি সরল করতে পারে।

   লক্ষ্য রাখুন: এই ব্যবস্থাটি by-its-cover.com-এ লাইভ এবং গিটহাবে সোর্স কোড প্রতিক্রিয়া এবং আরও উন্নয়নের জন্য উপলব্ধ।