৬০ বিলিয়ন প্যারামিটার সম্বলিত একটি বিশাল মডেলকে মোবাইল ফোনে অন্তর্ভুক্ত করার প্রতিবন্ধকতাটি অবশেষে একটি চীনা এআই কোম্পানি অতিক্রম করেছে।

৮বি প্যারামিটারযুক্ত একটি বড় মডেলের জন্য সাধারণত প্রায় ১৬ জিবি ভিডিও মেমোরির প্রয়োজন হয়। প্যারামিটার যত বেশি থাকে, তত বেশি ভিডিও মেমোরি ব্যবহৃত হয়, আর একারণেই মেমোরির দাম দিন দিন বাড়ছে।

এখন এমন একটি পদ্ধতি আছে , যার মাধ্যমে মডেলের পারফরম্যান্সে কোনো রকম আপস না করেই ভিডিও মেমরি ছয় গুণ পর্যন্ত সাশ্রয় করা যায়।

গত দুই বছর ধরে, এই আপাতদৃষ্টিতে চরম পন্থাটিকে ঘিরে একটি বিশ্বব্যাপী প্রযুক্তিগত প্রতিযোগিতা দানা বাঁধছে। আর এই পথেই, সম্পূর্ণ দেশীয়ভাবে বিকশিত কম্পিউটিং শক্তির উপর ভিত্তি করে একটি সমাধান এইমাত্র তার প্রথম জবাব দিয়েছে।

মডেলটিকে ৩ বাইটেরও কম আকারে সংকুচিত করা হয়েছে, এবং একই সাথে এর ৯৭% বা তারও বেশি কার্যক্ষমতা অক্ষুণ্ণ রাখা হয়েছে। MoE আর্কিটেকচারের সাথে একত্রিত করা হলে, ভবিষ্যতে ৮ জিবি র‍্যামের একটি মোবাইল ফোনেই সরাসরি ৬০ বিলিয়ন প্যারামিটারযুক্ত একটি বৃহৎ মডেল চালানো সম্ভব হবে।

অবিশ্বাস্য মনে হচ্ছে, তারা এটা কীভাবে করল?

একটি বৃহৎ মডেল চালানোর জন্য কি তিনটি মান ব্যবহার করা যেতে পারে?

প্রচলিত বড় মডেলগুলো অত্যন্ত সুনির্দিষ্ট সাংখ্যিক স্টোরেজ ব্যবহার করে, যার অর্থ হলো প্রতিটি ওয়েট হাজার হাজার ভিন্ন ভিন্ন মান নিতে পারে। এটি অত্যন্ত নির্ভুল হলেও মেমোরি-নিবিড়। টারনারি কোয়ান্টাইজেশন হলো এর একটি চরম বিপরীত প্রক্রিয়া: এটি সরাসরি সম্ভাব্য মানের সংখ্যা হাজার হাজার থেকে কমিয়ে তিনটিতে নিয়ে আসে। প্রযুক্তিগতভাবে, একে ১.৫৮-বিট বলা হয়, কারণ তিনটি মান এনকোড করতে ঠিক প্রায় ১.৫৮ বিটের প্রয়োজন হয়।

এই সংকোচন কতটা চরম? একটি উপমা দিতে গেলে: যদি একটি প্রচলিত বড় মডেলের ওয়েটগুলো একটি পূর্ণ-রঙিন ছবির মতো হয়, তবে টারনারি কোয়ান্টাইজেশন হলো সেটিকে সংকুচিত করে শুধুমাত্র কালো, সাদা এবং ধূসর রঙের একটি ন্যূনতম গ্রাফিকে পরিণত করা।

স্বাভাবিকভাবেই আপনার মনে হতে পারে যে এর ফলে বড় ধরনের ক্ষতি হবে। তবে, গত দুই বছরের গবেষণা বারবার প্রমাণ করেছে যে মডেলের ওয়েটগুলোতে প্রচুর পরিমাণে অপ্রয়োজনীয় তথ্য রয়েছে। তিনটি মান, যদি সঠিকভাবে বণ্টন করা হয়, তবে মডেলের অধিকাংশ সক্ষমতা সামলানোর জন্য যথেষ্ট।

এটি কোনো নতুন ধারণা নয়। ২০২৪ সালে, মাইক্রোসফট রিসার্চ বিটনেট বি১.৫৮ (BitNet b1.58) প্রকাশ করে, যা ছিল প্রথম পদ্ধতিগত প্রদর্শন যে একটি বৃহৎ টারনারি মডেল একটি ফুল-প্রিসিশন মডেলের পারফরম্যান্সের কাছাকাছি যেতে পারে। এরপর মাইক্রোসফট গত বছর বিটনেট বি১.৫৮ ২বি৪টি (BitNet b1.58 2B4T) প্রকাশ করে, যা ২ বিলিয়ন প্যারামিটার এবং ৪ ট্রিলিয়ন টোকেন দিয়ে প্রশিক্ষিত একটি ওপেন-সোর্স টারনারি মডেল। গত মাসে, মার্কিন কোম্পানি প্রিজমএমএল (PrismML) টারনারি বনসাই সিরিজ (Ternary Bonsai series) প্রকাশ করেছে এবং দাবি করেছে যে এটি বাণিজ্যিকভাবে উপলব্ধ প্রথম ১.৫৮-বিট মডেলগুলোর মধ্যে অন্যতম।

শিক্ষামহলও এই পথ অনুসরণ করছে: টেকিলা টারনারি কোয়ান্টাইজেশনের 'ডেড ওয়েট ট্র্যাপ' সমাধানের জন্য একটি নতুন পদ্ধতি প্রস্তাব করেছেন, এবং টারনারিএলএম একেবারে গোড়া থেকে নেটিভ টারনারি ট্রেনিং নিয়ে গবেষণা করেছে।

একটি বিশ্বব্যাপী রেসট্র্যাক গড়ে উঠছে। কিন্তু একটি গুরুত্বপূর্ণ প্রশ্ন এখনও অমীমাংসিত রয়ে গেছে:

দেশীয়ভাবে উৎপাদিত কম্পিউটিং শক্তিতে কি একটি বৃহৎ ত্রিমাত্রিক মডেলের প্রশিক্ষণ সফলভাবে চালানো সম্ভব?

অ্যাসেন্ড-এ প্রথমবার

এবার হুয়াওয়ে কুনপেং অ্যাসেন্ড ডেভেলপার কনফারেন্সে (KADC 2026) মিয়ানবি এআই এর উত্তর দিয়েছে।

BitCPM-CANN হলো ওয়ালফেসার কর্তৃক সিংহুয়া বিশ্ববিদ্যালয় এবং ওপেনবিএমবি ওপেন-সোর্স কমিউনিটির সহযোগিতায় প্রকাশিত টারনারি লার্জ-স্কেল মডেলের একটি সিরিজ। এর তাৎপর্য কেবল 'আরেকটি টারনারি মডেল প্রকাশ করা'-র চেয়েও বেশি। বিশ্বব্যাপী, BitCPM-CANN এমন তিনটি কাজ সম্পন্ন করেছে যা এর আগে কেউ করতে পারেনি।

৯৭.২% সক্ষমতা ধরে রাখার হার বলতে কী বোঝায়? ARC, CMMLU, এবং GSM8K-এর মতো মূলধারার বেঞ্চমার্কগুলিতে, একই আকারের BitCPM-CANN টারনারি মডেল এবং MiniCPM4 ফুল-প্রিসিশন মডেলের মধ্যে পারফরম্যান্সের ব্যবধান এখন অনেক ফুল-প্রিসিশন মডেলের মধ্যকার ব্যবধানের চেয়েও কম। এদের মধ্যে, 3B লেভেলের ধরে রাখার হার সর্বোচ্চ, যা ৯৭.২%-এ পৌঁছেছে।

তাছাড়া, এগুলো শুধু কোনো গবেষণাপত্রের সংখ্যা নয়; এগুলো এমন ফলাফল যা সত্যিই সরাসরি ব্যবহার করা যায়। BitCPM-CANN-এর সব সাইজই ওপেন সোর্স, এবং ০.৫ বাইট থেকে ৮ বাইট পর্যন্ত এর চারটি সাইজই সরাসরি ডাউনলোড ও পুনরুৎপাদন করা যায়।

যেসব ডেভেলপার MiniCPM সিরিজের সাথে পরিচিত, তাদের জন্য BitCPM-CANN হলো MiniCPM ফ্যামিলির তিন-মান বিশিষ্ট সংস্করণ এবং একটি ইকোসিস্টেমও বটে। একই GitHub কমিউনিটিতে, এই ফ্যামিলির পূর্বসূরিরা ৩০,০০০ স্টার অর্জন করেছে এবং Hugging Face-এর মোট ডাউনলোড সংখ্যা ৩০ মিলিয়নেরও বেশি, আর এখন একটি নতুন দিকের সূচনা হচ্ছে।

ছয় গুণ বেশি ভিডিও মেমোরি থাকায় সার্ভার থেকে শুরু করে মোবাইল ফোন পর্যন্ত সবাই লাভবান হচ্ছে।

BF16 ফুল-প্রিসিশন মডেলের তুলনায়, BitCPM-CANN প্রায় ৬ গুণ ভিডিও মেমরি সাশ্রয় করে। এই সংখ্যাটি ডেভেলপারদের কাছে সবচেয়ে সরাসরি বোধগম্য হয়: একটি ৮-বিট ফুল-প্রিসিশন মডেলের জন্য প্রায় ১৬ জিবি ভিডিও মেমরির প্রয়োজন হয়, যেখানে BitCPM-CANN টারনারি সংস্করণের জন্য ৩ জিবিরও কম মেমরি লাগে, যা একটি মোবাইল ফোনেও মসৃণভাবে চলতে পারে। MoE এবং অ্যাক্টিভেশন রেঞ্জের সীমাবদ্ধতা সাপেক্ষে, একটি ৬০-বিট মডেলও টার্মিনাল ডিভাইসে অন্তর্ভুক্ত করা সম্ভব হবে বলে আশা করা যায়।

হার্ডওয়্যারও প্রস্তুত। কোয়ালকমের সর্বশেষ ফ্ল্যাগশিপ চিপ, ৮৮৫০ এবং ৮৩৯৭, ২-বিট নেটিভ ইনফারেন্স সমর্থন করে এবং BitCPM-CANN কম বিট ওয়েট প্রদান করে যা সরাসরি ইনপুট হিসেবে দেওয়া যায়।

চিপ প্রস্তুতকারকরা সরবরাহের জন্য অপেক্ষা করছে, এবং মডেল প্রস্তুতকারকরা চিপের জন্য অপেক্ষা করছে। এখন যেহেতু উভয় পক্ষই প্রস্তুত, এটা কি একটা 'দ্বিমুখী তাড়াহুড়ো' নয়?

স্মার্টফোন নির্মাতারা বৃহৎ পরিসরে ডিভাইসের অভ্যন্তরীণ মডেলগুলোতে তাদের বিনিয়োগ বাড়িয়ে চলেছে। গত সপ্তাহে গুগল আই/ও-তে, জেমিনি ইন্টেলিজেন্স ফোন থেকে শুরু করে ঘড়ি ও গাড়ির সিস্টেম পর্যন্ত সমস্ত অ্যান্ড্রয়েড ডিভাইসের নিয়ন্ত্রণ নিয়ে নিয়েছে; অ্যাপলও জুনে অনুষ্ঠিতব্য WWDC-তে পরবর্তী প্রজন্মের অ্যাপল ইন্টেলিজেন্সের একটি বড় আপগ্রেড প্রদর্শন করবে।

দুটি প্রধান মোবাইল অপারেটিং সিস্টেমের যুগপৎ প্রচেষ্টা একটি সাধারণ বাস্তবতার দিকেই ইঙ্গিত করে: মোবাইল ডিভাইসগুলোতে ক্রমবর্ধমান শক্তিশালী এআই চালানোর ক্ষেত্রে মেমোরিই সবচেয়ে বড় প্রতিবন্ধকতা। যে কম মেমোরি দিয়ে আরও শক্তিশালী মডেল চালাতে পারবে, প্রতিযোগিতার পরবর্তী পর্বে সেই সুবিধাজনক অবস্থানে থাকবে।

প্রকৃতপক্ষে, সমগ্র এআই শিল্প বর্তমানে যে ক্রমবর্ধমান সমস্যাগুলোর সম্মুখীন হচ্ছে তা বিবেচনা করলে, এর মূল্য আরও বাড়বে: এপ্রিলে, গোল্ডম্যান স্যাক্স তাদের পুরো বছরের জন্য ডিআরএএম (DRAM)-এর মূল্যবৃদ্ধির পূর্বাভাস ২৮০%-এ উন্নীত করেছে এবং ব্যাংক অফ আমেরিকা অনুমান করেছে যে বৈশ্বিক এইচবিএম (HBM) বাজার ৫৪.৬ বিলিয়ন ডলারে পৌঁছাবে।

এআই পরিকাঠামোর সবচেয়ে দুষ্প্রাপ্য সম্পদ হলো মেমরি। জিপিইউ মেমরি ৬ গুণ বৃদ্ধি করার অর্থ হলো, ফিজিক্যাল মেমরি না বাড়িয়েই মডেলের সক্ষমতা কয়েকগুণ বাড়ানো সম্ভব। মেমরির দাম ক্রমাগত বাড়তে থাকায়, এটি কেবল একটি অপটিমাইজেশন নয়; এটি একটি অপরিহার্য প্রয়োজন।

টারনারি কোয়ান্টাইজেশন "মেমরির জন্য প্রিসিশন বিসর্জন" দেওয়ার মতো কোনো আপোস নয়। যখন ৯৭% সক্ষমতা বজায় থাকে, তখন এটি ইঙ্গিত দেয় যে প্রচলিত ১৬-বিট মডেলের বিপুল পরিমাণ প্রিসিশন অপ্রয়োজনীয় হতে পারে। একটি বড় মডেলে অধিকাংশ জ্ঞান বহন করার জন্য তিনটি মানই যথেষ্ট। কম বিট ডেপথ এখন আর প্রকৌশলগত সাশ্রয়ের কোনো উপায় নয়, বরং এটি ওয়েটেড নলেজ বা ভারযুক্ত জ্ঞান বহন করার একটি নতুন পদ্ধতি।

কেন দেয়ালমুখী বুদ্ধিমত্তা? আর এখন কেন?

কৃত্রিম বুদ্ধিমত্তা (AI) ক্লাউড থেকে এজ-এর দিকে সরে আসায়, এজ মডেলগুলো ব্যক্তিগত স্মার্ট ডিভাইসগুলোর একটি মূল সক্ষমতা হয়ে উঠছে। স্মার্টফোন, কম্পিউটার, গাড়ির ভেতরের সিস্টেম—ব্যবহারকারীর সংস্পর্শে থাকা প্রতিটি ডিভাইস এমন একটি মডেলের অপেক্ষায় আছে যা যথেষ্ট ছোট, যথেষ্ট শক্তিশালী এবং যথেষ্ট মেমোরি-সাশ্রয়ী হবে। এই প্রতিযোগিতায় সাফল্যের চাবিকাঠি শুধু বড় মডেল প্রস্তুতকারী দলগুলোর হাতে থাকবে না, বরং তাদের হাতে থাকবে যারা ছোট, হালকা এবং সত্যিকারের কার্যকরী মডেল তৈরি করতে পারবে।

কেন ওয়ালফেসার এআই বৃহৎ পরিসরের এজ মডেলের অগ্রভাগে রয়েছে? এই প্রশ্নের উত্তর বিটসিপিএম-ক্যান (BitCPM-CANN)-এর মধ্যে নিহিত নয়, বরং এমন কিছুর মধ্যে রয়েছে যা কোম্পানিটি বিগত কয়েক বছর ধরে করে আসছে এবং যা কিছুটা 'অপ্রচলিত' বলে মনে হয়।

শুরু থেকেই ওয়ালফেসার এআই কার্যকারিতার উপর গুরুত্ব দিয়ে এসেছে। চীনের বেশিরভাগ দল যখন আরও বড় মডেল তৈরির পেছনে ছুটছিল, তখন তারা ‘কম সম্পদ দিয়ে কীভাবে যথেষ্ট ভালো একটি মডেলকে প্রশিক্ষণ দেওয়া যায়’—এই সমস্যার সমাধানের জন্য বিএম-ট্রেইন (BM-Train) নামক মূল প্রশিক্ষণ কাঠামোটি তৈরিতে প্রচুর সময় ব্যয় করে। এই পরিকাঠামোটিই ছিল পরবর্তী সবকিছুর সূচনা বিন্দু।

১.৫৮-বিটের দিকনির্দেশনা সম্পর্কে ওয়ালফেসারের মূল্যায়নটি ইন্ডাস্ট্রির সর্বসম্মত মতামতেরও পূর্ববর্তী। যখন অনেক দল অত্যন্ত কম বিট ডেপথের সম্ভাব্যতা নিয়ে তখনও দ্বিধাগ্রস্ত ছিল, তখন ওয়ালফেসার এই পথটিই বেছে নেয়। তারা প্রথমে জিপিইউ-তে সম্পূর্ণ প্রশিক্ষণ প্রক্রিয়া ও পদ্ধতি সফলভাবে প্রয়োগ করে এবং তারপর পুরো সিস্টেমটিকে অ্যাসেন্ড প্ল্যাটফর্মে স্থানান্তর করে । সারকথা হলো, BitCPM-CANN কেবল একটি মডেলকে দেশীয়ভাবে উৎপাদিত চিপে পোর্ট করেনি; বরং এটি একটি প্রমাণিত প্রশিক্ষণ পদ্ধতি, কার্যকারিতা বিষয়ক কৌশল এবং ইঞ্জিনিয়ারিং সিস্টেমকে দেশীয় কম্পিউটিং শক্তির ভিত্তির সাথে একীভূত করেছে।

মডেল পর্যায়ে, Wallface-এর MiniCPM সিরিজের এজ মডেলগুলো GitHub-এ ৩০,০০০-এর বেশি স্টার অর্জন করেছে এবং Hugging Face ৩০ মিলিয়নেরও বেশি বার ডাউনলোড হয়েছে, যা এটিকে বৃহৎ এজ মডেলের ক্ষেত্রে সবচেয়ে জনপ্রিয় চীনা ওপেন-সোর্স মডেল পরিবারে পরিণত করেছে।

BitCPM-CANN হলো MiniCPM পরিবারের টারনারি কোয়ান্টাইজেশন বিষয়ক একটি সম্প্রসারণ, যা শুধুমাত্র একটি প্রদর্শনীমূলক "পাওয়ারপয়েন্ট মডেল" এর চেয়ে অনেক বেশি; এটি একটি সত্যিকারের পুনঃব্যবহারযোগ্য ইঞ্জিনিয়ারিং ভিত্তি। এর পেছনের ট্রেনিং পাইপলাইনটি Ascend লো-বিট ট্রেনিং-এর অবকাঠামোর সাথে অন্তর্ভুক্ত করা হয়েছে , ফলে Ascend-এ লো-বিট ট্রেনিং করতে ইচ্ছুক যেকোনো দল একই প্ল্যাটফর্মে কাজ শুরু করতে পারে।

উল্লেখ্য যে, BitCPM-CANN হুয়াওয়ে অ্যাসেন্ড-এ এন্ড-টু-এন্ড টারনারি ট্রেনিংও সম্পন্ন করেছে এবং প্রচলিত বেসলাইনের ৯৫% ট্রেনিং দক্ষতা অর্জন করেছে। এটি প্রমাণ করে যে এই পদ্ধতিটি কোনো নির্দিষ্ট হার্ডওয়্যার প্ল্যাটফর্মের উপর নির্ভরশীল নয় এবং দেশীয় কম্পিউটিং শক্তি ব্যবহার করে সফলভাবে বাস্তবায়ন করা যেতে পারে।

হার্ডওয়্যার মডেলের সাথে খাপ খাইয়ে নেওয়ার মতো যথেষ্ট শক্তিশালী হওয়ার জন্য অপেক্ষা না করে, আমাদের মডেলটিকে হার্ডওয়্যারের সাথে খাপ খাইয়ে নেওয়ার মতো যথেষ্ট স্মার্ট করে তুলতে হবে।

প্রশিক্ষণের জন্য হুয়াওয়ে অ্যাসেন্ড থেকে শুরু করে ইনফারেন্সের জন্য টার্মিনাল চিপ, এবং তারপর ওপেন-সোর্স মডেল ও ট্রেনিং স্ক্রিপ্ট পর্যন্ত— এটি একটি সম্পূর্ণ দেশীয় ক্লোজড লুপ: দেশীয় ফ্রেমওয়ার্ক, দেশীয় চিপ, দেশীয় মডেল এবং স্বতন্ত্র পদ্ধতি। ওয়ালফেসারের পরবর্তী পদক্ষেপ স্পষ্ট: মডেলের কার্যক্ষমতা ধরে রাখার হার আরও উন্নত করা, MoE আর্কিটেকচার ব্যবহার করে বৃহত্তর মডেলের সক্ষমতা বাড়ানো, এবং ডেপ্লয়মেন্টে ৬x জিপিইউ মেমরির সুবিধা পুরোপুরি কাজে লাগানো। দীর্ঘমেয়াদী লক্ষ্য হলো প্রি-ট্রেনিং থেকে অ্যালাইনমেন্ট পর্যন্ত সম্পূর্ণ প্রক্রিয়াটি কম বিট ডেপথ দিয়ে সম্পন্ন করা।

অন্তর্নিহিত প্রশিক্ষণ ফ্রেমওয়ার্ক BM-Train থেকে শুরু করে এজ মডেল ফ্যামিলি MiniCPM, এবং তারপর BitCPM-CANN পর্যন্ত, Wallfacer AI বেশ কয়েক বছর ধরে একটি সম্পূর্ণ এজ-সাইড বৃহৎ মডেল প্রযুক্তি ব্যবস্থা তৈরি করেছে। বৈশ্বিক অঙ্গনে Microsoft এবং PrismML-এর মুখোমুখি হয়ে Wallfacer AI তার অনন্য সুবিধা প্রদর্শন করেছে, কারণ এটি ফ্রেমওয়ার্ক, পদ্ধতি, মডেল থেকে শুরু করে চিপ অ্যাডাপ্টেশন পর্যন্ত একটি সম্পূর্ণ এজ-সাইড প্রযুক্তি রোডম্যাপ তৈরি করেছে।

যখন এআই প্রতিযোগিতা "কার মডেল বড়" থেকে "কে প্রতিটি ডিভাইসে বুদ্ধিমত্তাকে সত্যিকার অর্থে চালাতে পারে"-তে পরিবর্তিত হবে, তখন যারা এজ টেকনোলজি বিষয়ক আলোচনা নিয়ন্ত্রণ করবে, তারাই সবচেয়ে সুবিধাজনক অবস্থানে থাকবে।

iFanr-এর অফিসিয়াল WeChat অ্যাকাউন্ট iFanr (WeChat ID: ifanr) ফলো করুন, যেখানে যত তাড়াতাড়ি সম্ভব আপনার জন্য আরও আকর্ষণীয় কন্টেন্ট উপস্থাপন করা হবে।