কোডিংয়ের জন্য AI-এর উপর নির্ভরশীল অ্যান্ড্রয়েড অ্যাপ ডেভেলপারদের জন্য সঠিক মডেল নির্বাচন করা কঠিন হতে পারে। সব মডেল একইভাবে তৈরি হয় না এবং অনেক মডেলই অ্যান্ড্রয়েড ডেভেলপমেন্ট ওয়ার্কফ্লো-এর জন্য বিশেষভাবে প্রশিক্ষিত নয়। এই সমস্যা সমাধানের জন্য, গুগল একটি নতুন বেঞ্চমার্ক চালু করেছে যা ডেভেলপারদের বুঝতে সাহায্য করবে যে বাস্তব-বিশ্বের অ্যান্ড্রয়েড কোডিং কার্যগুলিতে বিভিন্ন AI মডেল কতটা ভালোভাবে কাজ করে।
নতুন এই বেঞ্চমার্কটিকে "অ্যান্ড্রয়েড বেঞ্চ" নামে ডাকা হয়েছে, যা বৃহৎ ভাষা মডেল (এলএলএম) সাধারণ অ্যান্ড্রয়েড ডেভেলপমেন্ট কাজগুলি কতটা ভালোভাবে পরিচালনা করে তা মূল্যায়ন করার জন্য ডিজাইন করা হয়েছে। গুগল ব্যাখ্যা করে যে বেঞ্চমার্কটি গিটহাবের পাবলিক প্রকল্পগুলি থেকে বাস্তব-বিশ্বের কাজগুলি ব্যবহার করে মডেলগুলি মূল্যায়ন করে এবং মডেলগুলিকে প্রকৃত পুল অনুরোধগুলি পুনরায় তৈরি করতে এবং অ্যান্ড্রয়েড অ্যাপ তৈরির সময় ডেভেলপারদের সম্মুখীন হওয়া সমস্যাগুলির অনুরূপ সমস্যাগুলি সমাধান করতে বলে। তারপরে ফলাফলগুলি যাচাই করা হয় যে তারা আসলে সমস্যার সমাধান করে কিনা।
সহজ ভাষায় বলতে গেলে, বেঞ্চমার্কটি পরীক্ষা করে যে AI মডেলগুলি দ্বারা তৈরি কোডটি কেবল পৃষ্ঠতলে সঠিক দেখানোর পরিবর্তে সত্যিই সমস্যার সমাধান করে কিনা। এটি Google কে পরিমাপ করতে সাহায্য করে যে প্রকৃত অ্যান্ড্রয়েড ডেভেলপমেন্ট সমস্যা সমাধানের ক্ষেত্রে বিভিন্ন মডেল আসলে কতটা কার্যকর।
অ্যান্ড্রয়েড বেঞ্চের প্রথম সংস্করণের মাধ্যমে, গুগল "শুধুমাত্র মডেলের কর্মক্ষমতা পরিমাপ করার পরিকল্পনা করেছিল এবং এজেন্ট বা সরঞ্জাম ব্যবহারের উপর মনোযোগ কেন্দ্রীভূত করার পরিবর্তে"। ফলাফলগুলি একটি বিস্তৃত ব্যবধান তুলে ধরে, যেখানে মডেলগুলি 16% থেকে 72% বেঞ্চমার্ক কাজ সফলভাবে সম্পন্ন করেছে। কোম্পানিটি বলেছে যে এই ফলাফল প্রকাশের ফলে ডেভেলপারদের জন্য মডেলগুলির তুলনা করা এবং এমন মডেলগুলি বেছে নেওয়া সহজ হবে যা আসলে আসল অ্যান্ড্রয়েড কোডিং সমস্যাগুলি পরিচালনা করতে সক্ষম।
ডেভেলপারদের নির্দেশনা দেওয়ার পাশাপাশি, এই বেঞ্চমার্কটি এআই কোম্পানিগুলিকে তাদের মডেলগুলির অ্যান্ড্রয়েড ডেভেলপমেন্ট সম্পর্কে ধারণা উন্নত করতেও চাপ দিতে পারে। এই প্রচেষ্টাকে সমর্থন করার জন্য, গুগল গিটহাবে অ্যান্ড্রয়েড বেঞ্চের পদ্ধতি, ডেটাসেট এবং পরীক্ষার কাঠামো প্রকাশ করেছে। সময়ের সাথে সাথে, এর ফলে এআই টুল তৈরি হতে পারে যা জটিল অ্যান্ড্রয়েড কোডবেস নেভিগেট করার জন্য আরও ভালভাবে সজ্জিত হবে এবং ডেভেলপারদের আরও কার্যকরভাবে অ্যাপ তৈরি এবং ঠিক করতে সহায়তা করবে।
"আপনি যদি AI ব্যবহার করে অ্যান্ড্রয়েড অ্যাপ কোড করেন, তাহলে গুগলের নতুন বেঞ্চমার্ক সঠিক মডেলটি বেছে নেওয়া সহজ করে তুলবে" পোস্টটি প্রথমে ডিজিটাল ট্রেন্ডসে প্রকাশিত হয়েছিল।