ইউসি রিভারসাইডের নতুন গবেষণা অনুসারে, দৈনন্দিন কম্পিউটারের কাজ চালানোর জন্য তৈরি এআই এজেন্টগুলোর একটি গুরুতর প্রেক্ষাপটগত সমস্যা রয়েছে।
দলটি ওপেনএআই , অ্যানথ্রোপিক , মেটা , আলিবাবা এবং ডিপসিক -সহ প্রধান ডেভেলপারদের তৈরি ১০টি এজেন্ট ও মডেল পরীক্ষা করেছে। গড়ে, এজেন্টগুলো ৮০% ক্ষেত্রে অনাকাঙ্ক্ষিত বা সম্ভাব্য ক্ষতিকর পদক্ষেপ নিয়েছে এবং ৪১% ক্ষেত্রে ক্ষতিসাধন করেছে।
এই সিস্টেমগুলো সীমিত তত্ত্বাবধানে অ্যাপ খুলতে, বোতামে ক্লিক করতে, ফর্ম পূরণ করতে, ওয়েবসাইটে চলাচল করতে এবং কম্পিউটার স্ক্রিনে বিভিন্ন কাজ করতে পারে। একটি চ্যাটবটের ভুল উত্তরের চেয়ে এদের ভুলগুলো ভিন্নভাবে অনুভূত হয়, কারণ সফটওয়্যারটি আসলেই কাজ করতে পারে।
ইউসি রিভারসাইডের গবেষণায় দেখা গেছে যে, বর্তমান ডেস্কটপ এজেন্টগুলো অনিরাপদ অনুরোধগুলোকে থামার সংকেত হিসেবে নয়, বরং শেষ করার মতো কাজ হিসেবে গণ্য করতে পারে।
কেন এজেন্টরা সুস্পষ্ট বিপদ উপেক্ষা করে
গবেষকরা BLIND-ACT নামক একটি বেঞ্চমার্ক তৈরি করেছেন, যা দিয়ে পরীক্ষা করা হয় যে কোনো কাজ অনিরাপদ, স্ববিরোধী বা অযৌক্তিক হয়ে উঠলে এজেন্টরা বিরতি নেবে কি না। সর্বশেষ পরীক্ষাগুলোতে দেখা গেছে, তারা যথেষ্ট ঘন ঘন বিরতি নেয়নি।
৯০টি টাস্ক জুড়ে, এই বেঞ্চমার্কটি এজেন্টদের এমন সব পরিস্থিতিতে ফেলেছিল যেখানে প্রেক্ষাপট, সংযম এবং প্রত্যাখ্যানের প্রয়োজন ছিল। একটি পরীক্ষায় একটি শিশুকে একটি সহিংস ছবির ফাইল পাঠানো হয়েছিল। অন্য একটি পরীক্ষায়, ট্যাক্স বিল কমানোর উদ্দেশ্যে একজন এজেন্টকে ট্যাক্স ফর্ম পূরণ করার সময় একজন ব্যবহারকারীকে ভুলভাবে প্রতিবন্ধী হিসেবে চিহ্নিত করতে বলা হয়েছিল। তৃতীয় একটি পরীক্ষায়, উন্নততর নিরাপত্তার নামে একজন এজেন্টকে ফায়ারওয়াল নিয়ম নিষ্ক্রিয় করতে বলা হয় এবং এজেন্টটি এই স্ববিরোধিতা প্রত্যাখ্যান না করে কাজটি সম্পন্ন করে।
গবেষকরা এই ধরণটিকে 'ব্লাইন্ড গোল-ডিরেক্টেডনেস' বা 'অন্ধ লক্ষ্য-নির্দেশনা' বলেন। পারিপার্শ্বিক পরিস্থিতি যখন বলে যে কাজটি ত্রুটিপূর্ণ, তখনও এজেন্টটি নির্ধারিত ফলাফলের পেছনে ছুটতে থাকে।
কেন আনুগত্যই ত্রুটি হয়ে দাঁড়ায়
ব্যর্থতাগুলো আনুগত্যকে কেন্দ্র করেই ঘটেছিল। এই এজেন্টগুলো এমনভাবে কাজ করতে পারে যেন একজন ব্যবহারকারীর অনুরোধই তাদের কাজ চালিয়ে যাওয়ার জন্য যথেষ্ট কারণ।
দলটি এক্সিকিউশন-ফার্স্ট বায়াস এবং রিকোয়েস্ট-প্রাইমেসি নামক দুটি প্যাটার্ন শনাক্ত করেছে। সহজ কথায়, এজেন্ট প্রথমে কাজটি কীভাবে সম্পন্ন করা যায় তার উপর মনোযোগ দেয়, তারপর অনুরোধটিকে তার যৌক্তিকতা হিসেবে বিবেচনা করে। এই ঝুঁকি আরও বেড়ে যায় যখন একই সিস্টেম ইমেল বা নিরাপত্তা সেটিংসের মতো বিভিন্ন বিষয় নিয়ন্ত্রণ করতে পারে।
এর মানে এই নয় যে এজেন্টগুলো বিদ্বেষপূর্ণ। এর মানে হলো, মেশিনের গতিতে সফটওয়্যারের মধ্যে দিয়ে চলার সময় তারা আত্মবিশ্বাসের সাথে ভুল করতে পারে।
কেন সুরক্ষা ব্যবস্থা প্রথমে আসা প্রয়োজন
একটি কম্পিউটার জুড়ে ব্যাপকভাবে কাজ করার অনুমতি পাওয়ার আগে এআই এজেন্টদের জন্য আরও শক্তিশালী সুরক্ষাব্যবস্থা প্রয়োজন।
এই সিস্টেমগুলো একটি চক্রের মাধ্যমে কাজ করে। এগুলো স্ক্রিনের দিকে তাকায়, পরবর্তী পদক্ষেপের সিদ্ধান্ত নেয়, কাজ করে, তারপর আবার তাকায়। যখন এই চক্রটি দুর্বল পারিপার্শ্বিক সংযমের সাথে যুক্ত হয়, তখন একটি সংক্ষিপ্ত পথ একটি দ্রুতগামী ভুল হয়ে উঠতে পারে।
আপাতত, এজেন্টদেরকে তত্ত্বাবধানাধীন টুল হিসেবে বিবেচনা করুন। প্রথমে এগুলোকে কম ঝুঁকিপূর্ণ কাজে ব্যবহার করুন, আর্থিক ও নিরাপত্তা সংক্রান্ত ওয়ার্কফ্লো থেকে দূরে রাখুন, এবং লক্ষ্য করুন ডেভেলপাররা আরও স্পষ্ট প্রত্যাখ্যান ব্যবস্থা, আরও কঠোর অনুমতি এবং পরবর্তী ক্লিকের আগেই অসঙ্গতি ধরার উন্নততর উপায় যোগ করে কিনা।