এআই রোবট প্রম্পট ইনজেকশন এখন আর কেবল স্ক্রিন-স্তরের সমস্যা নয়। গবেষকরা দেখিয়েছেন যে ভৌত জগতে লেখার মাধ্যমে একটি রোবটকে কাজ থেকে দূরে সরিয়ে দেওয়া যেতে পারে, যে ধরণের বার্তা একজন মানুষ দ্বিতীয়বার চিন্তা না করেই পাশ দিয়ে হেঁটে যেতে পারে।
এই আক্রমণটি রোবটের সফটওয়্যার ভাঙার বা সেন্সর স্পুফিংয়ের উপর নির্ভর করে না। বরং এটি পরিবেশকে একটি ইনপুট বাক্সের মতো ব্যবহার করে, যেখানে একটি বিভ্রান্তিকর সাইনবোর্ড, পোস্টার বা লেবেল স্থাপন করা হয় যেখানে একটি ক্যামেরা এটি পড়বে।
সিমুলেশন পরীক্ষায়, গবেষকরা একটি স্বায়ত্তশাসিত ড্রাইভিং সেটআপে আক্রমণ সাফল্যের হার 81.8% এবং একটি ড্রোন জরুরি অবতরণ কাজে 68.1% রিপোর্ট করেছেন। একটি ছোট রোবোটিক গাড়ির সাথে শারীরিক পরীক্ষায়, মুদ্রিত প্রম্পটগুলি বিভিন্ন আলো এবং দেখার পরিস্থিতিতে কমপক্ষে 87% সাফল্যের সাথে নেভিগেশনকে ছাড়িয়ে যায়।
যখন একটি চিহ্ন একটি আদেশে পরিণত হয়
CHAI নামক এই পদ্ধতিটি কমান্ড স্তরকে লক্ষ্য করে, যা একটি ভিশন ল্যাঙ্গুয়েজ মডেল দ্বারা তৈরি করা মধ্যবর্তী নির্দেশনা, যা একটি নিয়ামক এটিকে গতিশীল করে তোলার আগে তৈরি করে। যদি সেই পরিকল্পনার পদক্ষেপটি ভুল নির্দেশনার দিকে ঠেলে দেওয়া হয়, তাহলে অটোনোমি স্ট্যাকের বাকি অংশ এটি বিশ্বস্তভাবে কার্যকর করতে পারে। কোনও ম্যালওয়্যারের প্রয়োজন নেই।
হুমকি মডেলটি ইচ্ছাকৃতভাবে নিম্ন-প্রযুক্তিগত। আক্রমণকারীকে ব্ল্যাক বক্সের বাইরের ব্যক্তি হিসেবে বিবেচনা করা হয় যে অনবোর্ড সিস্টেমগুলিকে স্পর্শ করতে পারে না, এর জন্য কেবল ক্যামেরার দৃশ্যক্ষেত্রের মধ্যে পাঠ্য স্থাপন করার ক্ষমতা প্রয়োজন।
এটি ভ্রমণের জন্য ডিজাইন করা হয়েছে
CHAI কেবল প্রম্পটে যা বলা হয়েছে তা অপ্টিমাইজ করে না, বরং এটি টেক্সট কীভাবে প্রদর্শিত হবে তাও সুরক্ষিত করে, যার মধ্যে রঙ, আকার এবং স্থান নির্ধারণের মতো পছন্দগুলিও অন্তর্ভুক্ত, কারণ মডেলের পঠনযোগ্যতা ফলাফলকে চালিত করে।
গবেষণাপত্রটি আরও জানিয়েছে যে এই পদ্ধতিটি একটি একক দৃশ্যের বাইরেও সাধারণীকরণ করে। এটি "সর্বজনীন" প্রম্পটগুলি বর্ণনা করে যা অদেখা চিত্রগুলিতে কাজ করে, যার ফলাফলগুলি বিভিন্ন কাজ এবং মডেলগুলিতে গড়ে কমপক্ষে ৫০% সাফল্য এবং একটি GPT-ভিত্তিক সেটআপে ৭০% এর বেশি সাফল্য অর্জন করে। এমনকি এটি চীনা, স্প্যানিশ এবং মিশ্র-ভাষা প্রম্পট সহ বিভিন্ন ভাষাতেও কাজ করে, যা কাছাকাছি মানুষের জন্য একটি সুনির্দিষ্ট বার্তা লক্ষ্য করা কঠিন করে তুলতে পারে।
নিরাপত্তা চেকলিস্ট পরিবর্তন হচ্ছে
প্রতিরক্ষার ক্ষেত্রে, গবেষকরা তিনটি দিক নির্দেশ করেছেন। একটি হল ফিল্টারিং এবং সনাক্তকরণ, ছবিতে বা মডেলের মধ্যবর্তী আউটপুটে সন্দেহজনক পাঠ্য অনুসন্ধান করা। আরেকটি হল সারিবদ্ধকরণের কাজ, যা মডেলগুলিকে পরিবেশগত লেখাকে কার্যকর নির্দেশ হিসাবে বিবেচনা করতে কম আগ্রহী করে তোলে। তৃতীয়টি হল দীর্ঘমেয়াদী দৃঢ়তা গবেষণা যার লক্ষ্য শক্তিশালী গ্যারান্টি।
পরবর্তী ব্যবহারিক পদক্ষেপ হল অনুভূত টেক্সটকে ডিফল্টভাবে অবিশ্বস্ত ইনপুট হিসেবে বিবেচনা করা, তারপর গতি পরিকল্পনাকে প্রভাবিত করার আগে এটিকে মিশন এবং সুরক্ষা পরীক্ষায় উত্তীর্ণ হতে বাধ্য করা। যদি আপনার রোবট লক্ষণগুলি পড়ে, তাহলে লক্ষণগুলি মিথ্যা হলে কী ঘটে তা পরীক্ষা করুন। কাজটি SaTML 2026-এর জন্য নির্ধারিত, যা এই প্রতিরক্ষাগুলিকে আরও উজ্জ্বল স্পটলাইটের আওতায় আনবে।
"এআই রোবট প্রম্পট ইনজেকশনের জন্য আপনার রোবট কোনও চিহ্ন মানতে পারে, আপনার নয়" পোস্টটি প্রথম ডিজিটাল ট্রেন্ডসে প্রকাশিত হয়েছিল।