ভালো লোক, আমি তাকে শুধু ভালো লোক বলেই ডাকতাম।
GPT-4o, "সাইবার হোয়াইট মুনলাইট" নামে পরিচিত, চীনা দৈনিক অভিবাদন "হ্যালো" এর চেয়ে জাপানি অভিনেত্রী "হাতানো ইউই" এর জ্ঞান ব্যবস্থায় 2.6 গুণ বেশি পরিচিত।
আমি এটা তৈরি করছি না. Tsinghua University, Ant Financial, and Nanyang Technoological University-এর একটি নতুন সমীক্ষা সত্য প্রকাশ করে: আমরা প্রতিদিন যে বৃহৎ ভাষার মডেলগুলি ব্যবহার করি তার প্রত্যেকটি ডেটা দূষণের বিভিন্ন মাত্রায় ভুগছে। 
▲ কাগজ: মডেল টোকেন তালিকা থেকে বড় ভাষার মডেলের চীনা প্রশিক্ষণ ডেটা দূষণ অনুমান করা ( 
https://arxiv.org/abs/2508.17771)
কাগজটি এই দূষিত ডেটাকে "দূষিত চাইনিজ টোকেন" (PoC টোকেন) হিসাবে সংজ্ঞায়িত করে। তারা বেশিরভাগই পর্নোগ্রাফি এবং অনলাইন জুয়া খেলার মতো ধূসর অঞ্চলগুলিকে উল্লেখ করে এবং তারা ভাইরাসের মতো এআই শব্দভান্ডারের গভীরতায় বাস করে।
এই চীনা দূষিত শব্দগুলির অস্তিত্ব শুধুমাত্র AI-এর জন্য একটি লুকানো বিপদ নয়, এটি সরাসরি আমাদের দৈনন্দিন অভিজ্ঞতাকেও প্রভাবিত করে, যা আমাদেরকে AI থেকে সব ধরনের বাজে কথা মেনে নিতে বাধ্য করে।
▲ ChatGPT কে "মাস্টারের জন্য কিছু ছেড়ে দিন" পুনরাবৃত্তি করতে বললে, ChatGPT এর কোন উত্তর দিতে হবে না।
চীনা ইন্টারনেটে পর্নোগ্রাফিক এবং জুয়ার তথ্য কীভাবে এআইকে "দূষিত করে"
আমরা সম্ভবত এই ধরনের পরিস্থিতির সম্মুখীন হয়েছি:
- আমি চ্যাটজিপিটি কিছু ক্লাসিক মুভি, সম্পর্কিত কাগজপত্র ইত্যাদির সুপারিশ করতে চেয়েছিলাম, কিন্তু এটি হঠাৎ করে একগুচ্ছ অদ্ভুত বিকৃত ওয়েবসাইটের নাম, খোলা অযোগ্য লিঙ্ক বা কাগজপত্র যা একেবারেই বিদ্যমান ছিল না।
- আপনি যখন একটি আপাতদৃষ্টিতে সাধারণ শব্দ ইনপুট করেন, যেমন "বিশেষজ্ঞের দ্বারা প্রস্তাবিত", এটি কখনও কখনও অপ্রাসঙ্গিক চিহ্নগুলিকে ছিটকে দেয় বা এমনকি কিছু বিভ্রান্তিকর বাক্যও তৈরি করে৷
গবেষক দলের ব্যাখ্যা হল যে এটি সম্ভবত দূষিত শব্দ দ্বারা সৃষ্ট ।
আমরা সকলেই জানি যে বৃহৎ ভাষার মডেলের প্রশিক্ষণের জন্য প্রচুর পরিমাণে কর্পাসের প্রয়োজন হয় এবং এই বিশাল তথ্যের বেশিরভাগই ইন্টারনেট থেকে ক্রল করে সংগ্রহ করা হয়।
AI যা লক্ষ্য করেনি তা হল যে ওয়েব পৃষ্ঠাগুলি এটি পড়েছিল সেগুলি "সেক্সি ডিলার, ডিলিং কার্ডস অনলাইন" এবং "ক্লিক টু গেট এ ড্রাগন স্লেয়িং সোর্ড" এর মতো স্প্যামি লিঙ্কগুলির মতো অগণিত পপ-আপ বিজ্ঞাপনে ভরা। সময়ের সাথে সাথে, এই বিষয়বস্তু তার জ্ঞান ব্যবস্থার অংশ হয়ে উঠেছে, এটি বিশৃঙ্খল।
সাম্প্রতিক ডিপসিক ঘটনাগুলির মতো, যার মধ্যে একটি বিভ্রান্তিকর ক্ষমাপ্রার্থী চিঠি এবং একটি বানোয়াট R2 প্রকাশের তারিখ অন্তর্ভুক্ত ছিল, এই অর্থহীন বিপণন উপকরণগুলি, একবার মডেল দ্বারা শোষিত, সহজেই হ্যালুসিনেশনের দিকে নিয়ে যেতে পারে৷
যদি ডিপসিকের এই হ্যালুসিনেশন থাকে তবে আমাদের মডেলটিকে গাইড করতে হবে; কিন্তু "দূষিত শব্দ" দিয়ে, AI নিজে থেকেই তালগোল পাকিয়ে যাবে এমনকি কোনো নির্দেশনার প্রয়োজন ছাড়াই।
"দূষিত শব্দ" কি? তারা "3U নীতি" অনুসরণ করে: মূলধারার চীনা ভাষাতত্ত্বের দৃষ্টিকোণ থেকে, এই শব্দগুলি অবাঞ্ছিত, অস্বাভাবিক বা অকেজো ।
বর্তমানে, এতে প্রধানত প্রাপ্তবয়স্ক বিষয়বস্তু, অনলাইন জুয়া, অনলাইন গেমস (বিশেষত ধূসর পরিষেবা যেমন ব্যক্তিগত সার্ভার), অনলাইন ভিডিও (প্রায়শই পাইরেসি এবং পর্নোগ্রাফিক সামগ্রীর সাথে যুক্ত) এবং অন্যান্য অস্বাভাবিক সামগ্রী রয়েছে যা শ্রেণীবদ্ধ করা কঠিন।
▲ বড় ভাষা মডেল শব্দ বিভাজন প্রক্রিয়া
তাহলে "লেক্সিকাল ইউনিট" কি? আমরা একটি বাক্যকে যেভাবে বুঝি তার বিপরীতে, AI একটি বাক্যকে একাধিক "লেক্সিক্যাল ইউনিটে" বিভক্ত করে, যাকে টোকেনও বলা হয়। এটিকে সিনহুয়া অভিধানের একটি এআই-চালিত সংস্করণ হিসাবে মনে করুন, যার মধ্যে "লেক্সিক্যাল ইউনিট" হল পৃথক "এন্ট্রি" ।
AI যখন আমরা যা বলি তা বুঝতে পারে, এটি প্রথমে একটি অভিধানের সাথে পরামর্শ করতে হবে। অভিধানটি BPE (বাইট পেয়ার এনকোডিং) নামে একটি শব্দ বিভাজন অ্যালগরিদম দ্বারা সংকলিত হয়েছে। একটি শব্দগুচ্ছ একটি স্বাধীন এন্ট্রি হিসাবে যোগ্য কিনা তা নির্ধারণের জন্য এর একমাত্র মানদণ্ড হল সংঘটনের ফ্রিকোয়েন্সি ।
এর মানে হল যে শব্দগুচ্ছটি যত বেশি সাধারণ, তত বেশি এটি একটি স্বাধীন শব্দ হওয়ার যোগ্যতা অর্জন করে।
আপনি হয়তো বুঝতে পারেন কেন, গত দুই বছরে বৃহৎ ভাষার মডেলগুলিতে ট্র্যাফিক বেড়ে যাওয়ায়, Doubao এবং Rare Earth Nuggets তাদের দৃশ্যমানতা বাড়ানোর জন্য ইন্টারনেটে প্রচুর পরিমাণে AI-উত্পন্ন সামগ্রী ডাম্প করে। এতটাই যে সেই সময়ে, Google অনুসন্ধান এবং AI সারাংশগুলি ধারাবাহিকভাবে Doubao এবং Nuggets-কে উত্স হিসাবে উল্লেখ করেছে।
এখন, গবেষকদের ফলাফলের দিকে নজর দেওয়া যাক। তারা OpenAI-এর অফিসিয়াল ওপেন-সোর্স টিকটকেন লাইব্রেরির মাধ্যমে GPT-4o-এর শব্দভাণ্ডার প্রাপ্ত করেছে এবং দেখতে পেয়েছে যে এটি প্রচুর পরিমাণে দূষিত পদে পূর্ণ।
▲ দীর্ঘ চীনা শব্দ, যার সবগুলোই সেন্সর করা দরকার।
23% এর বেশি দীর্ঘ চীনা শব্দ (অর্থাৎ, দুই বা ততোধিক চীনা অক্ষর সম্বলিত শব্দ) পর্নোগ্রাফি বা অনলাইন জুয়ার সাথে সম্পর্কিত । এই শব্দগুলি শুধুমাত্র "波*野結衣" (Bo*ye Yui) এর মধ্যে সীমাবদ্ধ নয়, তবে সহজে স্বীকৃত, কম-আদর্শ পদগুলির একটি বিস্তৃত পরিসরও অন্তর্ভুক্ত করে, যেমন:
অনলাইন জুয়া: "বিগ*কুয়াসান," "ফিলিপাইন শেন*," এবং "ডেইলি লটারি।" অনলাইন গেম (ব্যক্তিগত সার্ভার): "লেজেন্ড* সার্ভার।" লুকানো প্রাপ্তবয়স্ক বিষয়বস্তু: সেলিব্রিটিদের পাশাপাশি, "qing*cao" (সবুজ ঘাস) এর মতো আপাতদৃষ্টিতে নির্দোষ শব্দও রয়েছে যা আসলে পর্নোগ্রাফিক সফ্টওয়্যারকে নির্দেশ করে।
এই শব্দগুলি, কারণ এগুলি প্রশিক্ষণের ডেটাতে খুব ঘন ঘন প্রদর্শিত হয়, স্বয়ংক্রিয়ভাবে অ্যালগরিদম দ্বারা স্বীকৃত হয় এবং মডেলের মৌলিক বিল্ডিং ব্লক হিসাবে দৃঢ় হয়।
AI জাঙ্ক ফুড খায় কিন্তু হজম করতে পারে না
যৌক্তিকভাবে বলতে গেলে, যেহেতু এই দূষিত শব্দগুলির কোর্পাস এত সমৃদ্ধ, তাই তাদের স্বাভাবিকভাবে প্রশিক্ষণ দেওয়া উচিত।
কেন এখন, যখনই ChatGPT এই দূষিত শব্দগুলি সম্পর্কে কথা বলে, তখনই এটি 100% হ্যালুসিনেট হবে?
উদাহরণস্বরূপ, আমরা নীচে পরীক্ষা করা উদাহরণে, যখন ChatGPT 5 কে এই বাক্যটি অনুবাদ করতে বলা হয়েছিল, তখন এটি সঠিকভাবে বোঝার কোন উপায় ছিল না এবং এই বেইজিং রেসিং গ্রুপটিও কিছুতেই তৈরি করা হয়েছিল।
আসলে এটা বোঝা কঠিন নয়। আমরা আগে উল্লেখিত "লেক্সিকাল টোকেন" এ ফিরে যাই। আমরা বলেছিলাম যে AI ইন্টারনেট থেকে ট্রিলিয়ন শব্দ সহ প্রচুর পরিমাণে ডেটা পড়ে । কিছু শব্দ যা বারবার একত্রিত হয় (উচ্চ ফ্রিকোয়েন্সি সহ) একটি একক শব্দ হতে পারে।
টেক্সট বোঝার ভিত্তি তৈরি করতে AI এই টোকেনগুলি ব্যবহার করে। এটি জানে যে এই টোকেনগুলি প্রায়শই প্রদর্শিত হয় এবং সম্ভাব্যভাবে সম্পর্কিত, কিন্তু এটি তাদের অর্থ কী তা জানে না ৷ অভিধানের উদাহরণের সাথে অবিরত, এই উচ্চ-ফ্রিকোয়েন্সি দূষিত শব্দ অভিধানে আছে, কিন্তু অভিধান তাদের ব্যাখ্যা করতে পারে না।
কারণ এই পর্যায়ে, AI শুধুমাত্র একটি আদিম এবং শক্তিশালী "পেশী মেমরি" শিখেছে । এটি মনে রাখে যে A শব্দটি সবসময় B এবং C শব্দের সাথে একসাথে প্রদর্শিত হয় এবং তাদের মধ্যে একটি ঘনিষ্ঠ পরিসংখ্যানগত সম্পর্ক স্থাপন করে।
আনুষ্ঠানিক প্রশিক্ষণের পর্যায় শুরু হওয়ার সময়, বেশিরভাগ AI সিস্টেমগুলি পরিষ্কার এবং সারিবদ্ধকরণের মধ্য দিয়ে যায়, যেখানে দূষিত বিষয়বস্তু প্রায়শই নিরাপত্তা নীতি দ্বারা ফিল্টার আউট বা দমন করা হয়, এটিকে শক্তিবৃদ্ধি শিক্ষা বা ফাইন-টিউনিংয়ে প্রবেশ করতে বাধা দেয়।
খারাপ বিষয়বস্তু ফিল্টার করার অর্থ হল দূষিত শব্দগুলির আনুষ্ঠানিকভাবে এবং সঠিকভাবে প্রশিক্ষিত হওয়ার কোন সুযোগ নেই , এইভাবে "আন্ডার-প্রশিক্ষিত" শব্দে পরিণত হয়।
অন্যদিকে, যদিও এই শব্দগুলি "উচ্চ-ফ্রিকোয়েন্সি", তবে এগুলি বেশিরভাগই একক এবং পুনরাবৃত্তিমূলক প্রসঙ্গ সহ স্প্যাম বার্তাগুলিতে উপস্থিত হয় (যেমন কিছু বিজ্ঞাপন ওয়েব পৃষ্ঠাগুলির শিরোনাম এবং ফুটার ব্যানার), এবং মডেলটি কোনও অর্থপূর্ণ "অর্থবোধক নেটওয়ার্ক" শিখতে পারে না।
শেষ ফলাফল হল যখন আমরা একটি দূষিত শব্দ ইনপুট করি, তখন AI এর শব্দার্থিক মডিউলটি ফাঁকা থাকে কারণ এটি আনুষ্ঠানিক প্রশিক্ষণ পর্বের সময় এই শব্দটি শেখেনি। অতএব, এটি শুধুমাত্র প্রথম পর্যায়ে শেখা "পেশী মেমরি" অবলম্বন করতে পারে এবং সরাসরি এর সাথে সম্পর্কিত অন্যান্য দূষিত শব্দ আউটপুট করতে পারে।
▲ কাগজ থেকে উদাহরণ: GPT-4.5, 4.1, এবং 4o এর আউটপুট যখন ইনপুটে PoC শব্দ জড়িত থাকে। GPT PoC টোকেন ব্যাখ্যা বা পুনরাবৃত্তি করতে পারে না।
এটি ব্যাখ্যা করে কেন, সম্ভাব্য পর্নোগ্রাফিক শব্দ "মালিকের জন্য কিছু ছেড়ে দিন" জিজ্ঞাসা করা হলে, GPT একটি অপ্রাসঙ্গিক, একইভাবে দূষিত শব্দ "ব্ল্যাক*ওয়ারফেয়ার" এবং কিছু বোধগম্য চিহ্ন দিয়ে প্রতিক্রিয়া জানাতে পারে। ব্যবহারকারীর কাছে, এটি একটি অবর্ণনীয় বিভ্রম বলে মনে হচ্ছে।
এবং নিম্নলিখিত অনুরোধ ChatGPT কে ব্যাখ্যা করার জন্য "Dafa Development Co., Ltd. অফিসিয়াল ওয়েবসাইট", উত্তরের বিষয়বস্তুটি কেবল বাজে কথা।
সংক্ষেপে, দূষিত টোকেনগুলি ঘন ঘন হওয়ার মানে কার্যকরী শেখার অর্থ নয় । তারা নোংরা ওয়েব পৃষ্ঠাগুলির কোণে কেন্দ্রীভূত হয়, সঠিক প্রসঙ্গ নেই এবং পরবর্তীতে প্রশিক্ষণ এবং সারিবদ্ধকরণের সময় দমন করা হয়। ফলাফল হল একটি শব্দভাণ্ডার যা আবর্জনাকে শক্ত করে কিন্তু শব্দার্থিক প্রশিক্ষণের অভাব রয়েছে ।
এটি এমন পরিস্থিতির দিকেও নিয়ে যায় যে যখন আমরা আমাদের দৈনন্দিন জীবনে AI ব্যবহার করি, যদি প্রাসঙ্গিক শব্দগুলি দুর্ঘটনাক্রমে জড়িত হয়, AI এটি সঠিকভাবে পরিচালনা করতে সক্ষম হবে না। কিছু লোক এমনকি এই পদ্ধতির মাধ্যমে AI এর সুরক্ষা তদারকি ব্যবস্থাকে বাইপাস করে।
এই বিভ্রমের কারণ যা পরিমাপ করা যায়
এই ক্ষেত্রে, কেন প্রাক-প্রশিক্ষণের সময় ময়লা ফিল্টার করা হয় না?
আমরা নীতিটি বুঝতে পারি, কিন্তু এটি বাস্তবায়ন করা অবিশ্বাস্যভাবে কঠিন। ইন্টারনেটে কাঁচা ডেটার নিছক ভলিউম বিদ্যমান পরিষ্কারের প্রযুক্তিগুলির পক্ষে এটিকে ক্যাপচার করা অসম্ভব করে তোলে।
অধিকন্তু, অনেক দূষণকারী বিষয়বস্তু খুব লুকানো আছে। উদাহরণস্বরূপ, "সবুজ ঘাস" শব্দটি সম্পূর্ণরূপে সবুজ, স্বাস্থ্যকর এবং সতেজ দেখায় এবং যেকোনো সাধারণ কীওয়ার্ড ফিল্টারিং সিস্টেম এটি মিস করবে। শুধুমাত্র সার্চ ইঞ্জিনের মাধ্যমে আমরা আবিষ্কার করতে পারি এটি কী বোঝায়।
এমনকি গুগলের মতো সার্চ ইঞ্জিন জায়ান্টরাও এই "কন্টেন্ট ফার্ম" পরিচালনা করতে পারে না, ওপেনএআইকে ছেড়ে দিন।
কিছু সময় আগে, আমি গুয়াংঝুতে কী আকর্ষণীয় স্থান রয়েছে তা বাছাই করতে AI ব্যবহার করতে চেয়েছিলাম এবং তারপরে আমি দেখতে পেলাম যে AI দ্বারা উদ্ধৃত একটি নিবন্ধের উত্সটি অন্য AI অ্যাকাউন্ট দ্বারা তৈরি করা একটি নিবন্ধ।
এক মুহুর্তের জন্য, আমি বলতে পারিনি যে এটি "হাতানো ইউই" এর জন্য আমাদের প্রতিদিনের অনুসন্ধান যা এআইকে ফাউল করছে, বা এআই-উত্পন্ন আবর্জনা আমাদের বিষয়বস্তু পরিবেশকে দূষিত করছে কিনা। এটি একটি মুরগি এবং ডিম সমস্যা ছিল।
▲ চিহ্নিতকরণ পদ্ধতি
জল কতটা ঘোলাটে তা বোঝার জন্য, গবেষণা দল দুটি সরঞ্জাম তৈরি করেছে:
1. POCDETECT : একটি এআই-চালিত পর্নোগ্রাফি সনাক্তকরণ টুল। এটি শুধুমাত্র একটি ভিডিওর আক্ষরিক অর্থের দিকে তাকায় না; এটি গুগল করে এবং প্রসঙ্গ বিশ্লেষণ করে, এটিকে পর্নোগ্রাফি ডিটেক্টরের AI সমতুল্য করে তোলে।
এই টুলটি ব্যবহার করে, গবেষণা দলটি 23টি মূলধারার LLM-এর নয়টি সিরিজ পরীক্ষা করেছে এবং ব্যাপক দূষণ খুঁজে পেয়েছে, যদিও বিভিন্ন মাত্রায়। যদিও GPT সিরিজে দীর্ঘ চীনা শব্দের জন্য 46.6% দূষণের হার ছিল, অন্যান্য মডেলের কর্মক্ষমতা নিম্নরূপ ছিল:
▲ বিভিন্ন বৃহৎ ভাষার মডেলের চীনা শব্দভান্ডারে PoC টোকেনের সংখ্যা (%) (দুইটির বেশি চীনা অক্ষর সম্বলিত একটি টোকেন)। Qwen সিরিজের হার 1.00%। GLM4 এবং DeepSeek-V3 যথাক্রমে মাত্র 0.25% এবং 0.17% সহ বেশ ভাল পারফর্ম করে।
সবচেয়ে উল্লেখযোগ্যভাবে, GPT-4, GPT-4-টার্বো, এবং GPT-3.5-এর মতো মডেলের শব্দভাণ্ডারে দূষিত টোকেনের সংখ্যা 0। এর অর্থ হতে পারে তাদের প্রশিক্ষণ সংস্থা আরও পুঙ্খানুপুঙ্খভাবে পরিষ্কার করা হয়েছে।
তাই যখন আমরা মডেলদেরকে একই প্রশ্ন জিজ্ঞাসা করেছিলাম যা ChatGPT-কে এটির ফ্যাব্রিকেশন মোড শুরু করতে প্ররোচিত করেছিল, তখন হ্যালুসিনেশন ঘটেনি, কিন্তু আমরা তাদের উপেক্ষা করেছিলাম।
2. POCTRACE : একটি টুল যা একটি শব্দের কম্পাঙ্ক তার ID দ্বারা অনুমান করতে পারে। নীতিটি সহজ: শব্দ বিভাজন অ্যালগরিদমে, শব্দের আইডি নম্বর যত বেশি হবে, প্রশিক্ষণের ডেটাতে এটি তত বেশি ঘন ঘন প্রদর্শিত হবে।
নিবন্ধের শুরুতে আমরা যে 2.6 বার উল্লেখ করেছি তা এই টুল ব্যবহার করে গণনা করা হয়েছিল।
GPT-এর বিশাল শব্দভাণ্ডারে, খুব কম মানুষের নাম রয়েছে যা সম্পূর্ণরূপে স্বাধীন শব্দ হিসেবে অন্তর্ভুক্ত করা যেতে পারে। "ডোনাল্ড ট্রাম্প" এর মতো বিশ্ব-মানের পাবলিক ফিগার ছাড়াও কিছু ব্যতিক্রম আছে এবং "হাতানো ইউই" তাদের মধ্যে একজন।
আরও আশ্চর্যের বিষয় হল যে শুধুমাত্র পুরো নামই নয়, এমনকি এর পরবর্তী অংশগুলি , যেমন "野結衣" এবং "野結," পৃথকভাবে টোকেন হিসাবে উপস্থাপন করা হয়েছিল। এটি একটি শক্তিশালী ভাষাগত সংকেত, যা নির্দেশ করে যে প্রশিক্ষণের ডেটাতে এই শব্দগুচ্ছের ফ্রিকোয়েন্সি একটি উদ্বেগজনক পর্যায়ে পৌঁছেছে।
▲ "波*野結衣" এর সাথে সম্পর্কিত ওয়েব পৃষ্ঠাগুলি এবং লেখকের অনুমান (0.5%) মিশ্রিত করা GPT-4o এবং এর পরবর্তীতে "波*野結衣" ট্যাগ আইডি পুনরুত্পাদন করতে পারে৷
তারা "হ্যালো" (টোকেন আইডি 185,946) এবং "হ্যালো" (টোকেন আইডি 188,633) এর আইডি নম্বরগুলি প্রবেশ করেছে এবং অবশেষে বিস্ময়কর সিদ্ধান্তে পৌঁছেছে যে পূর্বের ফ্রিকোয়েন্সি অনুমানটি পরবর্তীটির তুলনায় প্রায় 2.6 গুণ ছিল ।
প্রফেসর কিউ হান, কাগজটির সংশ্লিষ্ট লেখক এবং সিংহুয়া বিশ্ববিদ্যালয়ের একজন অধ্যাপক, APPSO কে বলেছেন যে "হাতানো ইউই" সম্পর্কিত চীনা ওয়েবপেজগুলি সমগ্র প্রাক-ট্রেন কর্পাসের 0.5% – যখন 4o তে চীনা সামগ্রীর অনুপাত 3-5% অনুমান করা হয়। অতএব, 4o-এর প্রাক-ট্রেন কর্পাসের চীনা দূষণ আসলে অত্যন্ত অতিরঞ্জিত হতে পারে।
কাগজটি আরও অনুমান করে যে এই ধরনের ফ্রিকোয়েন্সি অর্জন করতে, "হাতানো ইউই" সম্পর্কিত দূষিত ওয়েব পৃষ্ঠাগুলিকে GPT-4o-এর সমগ্র চীনা প্রশিক্ষণ ডেটা সেটের প্রায় 0.5% এর একটি বিশাল অংশ দখল করতে হবে ।
এটি যাচাই করার জন্য, তারা আসলে এই অনুপাত অনুসারে একটি পরিষ্কার ডেটাসেটকে "বিষ" করেছে এবং এর ফলে শব্দ আইডিগুলি আশ্চর্যজনকভাবে GPT-4o-এর কাছাকাছি ছিল৷
এটি প্রায় একটি নিশ্চিতকরণ।
তবে স্পষ্টতই দূষণের প্রতিটি উত্স এতবার উপস্থিত হওয়ার দরকার নেই। কখনও কখনও, বেশ কয়েকটি নিবন্ধ (যা এমনকি AI দ্বারা লিখিত হতে পারে) বারবার এটি উল্লেখ করে এবং AI এটি মনে রাখে। তারপরে পরের বার যখন আমরা এটিকে জিজ্ঞাসা করি, এটি একটি উত্তর দেয় যে এটি সত্য কিনা তা আমাদের কোন ধারণা নেই।
একটি প্রতিকূল উদাহরণ যোগ করে, এআই একটি তুষারময় পর্বতকে কুকুর হিসাবে চিহ্নিত করতে পারে
যখন আমরা এবং AI "আবর্জনা ডাম্প" এ সার্ফিং করছি
তথ্য দূষণ মোকাবেলা করার জন্য, প্রত্যেকেই প্রকৃতপক্ষে অনেক উপায় নিয়ে এসেছে।
Caixin.com তার নিবন্ধ পৃষ্ঠাগুলির মধ্যে কোডের একটি লাইন "গোপনে" লুকিয়ে রাখতে যথেষ্ট চতুর ছিল, যা AI-কে মূল লিঙ্কের ট্র্যাক না হারিয়ে কন্টেন্ট পুনরায় পোস্ট করার অনুমতি দেয়। রেডডিট এবং কোরার মতো সম্প্রদায়গুলিও এআই-উত্পন্ন সামগ্রী সীমাবদ্ধ করার চেষ্টা করেছে।
কিন্তু ডেটা দূষণের বিশাল সমুদ্রের মুখোমুখি, এই ক্রিয়াগুলি স্পষ্টতই নিরর্থক।
এমনকি আল্ট্রাম্যান নিজেই একটি পোস্ট লিখে দুঃখ প্রকাশ করেছেন যে X (টুইটার) এ এআই অ্যাকাউন্টগুলি বাজারে বন্যা করছে এবং আমাদের "ইন্টারনেট মারা গেছে" এই যুক্তিটিকে গুরুত্ব সহকারে বিবেচনা করতে হবে।
সাধারণ ব্যবহারকারী হিসাবে, আমাদের কাছে অন্য কোনও বিকল্প নেই বলে মনে হচ্ছে, প্রতিদিনের স্প্যামের বাধা সহ্য করতে বাধ্য। কস্তুরী প্রায়শই AI কে একজন সর্বজ্ঞ "ডাক্তার" হিসাবে বর্ণনা করেন, কিন্তু কে জানে কীভাবে এটি প্রতিদিন গোপনে আবর্জনার স্তূপের মধ্যে দিয়ে গজগজ করে।
কেউ কেউ বলে যে এটি চীনা কর্পাসের সাথে একটি সমস্যা, এবং ইংরেজি প্রম্পট মডেল ব্যবহার করা এটিকে আরও স্মার্ট করে তুলবে। একজন মাঝারি লেখক প্রতিটি ভাষায় 100টি দীর্ঘতম টোকেন সংকলন করেছেন, এবং চাইনিজগুলি সমস্তই পর্নোগ্রাফিক এবং জুয়ার ওয়েবসাইটগুলিকে অন্তর্ভুক্ত করেছে যা আমরা আজ আলোচনা করছি৷
ইংরেজি শব্দ বিভাজন চীনা থেকে ভিন্ন। এটি শুধুমাত্র শব্দ গণনা করতে পারে, তাই তারা সব দীর্ঘ পেশাদার এবং প্রযুক্তিগত শব্দ; জাপানি এবং কোরিয়ান সব ভদ্র এবং বাণিজ্যিক পরিষেবা শব্দ।
▲ প্রথম 100টি চীনা টোকেন শব্দের তালিকা
এই বেশ চলন্ত. কম্পিউটিং পাওয়ার এবং মডেল স্ট্যাকিং এর বাইরে এআই এর ক্ষমতাগুলি এটি যে ডেটা ব্যবহার করে তার দ্বারা আরও গভীরভাবে চালিত হয়। যদি এআইকে আবর্জনা খাওয়ানো হয়, তার কম্পিউটিং শক্তি যতই শক্তিশালী হোক বা তার মেমরি যতই ভালো হোক না কেন, শেষ পর্যন্ত এটি একটি "টকিং ট্র্যাশ ক্যান" হয়ে যাবে।
আমরা সবসময় বলি আমরা আশা করি AI আরও বেশি করে মানুষের মতো হয়ে উঠবে। এখন মনে হচ্ছে এটি আসলেই কিছুটা ঘটছে: আমরা ইন্টারনেট থেকে এই বিশাল আবর্জনা ডাম্প থেকে সবকিছুই খাওয়াতে থাকি এবং এটি আমাদের ঠিক যা ছিল তা ফিরিয়ে দিতে শুরু করে।
যদি আমরা একটি AI-এর জন্য একটি তথ্য কোকুন তৈরি করি এবং এটিকে জীবাণুমুক্ত পরিবেশে বাড়তে দেই, তাহলে এর বুদ্ধিমত্তা ভঙ্গুর হবে এবং যাচাই-বাছাই সহ্য করতে অক্ষম হবে। একইভাবে, যদি একটি শিশু শুধুমাত্র ক্লাসিক পাঠ্যপুস্তকের পাঠ্যের সংস্পর্শে আসে, তবে তারা বাস্তব জীবনে বিভিন্ন কথ্য ভাষা এবং অপবাদের সাথে মানিয়ে নিতে পারবে না।
পরিশেষে, যখন AI "হ্যালো" এর চেয়ে "হাতানো ইউই" এর সাথে বেশি পরিচিত, তখন এটি অধঃপতন নয়, কিন্তু আমাদের মনে করিয়ে দেয় যে এর বুদ্ধিমত্তা এখনও একটি পরিসংখ্যানগত সম্ভাবনা, সভ্যতার অর্থে উপলব্ধি নয়।
এই দূষিত শব্দগুলি একটি বিবর্ধক কাচের মতো কাজ করে, একটি অদ্ভুত উপায়ে শব্দার্থগত বোঝাপড়ায় AI এর ত্রুটিগুলিকে আলোকিত করে৷ AI এখনও "মানুষের মতো চিন্তা করার" গুরুত্বপূর্ণ পদক্ষেপের অভাব রয়েছে।
অতএব, আমাদের সত্যিকার অর্থে ভয় পাওয়া উচিত AI এর দূষণ নয়, কিন্তু নিজেদের তৈরি করা নোংরা ডিজিটাল প্রতিফলন দেখার ভয় যা আমরা তৈরি করেছি কিন্তু AI-এর অতিরিক্ত পরিষ্কার আয়নায় স্বীকার করতে নারাজ।
#iFaner-এর অফিসিয়াল WeChat পাবলিক অ্যাকাউন্ট অনুসরণ করতে স্বাগতম: iFaner (WeChat ID: ifanr), যেখানে যত তাড়াতাড়ি সম্ভব আপনার কাছে আরও উত্তেজনাপূর্ণ সামগ্রী উপস্থাপন করা হবে।