যখন OpenAI-এর Ultraman এখনও তার Sora 2 ভিডিও জেনারেশন মডেলকে সমর্থন করার জন্য সর্বত্র গ্রাফিক্স কার্ড এবং কম্পিউটিং পাওয়ার কিনছিল।
ফেই-ফেই লি'র ল্যাব, দ্য ওয়ার্ল্ড ল্যাবস, একটি মাত্র গ্রাফিক্স কার্ডে পুরো বিশ্ব পরিচালনা করতে পারে। আজ, তারা RTFM (রিয়েল-টাইম ফ্রেম মডেল) নামে একটি নতুন প্রযুক্তি প্রকাশ করেছে, যা একটি সম্পূর্ণ নতুন রিয়েল-টাইম ওয়ার্ল্ড জেনারেশন মডেল।
সেপ্টেম্বরের মাঝামাঝি সময়ে প্রকাশিত ইমেজ-জেনারেটেড ওয়ার্ল্ড, মার্বেলের বিপরীতে, RTFM শুধুমাত্র একটি ছবি ব্যবহার করে একটি 3D ওয়ার্ল্ড তৈরি করে না যা আমরা অবাধে ঘোরাঘুরি এবং অন্বেষণ করতে পারি, বরং সবচেয়ে গুরুত্বপূর্ণ বিষয় হল, এটি একটি একক H100 GPU-তে দক্ষতার সাথে চালানোর জন্য এবং রিয়েল টাইমে এটি তৈরি করার জন্য ডিজাইন করা হয়েছে।
বর্তমানে, RTFM আনুষ্ঠানিকভাবে একটি গবেষণা প্রিভিউ সংস্করণ হিসাবে প্রকাশিত হয়েছে, এবং আপনার নিজের চেষ্টা করার জন্য একটি ডেমো প্রদান করা হয়েছে।
▲ RTFM ডেমো লিঙ্ক: https://rtfm.worldlabs.ai/
হঠাৎ করেই আমি আবিষ্কার করলাম যে এই ডেমোটির নাম FRAMEBOY। ওয়েবপেজের লেআউটের সাথে মিলিয়ে, আমার দ্রুত পুরনো গেম বয় কনসোলের কথা মনে পড়ল।
এইরকম একটি পৃথিবী, যেখানে বাস্তবসম্মত আলো, প্রতিফলন এবং ছায়া সবকিছুই আমাদের চোখের সামনে বাস্তব সময়ে ঘটছে, এক অর্থে, কেবল একটি খেলা খেলার আরেকটি উপায়।
কেবল প্রজন্মের চেয়েও বেশি কিছু, রিয়েল-টাইম মিথস্ক্রিয়া সম্পর্কে আরও অনেক কিছু
RTFM-এর মূল ক্ষমতা হল রিয়েল টাইমে ইন্টারেক্টিভ ভিডিও তৈরি করার ক্ষমতা। এটি একটি স্ট্যাটিক ইমেজ দিয়ে শুরু করতে পারে এবং একটি অবাধে অন্বেষণযোগ্য 3D দৃশ্য রেন্ডার করতে পারে।
অনেক বিশ্ব মডেলের বিপরীতে, RTFM অত্যন্ত জটিল এবং বাস্তবসম্মত ভিজ্যুয়াল এফেক্ট শিখতে এবং রেন্ডার করতে সক্ষম। মসৃণ মার্বেল মেঝেতে প্রতিফলন, সূর্যের আলোয় বস্তুর দ্বারা ছায়া, অথবা কাচের মধ্য দিয়ে দৃশ্য, RTFM সঠিকভাবে সেগুলিকে অনুকরণ করে।
RTFM ঐতিহ্যবাহী গ্রাফিক্স প্রোগ্রামিংয়ের উপর নির্ভর করে না, বরং বিশাল ভিডিও ডেটার এন্ড-টু-এন্ড লার্নিংয়ের মাধ্যমে মডেলটিকে ক্রমাগত বিকশিত হতে দেয়।
এই সক্ষমতার উপর ভিত্তি করে তিনটি মূল নীতি তৈরি করা হয়েছিল যার ভিত্তিতে RTFM ডিজাইন করা হয়েছিল।
দক্ষতা: যদি আমরা ভবিষ্যৎকে বর্তমানের কাছাকাছি আনতে চাই, তাহলে বিশ্ব মডেলের গণনার প্রয়োজনীয়তাই সবচেয়ে বড় বাধা।
সোরার মতো এআই-জেনারেটেড ভিডিও হোক বা গুগলের জিনি ৩, যা এখনও আনুষ্ঠানিকভাবে প্রকাশিত হয়নি, উভয়ই বিশাল গণনামূলক চ্যালেঞ্জ তৈরি করে। সম্পর্কিত গবেষণায় উল্লেখ করা হয়েছে যে রিয়েল টাইমে 4K 60fps ইন্টারেক্টিভ ভিডিও স্ট্রিম তৈরি করতে, এআই মডেলটিকে প্রতি সেকেন্ডে বেশ কয়েকটি টোকেন প্রক্রিয়া করতে হবে যা হ্যারি পটার বইয়ের পাঠ্য সামগ্রীর প্রায় সমতুল্য।
যদি আমরা এক ঘন্টারও বেশি সময় ধরে চলা মিথস্ক্রিয়ার সময় এই তৈরি হওয়া বিষয়বস্তুর স্থায়িত্ব বজায় রাখতে চাই, তাহলে প্রক্রিয়াকরণের জন্য প্রয়োজনীয় প্রেক্ষাপট ১০ কোটি টোকেন ছাড়িয়ে যাবে। এটি বর্তমান কম্পিউটিং অবকাঠামোর জন্য ব্যবহারিক বা সাশ্রয়ী নয়।
ফেই-ফেই লি'র দলের লক্ষ্য হল "আজকের হার্ডওয়্যারের উপর আগামীকালের মডেলগুলি চালানো এবং সর্বোচ্চ বিশ্বস্ততার পূর্বরূপ প্রদান করা।"
আর্কিটেকচার, মডেল ডিস্টিলেশন এবং ইনফারেন্স প্রক্রিয়ার চরম অপ্টিমাইজেশনের মাধ্যমে, সেইসাথে পুরো সিস্টেমের পুনর্গঠনের মাধ্যমে, তারা সফলভাবে RTFM অর্জন করেছে, শুধুমাত্র একটি H100 GPU ব্যবহার করে ইন্টারেক্টিভ ফ্রেম রেটে ইনফারেন্স সম্পাদন করে এবং রিয়েল-টাইম ফলাফল তৈরি করে।
স্কেলেবিলিটি: ভিডিও মডেল থেকে শুরু করে বিশ্ব মডেল পর্যন্ত।
ঐতিহ্যবাহী 3D ইঞ্জিনগুলি ত্রিভুজাকার জাল, গাউসিয়ান পয়েন্ট ক্লাউড এবং ভক্সেল রেন্ডারিংয়ের মতো স্পষ্ট কাঠামো ব্যবহার করে, যা সম্পূর্ণরূপে জটিল কম্পিউটার গ্রাফিক্স জ্ঞানের উপর নির্ভর করে। প্রতিটি বস্তুকে মডেল, টেক্সচার, আলোকিত এবং ছায়া বেকড করতে হবে। এই পদ্ধতিটি আমরা আগে প্রবর্তিত হুনুয়ান 3D জগতের অনুরূপ, একটি সম্পূর্ণ 3D পাইপলাইন তৈরির উপর দৃষ্টি নিবদ্ধ করে।
ঐতিহ্যবাহী 3D পদ্ধতি (বামে) এবং RTFM পদ্ধতি (ডানে)
হুনয়ুয়ানের বিপরীতে, ওয়ার্ল্ড ল্যাব একটি ভিন্ন পদ্ধতি গ্রহণ করে। RTFM কোনও স্পষ্ট 3D মডেল তৈরি করে না। পরিবর্তে, এটি ভিডিও ফ্রেম সিকোয়েন্স থেকে সরাসরি বিশ্ব প্যাটার্ন শেখার জন্য সোরার মতো একটি অটোরিগ্রেসিভ ডিফিউশন ট্রান্সফরমার ব্যবহার করে।
উদাহরণস্বরূপ, মডেলটির আর "এটি একটি দেয়াল" বা "এটি একটি প্রদীপ" জানার প্রয়োজন নেই। এটি কেবল হাজার হাজার ভিডিও থেকে শেখার মাধ্যমে "স্থানিক জ্ঞান" কী তা শিখে এবং ইনপুট 2D চিত্র ক্রম থেকে পরবর্তী নতুন দৃষ্টিকোণ ভবিষ্যদ্বাণী করতে শেখে।
3D সম্পদ তৈরির পদ্ধতির বিপরীতে, RTFM ক্রমবর্ধমান ডেটা এবং কম্পিউটিং শক্তিকে আরও ভালভাবে ব্যবহার করতে পারে, যার ফলে সীমাহীন স্কেলেবিলিটি অর্জন করা যায়।
অধ্যবসায় , যা বিশ্ব মডেলকে ন্যানো কলার মতো সামঞ্জস্যপূর্ণ রাখে।
বেশিরভাগ ভিডিও জেনারেশন মডেলের একটি সহজাত ত্রুটি থাকে: তাদের স্মৃতিশক্তির অভাব থাকে। যদিও সোরা একবারে ২৫ সেকেন্ডের অত্যাশ্চর্য ফুটেজ তৈরি করতে পারে, ভিডিও তৈরি হলে পৃথিবী শেষ হয়ে যায় এবং এটি ক্রমাগত ইন্টারঅ্যাকশন প্রদান করতে পারে না।
তবে, যদি আমরা সমস্ত পরিস্থিতি মনে রাখতে চাই, তাহলে অনুসন্ধান গভীর হওয়ার সাথে সাথে গণনার বোঝা অনিবার্যভাবে অসীমভাবে জমা হবে।
RTFM উৎপন্ন জগতের স্থায়িত্ব নিশ্চিত করার চেষ্টা করে। এটি "স্থানিক স্মৃতি" নামক একটি প্রক্রিয়া প্রবর্তন করে, যা প্রতিটি উৎপন্ন ফ্রেমে 3D স্থানে একটি সুনির্দিষ্ট "ভঙ্গি" (অবস্থান এবং অভিযোজন) নির্ধারণ করে।
নতুন ছবি তৈরি করার সময়, মডেলটি "প্রসঙ্গ জাগলিং" নামক একটি কৌশল ব্যবহার করে, যা বিশ্বব্যাপী প্রসঙ্গ নয় বরং নতুন ছবির কাছাকাছি ফ্রেমগুলিকে রেফারেন্স হিসাবে ব্যবহার করে।
এটি RTFM-কে সক্ষম করে, যা আমাদের বারবার পৃথিবীতে প্রবেশ করতে, ছেড়ে যেতে এবং গণনার বোঝা না বাড়িয়েই ফিরে যেতে সাহায্য করে।
বর্তমানে, RTFM ডেমো মাত্র তিন মিনিট স্থায়ী হয়, যার পরে এটি পৃথিবীর স্মৃতি হারিয়ে ফেলে। ডেমোতে বাম এবং ডান জয়স্টিকগুলি টেনে আনতে আমি অনেক সময় ব্যয় করেছি এবং এটি আমাকে ফেই-ফেই লি'র বক্তব্যের কথা মনে করিয়ে দিয়েছে যে স্থানিক বুদ্ধিমত্তা AGI-এর পরবর্তী পদক্ষেপ হওয়া উচিত।
ভবিষ্যতে কি সত্যিই বাস্তব জগৎ এবং ভার্চুয়াল জগতের মধ্যে একটি স্পষ্ট সংযোগ তৈরি করার সুযোগ থাকবে, যেমন রেডি প্লেয়ার ওয়ানে? বর্তমান বিশ্ব মডেলের দিকে তাকালে, এখনও অনেক বেশি কন্টেন্ট লোড করার বাকি আছে।
সর্বোপরি, একটি H100 GPU-র দামও $25,000-এর বেশি। কিন্তু কম্পিউটিং পাওয়ারের দাম কমে যাওয়ার সাথে সাথে অ্যালগরিদম দ্রুততর হওয়ার সাথে সাথে, আমরা বিশ্ব মডেলের জন্য একটি সত্যিকারের উল্লেখযোগ্য "আপডেট" দেখতে পাব, এমন একটি দিন যখন বাস্তবতা সম্পূর্ণরূপে তৈরি হবে।
#iFaner-এর অফিসিয়াল WeChat পাবলিক অ্যাকাউন্ট অনুসরণ করতে আপনাকে স্বাগতম: iFaner (WeChat ID: ifanr), যেখানে যত তাড়াতাড়ি সম্ভব আরও উত্তেজনাপূর্ণ সামগ্রী আপনার কাছে উপস্থাপন করা হবে।