এইমাত্র, ডিপসিক একটি 3B মডেল, ডিপসিক-ওসিআর ওপেন-সোর্স করেছে। 3B আকারে ছোট হলেও, এর মডেলিংয়ে উল্লেখযোগ্য উদ্ভাবন রয়েছে।
আমরা সকলেই জানি, দীর্ঘ লেখা প্রক্রিয়াকরণের সময় সমস্ত বর্তমান LLM-গুলি একটি অনিবার্য দ্বিধাগ্রস্ততার সম্মুখীন হয়: গণনার জটিলতা দ্বিঘাতগতভাবে বৃদ্ধি পায়। ক্রম যত দীর্ঘ হবে, তত বেশি কম্পিউটিং শক্তি ব্যয় হবে।
তাই, ডিপসিক টিম একটি চতুর ধারণা নিয়ে এসেছে। যেহেতু একটি ছবিতে তুলনামূলকভাবে কম টোকেন ব্যবহার করে প্রচুর পরিমাণে টেক্সট তথ্য থাকতে পারে, তাই কেন টেক্সটটিকে সরাসরি একটি ছবিতে রূপান্তর করা হবে না? এটি "অপটিক্যাল কম্প্রেশন" নামে পরিচিত – ভিজ্যুয়াল মোডালিটি ব্যবহার করে টেক্সট তথ্যের আকার কমানো।
এই ধারণাটি যাচাই করার জন্য OCR স্বাভাবিকভাবেই উপযুক্ত কারণ এটি "ভিজ্যুয়াল→টেক্সট" রূপান্তর সম্পাদন করে এবং এর প্রভাব পরিমাণগতভাবে মূল্যায়ন করা যেতে পারে।
গবেষণাপত্রটি দেখায় যে ডিপসিক-ওসিআরের সংকোচনের হার ১০ গুণ পর্যন্ত পৌঁছাতে পারে এবং ওসিআর নির্ভুলতা ৯৭% এর উপরে বজায় রাখা যেতে পারে।
এর অর্থ কী? এর অর্থ হল যে আগে যে কন্টেন্টের জন্য ১,০০০ টেক্সট টোকেন প্রয়োজন হত, এখন তা মাত্র ১০০টি ভিজ্যুয়াল টোকেন দিয়ে প্রকাশ করা যেতে পারে। এমনকি ২০x কম্প্রেশন অনুপাত থাকা সত্ত্বেও, নির্ভুলতা প্রায় ৬০% থাকে, যা সামগ্রিকভাবে বেশ চিত্তাকর্ষক।
OmniDocBench বেঞ্চমার্ক ফলাফল দেখায়:
- মাত্র ১০০টি ভিজ্যুয়াল টোকেন ব্যবহার করে, এটি GOT-OCR2.0 (প্রতি পৃষ্ঠায় ২৫৬টি টোকেন) এর কর্মক্ষমতাকে ছাড়িয়ে গেছে।
- ৮০০-এরও কম ভিজ্যুয়াল টোকেন সহ, এটি MinerU2.0-কে ছাড়িয়ে গেছে (প্রতি পৃষ্ঠায় গড়ে ৬,০০০-এরও বেশি টোকেন)।
প্রকৃত উৎপাদনে, একটি একক A100-40G গ্রাফিক্স কার্ড প্রতিদিন 200,000 পৃষ্ঠারও বেশি LLM/VLM প্রশিক্ষণ ডেটা তৈরি করতে পারে। 20টি নোড (160 A100s) সহ, সংখ্যাটি প্রতিদিন 33 মিলিয়ন পৃষ্ঠায় উন্নীত হয়।
ডিপসিক-ওসিআর দুটি মূল উপাদান নিয়ে গঠিত:
- ডিপএনকোডার (এনকোডার): চিত্র বৈশিষ্ট্য নিষ্কাশন এবং সংকোচনের জন্য দায়ী।
- DeepSeek3B-MoE (ডিকোডার): সংকুচিত ভিজ্যুয়াল টোকেন থেকে টেক্সট পুনর্গঠনের জন্য দায়ী।
আসুন DeepEncoder ইঞ্জিনের উপর ফোকাস করি।
এর স্থাপত্য খুবই চতুর। SAM-বেস (৮০ মিলিয়ন প্যারামিটার) এবং CLIP-লার্জ (৩০ কোটি প্যারামিটার) সংযুক্ত করে, প্রথমটি "উইন্ডো অ্যাটেনশন" এর জন্য দায়ী যা ভিজ্যুয়াল বৈশিষ্ট্যগুলি বের করে, এবং দ্বিতীয়টি সামগ্রিক তথ্য বোঝার জন্য "বিশ্বব্যাপী অ্যাটেনশন" এর জন্য দায়ী।
গ্লোবাল অ্যাটেনশন লেয়ারে প্রবেশের আগে টোকেনের সংখ্যা উল্লেখযোগ্যভাবে কমাতে মাঝখানে একটি ১৬× কনভোলিউশন কম্প্রেসার যোগ করা হয়েছে।
উদাহরণস্বরূপ, একটি ১০২৪×১০২৪ চিত্র ৪০৯৬টি প্যাচ টোকেনে কাটা হবে। তবে, কম্প্রেসার প্রক্রিয়াকরণের পরে, বিশ্বব্যাপী মনোযোগ স্তরে প্রবেশকারী টোকেনের সংখ্যা অনেক কমে যাবে।
এর সুবিধা হলো এটি অ্যাক্টিভেশন মেমোরির ওভারহেড নিয়ন্ত্রণ করার সময় উচ্চ-রেজোলিউশন ইনপুট প্রক্রিয়া করার ক্ষমতা নিশ্চিত করে।
তাছাড়া, ডিপএনকোডার মাল্টি-রেজোলিউশন ইনপুট সমর্থন করে, ৫১২×৫১২ টিনি মোড (৬৪ টোকেন) থেকে ১২৮০×১২৮০ লার্জ মোড (৪০০ টোকেন) পর্যন্ত, সবই একটি মডেল দ্বারা পরিচালিত হয়।
ওপেন সোর্স সংস্করণটি বর্তমানে চারটি মোড সমর্থন করে: নেটিভ রেজোলিউশনে ক্ষুদ্র, ক্ষুদ্র, বেস এবং বৃহৎ, পাশাপাশি গতিশীল রেজোলিউশনে গুন্ডাম মোড, যা নমনীয়তা সর্বাধিক করে তোলে।
ডিকোডারটি DeepSeek-3B-MoE আর্কিটেকচার ব্যবহার করে।
মাত্র ৩ বিলিয়ন প্যারামিটার থাকা সত্ত্বেও, মডেলটি একটি মিশ্র-বিশেষজ্ঞ (MoE) নকশা ব্যবহার করে – ৬৪ জন বিশেষজ্ঞের মধ্যে ৬ জন এবং ২ জন ভাগ করা বিশেষজ্ঞকে সক্রিয় করে, মোট প্রায় ৫৭০ মিলিয়ন সক্রিয় প্যারামিটার তৈরি করে। এটি মডেলটিকে ৩ বিলিয়ন প্যারামিটার মডেলের অভিব্যক্তিগত শক্তি দেয় এবং ৫০০ মিলিয়ন প্যারামিটার মডেলের অনুমান দক্ষতা বজায় রাখে।
ডিকোডারের কাজ হল সংকুচিত ভিজ্যুয়াল টোকেন থেকে মূল টেক্সট পুনর্গঠন করা, এমন একটি প্রক্রিয়া যা OCR-শৈলী প্রশিক্ষণের মাধ্যমে কম্প্যাক্ট ভাষা মডেল দ্বারা কার্যকরভাবে শেখা যেতে পারে।
তথ্যের দিক থেকে, ডিপসিক টিমও প্রচুর পরিমাণে বিনিয়োগ করেছে।
ইন্টারনেট থেকে প্রায় ১০০টি ভাষা কভার করে ৩ কোটি পৃষ্ঠার বহুভাষিক পিডিএফ ডেটা সংগ্রহ করা হয়েছিল, যার মধ্যে ২৫ কোটি পৃষ্ঠা ছিল চীনা এবং ইংরেজি।
ডেটা দুটি বিভাগে বিভক্ত: মূলত কয়েকটি ভাষার স্বীকৃতি ক্ষমতা প্রশিক্ষণের জন্য, fitz ব্যবহার করে PDF থেকে মোটা টীকাগুলি সরাসরি বের করা হয়; PP-DocLayout, MinerU, এবং GOT-OCR2.0 এর মতো মডেলগুলি ব্যবহার করে সূক্ষ্ম টীকা তৈরি করা হয় এবং উচ্চ-মানের ডেটা ধারণ করে যা সনাক্তকরণ এবং স্বীকৃতিকে একত্রিত করে।
কয়েকটি ভাষার জন্য, দলটি একটি "মডেল ফ্লাইহুইল" প্রক্রিয়াও তৈরি করেছে – প্রথমে সনাক্তকরণের জন্য ক্রস-ভাষা সাধারণীকরণ ক্ষমতা সহ একটি লেআউট বিশ্লেষণ মডেল ব্যবহার করে, তারপর GOT-OCR2.0 প্রশিক্ষণের জন্য Fitz দ্বারা উত্পন্ন ডেটা ব্যবহার করে, এবং তারপর আরও ডেটা টীকা করার জন্য প্রশিক্ষিত মডেল ব্যবহার করে, এই চক্রটি পুনরাবৃত্তি করে অবশেষে 600,000 নমুনা তৈরি করে।
এছাড়াও, ৩০ লক্ষ ওয়ার্ড ডকুমেন্ট ডেটা রয়েছে, যা মূলত সূত্র স্বীকৃতি এবং HTML টেবিল পার্সিং ক্ষমতা উন্নত করে।
দৃশ্য OCR-এর জন্য, আমরা LAION এবং Wukong ডেটাসেট থেকে ছবি সংগ্রহ করেছি এবং PaddleOCR ব্যবহার করে সেগুলিকে টীকাবদ্ধ করেছি, যার প্রতিটিতে চীনা এবং ইংরেজিতে ১ কোটি নমুনা রয়েছে।
ডিপসিক-ওসিআর কেবল টেক্সট চিনতে পারে না বরং "গভীর বিশ্লেষণ" করার ক্ষমতাও রাখে। শুধুমাত্র একটি সমন্বিত প্রম্পট শব্দের সাহায্যে, এটি বিভিন্ন জটিল চিত্রের উপর কাঠামোগত নিষ্কাশন করতে পারে:
- চার্ট: আর্থিক গবেষণা প্রতিবেদনের চার্টগুলি সরাসরি কাঠামোগত ডেটা হিসাবে বের করা যেতে পারে
- রাসায়নিক গঠন: সনাক্ত করুন এবং SMILES ফর্ম্যাটে রূপান্তর করুন
- জ্যামিতি: সমতল জ্যামিতির অনুলিপি এবং কাঠামোগত বিশ্লেষণ
- প্রাকৃতিক ছবি: ঘন ক্যাপশন তৈরি করা
STEM ক্ষেত্রে এর প্রচুর প্রয়োগের সম্ভাবনা রয়েছে, বিশেষ করে রসায়ন, পদার্থবিদ্যা এবং গণিতের মতো পরিস্থিতিতে যেখানে প্রচুর সংখ্যক প্রতীক এবং গ্রাফিক্স প্রক্রিয়াকরণের প্রয়োজন হয়।
এখানে আমাদের ডিপসিক টিমের প্রস্তাবিত একটি সৃজনশীল ধারণার কথা উল্লেখ করতে হবে – মানুষের ভুলে যাওয়ার প্রক্রিয়া অনুকরণ করার জন্য অপটিক্যাল কম্প্রেশন ব্যবহার করা।
সময়ের সাথে সাথে মানুষের স্মৃতিশক্তি হ্রাস পেতে থাকে, পুরোনো ঘটনার স্মৃতি ক্রমশ ঝাপসা হয়ে যায়। ডিপসিক টিম ভাবছিল যে এআই কি একই অর্জন করতে পারে। তাদের সমাধান:
- ঐতিহাসিক কথোপকথনের বিষয়বস্তুকে k রাউন্ডের বাইরে একটি ছবিতে রেন্ডার করুন
- প্রাথমিক সংকোচন, প্রায় ১০ গুণ টোকেন হ্রাস অর্জন
- আরও প্রেক্ষাপটের জন্য, ছবির আকার কমাতে থাকুন।
- ছবিটি ছোট হওয়ার সাথে সাথে বিষয়বস্তু আরও ঝাপসা হয়ে যায়, অবশেষে "টেক্সট ভুলে যাওয়ার" প্রভাব অর্জন করে।
এটি মানুষের স্মৃতির ক্ষয় বক্ররেখার সাথে খুব মিল, যেখানে সাম্প্রতিক তথ্য উচ্চ বিশ্বস্ততা বজায় রাখে, অন্যদিকে দীর্ঘমেয়াদী স্মৃতি স্বাভাবিকভাবেই ম্লান হয়ে যায়।
যদিও এটি এখনও একটি প্রাথমিক গবেষণার দিক, যদি এটি বাস্তবায়িত করা যায়, তবে এটি অতি-দীর্ঘ প্রেক্ষাপট প্রক্রিয়াকরণের ক্ষেত্রে একটি বিশাল অগ্রগতি হবে – সাম্প্রতিক প্রেক্ষাপট উচ্চ রেজোলিউশন বজায় রাখে, ঐতিহাসিক প্রেক্ষাপট কম কম্পিউটিং সংস্থান গ্রহণ করে এবং তাত্ত্বিকভাবে "অসীম প্রেক্ষাপট" সমর্থন করতে পারে।
সংক্ষেপে, ডিপসিক-ওসিআর আপাতদৃষ্টিতে একটি ওসিআর মডেল, কিন্তু এটি আসলে একটি বৃহত্তর প্রস্তাবনা অন্বেষণ করছে: ভিজ্যুয়াল মোডালিটি কি এলএলএম টেক্সট তথ্য প্রক্রিয়াকরণের জন্য একটি দক্ষ কম্প্রেশন মাধ্যম হিসেবে ব্যবহার করা যেতে পারে?
প্রাথমিক উত্তর হল হ্যাঁ, এবং ৭-২০ বার টোকেন কম্প্রেশন ক্ষমতা প্রদর্শিত হয়েছে।
অবশ্যই, দলটি স্বীকার করে যে এটি কেবল শুরু। কনটেক্সচুয়াল অপটিক্যাল কম্প্রেশন সম্পূর্ণরূপে যাচাই করার জন্য কেবল OCR যথেষ্ট নয়। তারা পরবর্তী ডিজিটাল-টু-অপটিক্যাল টেক্সট বিকল্প প্রাক-প্রশিক্ষণ, "সুই-ইন-দ্য-হেস্ট্যাক" পরীক্ষা এবং অন্যান্য পদ্ধতিগত মূল্যায়ন পরিচালনা করার পরিকল্পনা করছে।
কিন্তু যাই হোক না কেন, এটি ভিএলএম এবং এলএলএম-এর বিবর্তনে একটি নতুন ধারা যোগ করে।
গত বছর এই সময়ে, সবাই এখনও ভাবছিল কিভাবে মডেলটিকে "আরও মনে রাখা" যায়।
এই বছর, ডিপসিক বিপরীত পন্থা গ্রহণ করেছে: যদি মডেলটি কিছু "ভুলে যেতে" শিখে? প্রকৃতপক্ষে, এআই বিবর্তন কখনও কখনও বিয়োগ সম্পর্কে, যোগ সম্পর্কে নয়। ছোট এবং সুন্দরও দুর্দান্ত জিনিস অর্জন করতে পারে, এবং ছোট 3B মডেল ডিপসিক-ওসিআর এর নিখুঁত প্রমাণ।
গিটহাবের হোমপেজ:
http://github.com/deepseek-ai/DeepSeek-OCR
কাগজ:
https://github.com/deepseek-ai/DeepSeek-OCR/blob/main/DeepSeek_OCR_paper.pdf
মডেল ডাউনলোড:
https://huggingface.co/deepseek-ai/DeepSeek-OCR
#iFaner-এর অফিসিয়াল WeChat পাবলিক অ্যাকাউন্ট অনুসরণ করতে আপনাকে স্বাগতম: iFaner (WeChat ID: ifanr), যেখানে যত তাড়াতাড়ি সম্ভব আরও উত্তেজনাপূর্ণ সামগ্রী আপনার কাছে উপস্থাপন করা হবে।