একটি মোবাইল ফোনে একটি বড় মডেল স্থাপন করতে কতটি ধাপ লাগে?
যদি 2023 জেনারেটিভ এআই-এর বিস্ফোরণের প্রথম বছর হয়, তাহলে বিভিন্ন নির্মাতারা এই বছর একটি বিরল ঐকমত্যে পৌঁছেছেন – সম্পূর্ণভাবে বৃহৎ প্রান্ত-সদৃশ মডেলগুলিতে বাজি ধরা।
"দক্ষ বৃহৎ মডেল"-এ বিশেষায়িত একটি নতুন AI কোম্পানি হিসাবে, Wallface Intelligence আজ আবার সবচেয়ে শক্তিশালী এন্ড-সাইড মাল্টি-মডেল ওপেন সোর্স মডেল MiniCPM-Llama3-V 2.5 লঞ্চ করে তার পেশীগুলিকে নমনীয় করছে৷
- সবথেকে শক্তিশালী এন্ড-সাইড মাল্টি-মডেল ব্যাপক কর্মক্ষমতা: মাল্টি-মডেল জায়ান্ট জেমিনি প্রো এবং GPT-4V-কে ছাড়িয়ে যাচ্ছে
- ওসিআর ক্ষমতা সোটা! 9 গুণ পরিষ্কার পিক্সেল, এটি দীর্ঘ ছবি এবং দীর্ঘ পাঠ্য সঠিকভাবে সনাক্ত করা কঠিন করে তোলে
- ইমেজ এনকোডিং 150 গুণ দ্রুত! প্রথম এন্ড-সাইড সিস্টেম-লেভেল মাল্টি-মোডাল ত্বরণ
গার্হস্থ্য "ছোট ইস্পাত কামান" এর তৃতীয় বুলেটটি এখানে রয়েছে, GPT-4V কে অপ্রতিরোধ্য করে
মানুষ যেমন পৃথিবীকে অন্বেষণ করতে তাদের পাঁচটি ইন্দ্রিয়ের উপর নির্ভর করে, তেমনি AI এর বিবর্তনে মাল্টি-মোডাল ক্ষমতা একটি প্রয়োজনীয় কোর্স।
শুধুমাত্র একটি 8B এন্ড-সাইড মডেলের সাথে, MiniCPM-Llama3-V 2.5, যা "ছোট সহ বড়", মূল্যায়ন প্ল্যাটফর্ম OpenCompass-এ 65.1 স্কোর করেছে, এটি কেবল ক্লোজড সোর্স মডেল Qwen-VL-Max এর সাথেই তুলনীয় নয় সামগ্রিক কর্মক্ষমতা হেভিওয়েট প্লেয়ার GPT- 4V এবং জেমিনি প্রোকেও হার মানায়।
OCR (অপটিক্যাল ক্যারেক্টার রিকগনিশন) এর ব্যাপক বেঞ্চমার্ক পরীক্ষায়, MiniCPM-Llama3-V 2.5 725 পয়েন্টের একটি স্কোর অর্জন করেছে, একটি বড় ব্যবধানে GPT-4V ছাড়িয়েছে এবং ক্লাউড 3V ওপাসের মতো লিপফ্রগ মডেলগুলিকে ছাড়িয়ে গেছে।
হ্যালুসিনেট করার ক্ষমতা হল সবচেয়ে বড় একগুঁয়ে সমস্যা যা অল্প সময়ের মধ্যে বড় মডেলগুলিকে আঘাত করে।
অবজেক্ট হ্যালবেঞ্চ বেঞ্চমার্ক পরীক্ষায় প্রতিফলিত হয়েছে, এর হ্যালুসিনেশন হার MiniCPM-V 2.0 (2B) এর 14.5 থেকে 10.3-এ নেমে এসেছে, আবার GPT-4 V এবং LLaVA-NeXT-34B-কে ছাড়িয়ে গেছে।
RealWorldQA বেঞ্চমার্ক হল একটি মডেলের বাস্তবতা বোঝার পরীক্ষা।
MiniCPM-Llama3-V 2.5 63.5 এর একটি উত্তরপত্র সরবরাহ করেছে, শুধুমাত্র InternVL-Chat-V1.5 (26B) থেকে দ্বিতীয়, কিন্তু এখনও GPT-4V এবং জেমিনি প্রোকে ছাড়িয়ে গেছে।
স্ব-উন্নত হাই-ডেফিনিশন ইমেজ দক্ষ এনকোডিং প্রযুক্তির উপর নির্ভর করে, MiniCPM-Llama3-V 2.5 দক্ষ এনকোডিং এবং 1.8 মিলিয়ন হাই-ডেফিনিশন পিক্সেল ইমেজের লসলেস স্বীকৃতি সমর্থন করে এবং যেকোন আকৃতির অনুপাত এমনকি 1:9 এর চরম অনুপাতের চিত্রকে সমর্থন করে। এটির জন্য, এটি কেবল একটি কেক।
"দেখতে পারা" হল মাত্র শুরু, আরও গুরুত্বপূর্ণ হল কিভাবে "চিন্তা" করা যায় তা হল মিনিসিপিএম-লামা৩-ভি 2.5 জটিল যুক্তির ক্ষমতাকে একটি নতুন স্তরে নিয়ে যায়।
কর্মকর্তারা বলেছেন যে "দ্য থ্রি-বডি প্রবলেম" এর বিখ্যাত উদ্ধৃতি দিয়ে খোদাই করা একটি শৈল্পিক বিল্ডিংয়ের উদাহরণ দেওয়া হয়েছে, একটি সাধারণ বড় মডেলটি কেবল চিত্রটির মডেলটিকে মোটামুটিভাবে বর্ণনা করতে পারে, তবে MiniCPM-Llama3-V 2.5 এটিকে "দ্য দ্য থ্রি-বডি প্রবলেম" এর সাথে যুক্ত করতে পারে। তিন-শরীরের সমস্যা "স্বীকৃত তথ্যের উপর ভিত্তি করে।" বই।
▲MiniCPM-Llama3-V 2.5
▲GPt-4V
আপনি আপনার নিজস্ব অন্তর্দৃষ্টিও দিতে পারেন – এই ভবনগুলি সম্ভবত উপন্যাসটি এবং চীনা বিজ্ঞান কল্পকাহিনী সাহিত্যে এর অবদানকে স্মরণ করার জন্য ডিজাইন করা হয়েছিল।
অথবা এটিকে এশিয়ান ডায়েট পিরামিডের একটি ইংরেজি সংস্করণ দিন এবং এটি তাত্ক্ষণিকভাবে একজন ব্যক্তিগত পুষ্টিবিদ হয়ে উঠতে পারে এবং সপ্তাহের জন্য রেসিপিগুলি কাস্টমাইজ করতে পারে।
আপনি যদি দীর্ঘ নিবন্ধগুলি পড়তে খুব অলস হন তবে এটিকে MiniCPM-Llama3-V 2.5-এ ছেড়ে দিন এবং তারপর প্রশ্ন করুন, এটি যত তাড়াতাড়ি সম্ভব উত্তর দেবে।
এখন, MiniCPM-Llama3-V 2.5 জার্মান, ফ্রেঞ্চ, স্প্যানিশ, ইতালীয়, রাশিয়ান এবং অন্যান্য মূলধারার ভাষাগুলিকে কভার করে 30+ ভাষাগুলিকে সমর্থন করে যা মূলত আপনার নখদর্পণে।
এটি উল্লেখ করা উচিত যে MiniCPM-Llama3-V 2.5 প্রকৃতপক্ষে ওপেন সোর্স মডেল Llama3-8B-Instruct-এর উপর ভিত্তি করে একটি সূক্ষ্ম-টিউন করা মডেল।
অতীতে, এআইকে একই সময়ে চিত্র এবং পাঠ্যের মতো বিভিন্ন তথ্য প্রক্রিয়া করতে দেওয়া একটি বড় সমস্যা ছিল এবং দ্রুত গতিতে, তবে, ওয়াল-ফেসিং ইন্টেলিজেন্স একটি এনপিইউ ত্বরণ কাঠামো গ্রহণ করে, যা বিশেষভাবে ত্বরান্বিত করার জন্য ডিজাইন করা হয়েছে। ইমেজ প্রসেসিং, মোবাইল ফোনে আরও দক্ষতার সাথে কাজ করে।
অফিসিয়াল ভূমিকা অনুসারে, ওয়াল-ফেসিং শুধুমাত্র প্রথমবারের মতো এন্ড-সাইড সিস্টেম অ্যাক্সিলারেশন করতে পারে, বর্তমানে MiniCPM-Llama3-V 2.5 দক্ষতার সাথে মোবাইল ফোনে স্থাপন করা হয়েছে এবং ইমেজ এনকোডিংয়ে 150-গুণ ত্বরণ অর্জন করেছে।
উদাহরণস্বরূপ, মোবাইল ফোনে Llama 3 ভাষার মডেলের ডিকোডিং গতি প্রায় 0.5 টোকেন/সেকেন্ড, যেখানে মাল্টি-মোডাল মডেল MiniCPM-Llama3-V 2.5 একাধিক অপ্টিমাইজেশনের মাধ্যমে মোবাইল ফোনে ভাষা ডিকোডিং গতি 3-এ উন্নীত করেছে। পদ্ধতি যেমন CPU -4 টোকেন/s.
MiniCPM-Llama3-V 2.5 ওপেন সোর্স ঠিকানা সংযুক্ত করা হয়েছে: 
https://github.com/OpenBMB/MiniCPM-V
ডিভাইস-সাইড মডেল, মোবাইল ফোন নির্মাতাদের জন্য একটি যুদ্ধক্ষেত্র
গত দুই বছরে, প্রধান টার্মিনাল নির্মাতাদের স্পিচ পিপিটি-তে ডিভাইস-সাইড মডেলগুলি প্রায়শই উপস্থিত হয়েছে।
তথাকথিত এন্ড-সাইড মডেল হল সেই কৃত্রিম বুদ্ধিমত্তার মডেল যা টার্মিনাল ডিভাইসে চলে। এই মডেলগুলি সাধারণত শেষ ডিভাইসের কম্পিউটিং শক্তি এবং সংস্থান সীমাবদ্ধতা মিটমাট করার জন্য যথেষ্ট হালকা হতে ডিজাইন করা হয়েছে।
GPT-4 অনলাইনে যাওয়ার পরে, "AI গডফাদার" জিওফ্রে হিন্টন একবার উল্লেখ করেছিলেন যে আমি মনে করি এমন একটি পর্যায় থাকবে যেখানে আমরা বৃহৎ কম্পিউটিং শক্তি সহ কম্পিউটারে প্রশিক্ষণ দেব, একবার মডেলটি প্রশিক্ষিত হলে, এটি কম-পাওয়ার ডিভাইসে চালানো যেতে পারে। .
এন্ড-সাইড মডেলের বৈশিষ্ট্য হল যে এটি ডিভাইসের পাশে (যেমন স্মার্টফোন, এমবেডেড সিস্টেম ইত্যাদি) ডেটা প্রক্রিয়া করতে এবং দূরবর্তী সার্ভারে ডেটা না পাঠিয়ে সিদ্ধান্ত নিতে পারে।
উপরের শব্দগুলিকে আলাদা করে, আমরা শেষ-সাইড মডেলের সুবিধাগুলি আবিষ্কার করতে পারি:
- স্থানীয় চলমান: মডেলটি দূরবর্তী সার্ভারের উপর নির্ভর না করে ডিভাইসে স্থানীয়ভাবে চলে।
- রিয়েল-টাইম প্রক্রিয়াকরণ: ডিভাইসে রিয়েল-টাইমে ডেটা প্রক্রিয়া করার ক্ষমতা, দ্রুত প্রতিক্রিয়া প্রদান করে।
- কম লেটেন্সি: যেহেতু ডিভাইস এবং সার্ভারের মধ্যে ডেটা স্থানান্তর করার প্রয়োজন নেই, তাই এটির লেটেন্সি কম।
- গোপনীয়তা সুরক্ষা: ডেটা স্থানীয়ভাবে প্রক্রিয়া করা হয়, ডেটা ফাঁসের ঝুঁকি হ্রাস করে এবং গোপনীয়তা সুরক্ষা বাড়ায়।
- নেটওয়ার্ক স্বাধীনতা: শেষ-সাইড মডেল নেটওয়ার্ক সংযোগ ছাড়াই কাজ করে।
- রিসোর্স অপ্টিমাইজেশান: এন্ড-সাইড মডেলটিকে সাধারণত সীমিত কম্পিউটিং রিসোর্স এবং টার্মিনাল ডিভাইসের স্টোরেজ স্পেসের সাথে খাপ খাইয়ে নিতে অপ্টিমাইজ করা দরকার।
- বিভিন্ন ডিভাইসের জন্য প্রযোজ্য: ক্লায়েন্ট-সাইড মডেলটি বিভিন্ন ধরনের টার্মিনাল ডিভাইসে স্থাপন করা যেতে পারে, যার মধ্যে স্মার্টফোন, স্মার্ট হোম ডিভাইস, পরিধানযোগ্য ডিভাইস ইত্যাদির মধ্যে সীমাবদ্ধ নয়।
- ক্ষুদ্রকরণ এবং অপ্টিমাইজেশান: মডেলের আকার কমাতে এবং অপারেটিং দক্ষতা উন্নত করতে মডেলগুলিকে কম্প্রেশন, ছাঁটাই, পরিমাপকরণ এবং অন্যান্য প্রযুক্তিগত প্রক্রিয়াগুলির মধ্য দিয়ে যেতে হতে পারে।
অবশ্যই, ক্লায়েন্ট-সাইড বৃহৎ মডেল এবং ক্লাউড বৃহৎ মডেল সমন্বয়বাদী, বিরোধিতার পণ্য নয়।
তাই আমরা দেখতে পাচ্ছি যে যখন Llama 3 এবং Claude-এর মতো বড় মডেলগুলি পুরোদমে বিকাশ করছে, শেষ দিকের মডেলগুলির গবেষণা পিছিয়ে পড়েনি৷
NVIDIA বিজ্ঞানী JImFan উল্লেখ করেছেন যে সাম্প্রতিক GPT-4o সম্ভবত একটি পাতিত ছোট মডেল, এবং সুবিধাগুলি সুস্পষ্ট – আরও পরিমার্জিত এবং আরও দক্ষ৷
গত মাসে মাইক্রোসফ্ট দ্বারা প্রকাশিত Phi-3 হোক, ওয়ালফেস ইন্টেলিজেন্সের দ্বারা প্রকাশিত পারফরম্যান্স ছোট ইস্পাত কামান সিরিজ, বা সম্প্রতি অ্যাপল দ্বারা ওপেন সোর্স হিসাবে ঘোষণা করা মডেলগুলির OpenELM সিরিজ, নতুন ছোট আকারের মডেলগুলি ক্রমাগত চালু হচ্ছে৷
2024 হল AI অ্যাপ্লিকেশনগুলি বাস্তবায়নের জন্য একটি গুরুত্বপূর্ণ বছর, এবং ডিভাইস-সাইড মডেলগুলিও গতি পাচ্ছে এবং এই বছরে উজ্জ্বল হওয়ার প্রস্তুতি নিচ্ছে৷
একটি অনস্বীকার্য সত্য যে অধিকাংশ বর্তমান টার্মিনাল উদ্ভাবন একটি বাধা সময় পৌঁছেছে. স্টিভ জবস যখন আইফোনটি বের করে নিয়েছিলেন তখন বিস্ময় এবং উদ্ভাবনের অনুভূতিটি আমাদের দেহে "বাড়ে" সময়ের দীর্ঘ নদীতে হারিয়ে গেছে।
এআই-চালিত টার্মিনাল উদ্ভাবনের প্রস্তাব, তা বাস্তবের চেয়ে বেশি চটকদার হোক বা বর্তমানকে "অর্থ অনুদান" করার জন্য ভবিষ্যতের প্রযুক্তি ব্যবহার করা হোক না কেন, আসলে মোবাইল ফোনের মতো ডিভাইসগুলির কল্পনাকে আরও উন্মোচন করতে পারে এবং ভাঙ্গার একটি মূল বিষয় হয়ে উঠতে পারে। খেলাাটি.
এটি এই প্রবণতার অধীনে যে ডিভাইস-সাইড মডেলটি কেবলমাত্র একটি ধারণা নয় যা তাত্ত্বিক আলোচনা বা প্রস্তুতকারকের ব্রোশারে রয়ে গেছে এটি ধীরে ধীরে আমাদের দৈনন্দিন জীবনে প্রবেশ করতে শুরু করেছে।
গত বছরের আগস্টে HamonyOS 4 সম্মেলনে, Yu Chengdong স্মার্ট সহকারী Xiaoyi-এর বড় AI মডেল অ্যাক্সেস করার ক্ষমতা ঘোষণা করেছিলেন। এর পরপরই, Lei Jun প্রকাশ করে যে Xiaomi তার মোবাইল ফোনে 1.3B প্যারামিটার সহ একটি বড় মডেলের মধ্য দিয়ে চলেছে এবং কিছু দৃশ্যের প্রভাবগুলি ক্লাউডের সাথে তুলনীয়।
"ইউউজিয়া" গার্হস্থ্য মোবাইল ফোনের একটিও পিছিয়ে নেই। AndersGPT-এর উপর ভিত্তি করে OPPO Xiaobu সহকারী, 7B টার্মিনাল-সাইড এআই বড় মডেলের সাথে সজ্জিত Honor Magic 6, এবং ব্লু হার্ট বড় মডেল ম্যাট্রিক্স দিয়ে সজ্জিত ভিভোও একের পর এক আনুষ্ঠানিকভাবে ঘোষণা করা হয়েছে।
আজ সকালের প্রথম দিকে, ব্লুমবার্গ রিপোর্টার মার্ক গুরম্যান এই খবরটি ব্রেক করেছেন যে অ্যাপল সিরির ভয়েস ফাংশনকে আরও কথোপকথন করতে এবং ব্যবহারকারীদের দৈনন্দিন জীবনের সাথে মোকাবিলা করতে সহায়তা করার জন্য ফাংশন যুক্ত করবে, যার মধ্যে রয়েছে:
- স্বয়ংক্রিয়ভাবে আইফোন বিজ্ঞপ্তি সংক্ষিপ্ত
- সংবাদ নিবন্ধগুলি সংক্ষিপ্ত করুন
- ভয়েস মেমো প্রতিলিপি
- ক্যালেন্ডার অটোফিলিং এবং অ্যাপের সুপারিশ করার জন্য বিদ্যমান বৈশিষ্ট্যগুলিকে উন্নত করুন
- এআই এডিটিং ফটো
মূল ভয়েস সহকারী সিরির ক্ষেত্রে, এটি ভবিষ্যতে ওপেনএআই বা জেমিনির ডিভাইস-সাইড মডেলের সাথে ঘনিষ্ঠভাবে সংযুক্ত হতে পারে।
যদিও জনপ্রিয় AI হার্ডওয়্যার Rabbit R1 কে Android শেল হিসেবে প্রশ্ন করা হয়েছে, প্রেস কনফারেন্সে এটি যা দেখিয়েছে তাও একটি AI ফোনের আদর্শ অবস্থার প্রোফাইল – অ্যাপ্লিকেশন এবং মসৃণ মিথস্ক্রিয়া মধ্যে কোন বাধা নেই এমন একটি সিস্টেম।
যাইহোক, এই পরিস্থিতি রাতারাতি ঘটবে না যদি এআই ভয়েস সহকারী সত্যিই ব্যবহারকারীদের বুঝতে পারে এবং প্রত্যাশা অনুযায়ী অ্যাপ্লিকেশনগুলিকে নির্ধারণ করতে পারে, তবে এটি শুধুমাত্র ব্যবহারকারীর অভিজ্ঞতাকে সম্পূর্ণরূপে বিপর্যস্ত করবে না, তবে মোবাইল ফোন নির্মাতাদের মধ্যে সম্পর্ক পরিবর্তন করবে বলেও আশা করা হচ্ছে। -পার্টি অ্যাপ্লিকেশন ডেভেলপার।
উদাহরণস্বরূপ, এমন খবর পাওয়া গেছে যে অ্যাপল, যা সবসময় বন্ধ ছিল, প্রযুক্তিগত পরিবর্তনের এই প্রবাহের মুখে সক্রিয়ভাবে খোলামেলা আলিঙ্গন করতে শুরু করেছে।
মেলিয়াস রিসার্চের বেন রেইটজের মতে, অ্যাপল আসন্ন WWDC-তে AI অ্যাপ্লিকেশনের জন্য নিবেদিত একটি স্টোর চালু করবে বলে আশা করা হচ্ছে। এটি কেবল অ্যাপলের উন্মুক্ত কৌশলের একটি গুরুত্বপূর্ণ বাঁক নয়, এটি এআই যুগে এর কৌশলগত রূপান্তরের একটি স্পষ্ট সংকেত।
এটি আরও দেখায় যে অ্যাপল একটি উন্মুক্ত এআই ইকোসিস্টেম তৈরি করে বিকাশকারী এবং ব্যবহারকারীদের জন্য আরও মূল্য তৈরি করার চেষ্টা করছে, পাশাপাশি নিজের জন্য একটি বিস্তৃত বাজারের জায়গাও জিতেছে।
বাড়ির কাছাকাছি, MiniCPM-Llama3-V 2.5-এর মতো এন্ড-সাইড মডেলগুলি তাদের শক্তি প্রমাণ করেছে – মডেলটিতে শুধুমাত্র "প্যারামিটার যত বড় হবে, পারফরম্যান্স তত ভাল" নয়, তবে ক্ষুদ্রতম প্যারামিটারের সাহায্যে শক্তিশালী পারফরম্যান্সের সুবিধাও নিতে পারে!
একই সময়ে, জীবনে প্রবেশ করা হল শুধুমাত্র প্রথম ধাপ যখন ডেটার যাত্রা শূন্যে সংক্ষিপ্ত করা হয়, ডিভাইস-সাইড মডেল এআইকে মানুষের চিন্তাভাবনার চেয়ে এক ধাপ দ্রুত প্রতিক্রিয়া জানাতে দেয়, যার অর্থ হতে পারে টার্মিনাল ডিভাইসের পরবর্তী বসন্ত। সত্যিই পৌঁছেছে।
ততক্ষণে, ব্যবহারকারী এবং শেষ পণ্যগুলির মধ্যে প্রতিটি মিথস্ক্রিয়া একটি অনিচ্ছাকৃত "ওয়াও" শব্দ ট্রিগার করবে।
# Aifaner এর অফিসিয়াল WeChat পাবলিক অ্যাকাউন্ট অনুসরণ করতে স্বাগতম: Aifaner (WeChat ID: ifanr) যত তাড়াতাড়ি সম্ভব আপনাকে আরও উত্তেজনাপূর্ণ সামগ্রী সরবরাহ করা হবে।