الگوریتم MUM (مام) چیست؟

Google Multitask Unified Model (MUM)  فناوری جدیدی برای پاسخ به سوالات پیچیده ای هست که جواب مستقیم ندارند. گوگل مقالات پژوهشی منتشر کرده که ممکنه سرنخی از MUM AI و نحوه عملکرد اون ارائه بده.

الگوریتم مام احتمالاً از چند نوآوری تشکیل شده. به عنوان مثال، مقاله تحقیقاتی Google ، HyperGrid Transformers: Towards a Single Model for Multiple Tasks ، وضعیت جدیدی از هنر رو در یادگیری چند وظیفه ای توصیف می کنه که می تونه بخشی از MUM باشه.

الگوریتم های گوگل توصیف شده در مقالات پژوهشی و حق ثبت اختراع

گوگل به طور کلی تأیید نمی کنه که الگوریتم های توصیف شده در مقاله های پژوهشی یا حق ثبت اختراع استفاده می شود یا نه.

گوگل هنوز تایید نکرده است که فناوری الگوریتم مام (MUM) دقیقا چیه.

مقالات تحقیقاتی مدل یکپارچه چند منظوره

بعضی اوقات، همونجوری که در مورد Neural Matching اتفاق افتاد، هیچ مقاله تحقیقاتی یا اختراعی ثبت نشده که صراحتا از نام این فناوری استفاده بکنه. انگار که گوگل یک نام تجاری توصیفی رو برای گروهی از الگوریتم های هم کار اختراع کرده.

این مورد تا حدودی در مورد Multitask Unified Model (MUM) وجود داره. دقیقاً هیچ حق ثبت اختراعی یا مقاله ای با نام تجاری MUM وجود ندارد. ولی…

مقالاتی تحقیقاتی وجود داره که در مورد مشکلات مشابهی که MUM با استفاده از راه حل های Multitask و Unified Model حل می کنه، بحث می کنه.

پیشینه مشکلی که الگوریتم مام حل میکنه

پاسخدهی به یک سوال فرم طولانی یک پرسش جستجوی پیچیده است که با یک لینک یا قطعه نمیشه به اون پاسخ داد. پاسخ به پاراگراف هایی از اطلاعات حاوی چندین موضوع فرعی نیاز داره.

اطلاعیه الگوریتم مام گوگل پیچیدگی برخی سوالات رو با مثال جستجوگری که می خواد بدونه چجوری برای پیاده روی کوه فوجی در پاییز آماده بشه، توصیف کرد.

این مثال گوگل در مورد جستجوی پیچیده جستجو است:

“امروز، گوگل می تونه توی این زمینه به شما کمک کنه، اما جستجوهای متفکرانه زیادی را انجام میده – شما باید ارتفاع هر کوه، درجه حرارت میانگین ​​در پاییز، سختی مسیرهای پیاده روی، تجهیزات مناسب برای استفاده را جستجو کنید، و بیشتر.”

در اینجا مثالی از سوال فرم طولانی وجود دارد:

“چه تفاوت هایی بین ساختار آب مانند دریاچه ها، رودخانه ها و اقیانوس ها وجود دارد؟”

سوال بالا نیاز به چندین پاراگراف برای بحث در مورد کیفیت دریاچه ها، رودخانه ها و دریاها، به علاوه مقایسه بین هر توده آب با یکدیگر دارد.

اینجا مثالی از پیچیدگی پاسخ آورده شده:

• به طور کلی از یک دریاچه به عنوان آب ساکن یاد می شود چون روان نیست.
• رودخانه ای جاری است.
• هم دریاچه و هم رودخانه به طور کلی دارای آب شیرین هستند.
• اما یک رودخانه و یک دریاچه گاهی اوقات ممکن است شور باشد.
• یک اقیانوس می تواند مایل ها عمق داشته باشد.

پاسخ به سوال فرم طولانی نیاز به یک پاسخ پیچیده متشکل از چند مرحله داره، مانند مثالی که گوگل درباره پرسش از نحوه آماده سازی برای پیاده روی کوه فوجی در پاییز به اشتراک گذاشت.

در اطلاعیه الگوریتم MUM گوگل اشاره ای به پاسخ فرم طولانی نشده اما به نظر میرسه مشکلی که مام حل می کنه دقیقاً همین مسئله هست.

تغییر در نحوه پاسخگویی به سوالات

در ماه مه 2021، یک محقق گوگل به نام دونالد متزلر مقاله ای رو منتشر کرد که این موضوع  که موتورهای جستجو چجوری به سوالات پاسخ می دهند رو شرح میکنه، برای دادن پاسخ جدید به سوالات پیچیده، باید جهت گیری جدیدی داشته باشه.

“در این مقاله آمده كه روش فعلی بازیابی اطلاعات متشكل از نمایه سازی صفحات وب و رتبه بندی اونا برای پاسخگویی به سوالات جستجوی پیچیده كافی نیست.

دیلتانته کسی هست که از سطحی چیزی مثل آماتور و نه متخصص آگاهی داره.

این مقاله وضعیت موتورهای جستجو رو امروز به صورت زیر شرح میده:

“پیشرفته ترین سیستم های امروزی اغلب به ترکیبی از بازیابی اصطلاحاً antic و معنایی برای تولید یک نامزد اولیه متکی هستند.

سپس این مجموعه از نامزدها معمولاً به یک یا چند مرحله از مدلهای رتبه بندی مجدد منتقل می شوند، مدل هایی که به احتمال زیاد مدل های یادگیری برای رتبه بندی مبتنی بر شبکه عصبی هستند.

همونطور که قبلاً گفته شد، الگوی بازیابی فهرست بعد از اون در برابر آزمون زمان مقاومت کرده و جای تعجب نیست که یادگیری پیشرفته ماشین و رویکردهای مبتنی بر NLP جزئی جدایی ناپذیر از مولفه های نمایه سازی ، بازیابی و رتبه بندی سیستم های امروزی هستند.”

بازیابی اطلاعات مبتنی بر مدل

سیستم جدیدی که Making Experts از مقاله تحقیقی Dilettantes توصیف می کنه، سیستمی هست که بخش الگوریتم رو توی فهرست بازگردانی شاخص از بین می بره.

توی این بخش از مقاله، به IR اشاره شده که به معنای بازیابی اطلاعات هست، همان کاری که موتورهای جستجو انجام می دهند.

“این رویکرد که به عنوان بازیابی اطلاعات مبتنی بر مدل شناخته می شود، به منظور جایگزینی الگوی” بازیابی پس از آن رتبه بندی “با دوام طولانی است با تجزیه و تحلیل اجزای نمایه سازی ، بازیابی و رتبه بندی سیستم های IR سنتی در یک مدل واحد واحد.”

مقاله بعدی به جزئیات نحوه عملکرد “مدل متحد” می پردازد.

بیایید همین جا صبر کنیم تا یادآوری کنیم که نام الگوریتم جدید Google Multitask Unified Model است

فعلاً از توضیح مدل یکپارچه صرف نظر می کنم و فقط این رو میگم:

“تمایز مهم بین سیستم های امروز و سیستم پیش بینی شده این واقعیت است که یک مدل واحد جایگزین اجزای نمایه سازی، بازیابی و رتبه بندی می شود. در اصل از آن به عنوان مدل یاد می شود زیرا چیزی جز مدل وجود ندارد. ”

جای دیگه ای توی مقاله تحقیق Dilettantes اومده:

“برای تحقق این امر، یک چارچوب بازیابی اطلاعات به اصطلاح مبتنی بر مدل ارائه شده است که با رمزگذاری دانش موجود در یک مجموعه واحد در یک مدل واحد که جایگزین نمایه سازی ، بازیابی و بازیابی می شود ، از الگوی سنتی بازیابی و سپس رتبه بندی جدا می شود. رتبه بندی مولفه های سیستم های سنتی. ”

آیا این تصادفیه که فناوری گوگل برای پاسخگویی به سوالات پیچیده Multitask Unified Model نامیده می شود و سیستمی که در این مقاله در ماه مه 2021 مورد بحث قرار گرفت، نیاز به “یک مدل واحد” را برای پاسخگویی به سوالات پیچیده مورد نیاز قرار می ده؟

مقاله تحقیق الگوریتم مام چیست؟

مقاله تحقیقاتی “بازنگری جستجو: ساختن متخصصان از Dilettantes” ، دونالد متزلر را به عنوان نویسنده ذکر کرده. این نیاز به الگوریتمی رو نشون میده که وظیفه پاسخگویی به سوالات پیچیده را انجام بده و یک مدل واحد رو برای تحقق اون پیشنهاد می کنه.

این یک نمای کلی از روند کار را ارائه می ده اما تا حدی کوتاه در مورد جزئیات و آزمایشات هست.

مقاله تحقیقی دیگه ای هم توی دسامبر سال 2020 منتشر شده که الگوریتمی رو توصیف می کنه که دارای آزمایشات و جزئیات هست و یکی از نویسندگان آن دونالد متزلر هست.

نام مقاله تحقیقاتی دسامبر سال 2020، مخلوط چند وظیفه ای از کارشناسان متوالی برای جریان های فعالیت کاربر هست

بیایید همین استپ کنیم، پشتیبان تهیه کرده و نام الگوریتم جدید گوگل را تکرار کنیم : Multitask Unified Model

جستجوی تجدید نظر در ماه مه 2021: ساختن متخصصان از مقاله Dilettantes ، نیاز به یک مدل واحد را مشخص کرد. مقاله تحقیقاتی قبلی از دسامبر سال 2020 (توسط همان نویسنده) ، مخلوط چند وظیفه ای از متخصصان متوالی برای جریان های فعالیت کاربر (PDF) نام داره.

آیا این موارد تصادفی هست؟ شاید نه. شباهت های بین مام و این مقاله تحقیقاتی دیگر کاملاً مشابه هست.

MoSE: مخلوط چند وظیفه ای از کارشناسان متوالی برای جریان های فعالیت کاربر

MoSE یک فناوری اطلاعات ماشین است که از چندین منبع داده (یادداشتهای جستجو و مرور) برای پیش بینی الگوهای جستجوی پیچیده چند مرحله ای یاد می گیره. این بسیار کارآمد هست که اون رو مقیاس پذیر و قدرتمند می کنه.

این ویژگی های MoSE با کیفیت خاصی از الگوریتم مام مطابقت داره، به طور خاص این که الگوریتم مام می تواند به سوالات جستجوی پیچیده پاسخ دهد و 1000 برابر قدرت بیشتری نسبت به فناوری هایی مانند برت دارد.

MoSE  چه کاری انجام میده

MoSE از ترتیب متوالی کلیک کاربر و مرور داده ها اطلاعات میگیره. این اطلاعات بهش اجازه میده تا روند جستجوی پیچیده رو برای تولید پاسخ های رضایت بخش مدلسازی کن.

مقاله تحقیقاتی MoSE در دسامبر سال 2020 از گوگل ، مدل سازی رفتار کاربر رو برخلاف مدل سازی روی سوال جستجو و زمینه به ترتیب پی در پی توصیف میکنه.

مدل سازی رفتار کاربر به ترتیب متوالی مثل مطالعه چگونگی جستجو کاربر برای این ، بعد این و بعد اون هست که برای درک نحوه پاسخ به یک پرسش پیچیده هست.

مقاله اینجوری توصیف میکنه:

“در این کار، ما مسئله چالش برانگیز نحوه مدل سازی رفتار کاربر متوالی در تنظیمات یادگیری چند وظیفه عصبی را مطالعه می کنیم.

سهم عمده ما یک چارچوب جدید، مخلوط متخصصان متوالی (MoSE) است. این به صراحت رفتار کاربر پی در پی رو با استفاده از حافظه کوتاه مدت بلند مدت (LSTM) در پیشرفته ترین چارچوب مدل سازی چند وظیفه چند دروازه مخلوط متخصص انجام می دهد. ”

قسمت آخر درباره “چارچوب مدل سازی چند کاره چند دروازه مخلوط متخصص” خیلی شگفت انگیزه.

این اشاره به نوعی الگوریتم هست که برای چندین وظیفه / هدف بهینه میشه و تقریباً همه چیزی که در حال حاضر باید در مورد اون شناخته بشه وجود داره. (استناد: روابط مدل سازی وظایف در یادگیری چند کار با ترکیبی از متخصصان چند دروازه)

مقاله تحقیقاتی MoSE در مورد الگوریتم های مشابه چند کاره مشابه دیگه ای که به منظور دستیابی به اهداف مختلف بهینه شدند مثل پیش بینی همزمان ویدیویی که کاربر می خواد در YouTube تماشا کنه، کدوم فیلم ها تعامل بیشتری دارد و کدوم فیلم ها رضایت کاربر بیشتری را ایجاد می کنه. این سه وظیفه / هدف است.

نظرات مقاله:

“یادگیری چند وظیفه ای موثر است، به ویژه هنگامی که وظایف با هم ارتباط تنگاتنگی داشته باشند.”

MoSE  در جستجو آموزش دید

الگوریتم MoSE به یادگیری از چیزی که داده های ناهمگن گفته می شود، به معنای اشکال مختلف / متنوع داده ها متمرکز هست.

از نظر ما، در زمینه MUM ، این هست که الگوریتم MoSE توی زمینه جستجو و تعاملات جستجوگرها  توی جستجوی پاسخ مورد بحث قرار میگیره، یعنی جستجوگر برای پیدا کردن پاسخ چه مراحلی رو طی میکنه.

“… در این کار، ما بر روی مدل سازی جریان فعالیت های کاربر از منابع داده ناهمگن (به عنوان مثال ، گزارش های جستجو و گزارش های مروری) و تعاملات بین آنها متمرکز هستیم.”

محققان الگوریتم MoSE رو در مورد کارهای جستجو در G Suite و جیمیل آزمایش کردند.

MoSE  و پیش بینی رفتار جستجو

ویژگی دیگه ای که MoSE رو به عنوان کاندیدایی جالب برای مرتبط بودن با MUM تبدیل می کنه اینه که می تونه یک سری جستجوها و رفتارهای پی درپی رو پیش بینی کنه.

همونطور که توی اعلامیه مام گوگل ذکر شد، سوالات جستجوی پیچیده می تونه برای رسیدن به جواب تا هشت جستجو انجام بشه.

اما اگر یک الگوریتم بتونه این جستجوها رو پیش بینی کنه و اونها رو توی پاسخ ها جا بده، این الگوریتم می تونه بهتر به سوالات پیچیده جواب بده.

در اعلامیه MUM اومده:

“اما با یک فناوری جدید به نام Multitask Unified Model یا MUM ، ما در حال کمک به شما در این نوع نیازهای پیچیده هستیم. بنابراین در آینده، برای انجام کارها به جستجوی کمتری نیاز خواهید داشت. ”

و چیزی که در مقاله تحقیقاتی MoSE بیان شده:

“به عنوان مثال، جریان های رفتار کاربر، مانند گزارش های جستجوی کاربر در سیستم های جستجو، به طور طبیعی یک توالی زمانی است. مدل سازی رفتارهای پی در پی کاربر به عنوان نمایش های متوالی صریح می تواند مدل چند کاره را برای ترکیب وابستگی های زمانی توانمند سازد ، بنابراین پیش بینی رفتار کاربر با دقت بیشتری انجام می شود. ”

MoSE  با هزینه منابع بسیار کارآمد است

کارایی MoSE مهه

هرچقدر الگوریتم برای انجام یک کار به منابع محاسباتی کمتری نیاز داشته باشه، توی این کارها می تونه از قدرت بیشتری برخوردار باشه چون این کار فضای بیشتری برای مقیاس گذاری در اختیار اون قرار میده.

گفته می شوه که MUM 1000 برابر BERT قدرتمندترهست.

در مقاله تحقیقاتی MoSE ، توازن کیفیت جستجو با “هزینه منابع” ذکر شده، هزینه منابع به عنوان مرجعی برای منابع محاسباتی هست.

ایده آل اینه که نتایج با کیفیت بالا و کمترین هزینه منابع محاسباتی داشته باشید که به شما این امکان رو میده که برای یک کار بزرگتر مثل جستجو مقیاس بندی کنه.

الگوریتم اصلی پنگوئن فقط می تونه هر سال دو بار روی نقشه کل وب (به نام نمودار پیوند) اجرا بشه. احتمالاً دلیل این کار این بود که منابع فشرده بوده و به صورت روزانه قابل اجرا نیست.

توی سال 2016 پنگوئن قدرتمندتر شد چون الان میتونه توی زمان واقعی اجرا بشه. این مثالی هست که چرا تولید نتایج با کیفیت بالا و حداقل هزینه منابع مهمه.

هرچقدر هزینه منابع کمتری به MoSE نیاز داشته باشه، قدرتمندتر و مقیاس پذیرتری هم میتونه داشته باشه.

این همون چیزی هست که محققان درباره هزینه های منابع MoSE گفتند:

“در آزمایشات، ما اثربخشی معماری MoSE را بیش از هفت معماری جایگزین بر روی داده های کاربر مصنوعی و پر سر و صدا از دنیای واقعی در G Suite نشان می دهیم.

ما همچنین اثربخشی و انعطاف پذیری معماری MoSE را در یک موتور تصمیم گیری واقعی در GMail نشان می دهیم که میلیون ها کاربر را شامل می شود ، تعادل بین کیفیت جستجو و هزینه های منابع. ”

“ما بر دو مزیت MoSE تأکید داریم. اول ، از نظر عملکرد ، MoSE به طور قابل توجهی از مدل پایین مشترک به شدت تنظیم شده پیشی می گیرد. با نیاز به 80٪ صرفه جویی در منابع ، MoSE قادر است تقریباً 8٪ کلیک جستجوی اسناد بیشتری را حفظ کند ، که در محصول بسیار قابل توجه است.

همچنین ، MoSE به دلیل قدرت مدل سازی خود ، در سطح مختلف صرفه جویی در منابع بسیار مقاوم است ، حتی اگر ما در طول تمرین وزنه های مساوی را به وظایف اختصاص دهیم. ”

و از قدرت و انعطاف پذیری محوری برای تغییر:

“این باعث می شود انعطاف پذیری بیشتری به MoSE داده شود ، زیرا نیازهای تجاری در عمل تغییر می کند ، زیرا یک مدل قوی تر مانند MoSE ممکن است نیاز به آموزش مجدد مدل را کاهش دهد ، در مقایسه با مدل هایی که نسبت به وزن های مهم در طول آموزش حساسیت بیشتری دارند.”

MUM ، MoSE و Transformer

الگوریتم مام اعلام کرد که با استفاده از تکنیک Transformer ساخته شده.

در اعلامیه گوگل اشاره شده:

مام این توانایی رو داره که چگونگی کمک گوگل به شما توی انجام کارهای پیچیده رو تغییر بده. مثل برت ، مام  به روی اساس معماری Transformer ساخته شده، اما 1000 برابر قدرتمندتره. ”

نتایج گزارش شده در مقاله تحقیقاتی MoSE از دسامبر سال 2020 ، شش ماه پیش، قابل توجه بود.

اما نسخه MoSE آزمایش شده در سال 2020 با استفاده از معماری Transformer ساخته نشده. محققان متذکر شدند که MoSE به راحتی با Transformer  قابل تمدیده.

محققان (در مقاله منتشر شده در دسامبر 2020) Transformer  ها رو به عنوان آینده MoSE ذکر کردند:

“آزمایش با تکنیک های پیشرفته تر مانند ترانسفورماتور به عنوان کارهای آینده در نظر گرفته می شود.

MoSE… ، متشکل از بلوک های ساختمانی عمومی، به راحتی قابل تمدید هست ، مثل استفاده از سایر واحدهای مدلسازی متوالی به غیر از LSTM ، از جمله GRU ها و ترانسفورماتورها … ”

طبق این مقاله تحقیقاتی، MoSE  با استفاده از معماری های دیگه مانند Transformers به ​​راحتی شارژ میشه. به این معنی که MoSE  می تونه بخشی از اون چیزی که گوگل به عنوان MUM اعلام کرده باشد.

چرا موفقیت MoSE قابل توجه است؟

گوگل خیلی از اختراعات و مقالات تحقیقاتی الگوریتم رو منتشر میکنه. خیلی از اون ها در حالی که اشکالات و خطاهایی رو که نیاز به تحقیقات بیشتر دارند، لبه های سطح پیشرفته رو تحت فشار قرار میده.

چیزی که در این صورت تحقیقات MoSE رو بیشتر از قبل مورد توجه قرار میده، سطح موفقیت ادعا شده هست.

این نکته قابل توجه و مهمه که یک مقاله تحقیقاتی ادعا کنه موفق هست و نه ترکیبی از موفقیت و ضرر.

این امر به مخصوصا زمانی صادق هست که محققان ادعا می کنند بدون داشتن سطح قابل توجه منابع، به این موفقیت ها دست پیدا می کنند.

آیا MoSE فناوری Google MUM AI است؟

MUM به عنوان یک فناوری هوش مصنوعی توصیف شده.  MoSE توی وبلاگ هوش مصنوعی گوگل به عنوان Machine Intelligence طبقه بندی میشه. چه تفاوتی بین هوش مصنوعی و هوش ماشین وجود داره؟ نه خیلی زیاد، تقریباً توی یک گروه قرار دارند (توجه داشته باشید که من هوش ماشینی رو نوشتم، نه یادگیری ماشینی). پایگاه داده Google AI Publications مقالات پژوهشی مربوط به هوش مصنوعی رو توی دسته هوش ماشین طبقه بندی میکنه. هیچ دسته هوش مصنوعی وجود نداره.

نمیشه با اطمینان گفت که MoSE بخشی از فناوری زیربنای MUM Google هست.

• ممکنه که الگوریتم MUM در واقع تعدادی از فناوری ها باشه که با هم کار می کنند و MoSE بخشی از اون.
• ممکنه این باشه که MoSE قسمت اصلی الگوریتم مام هست.
• یا ممکنه که MoSE هیچ ارتباطی با MUM نداشته باشه.

با این وجود  جالبه که MoSE یک رویکرد موفقیت آمیز در پیش بینی رفتار جستجوی کاربر هست و با استفاده از ترانسفورماتورها میشه اون رو به راحتی مقیاس بندی کرد.