عنوان
يك روش طبقه بندي با نمونه هاي معدود با استفاده از مدل هاي زباني ازپيش آموزش ديده
نويسنده اصلي
سيدمحسن طبسي
مقطع تحصيلي
كارشناسي ارشد
چكيده
مدل هاي زباني يكي از مؤلفه هاي اساسي در پردازش زبان طبيعي هستند. امروزه گسترش مدل هاي زباني مبتني بر شبكه هاي عصبي عميق و ظهور مدل هاي زباني از پيش آموزش ديده منجر به پيشرفت هاي شگرفي در حل مسائل مختلف اين حوزه شده است. اين پيشرفت را مي توان در مسائل گوناگون مرتبط با فهم زباني، از جمله پاسخ دهي به پرسش و انواع طبقه بندي متون مشاهده كرد. در اين مسير، بلندترين گام با معرفي معماري ترنسفورمر و سپس توسعه مدل هاي زباني مبتني بر آن از جمله BERT و GPT برداشته شده است. از ويژگي هاي تعيين كننده معماري ترنسفورمر مي توان به امكان آموزش بر روي حجم عظيم دادگان متني، مقياس پذيري از نظر تعداد پارامترها و سهولت انتقال دانش زباني به مسائل مختلف اشاره كرد.
پس از مشاهده بهبود نتايج در مسائل گوناگون پردازش زبان طبيعي، رويكرد جديدي در به كارگيري مدل-هاي زباني مبتني بر ترنسفورمر شكل گرفت. اين رويكرد سعي دارد با ارتباط با مدل زباني به زبان طبيعي، حداكثر استفاده را از دانش نهادينه شده در مدل داشته باشد. به عنوان مثال براي تحليل احساسات متن، به زبان طبيعي از مدل پرسيده مي شود: «_متن ورودي_ من احساس خيلي __» و مدل زباني با پيشنهاد دادن كلمه بعدي (مثلا «عالي») درباره احساسات متن ورودي اظهارنظر مي كند. نكته مهم درباره اين رويكرد (كه آن را تحريك زباني مي ناميم)، عملكرد قابل توجه آن با استفاده از نمونه هاي آموزشي معدود در برخي مسائل (عموماً طبقه بندي) است كه نشان مي دهد مدل زباني دانش موردنياز براي حل اين مسائل را تا حد خوبي داشته است و كافي است صورت مسئله به نحو مناسبي به مدل تفهيم شود.
تا به امروز موفق ترين روش هاي طبقه بندي مبتني بر تحريك زباني، از مدل هاي زباني جاي خالي استفاده مي كردند. محدوديت عمده اين روش ها ثابت بودن تعداد كلمات جاي خالي (معمولا يك جاي خالي) و در نتيجه محدودكردن مدل زباني در پاسخ دهي است.
در اين پژوهش روش جديدي براي طبقه بندي متن با نمونه هاي معدود ارائه مي دهيم كه با استفاده از مدل زباني علّي (مولد) مانند GPT2 انعطاف بيشتري براي تحريك زباني ايجاد مي كند. در روش پيشنهادي، ابتدا توصيف هاي متعددي براي هر كلاس به صورت خودكار يا توسط انسان توليد مي شود. سپس با پرسش ميزان ارتباط هر توصيف با متن ورودي از مدل زباني، درباره خروجي تصميم گيري مي شود. از ويژگي هاي اين روش مي توان به تفسير پذيري، انعطاف در پاسخ مدل زباني، امكان طراحي هدفمند توصيف ها توسط متخصص و استفاده از مدل زباني استاندارد بدون هيچ گونه پيش فرض اشاره كرد. بررسي هاي كمي و كيفي عملكرد قابل قبول روش پيشنهادي را در مسائل طبقه بندي اخبار، تحليل احساسات، تشخيص عواطف و تشخيص نيت نشان مي دهد كه مسلماً با افزايش كيفيت مدل زباني مورداستفاده قابل بهبود خواهد بود.
شماره ركورد
210584
دانشگاه
دانشگاه علم و صنعت ايران
رشته تحصيلي
مهندسي كامپيوتر - هوش مصنوعي
استاد راهنما
دكتر محمدطاهر پيله ور