واكاوي توانايي بازشناسي معنايي مدل‌هاي حساس به محتوا براي بازنمايش كلمات

كارشناسي ارشد

امروزه كاربرد شبكه‌هاي عصبي عميق در حوزه پردازش زبان‌هاي طبيعي، به‌طور چشمگيري افزايش يافته است و در بيشتر زمينه‌ها، همچون ترجمه‌ي ماشيني، پاسخ به سوال، رده‌بندي متون و غيره، روش‌هاي مبتني بر شبكه‌هاي عصبي عملكرد با اختلاف بهتري نسبت به روش‌هاي ديگر دارند. همانطور كه مي‌دانيم، ورودي شبكه‌هاي عصبي از جنس اعداد و ارقام مي‌باشد؛ بنابراين يكي از چالش‌ها هنگام به‌كارگيري شبكه‌هاي عصبي در حوزه زبان‌هاي طبيعي، تبديل كردن سندهايي از جنس كلمات به ورودي‌هايي عددي است. يكي از مشكلات اصلي در روش‌هاي اوليه، مربوط به كلماتي با چندين معني مختلف مي‌باشد كه با وجود داشتن شكل نوشتاري يكسان، مي‌بايست به بردارهاي متفاوتي نگاشته شوند. امروزه مدل‌هاي زباني از پيش آموزش داده شده، به طور گسترده براي حل مشكل ذكر شده مورد استفاده قرار مي‌گيرند؛ چرا كه اين مدل‌ها با استفاده از محتوايي كه كلمه‌ي مورد نظر در آن ظاهر شده است، بازنمايي‌هاي متفاوتي براي معاني مختلف يك واژه ايجاد ميكنند. مدل BERT و مشتقات آن به لطف توانايي بي‌نظيرشان در به كارگيري محتوا براي بازنمايي كلمات، امروزه در تمامي آزمون‌ها از جمله آزمون‌هاي مربوط به رفع ابهام از كلمات، درخشش چشمگيري داشته‌اند. هرچند، در رابطه با ميزان توانايي آن‌ها در كيفيت كدگذاري و كدگشايي معاني مختلف كلمات، همچنان ابهام وجود دارد. در اين پايان‌نامه، ما به‌طور جامع، به بررسي كمي و كيفي مدل BERT در رابطه با ابهام واژگاني مي‌پردازيم. يكي از نتايج اصلي كار، اين است كه BERT مي‌تواند با ديدن تنها 3 نمونه از هريك از معاني درشت‌دانه‌ي واژگان، به خوبي آن‌ها را از يكديگر تميز دهد. همچنين، نشان مي‌دهيم كه اين مدل‌هاي زباني در شرايط بهينه، بسيار به عملكرد انسان در زمينه‌ي رفع ابهام از واژگان نزديك شده‌اند و در رفع ابهام درشتدانه‌ي واژگان ميانگين عملكرد micro-f1 بالاي 95 درصد دارد. همچنين ما در اين كار به بررسي تفاوت عملكرد دو رويكرد مختلف ابهام زدايي از واژگان مي‌پردازيم. در رويكرد اول، مدل از پيش آموزش داده شده، بر روي دادگان جديد تنظيم دقيق مي‌گردد و در رويكرد دوم، از دانش خام مدل‌هاي زباني بدون تنظيم دقيق بيشتر بر روي داده‌ي جديد بهره برداري مي‌شود. نشان مي‌دهيم كه رويكرد دوم كه رويكرد عملي و همچنين طبيعي‌تر حل اين مساله مي‌باشد، نسبت به خطا مقاومت بيشتري داشته و به نمونه‌هاي بسيار كمي براي بهره برداري نياز دارد. در نهايت با معرفي مشكلاتي كه تعريف فعلي صورت مساله‌ي رفع ابهام در راستاي ارزيابي سيستم‌ها ايجاد مي‌كند و با معرفي صورت مساله‌ي جايگزين، اين تحقيق به پايان مي‌رسد.

196491

دانشگاه علم و صنعت ايران

مهندسي كامپيوتر

محمد طاهر پيله‌ور - صالح اعتمادي