تشخيص و تصحيح خودكار خطاهاي دستوري رايج در زبان فارسي با استفاده از يادگيري عميق

كارشناسي ارشد

در دنياي امروز، استفاده از نامه‌ها يا متون دست‌نويس براي امور روزمره به شدت كاهش‌يافته و بيشتر افراد ترجيح مي‌دهند متون خود را به صورت الكترونيكي بنويسند و تدوين نمايند. با اين حال، به دليل كمبود وقت، عدم توجه كافي هنگام نوشتن يا حتي نداشتن دانش كافي، ممكن است متون نوشته شده دچار اشتباهات نگارشي شوند. حتي كساني كه به زبان مادري خود تسلط كامل دارند نيز ممكن است دچار چنين اشتباهاتي گردند. اين اشتباهات مي‌توانند كيفيت متون را كاهش داده و از انتقال صحيح معناي متن جلوگيري كنند. بنابراين، رعايت قوانين دستوري براي نويسندگان متون امري ضروري به حساب مي‌آيد. سيستم‌هاي تشخيص و اصلاح دستور زبان مي‌توانند با صرف زمان كمتر و دقت بيشتر اين كار را بصورت خودكار انجام دهند. در زبان فارسي، اين كار اغلب با روش‌هاي مبتني بر قانون انجام شده است. اما با پيشرفت هوش مصنوعي و اثبات توانايي آن در درك زبان طبيعي، مي‌توان راهكارهايي مبتني بر اين فناوري ارائه داد تا به نتايج بهتري در تشخيص و اصلاح خطاهاي دستوري دست يافت. اين پژوهش به ارائه روشي مبتني بر يادگيري عميق براي تشخيص نوع خطاهاي دستوري فارسي و اصلاح آن‌ها پرداخته است. در روش پيشنهادي، ابتدا با استفاده از مدل پارس‌برت نوع خطاي دستوري موجود در متن شناخته شده و سپس از مدل‌هاي آموزش ديده شده مناسب براي اصلاح خطاي دستوري استفاده شده است. به منظور بهبود عملكرد، سيستم پيشنهادي ابتدا نوع خطاي موجود در متن را تشخيص مي‌دهد و سپس در بخش اصلاح خطاي دستوري روي مولفه درك زبان طبيعي تمركز كرده و با استفاده از روش‌هاي تبديل توالي به ويرايش، متن ورودي را به دنباله‌اي از برچسب‌ها به عنوان عملگرهاي ويرايش، تبديل مي‌كند و در نهايت با استفاده از پس‌پردازش، جمله خروجي را توليد مي‌كند. همچنين به دليل عدم وجود مجموعه‌داده مناسب، در اين پژوهش يك مجموعه داده تشخيص و اصلاح خطاي دستوري زبان فارسي ايجاد شده است. بدين منظور ابتدا جملاتي از اينترنت جمع‌آوري شده و با ايجاد خطاهاي مصنوعي در جملات صحيح دستوري، از آن‌ها در آموزش مدل استفاده شده است. بر اساس ارزيابي‌هاي انجام شده، معيار F1 براي تشخيص خطا و F0.5براي اصلاح خطا به ترتيب برابر 93 و 87.94 به دست آمد. با توجه به اينكه اين رويكرد اولين رويكرد مبتني بر يادگيري عميق در زبان فارسي براي تشخيص و اصلاح خطاهاي دستوري است، مقادير قابل قبولي مي‌باشد.

231599

دانشگاه اصفهان

مهندسي كامپيوتر - نرم افزار

رضا رمضاني