يادگيري نمايش ازهم‌گسيخته در سنتز تصاوير با استفاده از مدل SCGAN

اصفهان : دانشگاه صنعتي اصفهان

مهندسي برق

كارشناسي ارشد

در چند سال اخير تحقيقات در زمينه شبكه‌هاي مولد متخاصم رشد چشم‌گيري داشته است. اين شبكه‌ها كاربردهاي مختلفي مانند بينايي ماشين و پردازش زبان دارند كه عملكرد خيره‌كننده‌اي داشته است. در ميان بسياري از اين كاربردها، سنتز تصاوير به خوبي مورد مطالعه و تحقيق قرار گرفته است. تحقيقاتي كه در زمينه سنتز تصاوير انجام شده ظرفيت بالاي اين شبكه‌ها را نشان داده است. مدل مولد توانايي توليد داده‌هاي جديد را دارد و آموزش اين مدل‌ها عمدتاً به دسته‌هاي نظارت‌شده، نظارت‌نشده و نيمه‌نظارتي دسته‌بندي مي‌شود. اگر مدل مولد بتواند منبع تغييرات اساسي تصاوير در نمايش‌ها را از يكديگر جدا كند، مدل توانايي يادگيري نمايش ازهم‌گسيخته را دارد. ما در اين گزارش مدل‌هاي مولد مهم در كاربرد سنتز تصاوير كه داراي نمايش ازهم‌گسيخته خوبي هستند را بررسي مي‌كنيم و با طريقه عملكرد هر يك از آن‌ها آشنا مي‌شويم. مدل SCGAN يكي از همين مدل‌هاي مولد مي‌باشد كه بصورت نظارت‌نشده آموزش مي‌بيند. فرق مدل SCGAN با شبكه مولد متخاصم اين است كه در تابع زيان اين مدل از يك قيد شباهت به‌عنوان عبارت منظم‌سازي استفاده شده و قدرت يادگيري نمايش ازهم‌گسيخته را بر اساس شباهت ميان تصاوير فراهم كرده است. ما مدل SCGAN را بطور دقيق بررسي مي‌كنيم و طريقه عملكرد آن را در سطحي عميق درك مي‌كنيم. همين درك عميق باعث مي‌شود متوجه شويم قيد شباهتي كه استفاده شده است، همانند تابع زيان متقابل در زمينه يادگيري شباهت رفتار مي‌كند. بدين شكل با مسئله يادگيري شباهت آشنا مي‌شويم و برخي تحقيقات انجام شده در اين زمينه را بررسي مي‌كنيم. لذا برخي روش‌ها و معيارهاي ارزيابي شباهت مانند معيار SSIM را بررسي مي‌كنيم. از اين معيار در قيد شباهت مدل SCGAN استفاده مي‌كنيم زيرا بنظر مي‌آيد مدلي كه درك و هوش بالايي داشته باشد، همانند انسان‌ها شباهت بين تصاوير را بر اساس ساختار و ويژگي‌هاي سطح بالايشان مي‌سنجد. تغييرات ديگري نيز در مدل SCGAN اعمال مي‌كنيم تا عملكرد آن را بهبود دهيم و درنهايت مدل تغييريافته را پياده‌سازي مي‌كنيم. در مقاله SCGAN براي سنجش عملكرد مدل، مقدار لگاريتم درست‌نمايي را بر اساس روش پنجره پارزن گوسي بدست آورده بودند. اين روش ارزيابي اطلاعات آماري راجع به توزيع تصاوير توليدي مي‌دهد ولي راجع به تنوع تصاوير، واقع‌نمايي و قدرت ازهم‌گسيختگي نمايش يادگيري‌شده به ما اطلاعاتي نمي‌دهد. در واقع ممكن است مدل دچار فروپاشي حالت باشد ولي مقدار درست‌نمايي خوبي را مشاهده كنيم. لذا ما از معيارهاي مناسب براي بررسي كيفيت تصاوير، تنوع تصاوير و قدرت ازهم‌گسيختگي نمايش يادگيري‌شده استفاده مي‌كنيم. نتايج نشان مي‌دهند كه مدل تغييريافته عملكرد بهتري نسبت به بقيه مدل‌ها داشته است. مدل تغييريافته نسبت به مدل SCGAN بر روي مجموعه‌داده MNIST و Fashion-MNIST به ترتيب از لگاريتم درست‌نمايي 232.5 و 324.2 به مقدار 234.8 و 332.6 دست يافت. همچنين عملكرد مدل با معيار FID بر روي اين مجموعه‌داده‌ها به ترتيب از 4.11 و 14.63 به 3.42 و 12.97 بهبود يافته است. در زمينه از‌هم‌گسيختگي نيز از مقدار 0.77 به 0.89 براي MNIST و از 0.89 به 0.91 براي Fashion-MNIST ارتقا پيدا كرد و نمايش ازهم‌گسيخته بهتري را نسبت به SCGAN ياد گرفت. مدل تغييريافته قابليت تعميم‌پذيري بهتري نسبت به بقيه مدل‌هاي مولد دارد.

222459

مخابرات-سيستم

مهندسي برق و كامپيوتر

دانشگاه صنعتي اصفهان